diff --git a/paddle/platform/device_context.cc b/paddle/platform/device_context.cc
index 8d800ec49987df36daf8a5c1a961bea49786ad46..25ff352e8cf2c890f8aaa15a3c84965524ca1555 100644
--- a/paddle/platform/device_context.cc
+++ b/paddle/platform/device_context.cc
@@ -13,12 +13,18 @@ limitations under the License. */
 
 namespace paddle {
 namespace platform {
-namespace dynload {
-namespace dummy {
-// Make DeviceContext A library.
-int DUMMY_VAR_FOR_DEV_CTX = 0;
 
-}  // namespace dummy
-}  // namespace dynload
+template <>
+Eigen::DefaultDevice DeviceContext::get_eigen_device<Eigen::DefaultDevice>() {
+  return reinterpret_cast<CPUDeviceContext*>(this)->eigen_device();
+}
+
+#ifndef PADDLE_ONLY_CPU
+template <>
+Eigen::GpuDevice DeviceContext::get_eigen_device<Eigen::GpuDevice>() {
+  return reinterpret_cast<CUDADeviceContext*>(this)->eigen_device();
+}
+#endif
+
 }  // namespace platform
-}  // namespace paddle
\ No newline at end of file
+}  // namespace paddle
diff --git a/paddle/platform/device_context.h b/paddle/platform/device_context.h
index 5b4b5e29994b9a5371b5ed55b12ef89748d0658b..d6cf114216d60be9d1e2353595bd2625e0f748ac 100644
--- a/paddle/platform/device_context.h
+++ b/paddle/platform/device_context.h
@@ -31,7 +31,7 @@ class DeviceContext {
   virtual Place GetPlace() const = 0;
 
   template <typename DeviceType>
-  inline DeviceType get_eigen_device();
+  DeviceType get_eigen_device();
 };
 
 class CPUDeviceContext : public DeviceContext {
@@ -52,11 +52,6 @@ class CPUDeviceContext : public DeviceContext {
   Eigen::DefaultDevice* eigen_device_{nullptr};
 };
 
-template <>
-Eigen::DefaultDevice DeviceContext::get_eigen_device<Eigen::DefaultDevice>() {
-  return dynamic_cast<CPUDeviceContext*>(this)->eigen_device();
-}
-
 #ifndef PADDLE_ONLY_CPU
 
 class GPUPlaceGuard {
@@ -183,10 +178,6 @@ class CUDADeviceContext : public DeviceContext {
   curandGenerator_t rand_generator_{nullptr};
 };
 
-template <>
-Eigen::GpuDevice DeviceContext::get_eigen_device<Eigen::GpuDevice>() {
-  return dynamic_cast<CUDADeviceContext*>(this)->eigen_device();
-}
 #endif
 
 }  // namespace platform