diff --git a/src/data/proxy_dmatrix.hip b/src/data/proxy_dmatrix.hip
index e69de29bb..6b50e6752 100644
--- a/src/data/proxy_dmatrix.hip
+++ b/src/data/proxy_dmatrix.hip
@@ -0,0 +1,4 @@
+
+#if defined(XGBOOST_USE_HIP)
+#include "proxy_dmatrix.cu"
+#endif