Theo sử sách thì khởi thuỷ các ngôi đền đều được làm bằng đá để thờ các vị thần Núi (hay còn gọi là Sơn thần) và các vị vua Hùng. Tương truyền, Thục Phán sau khi được vua Hùng thứ 18 nhường ngôi, đã cho xây đền thờ bằng đá để tri ân thờ phụng các vua Hùng. Kể từ đó đến nay, trải qua mấy nghìn năm lịch sử, qua nhiều triều đại, các ngôi đền trên núi Nghĩa Lĩnh đều được nhân dân địa phương trông coi, sửa chữa, tôn tạo, hoặc xây dựng lại do sự tàn phá của giặc ngoại xâm, cùng với sự huỷ hoại của thời gian. Để có được 4 ngôi đền với diện mạo bề thế khang trang như ngày nay là một kỳ tích và công sức của bao thê hệ nối tiếp nhau duy tu bảo dưỡng mới có được. Vì thế, cụm di tích đền Hùng đã trở thành một khu di tích văn hoá lịch sử vô cùng quý giá, giống như một bảo tàng lịch sử văn hoá dân tộc Việt độc nhất vô nhị ở nước ta.
Đền Hạ được xây dựng lại trên nền đất cũ vào cuối thế kỷ XVII, đầu thế kỷ XVIII. Trước đó, đền Hạ đã được xây dựng lại nhiều lần do hư hỏngxuống cấp hoặc do chiến tranh xâm lược của nhà Minh đầu thế kỷ XV phá huỷ. Tương truyền, đền Hạ được xây dựng bằng đá từ thời An Dương Vương để thờ các vua Hùng và các vị thần Núi nguyên thuỷ. Hiện nay trong đền Hạ còn thờ 4 cỗ long ngai, trong đó 3 cỗ chính diện bài vị thờ như sau:
* Đột ngột Cao Sơn cổ Việt Hùng, thị thập bát thế Thánh vương Thánh vị (dịch nghĩa: Thần Núi cao, 18 đời Hùng Vương, Thánh vương Thánh vị).
* Ất Sơn Thánh vương Thánh vị (tức là thần Núi gần Thánh vương Thánh vị).
* Viễn Sơn Thánh vương Thánh vị (tức là thần Núi xa Thánh vương Thánh vị).
Đây có lẽ là dấu vết còn lại của tục thờ thần Núi: “Tam Sơn cấm địa” hay “Ba ngọn núi cấm” của cư dân vùng cao, kết hợp với việc thờ phụng 18 đời vua Hùng của người Việt cổ thời cổ đại.
