Đền Kim Liên vốn được lập nên để thờ Cao Sơn Đại Vương (theo tín ngưỡng dân gian, thì đây là một người con của Lạc Long Quân và Âu Cơ, sau theo mẹ lên núi). Theo tấm bia đá đặc biệt cao 2,34m, rộng 1,57m, dầy 0,22m hiện còn lưu giữ tại đền (đây cũng là di vật quý giá nhất ở đền này) có bài tựa "Cao Sơn đại vương thần từ bi minh".
Sau này, dân làng Kim Liên đã lập thêm cổng tam quan ở phía trước cổng đền ngay sát đầm Kim Liên và bổ sung thêm một số kiên trúc mới, tạo thành đình Kim Liên.
Qua cổng
Vào trước cửa Đền.