Ngôi đền được lưu truyền với một truyền thuyết liên quan đến ông khổng lồ. Tương truyền ở vùng đất Kampong Chàm có 1 ông khổng lồ, ông khổng lồ có 1 cô em gái có pháp thuật tinh thông hơn cả ông. Một hôm ông khổng lồ tiên đoán thấy rằng ngoại xâm sẽ thống trị dân khmer nên tìm cách ngăn chặn. Ông bàn với em gái mỗi người xây dựng 1 ngồi chùa, nếu ông cất xong trước đất nước không bị nạn đô hộ. Dấu hiệu nhận biết là ngọn đèn treo trên tháp, người nào xây xong trước sẽ thắp ngọn đèn lên, người em của ông đồng ý và đi lên phía bắc để xây dựng Đế Thích (Angkor Wat ngày nay).
Ông bắt tay xây dựng ngôi chùa, nhưng do ám ảnh ngoại xâm nên cứ chông về hướng người em
Một hôm ông thấy ngôi sao mai lấp lánh trên ngọn cây tưởng người em đốt đèn trên chốc tháp, chán nản ông bỏ vào nằm dưới tán cây. Khi người dân phát hiện ông đá hóa đá