Kiến trúc nguyên thủy xây năm 1397 vốn dùng làm nơi an trí cho shogun Ashikaga Yoshimitsu. Con ông cho đổi hành cung làm chùa và thiền viện cho tín đồ Phật giáo phái Lâm Tế. Trong cuộc chiến Onin (1467-1477), chùa bị đốt cháy rụi nhưng rồi được xây lại.
Gần 500 năm sau, vào năm 1950 tòa Gác Vàng bị một vị sư nổi lửa đốt cháy thành tro. Nhà sư sau đó bèn tự tử nhưng bị nhà chức trách bắt được. Mẹ nhà sư cũng bị đem ra tra hỏi. Trên đường về, bà nhảy từ xe lửa, gieo mình xuống sông tự vẫn còn nhà sư sau khi truy tố bị tuyên án bảy năm tù. Trong khi thụ án ông chết bệnh trong ngục năm 1956.
Kinkaku (Gác Vàng) trong khuôn viên chùa chỉ là một trong nhiều công trình kiến trúc ở chùa. Ngôi gác có ba tầng soi bóng xuống ao Kyoko-chi ("ao Gương"). Vách gác hai tầng trên đều dát vàng lá, ánh lên rực rỡ nên gác mới có tên là Gác Vàng. Cảnh trí gác, ao, vườn và lối đi có tiếng là hài hòa mỹ thuật. Gác này thường được so sánh với Ginkaku (Ngân Các tức Gác Bạc) ở chùa Jisho-ji (Từ Chiếu Tự) cũng ở Kyoto.
Phần kiến trúc Kinkaku hiện thấy là do cuộc tái thiết năm 1955. Năm 1987 nhà chùa dát thêm lớp vàng mới cùng sửa chữa nội thất; sang năm 2003 thì phần mái được trùng tu.
Câu chuyện ly kỳ về vụ đốt Gác Vàng năm 1950 này đã được nhà văn Mishima Yukio phóng tác trong cuốn tiểu thuyết Kinkaku-ji . Sách này được dịch sang nhiều ngôn ngữ khác. Bản tiếng Việt do Đỗ Khánh Hoan và Nguyễn Tường Minh dịch và xuất bản ở Sài Gòn vào cuối thập niên 1960, đầu thập niên 1970.
Cái này gọi là ao gương, để chắc ăn cho khách du lịch không quậy phá thì họ làm hàng rào quanh hồ như này đây ợ..
Ngôi nhà này là đối diện với hồ thôi.
Chùa này đẹp quá phải không mọi người?
Từng đàn cá tập trung xem khách du lịch..