Lịch sử của khu vườn Depo-in gắn liền với lịch sử ngôi đền Asakusa (còn có tên gọi khác là Sensoji), tương truyền năm 628, một bức tượng Quan Âm (tiếng Nhật là Kannon) được tìm thấy ở sông Sumida bởi hai ngư dân, anh em Hinokuma Hamanari và Hinokuma Takenari. Trưởng làng, là ông Hajino Nakamoto, đã công nhận sự thiêng liêng của bức tượng và ông đã tu sửa ngôi nhà của mình thành một ngôi chùa nhỏ ở Asakusa, để người dân có thể thờ phụng Quan Âm (Kannon).