Năm 1505 người Bồ Đào Nha đổ bộ lên Galle và bắt đầu cho xây dựng tại đây một pháo đài nhỏ với tường của pháo đài ghép từ thân các cây dừa, sau đó đắp đất bên ngoài. Trong nhiều năm sau, pháo đài được củng cố và mở rộng, những vị trí trọng yếu được xây bằng đá.
Năm 1640, người Hà Lan đánh chiếm pháo đài từ tay người Bồ Đào Nha. Người Hà Lan xây dựng pháo đài kiên cố hơn và việc xây pháo đài hoàn tất năm 1649. Hình dáng của pháo đài Galle được giữ nguyên từ đó (1649) đến nay.
Tháng Hai năm 1796, người Anh chiếm được Colombo, sau đó đánh chiếm Galle. Năm 1848, người Anh xây dựng đèn hải đăng ở vị trí hướng ra biển của pháo đài Galle.