Nhà thờ Trái Tim Đức Mẹ là Nhà thờ đầu tiên Cụ Sáu xây trong khu vực này, vào năm 1883. Toàn bộ Nhà thờ này được làm bằng đá (trừ phần mái ngói). Cái tên Nhà thờ đá cũng chính từ đây mà ra, và dùng để nói về nhà thờ này (nhiều người vẫn nghĩ rằng Nhà thờ lớn là nhà thờ đá).
Mặt tiền gồm một tòa Đức Mẹ ở giữa với hai tháp hai bên. Hai tháp này hình vuông, năm tầng, có những nét giống Tháp Bút bên Hồ Hoàn Kiếm ở Hà Nội.
Cụ Sáu xây dựng nhà thờ này để kính dâng Đức mẹ đồng trinh Maria, Người mà trước đó cụ Sáu đã cầu nguyện và được ban phép màu thoát khỏi một căn bệnh hiểm nghèo cũng như thoát khỏi nhà tù của phong kiến triều Nguyễn.
Toàn bộ từ móng đến đỉnh, cột kèo, chấn song, cửa võng... được làm bằng đá xanh
Mộng đá ghép khít các cột kèo, cửa võng bằng đá cũng được trạm khắc tinh xảo
Một trong bốn bức tứ bình Tùng Cúc Trúc Mai được đục từ đá phiến nguyên khối.