Ngày 11-7-1890, đã diễn ra lễ hội lớn khánh thành tượng Paul Bert dưới sự chủ toạ của toàn quyền Piquet. Pho tượng được dựng ngay tại nơi đặt phiên bản thu nhỏ của thần Tự do.
Người ta hạ bức tượng đồng của Bartholdi xuống khỏi bệ, và trong khi chờ đợi chiếc bệ bằng đá hoa cương núi Vosges dành cho tượng Paul Bert, cả hai pho tượng được đặt tạm bên nhau trên hai nền đất đắp cao.
Lễ khánh thành đã diễn ra với sự có mặt của con gái người quá cố và chồng bà ta, ông Klobukowski, công sứ Pháp ở Yokohama, nguyên chánh văn phòng của toàn quyền Paul Bert, sau này trở lại làm Toàn quyền Đông Dương năm 1908.
Từ đấy vườn hoa được người Việt gọi là Vườn hoa Bôn Be, nhưng để cho tiện nhiều người vẫn gọi đó là Vườn hoa Nhà kèn, vì ở đây có dựng lên một nhà bát giác để hàng tuần đội kèn đồng của nhạc binh Pháp ra biểu diễn.
Vấn đề bây giờ là phải tìm một chỗ mới để đặt tượng thần Tự do, việc này được đưa ra bàn nhiều lần ở Hội đồng thị chính. Một ông uỷ viên Hội đồng đề xuất nên đặt pho tượng đồng tại quảng trường Cocotier, tức quảng trường Cây Dừa, sau được đổi thành quảng trường Négrier (nay là quảng trường Đông Kinh nghĩa thục). Nhưng một ông uỷ viên khác, ông Daurelle gợi ý nên đưa thần Tự do lên nóc chiếc tháp giữa Hồ Gươm, gọi là Quy Sơn Tháp hay Tháp Rùa. Người ta đổ khuôn tượng một người đàn ông đặt thử lên nóc tháp xem nó ra sao.
Chủ trương này đã được báo chí thời đó lên tiếng chế giễu ầm ĩ. Báo L’Avenir du Tonkin (Tương lai Bắc kỳ), lúc bấy giờ mang tinh thần chống tôn giáo, viết: “Thần Tự do đứng trên nóc chùa, đó là ánh sáng chiến thắng sự ngu dân. Và cớ sao ta không đặt ông tượng Phật lớn tướng của chùa Quán Thánh lên nóc Nhà Thờ Lớn nhỉ?”
Cũng trên tờ báo đó người ta đặt câu hỏi: “Vậy thì tượng đặt trên Tháp Rùa sẽ quay lưng về đâu? Vào Nhà Chung hay vào Nhà Ngân hàng, vào toà Thị chính? Và liệu quyết định ấy có gây nên sự động lòng tự ái cho vô số người không?”
Cuối cùng, khi tượng đã yên vị trên nóc Tháp Rùa, mặt quay về hướng vườn hoa Paul Bert, báo L’Indépendance Tonkinoise (Nền độc lập của Bắc kỳ) gọi đó là một chuyện nhố nhăng và viết rằng: “Người đi bảo hộ và người được bảo hộ ôm hôn nhau ngay cả trong dựng tượng” và dí dỏm nói thêm “tượng đặt lên tháp rồi, vậy ta sẽ đặt cái gì lên tượng đây?”.
Và ông Albert Cezard đã trả lời câu hỏi đó: “Đậu lên tượng chính là những con quạ và chim bói cá mỗi ngày một hiếm với sự tổng vệ sinh hồ ngày một tốt”.
Cuối cùng, trước phản ứng của công luận (tất nhiên là của người Pháp), người ta phải di dời tượng thần Tự do về quảng trường Neyret, tức Vườn hoa Cửa Nam.
Và cũng từ đấy người Việt Nam có thêm một tên gọi mới, gọi Vườn hoa Cửa Nam thành Vườn hoa Bà Đầm xòe, vì không ai biết ý nghĩa của pho tượng đó (sau này được gọi là Vườn hoa Bách Việt).