Khoảng cuối tháng 3 năm 1787.
Sau khi Ánh đi, vua Xiêm cũng đồng ý cho tất cả binh lính Nguyễn đang lưu vong bên Xiêm về nước.
Ánh và các tùy tùng tụ họp trên đảo, có lẽ là đảo Hòn Khoai, rồi bất ngờ lợi dụng đêm tối, tấn công Cà Mau. Quân TÂy Sơn gồm 400 lính đóng ở đây bị giết tại chỗ gần 100, số khác đầu hàng.
Phải nói thêm rằng, Ánh lựa chọn cơ hội rất tốt, lúc này, Huệ và Nhạc đang mâu thuẫn ác liệt,gian tế của Ánh đã báo về, và, Ánh đã biết rõ.
Nguyễn Huệ còn bận oánh dẹp miền Bắc, Nguyễn Nhạc thì không còn sức chiến đấu như lúc mới khởi binh. Vùng GiA Định giao cho Nguyễn Lữ cai quản, Nguyễn Lữ không phải không có tài, nhưng sau 2 trận đồ sát người Hoa, tự dưng ông thay đổi hẳn tâm tính, Lữ cải Đạo sang đạo Hồi của người Chăm ( gọi lúc ấy là Mani), chuyên tâm tu hành, chả màng tới quốc sự gì.
Trước khi Lữ được phong làm Đông Định Vương, nắm quyền cai trị Gia Định, vùng này lần lượt được cai quản bởi Tổng đốc Chu (Châu) trong hai tháng (từ tháng 10 - 1777), hàng tướng Đỗ Nhàn Trập (em Đỗ Thanh Nhân) trong ba tháng (từ tháng 5 - 1782). Sau khi đánh tan quân Xiêm, Gia Định do phò mã Trương Văn Đa (từ tháng 8 - 1783) cai quản hơn một năm. Từ tháng 5 – 1785, Đô úy Đặng Văn Chân thay thế Trương Văn Đa, cai quản Gia Định lâu hơn, có chỉnh trang lại Sài Gòn, đào kinh Tranh Giang (xuyên qua Đồng Tháp Mười).
Khi cuộc tranh giành quyền lực giữa anh em Tây Sơn nổ ra, theo lệnh Nhạc, Đặng Văn Trấn trao Gia Định cho Tham đốc Trần Tú vào tháng 5 - 1787, về Quy Nhơn.
Nhạc cử Thái phó Phạm Văn Tham làm phụ chính vào cai trị Gia Định.
Công việc Lữ làm được ở Gia ĐỊnh thật là ít ỏi, cho thấy tình trạng lúng túng, thụ động của Tây Sơn. Lẽ ra, được quản lý một vùng đất rộng lớn và giàu tiềm năng bậc nhất Vn này, Nhạc phải chọn người tài hơn khi thấy Lữ đã đi tu. Đây cũng là một điều sai lầm nữa của Tây Sơn, dẫn đến Nguyễn ÁNh chiếm lại được và làm căn cứ mạnh.
Người giữ Gia Định và có đôi chút thực hiện một số công việc ở đây chính là Đặng Văn Chân. Ông lo đề phòng biến cố có thể xảy ra do tàn quân Nguyễn lẩn lút trong dân , nên dời dinh trại lên trên vùng đất cao ở Cầu Sơn ( gần khu Thị Nghè) cách phía Bắc trấn 7 dặm để dễ bề chống giữ. Trong năm 1786, ông đắp dinh trại trên gò cao, còn dưới thấp thì xây cất phố xá, lùa các nhà buôn Gia ĐỊnh, mà chủ yếu là người Hoa vào ở đó. Nhưng công việc cưỡng ép này không đi đến kết quả nào, một phần vì nơi mới xa chỗ buôn bán quen thuộc cũ, một phần vì đầu năm sau (1787), Đặng Văn Chân đã phải ra cứu Nguyễn Nhạc, bỏ dở công việc.
Ở Gia Định bấy giờ còn lại Tham đốc Trần Tú coi sóc công việc.
Oai võ đã hạ, binh thế đã yếu thì loạn lạc nổi lên: tàn quân Nguyễn quấy rối ở khắp nơi: ở Biên Hoà quân khởi nghĩa của Nguyễn Văn Tuyết, Nguyễn Văn Nghĩa kéo dài tới ngày Nguyễn Ánh về.
Một lực lượng rất mạnh khác là Võ Tánh, khôngchịu thần phục nhà Tây Sơn, từ năm 1783 đến năm 1788, Tánh với người anh là Võ Nhàn tập hợp lực lượng chủ yếu là người Hoa nổi dậy tại thôn Vườn Trầu (Hóc Môn), tự xưng là Nghĩa quân Kiến Hòa (sử gọi là Kiến Hòa Đạo), giương ngọn cờ Khổng Tước Nguyên Võ (Khổng Tước Nguyên là tên chữ của Gò Công), rồi kéo quân chiếm giữ cả vùng Gò Công.