Quân Nguyễn có bắt được một chiến thuyền Tây Sơn chở viên Hộ đốc tên Lý và người thiếp tên Thị Lộc. Ánh không giết lại hậu đãi rồi giả mật thư của Nguyễn Nhạc nói Tham kiêu ngạo, sai Lữ dùng mưu giết đi.
Thị Lộc được lệnh cầm thư đưa Tham. Tham biết đây là mưu của Ánh, bèn cho người đến gặp Lữ để phân trần và bảo Lữ quay về cùng nhau oánh quân Nguyễn.
Lữ lúc này quá bạc nhược, có lẽ ông ốm yếu thì đúng hơn, Lữ nói tình hình này không ổn, để về Quy Nhơn xin thêm viện binh.
Vài hôm sau, Lữ bèn vội vã bỏ đồn chạy về Quy Nhơn. Không rõ số phận của ông sau này ra sao nữa.
Phạm Văn Tham đơn độc ở Gia ĐỊnh lo việc chống cự.
Biết Tham không đầu hàng, vài hôm sau, khi Lữ đã bỏ chạy về Quy Nhơn, Ánh lại kéo quân đến đánh, Tham tự mình chỉ huy, ra lệnh cho thân binh Thuận-Quảng liều chết oánh ra, quân Nguyễn tưởng dễ ăn, thấy quân Tây Sơn kéo ra nhanh quá, pháo binh chưa kịp rút, liền bị quân của Tham ập đến cận chiến, súng không còn tác dụng, oánh nhau bằng giáo, kiếm, quân Nguyễn yếu thế hơn, độ một giờ sau, Ánh bỏ chạy, để lại trên chiến trường 3000 xác chết.
Quân ÁNh đại bại, phải rút quân về cồn Hổ ( gần Sa Đéc)
Quân Nguyễn lại được bọn Hoa Kiều giúp sức trên đường tháo chạy, có 4000 quân Hoa Kiều được vũ trang đầy đủ xin theo ÁNh, Ánh mừng quá cho bọn này lập công luôn bằng cách oánh các chướng ngại dọc đường.
Quân Tây Sơn nhiều nơi bạc nhược, chưa đánh đã hàng.
Ở sông Ba Vác, Điều phát Nguyễn Kế Nhuận của Tây Sơn phải ra hàng. Ở Ba Lai, Ngự uý Tây Sơn là Nguyễn Văn Đồn dàn thuyền trên mặt sông cản lại, Lê Văn Quân lẻn vào bên trong đốt lửa làm hiệu cho Hồ Văn Lân, Nguyễn Văn Trị, Trương Phúc Giáo, Nguyễn Văn Tồn phục bên ngoài biết mà ập vào hai mặt giáp công đánh phá. Giây lát thì quân Tây Sơn tan vỡ, bị quân Nguyễn đồ sát gần hết.
Tưởng có thể chuyển bại thành thắng, quân Ánh lại đem 8000 quân tiến đánh Mỹ Tho, gặp phải Phạm Văn Tham đem 4000 quân đuổi vừa đến. Hai bên đánh nhau thật dữ dội vì đối thủ của Tham là một kiện tướng cũ của Tây Sơn: Nguyễn Đăng Vân, con nuôi Nguyễn Huệ. Vân quá hiểu Tham cũng như Tây Sơn, nhưng Tham đúng làm một tướng giỏi, khi quân Nguyễn dàn trận kiểu Tây, Tham phân tán quân ra rồi dùng quân kỵ nhanh chóng lao vào dùng kiếm chém lính bắn súng, ÁNh kêu gào bắn, đồng thời nã pháo vào quân kỵ, quân kỵ chết gần hết, nhưng toán lính pháo binh và bộ binh bắn súng cũng xáo trộn hàng ngũ, Tham cho quân lao đến áp sát, vừa bắn vừa chém giết, quân Ánh rối loạn, bị giết tại chỗ 5000.
Ánh xanh hết mặt mũi, vội lên ngựa chạy trốn, bỏ hết cả quân lại, Tây Sơn ập đến vừa bắn, vừa bao vây không cho ÁNh chạy, Tham muốn giết Ánh tại trận, bèn cùng vài tướng đuổi theo, Ánh bị bắn vào chân, ngã ngựa lăn ra đất, bất ngờ Nguyễn Đặng Vân cùng mấy tên lính Hoa ở đâu lao đến, kịp chặn Tham, Ánh, lại một lần nữa được bọn tàn binh dìu lên ngựa chạy thục mạng.
Vân bị bắt sống, không hàng, mắng chửi Tham rồi chịu chết. Nguyễn Ánh phải bỏ chạy thục mang ra cù lao Hổ, quân đi 8000, về còn có 300 người và hơn 20 thuyền, còn Hà Hỉ Văn và bộ tướng TQ thì lanh chân chạy tuốt ra Côn Lôn ở lì đó.