Tất nhiên, Minh Mạng chưa dám ra tay vì còn ngại Lê Văn Duyệt.
Tổng trấn Lê Văn Duyệt uy quyền quá mạnh, ông đã lên thử phản ứng của Minh Mạng bằng cách cho xử chém ngay Huỳnh Công Lý, Phó tổng Trấn Gia ĐỊnh, cha vợ của Minh Mạng ( cha đẻ của Huệ Phi, vợ Minh Mạng) bị tố cáo là có hành vi tham nhũng. Theo đơn khiếu kiện của một số quân lính thì ông đã lợi dụng chức quyền để vơ vét tiền của dân chúng và của họ.
Sau khi hội bàn với đình thần, nhà vua bèn cho bắt giam Huỳnh Công Lý, rồi sai Thiêm sự bộ Hình là Nguyễn Đình Thinh đến Gia Định để tra xét án.
Kết cuộc, ngoài số tiền tham nhũng trên ba vạn quan, Nguyễn Đình Thinh còn phát hiện trong thời gian làm quan ở Huế, Huỳnh Công Lý đã bắt lính xây dựng ba cửa hàng gạch ở bên bờ sông Hương để tư lợi.
Đình thần luận tội, khép Huỳnh Công Lý vào tội chết. Sau khi án được nhà vua phê thuận, tháng 5 năm 1821, Huỳnh Công Lý bị xử tử tại Gia Định.
Minh Mạng nghĩ chém cha vợ thì mình mang tiếng ác, bèn cho người xin giảm nhẹ hình phạt, ý vua nói muốn cho (chết) toàn thây, nhưng Lê Văn Duyệt lại nghĩ vua xin xỏ.
Lê VĂn Duyệt nói ngay:
- Chống tham nhũng như chống mối phải từ nóc nhà mà chống xuống. Đám quan lại tham nhũng như bầy mỗi càng to thì đục khoét càng dữ không diệt trừ tận gốc thì nhà sập,lúc đó bệ hạ và quần thần muốn đỡ cũng đỡ không nổi đâu!
Rồi ra lệnh chém ngay.
Số tài sản tham nhũng được chi trả lại cho quân lính và người dân bị bốc lột, cửa hàng ở Huế thì được bán để lấy tiền giúp cho cấm binh, còn con gái ông là Huệ phi bị đuổi ra khỏi cung về làm dân thường.
Về chuyện này, sau này Trương Đăng QUế đã tấu lên Minh Mạng là Lê VĂn Duyệt coi vua không ra gì, nhưng Minh Mạng chỉ im lặng.
Tháng 9 năm 1823, Lê văn Duyệt có về Huế gặp Minh Mạng, ông đi thẳng vào gặp vua không quỳ lạy, bởi đã được ban ân điển “ Nhập Triều Bất Bái” của vua Gia Long, nên Minh Mạng tím mặt.
Ông nói:
- Thần nghe nói bệ hạ không muốn thông thương với Tây Phương, bế quan tỏa cảng là không nên,có nhà mà đóng cửa cài then thì làm sao gió vào cho được, gió không vào được thì người ta làm sao mà khỏe.
Minh Mạng lại tím mặt.
Ông cũng nói thẳng với Minh Mạng, khi vua than phiền dân Bắc Hà luôn luôn làm loạn:
- Dân BẮc HÀ loạn là do bọn tham quan bốc lộc nên họ loạn,chỉ cần trừng trị bọn tham quan ( là) họ không cần làm phản nữa.