Biết có làm quan nữa nhưng tính nết cũng không lên được, lại cũng uất hận vì có tài mà không được trọng dụng, Cao Bá Quát quyết định chơi lớn một phen.
Khoảng cuối năm Canh Tuất (1850) đời vua Tự Đức, Cao Bá Quát lấy cớ về quê chịu tang cha và sau đó xin ở lại nuôi mẹ già rồi xin thôi chức Giáo thụ ở phủ Quốc Oai.
Khoảng tháng 6, tháng 7 âm lịch năm Giáp Dần, 1854, nhiều tỉnh ở miền Bắc gặp đại hạn, lại bị nạn châu chấu làm cho mùa màng mất sạch, đời sống người dân hết sức cực khổ; Cao Bá Quát bèn vận động các thổ hào ở các vùng Quốc Oai, Vĩnh Phúc, Cao Bằng, Lạng Sơn... cùng nhau tôn một hậu duệ nhà Lê, cháu vua Lê Hiển Tông là Lê Duy Cự làm minh chủ chống lại nhà Nguyễn.
Cao Bá Quát làm quốc sư, họp với thổ mục Sơn Tây là Đinh Công Mỹ và Bạch Công Trân dựng cờ nổi dậy tại Mỹ Lương, thuộc vùng Sơn Tây.
Gian tế nhà Nguyễn biết được, bèn đi báo quan, trước tình thế cấp bách, Cao Bá Quát buộc phải phát lệnh tấn công vào cuối năm 1854.
Buổi đầu ông cùng các thổ mục ở Sơn Tây là Đinh Công Mỹ và Bạch Công Trân đem lực lượng đánh phá phủ Ứng Hòa, huyện Thanh Oai, huyện thành Tam Dương, phủ Quốc Oai, Yên Sơn... Lúc đầu có vài thắng lợi, nhưng nhà Nguyễn điều lính từ miền Trung, miền Nam ra, quân Nguyễn dần áp đảo.
Tháng Chạp năm Giáp Dần [tháng 12 năm này rơi vào năm dương lịch 1855], sau khi bổ sung lực lượng (chủ yếu là người Mường và người Thái ở vùng rừng núi Mỹ Lương, nay là vùng đất phía Tây sông Đáy thuộc các huyện Chương Mỹ, Mỹ Đức của Hà Nội, và các huyện Lương Sơn, Kim Bôi tỉnh Hòa Bình), Cao Bá Quát đem quân tấn công huyện lỵ Yên Sơn [phủ lỵ phủ Quốc Oai, ngày nay là thị trấn Quốc Oai].
Phó lãnh binh Sơn Tây là Lê Thuận đem quân nghênh chiến. Cuộc đối đầu đang hồi quyết liệt tại vùng núi Yên Sơn (giáp Sài Sơn), thì Cao Bá Quát cưỡi ngựa ra trận thúc quân tiến lên, do là quan văn không rành thực chiến ,ông đã bị suất đội Đinh Thế Quang nhận ra và nổ súng bắn chết rơi xuống ngựa. Tiếp theo, Nguyễn Kim Thanh và Nguyễn Văn Thực cũng lần lượt bị quân triều đình bắt được, sau cả hai đều bị xử chém. Ngoài những thiệt hại này, hơn trăm quân khởi nghĩa bị chém chết và khoảng 80 quân khác bị bắt.
Nghe tin đại thắng, Tự Đức lệnh cho ban thưởng và cho đem thủ cấp của Cao Bá Quát bêu và rao khắp các tỉnh Bắc Kỳ rồi giã nhỏ quăng xuống sông.
Sau khi dẹp được cuộc khởi nghĩa, triều đình ra lệnh tru di tam tộc dòng họ Cao của ông.
Anh trai song sinh của ông là Cao Bá Đạt đang làm Tri huyện Nông Cống tỉnh Thanh Hóa, và có tiếng là một viên quan mẫn cán và thanh liêm, cũng phải chịu tội và bị giải về kinh đô Huế. Dọc đường, Cao Bá Đạt làm một tờ trần tình gửi triều đình rồi dùng dao đâm cổ tự vẫn.
Dòng họ Cao Bá của ông ai trốn được đều thay tên đổi họ hoặc ẩn mình thật kỹ.
Cuộc đời Cao Bá Quát là một bi kịch mâu thuẫn, ông không phải không có tài, không được trọng dụng, mà không ai hiểu cho chí lớn của mình, muốn phục vụ triều đình nhưng không chịu uốn mình, muốn làm chuyện tày trời nhưng lực chưa đủ.
