Cái tên Hermitage vốn là một từ tiếng Pháp, có nghĩa là “Góc nhỏ quạnh hiu”. Theo kế hoạch của Nữ hoàng Catherine, để bố trí bộ sưu tập tranh đã dành riêng một phần của tòa cung điện được gọi là “Hermitage nhỏ”, nơi này được xem như một góc thân mật của Imperial Palace dành cho vui chơi giải trí. Ở đây đã trưng bày 225 bức tranh đầu tiên mà Nữ hoàng đã mua ở châu Âu. Đối với Nga hoàng Catherine II, "việc đầu tư cho văn hóa" vừa là một động thái chính trị cho châu Âu thấy rằng, ngân khố Nga không gặp vấn đề về tài chính sau cuộc chiến với Phổ, vừa là một bước đi khẳng định lòng trung thành của đế quốc Nga với tư tưởng của thời kỳ Khai sáng.
Có rất nhiều truyền thuyết về việc thành lập Hermitage. Ví dụ, có một ngày, cô gái trẻ Catherine đi qua Cung điện Mùa Đông và thấy trong bóng tối một bức tranh cỡ lớn của Rubens “Hạ thi thể Chúa Giê-su khỏi cây thập tự”. Catherine dừng lại và ngưỡng mộ hình ảnh này. Và sau đó quyết định tạo ra bộ sưu tập tranh trong cung điện. Chẳng bao lâu sau, Nga hoàng ra lệnh cho các Bộ trưởng và các đại sứ ở nước ngoài nên mua những bức tranh tốt nhất đang trưng bày trong các cung điện khác và trong các bộ sưu tập tư nhân ở châu Âu. Cho dù truyền thuyết đó là sự thật hay không, nhưng, kết quả là, trong những năm ngồi trên ngai vàng Nữ hoàng Catherine II đã mua cho viện bảo tàng hơn 4.000 bức tranh, hàng trăm tác phẩm điêu khắc, thảm trang trí và đồ trang sức.
Ngày nay, Hermitage là một trong những bảo tàng lớn nhất thế giới. Phần trưng bày chính của bảo tàng chiếm 5 tòa nhà chạy dọc sông Neva. Ở đây bảo quản khoảng 3 triệu tác phẩm nghệ thuật và các di tích của nền văn hóa thế giới. Chỉ cần đi thăm hết các phòng của bảo tàng Hermitage cũng đã bằng đi bộ 22 cây số. Và nếu ta đến bảo tàng mỗi ngày trong 8 giờ và dừng chân chỉ một phút trước mỗi tác phẩm, thì phải mất gần 15 năm để xem hết bộ sưu tập.