Ngọn cao nhất ở Na Hang, trong tiếng Tày, núi Pắc Tạ có nghĩa là “vú của trời”, hay còn có tên gọi khác là núi Xa Tạ, Núi Voi. Ngọn núi “bí ẩn” này gắn liền với truyền thuyết từ xa xưa để lại. Chuyện kể lại năm đó, có giặc ngoại xâm vào xâm chiếm, bà con địa phương tập trung tất cả binh lực dồn cho cuộc chiến đấu giữ nước, trong đó có đàn voi đã được thuần dưỡng. Thế nhưng, trong đàn voi có một con voi đực to khỏe nhất đàn, không ai thuần dưỡng được. Bao nhiêu tướng lĩnh giỏi phải bó tay.
Trong bản có một người dũng cảm xin đảm nhận công việc thuần dưỡng voi bằng cách cho voi uống rượu. Đến ngày xuất trận, “voi rượu” hùng dũng xông ra trận tiền phá tan đội hình quân giặc. Chiến thắng trở về, “voi rượu” được nhà vua phong làm “Voi Quận công” và mở yến tiệc linh đình chiêu đãi tướng sỹ. “Voi rượu” hút hết nậm rượu này đến nậm rượu khác. Say quá, “voi rượu” tắt thở. Nhưng kỳ lạ thay, voi chết mà vẫn đứng sừng sững uy nghiêm, dáng vẻ hùng dũng như lúc xung trận. Đêm ấy, trời mưa tầm tã, gió rít ào ào như bày tỏ niềm tiếc thương của dân bản đối với “voi rượu”. Sáng hôm sau, người ta thấy cả voi và nậm rượu đã hóa đá, khối đá ấy mỗi ngày một lớn dần lên thành ngọn núi Pác Tạ như ngày nay.