Vào lúc cuối đời, Shah Jahan bị con trai là Aurangzeb tống giam vào tù bên trong pháo đài - một hình phạt có lẽ không khắc nghiệt lắm vì pháo đài này rất xa hoa. Người ta đồn rằng Shah Jahan qua đời ở Muasamman Burj, một ngôi tháp với các ban-công bằng cẩm thạch với tầm nhìn tuyệt vời ra Taj Mahal.