Công trình này được dựng từ năm 1825 trên hồ Học Hải, dùng làm nơi tàng trữ các công văn cũ của Lục bộ và các cơ quan của triều đình. Đây có thể coi là một trong những kho lưu trữ các tài liệu văn bản quý hiếm liên quan đến sinh hoạt của triều đình và biến đổi của đất nước. Chỉ riêng số địa bạ thời Gia Long và Minh Mạng lưu trữ ở đây đã lên đến 12.000 tập.

Triều đình Nguyễn lựa chọn vị trí trên hòn đảo giữa hồ Học Hải với ý đồ cách ly với đất liền, chỉ thông thương bằng một cây cầu. Trước đây, người ta rải chất lưu huỳnh trên mặt đất tầng dưới để loại trừ mối mọt, kiến, gián. Tầng trên trổ nhiều cửa để tạo sự thông thoáng, tránh để tài liệu ẩm mốc.

Cùng với sự chấm dứt của chế độ quân chủ, Tàng Thơ Lâu cũng ngưng hoạt động. Khối lượng tài liệu khổng lồ lưu trữ tại đây cũng bị tiêu tán trong chiến tranh. Di tích này đã được công nhận là Di tích Kiến trúc nghệ thuật cấp quốc gia theo QĐ số 99/2004/QĐ-BVHTT ngày 15/12/2004.