日本国立国会图书馆有两个源流。一是设立于1890年、隶属于旧宪法下帝国议会的贵族院众议院图书馆，另一则是设立于1872年、隶属于文部省的帝国图书馆。其中帝国图书馆经历了自书籍馆（1872）、东京书籍馆（1875）、东京府书籍馆（1877）、东京图书馆（1880）至帝国图书馆（1897）的变迁。1947年改称为国立图书馆。

日本国立国会图书馆建于1948年，是法定的存放图书馆，存放日文出版物和美国政府，UN，UNESCO，ILO，WHO等机构的出版物。本馆是IFLA亚太中心，ISSN中心，和日本国际图书交换和信息中心。分为1个办公署和6个部门，由三个主要图书馆和35个分馆组成。

日本国立国会图书馆由中央馆（总务部、调查及立法考查局、收集部、图书部、逐次刊行物部、专门资料部、图书馆协力部）国会分馆、国际儿童图书馆（原支部上野图书馆）、支部东洋文库以及行政司法各部门的35个支部图书馆组成。