После смерти графа в 1826 году брат его, Сергей Петрович, обратился к императору Николаю I с просьбой принять в дар и передать в ведение Правительству музей. Император «повелел именовать сей Музеум Румянцевским», пожелав «сохранить память основателей сего полезного заведения».
23 ноября 1831 года в Санкт-Петербурге состоялось открытие для обозрения Румянцевского музея — первого в России частного публичного музея, ставшего вскоре очень популярным. Но спустя некоторое время при отсутствии пополнения книжных фондов, находясь рядом с Публичной библиотекой, он стал терять свою популярность.
В связи с этим в 1861 году музей был переведен в Москву, где открылся вновь созданный «Московский публичный музеум и Румянцевский музеум», который уже через год принял первых посетителей для осмотра экспозиции, а еще через год при нем открылась и библиотека.
Музей разместился в доме отставного офицера П.Е. Пашкова, давшего имя этому памятнику архитектуры, и был одним из наиболее популярных культурно-просветительских учреждений Москвы. Кроме библиотеки, там были отделения рукописей, редких книг, изящных искусств, христианских и русских древностей, этнографии, нумизматики, археологии, минералогии.
После реорганизации 1924 года на базе книжной части собрания была сформирована Библиотека имени В.И. Ленина (ныне Российская Государственная библиотека), остальные коллекции разошлись по разным музеям и архивам страны. В годы Великой Отечественной войны эта библиотека была единственной не эвакуированной из Москвы. Только наиболее ценную часть собрания вывезли в другой регион.
Дальнейшее развитие в 20 веке главной библиотеки страны стремительно вывело ее в число крупнейших библиотек мира, научных, культурных и образовательных центров планеты.