Первую известную на территории Древней Руси библиотеку основал в 1037 году в Софийском соборе Киева князь Ярослав Мудрый. В разное время делались попытки хотя бы примерно определить фонд этого книжного собрания. Некоторые источники утверждают, что оно «насчитывало великие тысячи книг на разных языках”. Историк русской церкви Голубинский определил книжный фонд первой библиотеки в 500 томов. Но, несомненно: в этой библиотеке имелись основные произведения Древней Руси, как переводные, так и оригинальные, и что ее фонд непрерывно увеличивался.
Сохранить библиотеку в то время было делом весьма сложным. Можно говорить о том, что Софийский собор насчитывал ряд библиотек: одни гибли, на их месте возникали новые. В 1169 году, например, Мстислав, сын Андрея Боголюбского, взял Киев, три дня грабил собор и вывез все книги. В 1203 году Софию грабили половцы в союзе с русскими князьями, и опять пострадал книжный фонд библиотеки.
В XIII-XV веках были основаны библиотеки в Чудовом, ТроицеСергиевом, Кирилло-Белозерском, Соловецком монастырях, при дворах митрополитов. Наряду с книгами религиозного содержания в монастырях хранились и переписывались исторические хроники, летописи, жития, хождения, лечебники, травники, сочинения по географии.
Особо стоит сказать о так называемой библиотеке Ивана Грозного. Это собрание античных греческих и латинских рукописей, якобы хранившихся при дворе московских великих князей и царей в конце XV и в течение XVI века. По легенде, книги привезла в Москву невеста Ивана III Софья Палеолог. Согласно свидетельствам современников, в 1565 году при Иване Грозном библиотека размещалась в Кремле в двух подвалах. В XVII веке сведений о ней уже нет. Возможно, она погибла в начале столетия, во время потрясений Смутного времени. Не исключено, впрочем, что книжная сокровищница московских правителей была кем-то вывезена за рубеж либо, напротив, надежно перепрятана в России. Многие серьезные ученые (Забелин, Соболевский, Тихомиров) верили в ее существование. Правда, поиски библиотеки в течение XVIII-XX вв. в Кремле, Коломенском, Александровской слободе оказались безуспешными.
В конце XVII века уже формировались первые специализированные библиотеки: Типографская при Печатном дворе, собрания при Пушкарском и Аптекарском приказах. В библиотеку Посольского приказа собирали книги по истории и внешней политике, значительным собранием располагала Славяногреко-латинская академия.
Реформы Петра Великого содействовали росту числа специальных и появлению учебных и первых публичных библиотек. Они располагали светской литературой по всем отраслям знаний. Одновременно с Кунсткамерой в Петербурге была основана и Библиотека Академии наук; с 1728 года в определенные дни и часы она открыла свои двери для всех желающих. На основе прежней Патриаршей власти организовали Синодальную библиотеку. А в 1756 году открылась Библиотека Московского университета. В 1780-х годах в старой столице издатель и просветитель Николай Новиков открыл бесплатную библиотеку-читальню. На добровольные пожертвования создавались бесплатные библиотеки в губернских городах. Среди личных собраний XVIII века выделялись библиотеки Петра Великого, Якова Брюса, Волынского, Воронцовых, Ломоносова, Меншикова, Миллера, Мусина-Пушкина, Потемкина, Татищева, Шереметевых. Но крупнейшей очень долго являлась дворцовая библиотека в Эрмитаже.