馆舍是图书馆发展的硬件基础，是办好图书馆的最基本的物质条件之一。在北京大学图书馆走过的一百多年历程中，馆舍经历了从无到有，从狭小到宏大，从传统到现代的发展过程。
1898年京师大学堂藏书楼成立之初，使用的馆舍是马神庙和嘉公主府的梳妆楼，条件相当简陋。辛亥革命后，京师大学堂更名为北京大学校，大学堂藏书楼亦更名为北京大学图书馆。并在馆舍西侧增建了一座西文阅览室，俗称西文藏书楼，原藏书楼用作中文阅览室，使整个馆舍规模有了一定的扩展。
1918年10月，李大钊任主任的图书馆迁入沙滩红楼一层，并设立了两处分馆。红楼原设计并非用于图书馆，其建筑布局亦不适合图书馆功能之发挥。但从规模上讲，比藏书楼时期已经有了不少扩充，设有六个阅览室和中、小二十余个书库，提升了学校的办学条件。
随着学校的迅速发展，声誉日隆，兴建北京大学图书馆新馆舍已经成为当时全校师生的共同呼声。1931年暑假，北大图书馆由红楼迁入其北侧的松公府（临时馆舍）。图书馆迁入松公府后，书库合并为七个。设立了大阅览室、特别参考室、杂志阅览室、阅报室等四个阅览室，条件较之前有所改善。同时新馆筹建也在积极进行中。经过蒋梦麟、胡适等人努力，北京大学图书馆新馆于1935年8月落成。新馆为通体采用钢筋水泥式的避火建筑，占地面积1,256平方米，建筑面积约6,600平方米。建筑式样为山字形，坐北朝南，前部及东西部为二层，中间及后部为四层。设有五间大阅览室、24间研究室，书库可容纳藏书30余万册，其馆舍条件在当时国内堪称一流。1935年新馆的建成，进一步扩大了图书馆的开放性，使整体布局更趋合理，为北大图书馆的发展奠定了基础条件。
1952年全国院系调整，北京大学迁至海淀燕园，燕京大学并入北京大学，燕大图书馆并入北大图书馆。这一时期，北大图书馆使用原燕京大学图书馆馆舍作为总馆。燕大图书馆馆舍建于1926年，建筑面积3,000多平方米，在建筑风格上以仿文渊阁为主，同时，馆舍内部参考西式，共四层，首层为可容纳260余人的大阅览室，1-2层中部挑空，书库可容藏书30余万册。据当年《燕大图书馆概况》介绍：“本馆之建筑，似甚宏大，而以建筑之不甚合式，未免大而无当”。燕大图书馆对于当年燕大的规模还能基本满足需求。但是，对于两校合并后已积累了160余万册藏书的北京大学图书馆来讲，馆舍面积是远远不够的。当时，为解决馆舍条件狭小的问题，图书馆把大量藏书分散储藏于文史楼顶层和未名湖周边原燕大大屋顶式建筑群的阁楼里，并在全校各教学区设立阅览室，以保证图书馆的服务正常进行。院系调整后，建设一座能满足新北大教学科研需求的大型图书馆的计划已列入学校的总体规划。1956年11月3日下午，周恩来总理陪同外宾来校访问，到图书馆参观时提出“北大要有一个像样的图书馆”。北大兴建图书馆的计划得到中央的批准。但受后来政治运动等因素的影响，建设新馆的计划被迫搁浅。直至1971年才由国务院有关部门和北京市批准立项建设北京大学新图书馆。经过调研和筹备，1974年4月4日正式开工建设，至1975年5月建成开馆。新图书馆是一座由主书库、辅助书库、阅览室、研究室和内部业务用房组成的综合性大学图书馆。其使用功能包括藏书、阅览、出纳、检索、内部业务和办公等各个环节，总建筑面积24,813平方米，其中书库面积11,059平方米，主书库10层，辅助书库8层，可容纳藏书350-360万册。借阅和对外服务区4层，阅览面积5,324平方米，各种阅览室31间，设计阅览座位2,400个。馆舍占地面积约7,000平方米。南北长100米，东西宽70米，总高18.5米（局部23米）。原设计为坐西朝东的“田”字形建筑，后因故去掉西面主书库两侧的辅助书库，呈“出”字形。总体格局仍是中间为书库，周围为阅览室（每层阅览室对应两层书库）的传统图书馆。书库（主层）为现浇钢筋混凝土结构，阅览室和办公区域为砖混结构。整个建筑共设东、南、北三个入口，其中东入口为正面入口。该馆建成初期是当时国内建筑面积最大、馆舍条件最好的图书馆，在图书馆界产生过一定影响，国内有些图书馆曾模仿建造。它的建成较大地改善了当时北大图书馆的藏书和借阅条件，有力地支持了学校的教学和科研工作，为文革后图书馆的恢复发展奠定了基础。
进入21世纪90年代中期，随着“211”工程的启动，学校教学科研迅速发展，图书馆的藏书规模不断扩充，读者人数逐年增加，原有馆舍无论在空间上还是功能上都已明显落后，迫切需要兴建一座具有世界一流水平的大学图书馆。在各方面努力下，由香港著名实业家李嘉诚先生捐资兴建的北大图书馆东楼新馆舍于1996年6月20日动工兴建，1998年5月4日北大百年校庆之际竣工。该馆舍由清华大学建筑设计院设计，中国工程院院士关肇邺教授担任东楼总体设计师。在建筑风格上，东楼既有燕园建筑的传统风格，又不失现代文化气氛，既与校园及周边建筑融为一体，又突显了自身特色。该馆舍地上7层，地下2层，总建筑面积26,680平方米，总高37米，由主楼和两个配楼三部分组成，以西侧与老的西楼馆舍东侧相连而建。外形与西楼浑然一体，东西楼一到四层各层等高连接，内部与西楼合二为一，珠联璧合，成为同一空间，极大地方便了读者利用和日常管理。东楼采用模数式柱网结构，统一承重，统一层高，统一柱网，方便布局和调整；采用智能化综合布线（包括无线网络）系统，以满足信息化发展之需；在冬季采用水暖系统取暖，夏季使用中央空调降温，并根据天气变化，随时调节，在给读者和员工创造舒适的阅读和工作环境的同时，又减少了碳排放。东楼的建成，增加了300万册藏书空间和2,000个阅览座位，较大地改善了图书馆的阅读和工作条件，受到全校师生的欢迎。
东楼建成后，与之相连的1975年建成的西楼更显陈旧老化，原建筑布局已不适合现代大学图书馆功能之要求，且存在大量安全隐患。在教育部支持下，学校于2004年5月至2005年7月间，按现代图书馆之要求对西楼馆舍进行了大规模改造与修缮。对原建筑布局进行了适当调整，尽可能改变原建筑中长楼道、小开间格局，便于进行全方位的开放式服务。改造的重点之一是在原露天的南侧天井上方三层处加筑玻璃穹顶，将其建成集检索、借书、还书、咨询、证卡管理等一站式服务的阳光大厅。同时，全面提升供电、供水、照明、网络、空调、消防等各方面的功能，并进行内外装修，使之与时代同步。改造后，图书馆增加建筑面积1,385平方米。至此，北大图书馆的馆舍面积达到52,878平方米。
2000年，原北京医科大学图书馆并入北大图书馆。医学馆拥有馆舍面积10,200平方米，现有阅览座位744个。2009年在昌平建成国内首例远程储存图书馆，面积4,952平方米。总馆、医学馆、41个分馆、储存馆总面积约90,000平米。
为了营造更加安全的馆展文化环境，全面改善师生使用图书馆的体验，进一步提升图书馆的信息化水平和服务能力，2018年5月，图书馆东楼启动全面维修改造工程；2020年10月，项目正式竣工；2020年12月1日，图书馆东楼正式重启。东楼修缮是学校的重要民生工程，也是图书馆的系统工程和发展转型工程，标志着北京大学图书馆已经从以建筑和文献为中心的馆舍型、资源型向以用户为中心的服务型转变。东楼重启意味着学校标志性建筑的重新启动、师生用户所需服务的重新启用、图书馆内涵式发展的重新启示，以及北京大学文献保障和信息服务事业现代化的重新启航。东楼的重启标志着北京大学图书馆总馆由东区和西区组成的一体化服务统筹，标志着图书馆将成为全校师生员工重要的活动场所、难得的感悟空间和美丽的生活面貌。图书馆将积极融入学校发展事业大局和民族复兴伟业全局，成就新格局、新模样、新气象、新担当的人格化图书馆，开启全面建设世界顶级的大学图书馆新征程。