黑龙江省图书馆始建于1906年（清光绪三十二年），前身为黑龙江将军署学务处在齐齐哈尔市创办的图书馆。1954年原黑龙江省与原松江省合并为新的黑龙江省，省会由原来的齐齐哈尔市改设在哈尔滨市，原黑龙江省图书馆便更名为齐齐哈尔市图书馆。

2013年5月，国务院（国发[2013]13号）公布黑龙江省图书馆旧址为全国重点文物保护单位。