呼玛县，因呼玛河得名。“呼玛”，又称“呼玛尔”、“库玛尔”，系达斡尔语，“高山峡谷不见阳光的急流”之意。汉晋属鲜卑，唐属室韦都督府，辽属东京道室韦部，金属上京蒲峪路，元属辽阳行省开元路，明属奴儿干都司，清初，始属宁古塔将军管辖。1683年（清康熙二十二年），在黑龙江上游呼玛尔河口附近，修建呼玛尔木城，改隶黑龙江将军管辖，属黑龙江副都统辖区。1727年（清雍正五年），黑龙江将军于呼玛尔城设置呼玛尔卡伦。清末，1908年8月5日（清光绪三十四年七月初九日），清廷批准，拟设呼玛直隶厅，驻西尔根卡伦。后因条件所限，缓设。1909年（清宣统元年），于呼玛尔河口设置呼玛尔河总卡官，节制呼玛尔河、依西肯、倭西门、安干、察哈彦、望哈达卡伦。隶属瑷珲兵备道。中华民国成立后，1912年7月1日，设置呼玛厅设治局，驻呼玛尔河口（又称“金山口”，今金山乡金山村）。1914年1月11日批准，将呼玛厅设治局改为呼玛县，为二等县。同年7月11日，呼玛县知县孙绳武启用“呼玛县印”，隶属黑河道；10月批准，呼玛县署迁至古站（今呼玛镇）。1915年1月，将倭西门卡伦改为呼玛县分驻倭西门县佐。1916年4月，呼玛县署正式移驻古站。1929年2月1日，倭西门县佐升改鸥浦设治局，旋即改设鸥浦县。呼玛县由黑龙江省直辖，同年4月提升为一等县。1930年呼玛全县1．4万人。东北沦陷后，初由黑龙江省直辖，1 934年12月划归黑河省管辖。1945年“九三”抗日战争胜利后，隶属黑龙江省管辖。1947年3 月，撤销鸥浦县和漠河县，并入呼玛县。呼玛县改隶黑河专区管辖。1964年8月，将西部林区划归大兴安岭特区管辖。1970年4月，将呼玛县划归大兴安岭地区管辖。1981年5月，将沿江漠河、兴安、开库康、依西肯公社和十八站公社分别划归新设置的漠河县和塔河县管辖。
1992年，呼玛县位于黑龙江省西北部，黑龙江上游右岸，是我国最北部的边境县之一。东与俄罗斯以江为界，国境线长377公里，南与黑河市、嫩江县、内蒙古自治区鄂伦春自治旗接壤，西与新林区毗连，北抵塔河县。县境南北长230公里，东西宽135公里，全县总面积14335平方公里。全县共辖11个乡、镇。1992年末全县总人口4．16万人，其中非农业人口1．95万人。全县除汉族人口外，还有满、鄂伦春、达斡尔、回、蒙古、朝鲜、鄂温克等少数民族人口2547 人，占总人口的5．7%。县政府驻地呼玛镇。
