1903年1月 清政府设立“总理绥芬河铁路交涉局”,始有绥芬河地名之称;
1923年3月东省特别区行政长官公署设绥芬河市政分局;
1927年4月国民政府成立东省特别行政区绥芬河市;
1933年7月绥芬河公署成立,隶属伪北满特别区公署;
1939年6月绥芬河划为绥阳县管辖,改为绥芬河街;
1946年3月绥芬河区成立,归绥阳县管辖;
1948年9月东宁、绥阳两县合并,县委县政府及直属机关迁至绥芬河区;
1952年1月绥芬河军政委员会成立(厅级),隶属东北行政委员会,东宁县委县政府及直属机关迁至东宁区;
1956年3月绥芬河区撤销,改为绥芬河镇和北寒葱河乡,隶属东宁县;中共绥芬河军政委员会党组成立,隶属黑龙江省委和牡丹江地委双重领导;
1958年9月绥芬河镇和北寒葱河乡撤销,成立绥芬河中苏友好人民公社;
1964年10月绥芬河中苏友好公社撤销,分别成立绥芬河镇公社和建设公社,隶属东宁县;镇公社同军政委员会合署办公,军政委员会隶属牡丹江地区专署;
1968年2月绥芬河军政委员会撤销,设绥芬河区,县级建制,隶属省委和牡丹江地区双重领导;
1973年6月绥芬河区撤销,地方工作绥芬河公社和建设公社领导隶属东宁县;
1975年8月国务院批准绥芬河成立市(县级、地辖)
1983年10月牡丹江行政公署撤销建市,绥芬河市改为省辖市,牡丹江代管;
1984年12月绥芬河市被省委省政府批准为省辖计划单列市;
2011年7月绥芬河市被省委省政府确定为省直管试点市。
2017年11月省委、省政府中止绥芬河市省直管市试点,重新划归牡丹江市管辖。