绥芬河历史悠久,早在四五千年前就有中华民族的祖先在此繁衍生息。先后隶属于唐、金、明、清等朝代，唐称“率宾水”，金称“苏滨水”，明称“速频江”，清代始称“绥芬河”。“绥芬”一词源于满语，锥子之意，指在这条河里生长着一种尖锐如锥的钉螺。
绥芬河原属清代内陆地区。1860年中俄签订《北京条约》，始与俄国接壤，成为边境地区。19世纪末，沙俄开始修筑中东铁路，在绥芬河河岸的东宁县三岔口建立第五车站，命名为绥芬河站。后因地质结构原因，向北移动50公里，成为现在绥芬河市的所在地。
绥芬河市近代和现代发展大致可分为四个阶段:
1903年至1933年。1903年1月，清政府设立“总理绥芬河铁路交涉局”，始有绥芬河地名之称。1903年中东铁路建成，奠定了绥芬河地区交通、通讯、通商的基础，曾与俄罗斯符拉迪沃斯托克、哈尔滨得到同步的发展。1923年3月，东省特别区行政长官公署设绥芬河市政分局；1927年4月，国民政府成立东省特别行政区绥芬河市；1933年7月，绥芬河公署成立，隶属伪北满特别区公署。这30年间，有俄、日、朝、英、法、意、美等18个国家的使节和商贾云集于此，文化和经贸交流异常繁荣活跃，五颜六色的各国旗帜林立市区，时称“旗镇”和“国境商业都市”，并有“东亚之窗”的美誉。绥芬河还在东北最先开通了火车、汽车，最先有了电灯、电话，被冠之“文明中心”。
1933年至1945年。1933年，日本关东军占领绥芬河后，中苏间铁路被堵塞中断。1935年，日伪当局断绝与苏联的交通后，对苏贸易完全停止。此其间，绥芬河市的商业活动全部停滞，各国商人纷纷撤离，人口锐减，经济萧条。1939年6月，绥芬河划为绥阳县管辖，改为绥芬河街。
1945年至1987年。1945年，绥芬河获得解放。新中国成立后的十年间，绥芬河始终承担运输中苏战略物资和进出口货物的重任。1946年3月，绥芬河区成立，归绥阳县管辖；1948年9月，东宁、绥阳两县合并，县委县政府及直属机关迁至绥芬河区；1952年1月，绥芬河军政委员会成立（厅级），隶属东北行政委员会，东宁县委县政府及直属机关迁至东宁区；1956年3月，绥芬河区撤销，改为绥芬河镇和北寒葱河乡，隶属东宁县；中共绥芬河军政委员会党组成立，隶属黑龙江省委和牡丹江地委双重领导；1958年9月，绥芬河镇和北寒葱河乡撤销，成立绥芬河中苏友好人民公社；1964年10月，绥芬河中苏友好公社撤销，分别成立绥芬河镇公社和建设公社，隶属东宁县；镇公社同军政委员会合署办公，军政委员会隶属牡丹江地区专署；1968年2月，绥芬河军政委员会撤销，设绥芬河区，县级建制，隶属省委和牡丹江地区双重领导；1973年6月，绥芬河区撤销，地方工作绥芬河公社和建设公社领导隶属东宁县；1975年8月，国务院批准绥芬河成立市（县级、地辖）。60年代初至70年代末，中苏政治关系恶化，双边贸易处于停滞状态。1975年，绥芬河被国务院正式批准为省辖计划单列市。80年代后，中苏两国政治关系改善，经贸关系出现转机。1983年10月，牡丹江行政公署撤销建市，绥芬河市改为省辖市，牡丹江代管；1984年12月，绥芬河市被省委省政府批准为省辖计划单列市。1984年至1985年间，中苏两国相继签订了“经济和科技合作协定”、“贸易和支付协定（1986—1990年）”。1987年,绥芬河市与对面城市波格拉尼奇内区政府签订合作协议，地方层面边境贸易由此拉开序幕。
1988年至今。1988年,绥芬河市被黑龙江省委、省政府批准为通贸兴边试验区；1992年被国务院批准为国家首批沿边扩大开放城市，同年设立了边境经济合作区，实现了由省级通贸兴边试验区向国家级沿边开放城市的历史性跨越；1999年6月，经中俄两国外交换文批准成立中俄互市贸易区；2009年4月，经国务院批准设立黑龙江绥芬河综合保税区。2011年7月，经黑龙江省委、省政府批准列为省直管行政体制改革试点市，经济社会享受地市级管理权限。借助国家沿边开放政策，绥芬河对外开发开放不断走向深入，逐步发展成全国对俄经贸合作的重要前沿。2017年11月，黑龙江省委、省政府中止绥芬河市省直管市试点，重新划归牡丹江市管辖。
