科隆的歷史可以追溯到公元前1世紀。那時羅馬帝國正稱雄歐洲，皇帝奧古斯都派駙馬阿格里帕揮師北進，抵達萊茵河邊，與河東為數眾多的日耳曼部落隔河對峙。阿格里凰招募盟友烏比爾部落到河西來建起軍營要塞，共同防守新開拓的邊地。這是公元前38年的事。又過了幾十年，營寨四周漸成街市。這時，阿格里帕的外孫女，出生于此地的阿格里皮娜登上了皇后寶座。她懇請皇帝把自己的故鄉升格設市。公元50年，后幸福克勞鍬一世下詔，授予此地羅馬城市的權力，并定為名為科隆尼亞·克勞狄·阿拉·阿格里皮內西姆。這市名雖長，卻道出了城市的歷史淵源。科隆尼亞意為羅馬人的拓居地，克勞狄是皇帝名，阿拉是烏比爾沖淡落的祭壇，阿格里皮內西姆則是皇后名加詞尾變化而來。天長日久，這冗長的市名遂簡化為科隆。羅馬時代是科隆歷史上的第一個興盛時期，這里商賈云集，街市繁盛，城垣高磊，至今猶存的羅馬塔（Romerturm），就是那時城垣的一部分。
中世紀是科隆的又一個盛世。公元795年，查理大帝定科隆為大主教駐地。此后，城池經幾度擴建，到12世紀時，今日科隆內城的規模就已經奠定。半圓形的城垣總長6公里，開有12座城門，現存3座，從中仍可窺見中古科隆城的雄偉氣勢。那時科隆有居民4萬人，是德意志首屈一指的大城，人口甚至超過當時的巴黎和倫敦。科隆的興盛得益于優越的地理位置。它地處南北水路和東西大道的要沖，又是朝圣要道。舟楫車馬都從這里經過，八方貨物也在這里集散。科隆當時還有一個特權，即：所有途經科隆的貨物，都必須首先在該市展銷3天，才能繼續轉運。這對于科隆的商業，無疑是一大促進。隨著經濟勢力的增強，科隆的富商和手工業行會奪回了城市管理權，大主教逃往波恩，不再是科隆的統治者。科隆成為帝國自由市和漢薩同盟的重要城邦。
鐵與蒸汽機的時代為科隆帶來了第三個興盛時期。1815年，科隆被并入普魯士。1839年，鐵路修到科隆，與河運聯成一氣。隨著魯爾煤田的開發和鐵路的延伸，科隆一躍而成近代的工商業都市。1876年，發明家奧托在科隆造出世界上第一臺四沖程內燃機，轟動了各國工業界。從1917年到1933年，阿登納擔任科隆市長。在他的推動下，科隆建起了內外環綠化帶和博鑒會場設施，城市面貌大為改觀。
第二次世界大戰中，科隆遭到猛烈轟炸，全城幾乎被夷為平地。戰后，科隆在廢墟上重建，這座歷盡滄桑的萊茵古城，如同灰燼中飛出的金鳳凰，又成為一個興旺發達的現代化大城市。
