O clube nasceu em 13 de fevereiro de 1948 da fusão de dois times de bairro que já eram grandes na cidade, o Kölner Ballspiel-Club 1901 e o Spielvereinigung 1907 Köln-Sülz. O Kölner BC tinha sido campeão do oeste da Alemanha em 1912 e perdeu a final da liga de 1920 para o Borussia Mönchengladbach, de todos os adversários possíveis. O Sülz 07 foi campeão do oeste em 1928 e atravessou os anos 1930 e 1940 na Gauliga Mittelrhein, a divisão de elite que o regime nazista montou na reorganização do futebol alemão em 1933. Da fusão saiu um clube que estreou na Oberliga West em 1949-50 e ganhou a primeira divisão regional já em 1953-54.
O primeiro título nacional veio em 1962, com 4 a 0 sobre o 1. FC Nürnberg na final do campeonato alemão, e a Copa dos Campeões seguinte virou a lembrança mais estranha da história do clube. Em 1962-63 o Colônia era um dos favoritos, foi à Escócia enfrentar o Dundee e perdeu por 8 a 1; ganhou a volta por 4 a 0 e caiu. Dois anos depois, nas quartas contra o Liverpool, foram 0 a 0, 0 a 0 e 2 a 2 em três jogos, e como o pênalti ainda não existia como critério, a vaga foi sorteada numa moeda, que na primeira tentativa cravou de pé no gramado e teve de ser jogada outra vez. O Liverpool passou.
Em 1963 o clube foi um dos dezesseis fundadores da Bundesliga e ganhou a primeira edição dela, a de 1963-64, o que ninguém mais pode reivindicar. Foi também o primeiro time da liga a escalar um brasileiro, Zézé, comprado do Madureira por 150 mil marcos, então recorde da casa. A década de 1970 começou com três finais de Copa da Alemanha perdidas em quatro anos e terminou na melhor temporada da história: 1977-78, o terceiro campeonato alemão e a Copa no mesmo ano, com 2 a 0 sobre o Fortuna Düsseldorf na decisão. Foi a segunda dobradinha da era Bundesliga. A quarta Copa saiu em 1983, e a única final europeia foi a da Copa da UEFA de 1985-86, perdida para o Real Madrid por 5 a 3 no agregado.
Nos primeiros anos da Bundesliga o Colônia era o clube com mais pontos somados de todos. A partir dos anos 1990 isso desabou. O primeiro rebaixamento veio em 1998 e abriu duas décadas de sobe e desce que renderam ao clube o apelido de time ioiô: entre 2001-02 e 2005-06 ele trocou de divisão em toda temporada. Foi nessa fase que estabeleceu o recorde mais ingrato da liga, 1.034 minutos sem marcar um gol em 2001-02, o equivalente a onze jogos e meio, quebrado por Thomas Cichon. Em 2011-12 caiu de novo, agora com 33 milhões de euros de dívida e 11 milhões de patrimônio negativo.
A recuperação foi administrativa antes de ser esportiva. Em abril de 2012 os sócios elegeram uma diretoria nova, com Werner Spinner na presidência e o ex-goleiro Toni Schumacher na área esportiva, e a partir de 2013 Peter Stöger no comando técnico. O clube subiu como campeão da segunda divisão em 2013-14, terminou em quinto em 2016-17 e voltou à Europa depois de 25 anos, enquanto o patrimônio ia de 11 milhões negativos a 20 milhões positivos e o faturamento saía de 56 milhões para mais de 120. A queda seguinte foi rápida, três pontos em dezesseis jogos em 2017-18 e o último lugar, e o padrão se repetiu em 2023-24, com nova descida e nova subida como campeão da segunda divisão em 2024-25. Em 2025-26, de volta à elite, o clube terminou em 14º.
O apelido é Die Geißböcke, os cabritos, e vem do mascote: um bode chamado Hennes, doado por um dono de circo como piada de carnaval e batizado em homenagem a Hennes Weisweiler, que foi jogador e técnico da casa. O bode em exercício desde 1º de agosto de 2019 é o Hennes IX. Localmente o clube é só FC, escrito Effzeh e falado com a sílaba errada de propósito, no jeito da região. São mais de 150 mil sócios, o quarto maior clube da Alemanha em número de associados.
