Uma primeira tentativa de fundar um clube de futebol na cidade fracassou em 1903, e dois anos depois nasceu o 1. Mainzer Fussballclub Hassia 1905. Depois de anos na federação do sul da Alemanha, ele se fundiu com o FC Hermannia 07 para formar o 1. Mainzer Fussballverein Hassia 05, que tirou o Hassia do nome em agosto de 1912. Outra fusão, em 1919, com o Sportverein 1908 Mainz, produziu o nome atual: 1. Mainzer Fußball- und Sport-Verein 05. O apelido é Die Nullfünfer, os zero-cincos.
O clube não tem nenhum título nacional de primeira grandeza. O que existe na sala de troféus é o campeonato amador alemão de 1982 e duas Copas do Sudoeste, a última em 1986, e é justamente isso que faz a história dele interessante, porque nada do que o Mainz é hoje vem de troféu. Entre as guerras ganhou campeonatos regionais e chegou à fase nacional de 1921, e depois passou meio século entre a segunda e a terceira divisão do futebol alemão.
A virada tem nome. Jürgen Klopp chegou como jogador em 1990, ficou onze temporadas e fez 340 partidas e 56 gols, o que o coloca em quarto na lista de jogos e em sexto na de artilheiros da história do clube. Em fevereiro de 2001, com o time ameaçado de rebaixamento na segunda divisão, ele pendurou as botas de um dia para o outro e assumiu como técnico. Ficou sete anos, subiu à Bundesliga em 2004 e saiu em 2008 para o Borussia Dortmund.
Depois de Klopp veio Thomas Tuchel, que dirigiu o clube de 2009 a 2014 e o levou a um quinto lugar na Bundesliga em 2010-11. O padrão que os dois deixaram é o que o clube usa até hoje: contratar técnico jovem e desconhecido, dar tempo, e vender jogador antes de ele ficar caro. O diretor esportivo Christian Heidel, que contratou os dois, ficou no cargo de 1992 a 2016.
Desde a subida de 2009 o clube está na Bundesliga sem interrupção, o que para uma casa com o orçamento dele é a conquista real. A Mewa Arena tem 33.305 lugares e é uma das menores da liga. O mercado explica o resto: as dez maiores vendas somam mais de 190 milhões de euros, com Brajan Gruda por 31,5 ao Brighton, Abdou Diallo por 28 ao Borussia Dortmund, Jean-Philippe Gbamin por 25 ao Everton e Jonathan Burkardt por 21 ao Eintracht Frankfurt, e nenhuma compra da história passou de 10 milhões. Os rivais são o Eintracht Frankfurt e o Kaiserslautern.