O clube foi fundado em 4 de maio de 1904 como Westfalia Schalke, por um grupo de estudantes secundaristas do bairro de Schalke, em Gelsenkirchen, e as primeiras cores eram vermelho e amarelo. O time não conseguiu entrar na federação do oeste da Alemanha nos primeiros anos e passou uma década jogando fora da estrutura oficial. O 04 do nome é o ano de fundação, e o azul e branco só apareceram depois.
A melhor fase é a mais antiga. Nos anos 1930 e 1940, com Ernst Kuzorra e Fritz Szepan, o clube ganhou seis dos sete campeonatos alemães que tem, e em 1937 virou o primeiro time da Alemanha a fazer a dobradinha nacional. O sétimo título saiu em 1958, e desde então o clube nunca mais foi campeão alemão, são quase setenta anos, a maior seca entre os grandes deste catálogo.
As cinco Copas da Alemanha vieram entre 1937 e 2011, e o único título europeu é a Copa da UEFA de 1997, ganha nos pênaltis contra a Internazionale em Milão, com um time que a Alemanha apelidou de Eurofighters porque não tinha nenhum jogador de seleção e passou por Trabzonspor, Roma, Valencia, Tenerife e Inter. A Supercopa da Alemanha de 2012 é o troféu mais recente da casa.
A casa é a Veltins-Arena desde 2001, com 62.278 lugares, e o clube tem 210 mil sócios, o terceiro maior número da Alemanha e o sexto do mundo, numa cidade de 260 mil habitantes. A rivalidade que define tudo é o Revierderby contra o Borussia Dortmund, a trinta quilômetros, e ela nasceu das mesmas minas de carvão e das mesmas siderúrgicas que criaram os dois clubes.
A última década foi de colapso e de volta. O clube acumulou dívida, foi rebaixado em 2020-21 depois de uma temporada com nove derrotas seguidas, subiu, caiu de novo em 2022-23 e passou três temporadas na segunda divisão até voltar como campeão dela em 2025-26, o quarto título de segunda divisão da história da casa. O caixa desses anos veio de vender base: Leroy Sané por 52 milhões de euros ao Manchester City, Julian Draxler por 43 ao Wolfsburg, Thilo Kehrer por 37 ao Paris Saint-Germain e Manuel Neuer por 30 ao Bayern de Munique, todos formados aqui.
