O clube nasceu de uma reunião de professores. James Allan, um mestre-escola escocês, montou o Sunderland and District Teachers em 1879, e em outubro de 1880 o nome mudou para Sunderland Association Football Club e as portas se abriram para quem não dava aula. Em 1890 o clube entrou na Football League no lugar do Stoke, o primeiro time admitido depois da fundação da liga, e em cinco anos já tinha três campeonatos ingleses. William McGregor, o fundador da liga, viu um 7 a 2 sobre o Aston Villa e chamou aquele time de Team of All Talents, o nome que ficou.
Vieram mais dois títulos, em 1902 e 1913, e com o de 1913 a primeira final de Copa da Inglaterra, perdida por 1 a 0 para o Aston Villa. Em 1928-29 Dave Halliday fez 43 gols em 42 jogos, marca de temporada que ninguém no clube alcançou depois. O sexto e último campeonato inglês saiu em 1935-36, com 109 gols e com Raich Carter e Bobby Gurney fazendo 31 cada um. A temporada também trouxe a morte do goleiro Jimmy Thorpe, chutado depois de segurar a bola num recuo contra o Chelsea, episódio que mudou a regra e passou a proibir o pé levantado contra o goleiro com a bola nas mãos. No ano seguinte veio a primeira Copa da Inglaterra, 3 a 1 sobre o Preston North End em Wembley.
No pós-guerra o Sunderland gastou como ninguém e ganhou o apelido de Bank of England club, com recordes de transferência quebrados para levar Len Shackleton e Trevor Ford. A conta chegou em 1957, com multa de 5 mil libras por pagar acima do teto salarial e presidente e três diretores suspensos, e em 1958 veio o primeiro rebaixamento em 68 anos de liga. O momento maior chegou fora da elite. Em 1973, ainda na segunda divisão, o clube ganhou a Copa da Inglaterra por 1 a 0 sobre o Leeds de Don Revie, com o voleio de Ian Porterfield aos 30 minutos e a defesa dupla de Jimmy Montgomery em Trevor Cherry e Peter Lorimer. O título valeu a única campanha europeia da história até então, a Recopa de 1973-74, que acabou no segundo turno contra o Sporting.
Peter Reid pegou o clube em março de 1995 brigando contra a queda para a terceira divisão e ficou sete anos. Foi campeão da segunda divisão em 1996, mudou de casa em 1997, quando o Roker Park deu lugar ao Stadium of Light, e subiu de novo em 1999 com 105 pontos. Nas duas temporadas seguintes o Sunderland terminou a Premier League em sétimo, com Kevin Phillips fazendo 30 gols em 1999-2000 e levando a Chuteira de Ouro europeia, o primeiro inglês a conseguir isso. A queda foi tão rápida quanto a subida, com 19 pontos em 2002-03 e um vaivém entre as duas divisões que durou vinte anos.
O fundo do poço veio em sequência, com rebaixamentos em 2017 e 2018 que levaram o clube à terceira divisão pela primeira vez desde 1988, tudo filmado pela Netflix em Sunderland 'Til I Die. Kyril Louis-Dreyfus comprou o controle em fevereiro de 2021, a subida da League One saiu no playoff de 2022 e a volta à elite em 24 de maio de 2025, com 2 a 1 sobre o Sheffield United em Wembley. O clube então gastou 203,8 milhões de libras numa janela só, terminou 2025-26 em sétimo, a melhor colocação desde 2000-01, e se classificou para a Liga Europa. É a primeira vez que o Sunderland vai à Europa por posição no campeonato, e a primeira campanha europeia em 53 anos.