O clube nasceu em outubro de 1886 como Dial Square, time dos operários da fábrica de armamento Royal Arsenal, em Woolwich, no sudeste de Londres. Dois dos fundadores tinham jogado no Nottingham Forest e pediram ajuda aos antigos companheiros, que mandaram um jogo de uniformes vermelho e uma bola. É dessa doação que vem o vermelho da camisa. Em 1893 o Arsenal virou o primeiro clube do sul da Inglaterra a entrar na Football League, e em 1913 atravessou a cidade para Highbury, o que criou o clássico com o Tottenham e, seis anos depois, a votação de 1919 que pôs o Arsenal na primeira divisão no lugar do vizinho. De lá o clube não saiu mais, e a sequência já passa de cento e cinco anos, a mais longa do futebol inglês.
Herbert Chapman chegou em 1925 vindo do Huddersfield, com o maior salário que um técnico tinha recebido na Inglaterra, e reinventou o clube e o esporte. Ganhou a Copa da Inglaterra de 1930, o primeiro troféu nacional da casa, e os campeonatos de 1930-31 e 1932-33. Foi ele quem pôs as mangas brancas e os números na camisa, quem instalou uma das primeiras iluminações artificiais do futebol inglês e quem conseguiu que a estação de metrô de Gillespie Road passasse a se chamar Arsenal. Morreu de pneumonia em 6 de janeiro de 1934, no meio da temporada, e o time que ele montou fechou a sequência ganhando 1933-34 e 1934-35, e ainda o campeonato de 1937-38.
Depois dos títulos de 1948 e 1953 veio o vazio mais longo da história do clube, dezoito anos sem campeonato, quebrado pela dobradinha de 1970-71, com o título confirmado justamente em White Hart Lane. George Graham devolveu o clube ao topo nos anos oitenta e noventa com a defesa de Tony Adams, Lee Dixon, Nigel Winterburn e Steve Bould, que sofreu 18 gols em toda a temporada de 1990-91. O título de 1988-89 saiu no último jogo, em Anfield, e em 1994 veio a Recopa Europeia, ganha do Parma por 1 a 0 em Copenhague.
Arsène Wenger chegou em 1996 e ficou vinte e dois anos, o mais longevo e o mais vitorioso técnico do clube. Foi o primeiro estrangeiro a ganhar campeonato e copa no mesmo ano na Inglaterra, em 1998, repetiu em 2002 e em 2003-04 fez a temporada invicta, 38 jogos de liga sem derrota, dentro de uma sequência de 49 partidas que segue sendo recorde inglês. A Premier League mandou fazer um troféu de ouro só para aquele time. Em 2006 veio a primeira final de Liga dos Campeões, perdida para o Barcelona, e a mudança de Highbury para o Emirates, que custou 390 milhões de libras e comprou nove anos sem troféu nenhum. Wenger fechou a conta com sete Copas da Inglaterra, mais do que qualquer outro técnico na história da competição.
Mikel Arteta, capitão do clube como jogador, assumiu em dezembro de 2019, ganhou a Copa da Inglaterra logo no primeiro ano e depois terminou em segundo três vezes seguidas, com 84, 89 e 74 pontos. Em 2025-26 a espera acabou. O Arsenal foi campeão inglês pela décima quarta vez, a primeira desde 2004, com 85 pontos, 26 vitórias e 27 gols sofridos em 38 jogos, e ainda chegou às finais da Copa da Liga e da Liga dos Campeões, perdendo as duas, a segunda nos pênaltis para o Paris Saint-Germain em Budapeste. Numa carreira, é o oposto do clube que vende para sobreviver. O recorde de compra é de 100 milhões de libras e o de venda é de 35, e essa diferença é a régua com que a casa trabalha.