O Portsmouth nasceu em 5 de abril de 1898, na Old Portsmouth, sob o nome The Portsmouth Football and Athletic Company, com John Brickwood na presidência. O clube veio antes do campo: uma plantação de batata comprada da família Goldsmith virou Fratton Park, projeto do arquiteto Alfred Bone, aberto em 15 de agosto de 1899 e nunca trocado por outro endereço. O apelido Pompey vem da base naval da cidade, e desde 1947 o uniforme carrega meias vermelhas, ideia atribuída ao marechal de campo Montgomery, presidente honorário de 1944 a 1961, em memória dos soldados perdidos na guerra.
Aceito direto na primeira divisão da Southern League em 1899, sem probatório, foi vice do Tottenham na estreia, com 20 vitórias em 28 jogos. Uma dívida de 10 mil libras liquidou a companhia original em 1912, refundada como Portsmouth Football Company Ltd, e foi ela que entrou na Football League em 1920. O título da Terceira Divisão em 1923-24 e o vice de 1926-27, temporada da maior vitória da história, 9 a 1 sobre o Notts County, fizeram do Pompey o PRIMEIRO clube ao sul de Londres na primeira divisão inglesa.
Perdeu a final de FA Cup de 1929 para o Bolton e a de 1934 para o Manchester City antes de ganhar na terceira, em 1939, 4 a 1 sobre o Wolverhampton diante de 99.370 pessoas em Wembley. A guerra suspendeu a competição e o troféu ficou sete anos seguidos em Fratton Park, recorde da copa. Depois dela veio o auge: o time de Bob Jackson foi campeão inglês em 1948-49 e repetiu em 1949-50, decidido no último dia com um 5 a 1 sobre o Aston Villa e no coeficiente de gols. Em fevereiro de 1949, 51.385 pessoas viram um 2 a 1 sobre o Derby County pela FA Cup, recorde do estádio.
Os 32 anos seguidos na elite acabaram na lanterna de 1958-59, e 1961 trouxe outra queda, à terceira divisão, revertida de primeira por George Smith com o título de 1961-62. Em novembro de 1976 faltavam 25 mil libras para escapar da falência, jogadores foram vendidos sem reposição e em 1978 o Pompey caiu à quarta divisão pela primeira vez. As subidas de 1980, 1983 e 1987 devolveram a elite por uma temporada só, e vieram quinze anos no segundo nível até Harry Redknapp ganhar a First Division de 2002-03.
A Premier League durou de 2003 a 2010. O oitavo lugar de 2007-08 veio com a segunda FA Cup, 1 a 0 sobre o Cardiff City, e o troféu abriu a única campanha europeia da história, a Copa da UEFA de 2008-09, com um 2 a 2 contra o Milan. Então a conta chegou: recuperação judicial em março de 2010 e nove pontos de punição, final da FA Cup perdida para o Chelsea e licença negada para a Liga Europa, segunda recuperação em fevereiro de 2012 com dez pontos a menos e outros dez em dezembro. Três rebaixamentos seguidos, em 2010, 2012 e 2013, com 23 jogos sem vencer pelo meio.
Em abril de 2013 o Pompey Supporters' Trust tirou o clube da recuperação judicial, e em 29 de setembro de 2014 o Portsmouth se declarou livre de dívidas. Paul Cook subiu com a League Two de 2016-17, e em agosto de 2017 a Tornante Company de Michael Eisner assumiu o controle. Vieram o EFL Trophy de 2019, nos pênaltis sobre o Sunderland, e a League One de 2023-24, que pôs o clube no grupo de CINCO ingleses campeões das quatro divisões profissionais. Sob John Mousinho, técnico desde 2023, a Championship trouxe de volta o South Coast Derby em 2025-26.