O clube foi fundado em 1899 e é o segundo mais vitorioso do futebol francês, com 29 troféus: nove campeonatos franceses, dez Copas da França, três Copas da Liga, três Supercopas, uma Copa Charles Drago de 1957 e um título de segunda divisão. O Stade Vélodrome, com 67.394 lugares, é o segundo maior estádio da França e o clube tem historicamente a maior média de público do país.
O momento que define tudo é 26 de maio de 1993, em Munique: 1 a 0 sobre o Milan, gol de Basile Boli de cabeça, e o Olympique de Marselha virou o PRIMEIRO clube francês a ganhar a Liga dos Campeões. Por trinta e dois anos foi o único, até o Paris Saint-Germain ganhar a dele, e segue sendo um dos dois clubes franceses com um título europeu de peso. O time era de Bernard Tapie, e no ano seguinte o clube foi rebaixado à segunda divisão por um caso de corrupção em partida do campeonato francês.
A queda de 1994 tirou do clube o título nacional daquele ano e o mandou para a segunda divisão, que ele ganhou em 1995. A volta à elite foi em 1996, e o campeonato francês seguinte só veio em 2010, com Didier Deschamps, o capitão de 1993, no comando. É o último título nacional da casa, e são dezesseis anos sem.
Na Europa o clube colecionou finais perdidas: a Copa dos Campeões de 1991, contra o Estrela Vermelha nos pênaltis, e as Copas da UEFA e Liga Europa de 1999, 2004 e 2018, quatro decisões continentais perdidas contra uma ganha. O empresário americano Frank McCourt comprou 95 por cento do clube em 2016, e no fim de 2023-24 o Olympique aparecia como o 19º clube de futebol de maior receita do mundo na lista da Deloitte.
O elenco de 2026-27 tem 24 jogadores, um dos menores desta coleta, e a estratégia de mercado é a mais rotativa do futebol francês: a maior compra e a maior venda da história do clube são o mesmo jogador, Mason Greenwood, trazido do Manchester United por 38,4 milhões de euros em 2024 e vendido ao Fenerbahçe por 39 em 2026. Antes dele Didier Drogba saiu por 38,5 milhões ao Chelsea em 2004 e Franck Ribéry por 30 ao Bayern de Munique em 2007, os dois depois de uma temporada e meia.