Během diskuse o III. Olympijských hrách se Mezinárodní olympijský výbor rozhodl jej uspořádat ve Spojených státech, protože tato země vykázala dobré výsledky v předchozích dvou hrách. Zpočátku chtěli uspořádat olympijské hry v Chicagu nebo New Yorku, ale v důsledku toho volba padla na malé přístavní město St. Louis.
Olympijské hry III v St. Louis spolu s Paříží se konaly jako součást světové výstavy. Místní vedení výstavy ji však nepovažovalo za konkurenta, ale naopak se snažilo hry využívat pro vlastní reklamní účely. Kromě toho organizátoři zopakovali některé chyby letních olympijských her 1900 v Paříži. Kvůli připojení k světové výstavě byly soutěže odsunuty do pozadí a samotné olympijské hry se natahovaly téměř 5 měsíců (1. července - 23. listopadu 1904). Řada soutěží se konala pod vedením různých profesních organizací, přesto se jim však dostalo titulu olympijských disciplín.
Podle MOV se letních her v St. Louis zúčastnilo 12 zemí. Jediným státem, který se soutěže zúčastnil poprvé, byla Jižní Afrika. Ve srovnání s olympijskými hrami v Paříži počet zúčastněných zemí prudce poklesl. 13 států účastnících se letních pařížských her se z ekonomických důvodů nemohlo do St. Louis dostat. Rusko, které tehdy bojovalo s Japonskem, se těchto soutěží nezúčastnilo.
Na letních olympijských hrách III vystoupilo celkem 651 lidí, z toho 6 žen. Soutěžili o 94 sad cen v 18 sportech. Největším týmem byly Spojené státy americké, které ve hrách reprezentovaly 533 lidí. V mnoha sportech (box, zápas, vodní pólo, lukostřelba a tenis) hráli pouze američtí sportovci, takže hry jasně prokazovaly nadřazenost země.
V St. Louis poprvé začal odměňovat tři, ne dva sportovce, kteří vykázali nejlepší výsledek. Hlavní vítěz soutěže získal zlatou medaili; druhé místo sportovec - stříbro; a třetí místo bylo oceněno bronzovou cenou. Tato tradice přežila dodnes.
V neoficiálním pořadí týmů jsou následující země: I místo - USA (78 zlatých, 82 stříbrných, 78 bronzových medailí), II místo - Německo (4 zlaté, 4 stříbrné, 5 bronzových medailí), III místo - Kuba (4 zlaté), 2 stříbrné, 3 bronzové medaile).
