Under diskusjonen om de olympiske leker III bestemte Den internasjonale olympiske komité seg for å organisere det i USA, ettersom dette landet viste gode resultater i de to foregående kampene. Til å begynne med ønsket de å holde OL i Chicago eller New York, men som et resultat falt valget på den lille havnebyen St. Louis.
III-OL i St. Louis, sammen med Paris, ble holdt som en del av verdensutstillingen. Den lokale ledelsen av utstillingen vurderte imidlertid ikke den som en konkurrent, men tvert imot gjorde sitt beste for å bruke spillene til sine egne reklameformål. I tillegg gjentok arrangørene noen av feilene ved sommer-OL 1900 i Paris. På grunn av tilknytning til verdensutstillingen, ble konkurranser relatert til bakgrunnen, og selve OL strakk seg ut i nesten 5 måneder (1. juli - 23. november 1904). Mange konkurranser ble avholdt under ledelse av forskjellige profesjonelle organisasjoner, men til tross for dette fikk de alle tittelen olympiske disipliner.
I følge IOC deltok 12 land i sommerlekene i St. Louis. Den eneste staten som deltok på konkurransen for første gang var Sør-Afrika. Sammenlignet med OL i Paris har antallet deltagende land falt kraftig. De 13 delstatene som deltok i Paris Summer Games kunne ikke komme til St. Louis av økonomiske årsaker. Russland, som kjempet med Japan på den tiden, deltok ikke i konkurransene.
Totalt opptrådte 651 personer, inkludert 6 kvinner, ved sommer-OL i III. De konkurrerte om 94 sett priser i 18 idretter. Det største laget var USA, og de representerte 533 personer på kampene. I mange idretter (boksing, bryting, vannpolo, bueskyting og tennis) var utelukkende amerikanske idrettsutøvere, så kampene demonstrerte tydelig landets forrang.
I St. Louis begynte for første gang å belønne tre, ikke to utøvere som viste det beste resultatet. Hovedvinneren av konkurransen ble tildelt en gullmedalje; andreplass friidrettsutøver - sølv; og tredjeplassen ble preget av en bronsepris. Denne tradisjonen har overlevd til i dag.
I det uoffisielle lagoppstillingen er de deltakende landene som følger: Jeg plasserer - USA (78 gull, 82 sølv, 78 bronsemedaljer), II plass - Tyskland (4 gull, 4 sølv, 5 bronsemedaljer), III plass - Cuba (4 gull, 2 sølv, 3 bronsemedaljer).
