På Sorbonne-kongressen i 1894 blev der foreslået en lang række sportsgrene til programmet i Athen. I de første officielle meddelelser om de sportsbegivenheder, der skulle afholdes, blev sportsgrene som fodbold og cricket nævnt, men disse planer blev aldrig færdiggjort, og disse sportsgrene kom ikke med på den endelige liste til legene. Roning og sejlsport var planlagt, men måtte aflyses på grund af dårligt vejr på den planlagte konkurrencedag.
Idræt
Atletikturneringerne havde det mest internationale felt af alle sportsgrene. Det største højdepunkt var maratonløbet, der for første gang blev afholdt i international konkurrence. Spyridon Louis var den eneste græske atletikmester og en nationalhelt. Selv om Grækenland havde været favorit til at vinde diskoskast eller kuglestød, endte de bedste græske atleter lige bag amerikaneren Robert Garrett i begge discipliner.
Der blev ikke sat nogen verdensrekorder, da kun få internationale topkonkurrenter havde valgt at deltage. Desuden var banens kurver meget snævre, hvilket gjorde det svært at opnå hurtige tider i løbskonkurrencerne. På trods af dette vandt Thomas Burke fra USA 100 meter-løbet på 12,0 sekunder og 400 meter-løbet på 54,2 sekunder. var den eneste, der brugte "crouch start" (satte sit knæ på jorden), hvilket forvirrede juryen. Til sidst fik han lov til at starte fra sin "ubekvemme position".
Cykling
I cykelkonkurrencerne blev der anvendt regler fra det internationale cykelforbund. Banecyklingstævnerne blev afholdt på den nybyggede Neo Phaliron Velodrome. Der blev kun afholdt et enkelt landevejsløb, et løb fra Athen til Marathon og retur (87 km).
I banekonkurrencerne var den bedste cykelrytter franskmanden Paul Masson, som vandt tidskørsel på en omgang, sprint og 10.000 meter. I 100 kilometer-løbet deltog Masson som pacemaker for sin landsmand Léon Flameng. Flameng vandt løbet efter et fald og efter at have stoppet for at vente på, at hans græske modstander Georgios Kolettis kunne løse et mekanisk problem. Den østrigske fægter Adolf Schmal vandt 12-timersløbet, som kun blev gennemført af to cykelryttere, mens landevejsløbet blev vundet af Aristidis Konstantinidis.
Hegn
Fægtekonkurrencerne blev afholdt i Zappeion, som blev bygget for penge, som Evangelos Zappas havde givet for at genoplive de gamle olympiske lege, og som ikke var blevet brugt før. I modsætning til andre sportsgrene (hvor kun amatører måtte deltage i de olympiske lege), fik professionelle deltagere lov til at konkurrere i fægtning, men i et separat arrangement. Disse professionelle blev betragtet som gentlemen atleter, ligesom amatørerne.
Der var planlagt fire stævner, men epée-stævnet blev aflyst af ukendte årsager. Dobbeltfløjtekonkurrencen blev vundet af en franskmand, Eugène-Henri Gravelotte, som slog sin landsmand Henri Callot i finalen. De to andre konkurrencer, sabel og masters-blomstringen, blev vundet af græske fægtere. Leonidas Pyrgos, som vandt sidstnævnte disciplin, blev den første græske olympiske mester i den moderne æra.
Gymnastik
Gymnastikken foregik på Panathinaiko Stadion. Tyskland sendte et 11-mandshold, som vandt fem af de otte konkurrencer, herunder begge holdkonkurrencer. I holdkonkurrencen på stang var det tyske hold uden modstand. Tre tyskere tilføjede individuelle titler: Hermann Weingärtner vandt vægtstangen, Alfred Flatow vandt vægtstangen, og Carl Schuhmann, som også deltog med succes i brydning, vandt springet. Louis Zutter, en schweizisk gymnast, vandt i Knaphesten, mens grækerne Ioannis Mitropoulos og Nikolaos Andriakopoulos vandt i henholdsvis ringene og tovklatring.
Skydning
Konkurrencen blev afholdt på en skydebane i Kallithea og bestod af fem konkurrencer - to med riffel og tre med pistol. Den første disciplin, militærgeværet, blev vundet af Pantelis Karasevdas, som var den eneste deltager, der ramte målet med alle sine skud. Den anden disciplin, militærpistol, blev domineret af to amerikanske brødre: John og Sumner Paine blev de første søskende, der sluttede som nummer et og to i samme disciplin. For at undgå at bringe deres værter i forlegenhed besluttede brødrene, at kun en af dem ville deltage i den næste pistolkonkurrence, den frie pistol. Sumner Paine vandt den disciplin.
Paine-brødrene deltog ikke i konkurrencen i 25 meter pistol, da dommerne vurderede, at deres våben ikke var af den krævede kaliber. I deres fravær vandt Ioannis Phrangoudis. Den sidste disciplin, den frie riffel, begyndte samme dag. Den blev dog ikke afsluttet på grund af mørket og blev afsluttet næste morgen, hvor Georgios Orphanidis blev kronet som mester.
Svømning
Svømmekonkurrencen blev afholdt i åbent hav. Næsten 20.000 tilskuere var mødt op i Zea-bugten ud for Piræus' kyst for at se begivenhederne. Vandet i bugten var koldt, og deltagerne led under deres løb. Der var tre åbne konkurrencer (mænds 100 meter fristil, mænds 500 meter fristil og mænds 1.200 meter fristil), foruden en særlig konkurrence kun for græske sejlere, som alle blev afholdt samme dag (11. april).
For Alfréd Hajós fra Ungarn betød det, at han kun kunne deltage i to af konkurrencerne, fordi de lå på samme dag. Han vandt de to konkurrencer, han svømmede, nemlig 100 og 1200 meter fri svømning. Hajós blev senere en af de eneste to olympiske deltagere, der vandt en medalje i både de atletiske og kunstneriske konkurrencer, da han vandt en sølvmedalje for arkitektur i 1924. 500 meter fristil blev vundet af den østrigske svømmer Paul Neumann, som slog sine modstandere med mere end halvandet minut.
Tennis
Selv om tennis allerede var en vigtig sport i slutningen af det 19. århundrede, var ingen af de bedste spillere til stede til turneringen i Athen. Turneringen blev afviklet på Athens Lawn Tennis Club's baner og på banen i det velodrom, der blev brugt til cykelløb. John Pius Boland, som vandt turneringen, blev tilmeldt konkurrencen af en af sine medstuderende i Oxford. I første runde besejrede Boland Friedrich Traun, en lovende tennisspiller fra Hamburg, som var blevet elimineret i 100 meter sprintkonkurrencen. Boland og Traun besluttede at gå sammen i doublekonkurrencen, hvor de nåede frem til finalen og besejrede deres græske og egyptiske modstandere efter at have tabt første sæt.
Vægtløftning
Vægtløftning var en ung sport i 1896, og reglerne var anderledes end dem, der anvendes i dag. Konkurrencerne blev afholdt udendørs, på det store stadions inderbane, og der var ingen vægtgrænser. Den første konkurrence blev afholdt i en stil, der i dag er kendt som "clean and jerk". To deltagere skilte sig ud: Skotten Launceston Elliot og Viggo Jensen fra Danmark. Begge løftede den samme vægt; men juryen, med prins George som formand, afgjorde, at Jensen havde gjort det i en bedre stil. Den britiske delegation, som ikke kendte denne regel om at afgøre om der var tale om en uafgjort, protesterede. Løfterne fik til sidst lov til at gøre yderligere forsøg, men ingen af dem forbedrede sig, og Jensen blev erklæret mester.
Elliot vandt i enhåndsløftningen, som blev afholdt umiddelbart efter tohåndsløftningen. Jensen var blevet lidt skadet under sit sidste tohåndsforsøg og var ikke lige til Elliot, som nemt vandt konkurrencen. Det græske publikum var charmeret af den skotske sejrherre, som de fandt meget attraktiv. Der skete en mærkelig hændelse under vægtløftningen: en tjener blev beordret til at fjerne vægtene, hvilket viste sig at være en vanskelig opgave for ham. Prins George kom ham til hjælp; han løftede vægten og kastede den med lethed et godt stykke væk, til stor glæde for publikum.
Brydning
Der fandtes ingen vægtklasser i brydekonkurrencen, der blev afholdt på Panathinaiko Stadion, hvilket betød, at der kun ville være én vinder blandt deltagere af alle størrelser. De anvendte regler lignede moderne græsk-romersk brydning, selv om der ikke var nogen tidsbegrænsning, og ikke alle bengreb var forbudt (i modsætning til de nuværende regler).
Bortset fra de to græske deltagere havde alle deltagerne tidligere været aktive inden for andre sportsgrene. Vægtløftningsmesteren Launceston Elliot stod over for gymnastikmesteren Carl Schuhmann. Sidstnævnte vandt og gik videre til finalen, hvor han mødte Georgios Tsitas, som tidligere havde besejret Stephanos Christopoulos. Mørket tvang til at afbryde finalkampen efter 40 minutter; den blev fortsat den følgende dag, hvor Schuhmann kun skulle bruge et kvarter på at afslutte kampen.