Oprindelse og opførelse: frem til 1866
I 1830'erne begyndte man at bryde skifer i bakkerne over Tywyn. Selv om der blev etableret mange små stenbrud og prøvepladser, blev der kun anlagt ét større stenbrud i regionen. Det var ved Bryn Eglwys, 11 km nordøst for byen. Underjordisk brydning begyndte i begyndelsen af 1840'erne. I 1847 blev stenbruddet udnyttet af den lokale godsejer John Pughe. De færdige skifersten blev sendt med pakheste til kajen i Pennal. Derefter blev de overført til både, som sejlede til Aberdyfi (også kendt som Aberdovey). Endelig blev de læsset på havgående skibe. Dette var en kompliceret og dyr transportordning, som begrænsede stenbruddets produktion. I 1861 afbrød den amerikanske borgerkrigs udbrud forsyningerne af bomuld til fabrikkerne i det nordvestlige England. Som følge heraf søgte en række velhavende møllere efter nye forretningsmuligheder for at diversificere deres interesser. En af disse ejere var William McConnel fra Lancashire. I 1859 købte han et hus i nærheden af Dolgellau nord for Tywyn. I januar 1864 dannede McConnel Aberdovey Slate Company. Selskabet lejede jorden, herunder Bryn Eglwys, af jordejeren Lewis Morris fra Machynlleth.
McConnel gik i gang med at forbedre Bryn Eglwys for at øge dens produktion. I 1865 øremærkede hans firma penge til opførelsen af en smalsporet jernbane, der skulle forbinde stenbruddet med havnen i Aberdyfi. Aberystwyth- og Welsh Coast Railway med normalsporet sporvidde voksede imidlertid hurtigt fra sin base i Machynlleth. I 1863 var denne jernbane nået til Tywyn, så McConnel besluttede at anlægge sin jernbane fra stenbruddet til Tywyn. Det var det nærmeste sted, hvor skifer kunne overføres til jernbanen med normalsporet sporvidde. Dette skete på trods af, at banen i begyndelsen var isoleret fra resten af systemet på grund af vanskeligheder med at bygge bro over Afon Dyfi-mundingen mod syd. En lov fra parlamentet (28 and 29 Vict, cap cccxv), der gav selskabet tilladelse til at drive passagertog som en offentlig jernbane, blev godkendt den 5. juli 186. Selskabet udpegede James Swinton Spooner som ingeniør til at bygge banen. Han udarbejdede planer for en forholdsvis lige linje, der steg støt fra Tywyn til stenbruddet, og arbejdet gik hurtigt i gang. I september 1866 var byggeriet så langt fremme, at Board of Trade-inspektøren Captain Henry Tyler kunne foretage en første inspektion og aflægge rapport.
Tylers rapport førte til en usædvanlig ændring. Det blev opdaget, at linjens lastprofil var for lille. Overbroernes indvendige bredde var kun 277 cm (9 ft 1 in), men jernbanens passagervogne var 161,3 cm (5 ft 3,5 in) brede. Dermed var der mindre end 61 cm (2 ft) frihøjde på begge sider, hvilket var mindre end den krævede minimumsfrihøjde på 76 cm (2 ft 6 in). For at afhjælpe dette problem foreslog McConnel, at dørene på den ene side af hver vogn blev permanent spærret, og at sporet blev drejet ud af midten under broerne. Dette ville give tilstrækkelig frihøjde i det mindste på den side med døre og betyde, at passagererne kunne komme ud af vognene, hvis toget standsede under en bro. Tyler gik ind på denne ordning, og den dag i dag har alle vogne på Talyllyn kun døre i den ene side, hvilket er usædvanligt for en offentlig jernbane. Denne funktion deles dog med nabobanen Corris Railway, men af forskellige årsager. Tyler krævede også, at der blev foretaget forbedringer af jernbanens to første damplokomotiver, da lokomotiv nr. 1 led af for store "vertikale bevægelser", og nr. 2 skulle lide af "horisontale svingninger". Nr. 1 blev sendt tilbage til sin fabrikant, hvor der blev tilføjet et sæt efterhjul for at reducere det bageste overhæng. Fjedrene på nr. 2 blev justeret, og krumtappene blev afkortet for at mindske dens svingninger.
Succes efter McConnel: 1886-1880s
Jernbanen åbnede med to lokomotiver, hvoraf det ene var en vogn og det andet transporterede gods. De kørte efter reglen om "ét lokomotiv i damp" for at sikre, at de ikke kørte ind i hinanden. I begyndelsen blev lokomotiverne opbevaret i et skur af træ ved Ty Dwr ved Abergynolwyn-stationen. Det var på det tidspunkt, hvor Tayllyns hovedmaskinafdeling var ved at blive bygget i Pendre. Maskinafdelingen blev åbnet den 17. februar 1867.
Da Talyllyn åbnede, var der to togstationer, som den besøgte, den ene i Pendre og den anden i Abergynolwyn. I 1867 åbnede stationen i Rhydyronen. I 1873 åbnede stationerne Brynglas og Dolgoch. Til sidst blev der åbnet en linje, der gik fra Abergynolwyn-stationen til den egentlige landsby Abergynolwyn. Folk kunne tage en skråning ned ad en bakke fra stationen til byen. Derfra kunne man tage en af de mange sporvogne, der kørte gennem landsbyen. Forsyninger som kul, byggematerialer og andre ting blev sendt ned ad skråningen fra togstationen til landsbyen.
Jernbanen brugte damplokomotiver, da den åbnede. De to oprindelige lokomotiver blev fremstillet af Fletcher, Jennings & Co. fra Whitehaven i Cumbria. Begge lokomotiver bruges stadig i dag, men mange af delene indenfor og udenfor er blevet udskiftet. Talyllyn har en sjælden sporvidde. Det menes at svare til sporvidden på Corris Railway. Lokomotiverne på Talyllyn er måske de ældste af deres slags, fordi de passer til denne type sporvidde. Lokomotiverne Talyllyn og Dolgoch transporterede tidligere skifer fra stenbruddet i Tywyn. De transporterede også andre ting. Tog, der transporterede mennesker, kaldet passagertog, kørte mellem Abergynolwyn, Dolgoch og Pendre. Mænd, der arbejdede i stenbruddene, rejste også med tog, selv om disse tog ikke kunne bruges af offentligheden. Disse tog kørte fra Abergynolwyn til Alltwyllt og ind til Nant Gwernol.
Linjen var meget succesfuld, da den åbnede. I 1880 arbejdede 300 mennesker i den lokale skiferindustri. Der blev sendt over 8.000 lange tons (8.100 t) skifer med tog hvert år. Over 11.500 mennesker kørte første gang med togene i 1867. I 1877 benyttede over 23.000 mennesker toget.
Der bliver tjent færre penge: 1880s-1910
Fra 1880'erne blev "Grand Tour" populær blandt folk, der besøgte området, kaldet turister. Folk kunne tage tog til Talyllyn og Corris og køre gennem Tal-y-llyn Lake og Cadair Idris. Når de så vendte tilbage, kunne de benytte sig af Cambrian Railways-togene. Behovet for skifer aftog i de sidste tyve år af 1880'erne. Mange stenbrud fyrede folk eller lukkede. Selv de stenbrud, der gravede mere skifer på grund af andre stenbrud, der lukkede, lukkede ofte til sidst. Det gjorde behovet for tog mindre, og det betød, at jernbaneselskaberne tjente færre penge.
Haydn Jones : 1911-1950
Til sidst lukkede det største stenbrud i området, Bryn Eglwys. De fleste af de mennesker, der havde arbejde i Abergynolwyn, arbejdede i dette stenbrud. Mange mennesker blev ramt af lukningen. En mand, der boede i Abergynolwyn, ved navn Henry Haydn Jones, købte Bryn Eglwys. Han blev også parlamentsmedlem for de liberale, der repræsenterede Merioneth. Stenbruddet, der var lukket, blev genåbnet i januar 1911. Haydn Jones havde ingen penge til at investere i stenbruddet. Men da arbejderne begyndte at grave i stenbruddet, trak de skifer fra "Broad Vein"-afsnittet. Denne sektion havde meget hård skifer. Det var ikke populært, og de fleste mennesker ønskede ikke at købe det. De holdt op med at hente skifer fra den brede åre og begyndte at hente skifer fra den smalle åre, som havde skifer, der var blødere, og som folk gerne ville købe. Det var meget dyrt at bygge et nyt sind i den smalle åre. Så for at spare penge lavede Haydn Jones meget små indgange til minen, som af mange mennesker blev betragtet som usikre. Salget af skifer steg under Første Verdenskrig, fordi folk begyndte at bygge nye bygninger, efter at de var blevet ødelagt under krigen.
Efter krigens afslutning og efter 1920 begyndte folk at rejse mere for at se de britiske seværdigheder. Antallet af mennesker, der skrev på Talyllyn, steg, og de steder, hvor man tidligere havde opbevaret skifer, blev i stedet brugt som siddepladser for folk. Turister kunne endda leje skifervogne, som udelukkende blev brugt til at transportere skifer, som en sjov oplevelse. Der blev brugt en gravitationsbane til at flytte folk på vognene. Fra 1930'erne var det ikke længere muligt at køre i vognene. Turisterne bragte flere penge til området og hjalp jernbanen med at overleve, men Haydn Jones tjente aldrig penge.
Lejekontrakten på Bryn Eglwys udløb i 1942. Men Haydn Jones kunne forlænge den hvert år. Folk besøgte stadig området som turister. I oktober 1942 kørte der to returtog mandag, onsdag og fredag. Turen var 45 minutter lang den ene vej. De lod ikke folk køre med togene tirsdag, torsdag, lørdag og søndag. I 1946 var der et sammenbrud i Bryn Eglwys. Stenbruddet blev kaldt usikkert, og folk kunne ikke bruge det. Den blev lukket. Haydn Jones fortsatte med at drive jernbanen og sagde, at han ville gøre det, indtil han døde. I 1947 blev de fleste jernbaner i Storbritannien opkøbt af regeringen. Talyllyn forblev ejet af Haydn Jones. Mellem 1947 og 1949 kunne folk køre med toget to dage om ugen. Haydn Jones døde den 2. juli 1950. Jernbanen fortsatte med at køre indtil den 6. oktober.