Na današnji dan, 19. septembra 1921. godine, FK Željezničar je zvanično registriran u Sarajevskom nogometnom podsavezu. Ovaj datum se prema Statutu obilježava kao Dan Kluba.
Fudbal se u Sarajevu organizovano igrao i ranije, još od početka 20. vijeka. Sarajevski studenti i đaci su iz različitih dijelova Evrope donijeli popularnost ovog sporta.
Ubrzo su se osnovali prvi fudbalski klubovi, među kojima je bio i Osman, iako je brzo rasformiran. Drugi klubovi su do početka dvadesetih godina već stekli određenu reputaciju, kako u gradu, tako i šire. Međutim, mnogi su bili povezani s nacionalnim strukturama, pa su vodeći klubovi SAŠK i Slavija bili vezani uz hrvatsku i srpsku zajednicu. Pored njih, tu su bili i Đerzelez i Barkohba, klubovi bošnjačke i jevrejske zajednice.
Nasuprot tome, Hajduk je bio vezan za radničku klasu i nije imao podršku bogatijih slojeva. Ipak, njegov kapacitet nije bio dovoljan za sve ljubitelje fudbala, pa su mladići iz Sarajeva počeli osnivati neformalne timove i organizovati prijateljske utakmice.
Ti susreti mogli bi se opisati kao mečevi “raja protiv raje”. U jesen 1920. godine, mladi radnici iz željezničke radionice i njihovi sinovi odlučili su osnovati pravi klub i postavili su osnovne ciljeve.
Iako je zima donijela izazove, a finansije su bile oskudne, ideja je prolongirana do proljeća. Njihovi životi su bili usko povezani s željeznicom, što je dovelo do prirodnog izbora imena kluba.
Kada je proljeće 1921. stiglo, mladi radnici su kupili loptu, ali su se suočili s problemom pronalaska igrališta. Sva postojeća igrališta pripadala su drugim klubovima i bila su preskupa za njih. Na kraju su odlučili koristiti vojno vježbalište na Čengić Vili, poznato kao Egzercir.
Prostor je prilagođen fudbalskim aktivnostima i ubrzo su se održale prve nezvanične utakmice. Za veće izazove, poput igranja protiv najboljih sarajevskih klubova, bila je potrebna registracija u Savezu.
U julu 1921. podnesena je molba za članstvo u Sarajevskom podsavezu. Mladim entuzijastima nije bilo teško ispuniti administrativne zahtjeve, ali su neki vidjeli novi radnički klub kao prijetnju te su postavili dodatne uvjete. Ipak, 30. jula stiglo je saopštenje da Željeznički športski klub Sarajevo može postati član nakon odigravanja dvije utakmice.
Prva utakmica igrana je 11. septembra protiv Sarajevskog ŠK, a završila je porazom od 5:1. Druga utakmica održana je šest dana kasnije protiv SAŠK-a, tada najjačeg kluba u Bosni i Hercegovini, na stadionu SAŠK-a u Kovačićima.
Za tu priliku kupljene su bijele majice s točkom lokomotive i željezničkim krilima, što je bio prvi grb na dresu Željezničara. Tim je bio sastavljen od nekoliko igrača, a poraz od 1:5 bio je realan odraz snaga između timova. Ipak, rezultat nije bio presudan.
Na taj način, ispunjen je i posljednji uvjet za punopravno članstvo. U ponedjeljak, 19. septembra 1921. godine, Savez je prihvatio novi klub u svoje redove i uvrstio ga u takmičarski kalendar Drugog razreda za sezonu 1921/1922.