Ishockeysektionen bildades 1921 och AIK började med att spela en så kallad träningsserie år 1921/22 som de vann före Nacka SK. Även lokalrivalerna Hammarby IF deltog i serien. De slutade fyra. 1922/23 lades hockeyn ner men togs upp igen två år senare, 1924/25.
AIK gjorde debut i Elitserien 1930/31 och slutade femma (trea från slutet), vilket bland annat var före Djurgården. Denna Elitserie hade dock ingen SM-status, istället fanns det en så kallad SM-turnering. I den åkte AIK ut i semifinalen mot Södertälje SK (som också vann Elitserien). Följande år vann AIK Elitserien men lyckades inte gå längre än till en ytterligare semifinalförlust mot Södertälje.