Das ehrenamtliche Engagement von Alfons Hörmann im Sport begann bereits in frühen Jahren. Zunächst hat er sich in Vereinen seiner Allgäuer Heimatregion engagiert, später dann in leitenden Funktionen bei größeren Verbänden: Im Jahr 2000 übernahm Hörmann die Rolle des Vorsitzenden des Allgäuer Skiverbands, bevor er 2002 zum Präsidenten des Bayerischen Skiverbandes gewählt wurde. 2005 wurde er dann von den Landesverbänden einstimmig als Präsidenten des Deutschen Skiverbands auserkoren und zeichnete sich von da an für die Geschicke von Deutschlands größtem Wintersportverband verantwortlich. In dieser Rolle war er unter anderem als Vizepräsident der Nordischen Skiweltmeisterschaften 2005 in Oberstdorf und als Präsident der Alpinen Ski-Weltmeisterschaften in Garmisch-Partenkirchen im Jahr 2011 für internationale Sportgroßereignisse verantwortlich.
Von 2006 bis 2010 trug er zusätzliche internationale Verantwortung als Vizepräsident Marketing der Internationalen Biathlon-Union und von 2010 bis 2021 war er Vorstandsmitglied im internationalen Skiverband FIS. In dieser Rolle koordinierte er über nahezu ein Jahrzehnt die weltweiten Entwicklungsprojekte der FIS für die kleinen Nationen des Weltverbandes.
Von 2013 bis 2021 war Hörmann über drei Amtszeiten ehrenamtlicher Präsident des Deutschen Olympischen Sportbundes (DOSB) und damit der höchste Repräsentant von 27 Mio. Mitgliedern in 90.000 Sportvereinen in Deutschland. In der Zeit seiner Präsidentschaft war er maßgeblich für die Neuausrichtung des Leistungssports in Deutschland verantwortlich und legte den Grundstein für viele erfolgreiche Projekte sowie die strategische Neupositionierung des DOSB. Während seiner Amtszeit konnte der DOSB in vielen Bereichen einen deutlichen Sprung nach vorn verzeichnen, sowohl in wirtschaftlicher Hinsicht, aber auch in vielen anderen Aufgabenfeldern. Heute dient der DOSB als Vorbild für zahlreiche andere Verbände.
Auch auf regionaler Ebene engagiert Alfons Hörmann sich nach wie vor im Sinne des Sports. Als Vorsitzender, der von ihm im Jahr 2005 gegründeten ProSport-Stiftung, unterstützt er in der Region Allgäu-Kleinwalsertal die sportlichen Hoffnungsträger der Zukunft indem wichtige Rahmenbedingungen in der Infrastruktur geschaffen und erhalten werden.