Østrig spillede sin første landskamp i 1902, hvor man mødte Ungarn i en intern landskamp i det østrig-ungarske kejserrige. Ved OL i 1912 deltog holdet i sin første slutrunde, og nåede her kvartfinalen. Der skulle gå 22 år inden man igen var med ved en turnering, men ved VM i 1934 i Italien spillede holdet sig til en 4. plads.

Østrigernes bedste slutrunderesultat nogensinde blev opnået ved OL i 1936, i Berlin, hvor holdet vandt sølv, kun overgået af Italien. To år senere havde man også kvalificeret sig til VM i 1938, men grundet den tyske invasion og indlemmelse af landet samme år måtte landet trække sig, og stillede i stedet op som en del af det tyske landshold.

Efter 2. verdenskrig, og en genskabt østrigsk selvstændighed opnåede det østrigske landshold sit bedste VM-resultat til dato, da man vandt bronze ved VM i 1954 i nabolandet Schweiz. I bronzekampen besejrede holdet Uruguay med 3-1. Den helt store stjerne på det østrigske hold i denne turnering var forsvareren Ernst Happel, der siden er blevet regnet som en af de bedste østrigske fodboldspillere nogensinde. I efterkrigstiden var Østrig endvidere med ved yderligere to OL-turneringer, i London 1948 og Helsingfors 1952.

1960’erne og 1970’erne blev i forhold til tidligere tiders præstationer en skuffelse for Østrig, der kun opnåede slutrundedeltagelse ved VM i 1978 i Argentina, hvor man blev slået ud efter 2. gruppespil. Ved VM i 1982 i Spanien blev anden runde også endestationen, men inden holdet kunne rejse hjem nåede det at blive del af en af de største skandaler i VM-historien. Inden den sidste gruppekamp i det første puljespil, var Østrig og nabolandet Tyskland i den situation, at begge hold ville gå videre hvis kampen endte med en tysk sejr på 1- eller 2-0. Alle andre udfald af kampen ville sende overraskelsen Algeriet videre. Efter en tidlig tysk scoring udviklede kampen i Gijón sig til en farce uden noget reelt spil, og sluttede 1-0 til tyskerne, der senere nåede finalen.

Østrigerne har siden deltaget ved VM i 1990 i Italien og VM i 1998 i Frankrig, men begge gange uden succes eller avancement fra gruppespillet. Holdet opnåede sin første deltagelse i et EM nogensinde, da man sammen med Schweiz lagde græs til EM i 2008. I en pulje med Kroatien, Tyskland og Polen kunne holdet dog ikke avancere, og måtte forlade turneringen efter én uafgjort og to nederlag.