Zawinul speelde een belangrijke rol bij de ontwikkeling van de jazzrock, samen met Chick Corea, Herbie Hancock, John McLaughlin en Miles Davis. Zawinul is het meest bekend geworden als oprichter van de band Weather Report, met Wayne Shorter en Jaco Pastorius. Tegenwoordig is hij leider van het ensemble Zawinul Syndicate.

Hij was samen met Corea en Hancock, een van de eersten die elektrische piano's en vroege synthesizers zoals de ARP 2600 gebruikten in de jazz. Bijvoorbeeld in Sweetnighter (1973). Ander dan Hancock was Zawinul niet erg in de Minimoog geïnteresseerd. Hij was een van de eersten die een Fender Rhodespiano gebruikte met een phaser en een wah-wah pedaal. Zawinul is een perfectionist en wist een modern geluid te ontwikkelen. Hij is nog steeds een belangrijke artiest en componist in de jazzwereld. Hij kreeg in 1959 een beurs voor het Berklee College of Music en emigreerde naar de Verenigde Staten. Tijdens een negenjarig dienstverband als toetsenist bij het Cannonball Adderley kwintet, schreef Zawinul de hit "Mercy, Mercy, Mercy." Aan het eind van de jaren zestig voegde Zawinul zich bij Miles Davis' band en hielp hij met het ontwikkkelen van de fusion. Hij speelde onder meer mee op In a Silent Way, waarvan hij het titelnummer componeerde, en op het album Bitches Brew.

Zawinul's grootste commerciële succes was zijn compositie "Birdland", een stuk van zes minuten dat op het Weather Report-album Heavy Weather 1977 verscheen. Het is een van de meest herkenbare jazznummers uit de jaren zeventig en het is gecoverd door diverse artisten, onder wie The Manhattan Transfer en Quincy Jones, die er een Grammy Award voor kregen.

Zawinul is door het muziektijdschrift Down Beat 28 keer uitgeroepen tot beste toetsenist. Hij heeft een eredoctoraat van de Berklee School of Music, een onderscheiding van de stad Wenen, en een Bird van het North Sea Jazz Festival (2002).