Vuonna 1951 yläluokkaiseen egyptiläisperheeseen syntynyt al-Zawahri tutustui bin Ladeniin tiettävästi 80-luvun puolivälissä Peshawarissa Pakistanissa.
Al-Zawahri valmistui lääkäriksi vuonna 1974. Muslimiveljeskuntaan kuulunut al-Zawahri liittyi myös Egyptin islamilainen jihad -järjestöön, joka murhasi presidentti Anwar Sadatin vuonna 1981. Hän oli yksi murhan jälkeen pidätetyistä yli 300:sta ihmisestä. Oikeus kuitenkin vapautti al-Zawahrin.
Afganistanin sodan aikana al-Zawahri työskentelo Punaisen puolikuun palveluksessa ja hoiti haavoittuneita.
Vuonna 1993 hänestä tuli Egyptiin islamilaista valtiota ajavan Jihadin johtaja. Kuusi vuotta myöhemmin Egyptin sotilastuomioistuin tuomitsi al-Zawahirin poissaolevana kuolemaan.
Al-Zawahirin uskotaan olleen osallisena Yhdysvaltain Kenian ja Tansanian suurlähetystöissä vuonna 1998 tehdyissä terrori-iskuissa.
Vuoden 2001 joulukuussa al-Zawahrin vaimo ja kolme tytärtä kuolivat tiettävästi pommituksessa Afganistanin Kandaharissa.
Al-Zawahri on esiintynyt useissa video- ja ääniviesteissä, joissa hän on muun muassa ylistänyt terrori-iskuja ja tuominnut Irakin sodan.