Tirpitz syntyi Küstrinissä (nykyisin Kostrzyn nad Odrą, Puola) Brandenburgin maakunnassa, Preussissa. Hän liittyi Preussin laivastoon vuonna 1865 ja näki toimintaa Ranskan ja Preussin välisessä sodassa 1870–1871. Sodan jälkeen hän toimi erilaisissa esikuntatehtävissä ja komentoissa ja nousi riveissä.
Vuonna 1897 Tirpitz nimitettiin keisarillisen laivaston valtiosihteeriksi , seuraaja amiraali Friedrich von Hollmann. Hän ryhtyi välittömästi toteuttamaan kunnianhimoisia suunnitelmiaan Saksan laivaston laajentamiseksi uskoen, että vahva laivasto oli välttämätön Saksan kansalliselle turvallisuudelle ja taloudelliselle hyvinvoinnille.
Tirpitzin johdolla Saksan laivasto kasvoi nopeasti. Taistelulaivojen ja risteilijöiden määrä lisääntyi, ja käyttöön otettiin uudentyyppisiä sota-aluksia, kuten sukellusveneitä ja hävittäjiä. Tirpitz valvoi myös laivastotukikohtien ja telakkaverkoston rakentamista.
Tirpitzin laivaston laajennusohjelma rasitti Saksan resursseja ja aiheutti jännitteitä Britannian kanssa, jota Saksan laivaston kasvu koki uhattuna. Vuonna 1906 Iso-Britannia lanseerasi Dreadnoughtin, vallankumouksellisen uudentyyppisen taistelulaivan, joka teki kaikista olemassa olevista taistelualuksista vanhentuneita. Tirpitz vastasi käskemällä rakentaa uuden luokan taistelulaivoja, Nassau-luokkaa, jotka oli aseistettu tehokkaammilla aseilla ja paksummilla panssareilla kuin Dreadnought.
Inglantilais-saksalainen merivoimien asekilpailu jatkui ensimmäisen maailmansodan syttymiseen vuonna 1914. Saksan laivastolla Tirpitzin komennossa oli merkittävä rooli sodassa, mutta lopulta kuninkaallinen laivasto voitti sen.
Sodan jälkeen Tirpitz jäi eläkkeelle laivastosta ja astui politiikkaan. Hän toimi Reichstagin jäsenenä vuosina 1924–1928 ja oli Weimarin tasavallan äänekäs kriitikko. Tirpitz kuoli Ebenhausenissa Baijerissa vuonna 1930.
Tirpitz on edelleen kiistanalainen hahmo. Jotkut ihailevat häntä kaukonäköisyydestään ja päättäväisyydestään Saksan laivaston rakentamisessa, mutta häntä arvostellaan myös roolistaan englantilais-saksalaisessa merivoimien asekilpailussa ja ensimmäisen maailmansodan puhkeamisessa.