Graf se narodil v Pachhagelu v kraji Dillingen – Donauv roce 1878 jako syn drobného zemědělce. Do německé císařské armády vstoupil ještě před svými osmnáctinami, zde pak sloužil několik let. Graf proslul jako amatérský zápasník a neurvalec. Často střídal zaměstnání, jeden čas pracoval pro mnichovskou radnici. Poté co opustil své místo řezníka, stal se Hitlerovým osobním strážcem. Spolu s dalšími osmi muži vytvořil jednotku Stosstrupp. Podílel se na akci v Coburgu, která komunistům přinesla ztrátu vlády nad městem a stala se jednou z událostí bezprostředně předcházejících fašistickému puči v roce 1923. Tehdy byl Graf v Hitlerově bezprostřední blízkosti, a když policie zahájila střelbu, zakryl Hitlera svým tělem. Jeho stav byl po zasažení pěti střelami vážný, Hitlerovi nicméně Grafova obětavost zachránila život.

Od 1. ledna 1925 byl mnichovským radním. Funkci zastával až do roku 1933, kdy byla městská ráda rozpuštěna. V roce 1934 se stal čestným občanem Mnichova. V roce 1936 byl zvolen do Reichstagu. Po válce si odpykal pět let v pracovním táboře. Jeho dcera tento trest považovala za nespravedlivý, a když v roce 1950 zemřel, prohlašovala, že jeho smrt zapříčinilo právě toto věznění.