Tento vynikající voják prošel bojiště v Africe a Sovětském svazu, ale smrt ho zastihla těsně před návratem domů, na Dukle. Josef Kholl studoval na vojenské akademii v Hranicích, po jejímž ukončení v roce 1936 nastoupil jako čerstvý poručík do velitelské funkce v Berouně, kde působil až do mobilizace v září 1938. Po obsazení Československa byl propuštěn z armády a dostal místo na ministerstvu sociálních věcí. Zároveň však vstoupil do odbojové skupiny Obrana národa, po jejímž rozbití musel v březnu 1940 uprchnout. Jižní cestou přes Jugoslávii se dostal až do Palestiny, kde se formoval čs. zahraniční prapor. Po vstupu do jednotky byl povýšen na nadporučíka a jmenován velitelem čety. Bojoval v Sýrii, bránil obležený Tobruk a již v hodnosti kapitána velel rotě čs. protiletadlového pluku v Haifě. Když se válka v Africe chýlila ke konci, podal si žádost o přeložení ke vznikající 1. čs. brigádě v SSSR.

I zde prokázal své velitelské schopnosti a tak byl pověřen velením 1. praporu, který pak vedl do bojů o Kyjev a Bílou Cerekev, kde se vyznamenal skvělým velením a splnil všechny zadané rozkazy. Brigáda byla poté nasazena v prostoru Dukelského průsmyku, kudy se měla vrátit do vlasti. V cestě však stály hory a pevná německá obrana. V rozhořčených útocích a protiútocích na výšiny Hyrowa hora a kóta 534, které Němci houževnatě bránili, ztratil prapor mnoho mužů, mezi nimi i svého velitele. Ten byl při obsazování Hyrowy hory smrtelně zraněn střepinou, která ho zasáhl do hlavy. Josef Kholl byl pohřben na Dukle, ale po válce byly jeho ostatky převezeny do Rakovníka.

Za svoji statečnost a velitelské schopnosti byl vyznamenán Řádem rudého praporu, vojenským řádem Bílého lva Za vítězství, třemi čs. válečnými kříži 1939, třemi čs. medailemi Za chrabrost, čs. medailí Za zásluhy a řadou dalších vyznamenání. V roce 1969 mu byla propůjčena in memoriam Zlatá hvězda hrdiny ČSSR a byl povýšen do hodnosti generálmajora.