W konspiracji od października 1939 r.; założyciel Organizacji Wojskowej Krakowa, nazywanej później także organizacją "Kaerge" (od pierwszych liter nazwisk jej przywódców: Komorowskiego, płk. Klemensa Rudnickiego i płk. Edwarda Godlewskiego), a obejmującej swoim zasięgiem tereny Krakowskiego, Kieleckiego i Śląska. W styczniu 1940 nawiązał kontakt z ZWZ (Związek Walki Zbrojnej) i od lutego był komendantem Obszaru Kraków-Śląsk ZWZ. Mianowany generałem brygady ze starszeństwem z 3 maja 1940, już jesienią tego roku jako najstarszy stopniem został wyznaczony przez Komendanta Głównego ZWZ, gen. "Grota" Roweckiego, na jego następcę "na wypadek wypadnięcia z pracy". W Krakowie używał pseudonimów "Korczak" i "Prawdzic". Zatrudniony fikcyjnie jako sprzedawca w sklepie z materiałami piśmiennymi przy ul. Zwierzynieckiej 14, został zatrzymany tam 20 kwietnia przez Gestapo, ale zdołał zbiec. Początkowo ukrywał się w okolicach Krakowa, a kiedy rozkazem z 1 lipca (po rozszerzeniu się aresztowań) rozwiązano Komendę Obszaru Kraków-Śląsk, wyjechał do Warszawy. Od lipca 1941 r. zastępca Komendanta Głównego ZWZ - Dowódcy AK. Jednocześnie od jesieni tego roku był pod pseudonimem "Gajowy" - z siedzibą w Warszawie - komendantem Obszaru Zachodniego, obejmującego Okręgi Poznań i Pomorze (teren ten wizytował osobiście po przedostaniu się przez granicę między GG i Rzeszą w grudniu 1941). Od maja 1942 r. uczestniczył w rozmowach ze Stefanem Sachą i Władysławem Jaworskim w sprawie scalenia NOW (Narodowa Organizacja Wojskowa) z AK, do czego doszło w listopadzie tego roku. Po aresztowaniu gen. "Grota" Roweckiego (30 VI 1943) objął w lipcu pod pseudonimem "Bór", potem "Znicz", stanowisko Dowódcy AK (formalnie mianowany 17 lipca), używając także zamiennie tytułu: Komendant Sił Zbrojnych w Kraju. Równocześnie stał na czele KWP (Kierownictwa Walki Podziemnej - powołanego wspólnie przez czynniki wojskowe i cywilne w lipcu 1943, organu nadrzędnego, kierującego całością walki konspiracyjnej). 20 listopada 1943 wydał rozkaz do akcji "Burza". Rozkazem Naczelnego Wodza, gen. Kazimierza Sosnkowskiego, z 21 marca 1944 r. mianowany generałem dywizji ze starszeństwem z 1 marca 1944. W korespondencji z Londynem używał pseudonimu "Lawina". 31 lipca 1944 r. wraz z Delegatem Rządu RP na Kraj, wicepremierem Janem Stanisławem Jankowskim, podjął decyzję rozpoczęcia akcji "Burza" w Warszawie następnego dnia o godz. 17-stej.