2003年9月、小泉首相によって自民党幹事長に抜擢される。
幹事長時代には自民党内で恒常化していた「餅代」「氷代」（派閥の長が配下の者に配る活動資金）の廃止、自民党候補者の公募制の一部導入など党内の各種制度の改正を行った。
2004年4月、埼玉8区補欠選挙で自民党史上初の全国的な候補者公募実施し合格した新人柴山昌彦が当選（同公募には佐藤ゆかりも最終選考に残った）、
2004年夏の参議院選挙で目標の51議席を下回れば「一番重い責任の取り方をする」と引責辞任を示唆し、結果49議席の責任をとり、しばらく現職に留まった後で辞任。
2004年9月、後任の幹事長・武部勤の強い要請を受ける形で党幹事長代理に就任した（幹事長経験者の幹事長代理就任は異例）。
2005年10月31日付で発足した第3次小泉改造内閣では内閣官房長官を務める。
2006年9月1日に自民党総裁戦への出馬を表明。憲法改正や教育改革、庶民増税を極力控えた財政健全化に取り組む方針を示す。また、総裁選に当選した場合、所属する派閥の森派を離脱する考えを示した。