1953年,苏联领导人斯大林去世后,赫鲁晓夫接任党魁。朱可夫在这次权力交接中发挥了关键作用,他出手逮捕了赫鲁晓夫的对手贝利亚。初期,赫鲁晓夫对朱可夫表示感恩,将其任命为国防部长,并让他进入政治局。但是,在1957年的一次苏共中央全会上,赫鲁晓夫利用朱可夫访问南斯拉夫人机遇,将其指控阴谋夺权,从而免去了他的一切职务。
朱可夫之所以突然下台,有说法是因为他功高盖主,不识时务,而被最高权势者所猜忌,但事实上,更重要的是两人在军队改革问题上发生了不可调和的矛盾。赫鲁晓夫以改革者自居,而朱可夫则死守军队,不允许赫鲁晓夫插手改革,他们之间的关系因此变得紧张。
在下台前,朱可フ与加林娜结婚,并生下一女。这期间,他花费极大心血写回忆录《回忆与思考》,但它最终被禁止出版。一气之下,他中风不起。在生命最后9年里,朱可フ受病魔折磨,也经历了朋友们疏远乃至背叛。他只有巴格拉米扬和华西列弗斯基两位元帅冒着风险保持着友谊。
1973年底,加林娜因乳腺癌病逝,这对已老迈的朱可弗来说是一个巨大的打击。不久后,即1974年7月18日,一代名将朱可弗元帅溘然长逝,享年78岁。他的葬礼没有任何人出席,即使是在生命最后一刻,他也未被平反直到1995年的世界反法西斯战争胜利50周年纪念仪式才得到了彻底恢复名誉。