罗科索夫斯基元帅在苏德战争中显示了杰出的军事才能，先后参加了斯摩棱斯克战役(1941），莫斯科、斯大林格勒和库尔斯克会战，白俄罗斯、东普鲁士、东波美拉尼亚和柏林诸战役。在莫斯科会战中，罗科索夫斯基在沃洛科拉姆斯克方向以纵深反坦克防御，高度积极而机动地对付敌人的坦克突击；时，为扩张战果，在集团军内建立2个快速集群，把正面突击同迂回包围巧妙结合起来。他在准备和实施战役时，创造性地运用苏联军事学术的重要原则，果断地集中兵力兵器于主要突击方向，大胆地机动预备队，始终顾及敌人的强弱两个方面，摈弃作战中的陈规旧套。
罗科索夫斯基斯大林格勒会战时，他在阶段，协同西南方面军和斯大林格勒方面军部队，突破敌人防御，后又在顿河和伏尔加河之间地带包围敌集团33万人，并于1943年初率顿河方面军部队歼灭这一集团。在库尔斯克会战中，他指挥中央方面军在抗击德军进攻和在尔后中粉碎敌奥廖尔集团作战中，显示了军事艺术。他在库尔斯克会战中组织实施的1943年7月5日的炮火反准备，以及同年8月底方面军实施兵力兵器由谢夫斯克向格卢霍夫方向的机动。1944年在巴格拉季昂行动中，罗科索夫斯基又定下的具有独创的决心，以白俄罗斯第1方面军部队实施两次强大的向心突击，并以辉煌的胜利证明了这一决策的正确。1945年在东普鲁士、东波美拉尼亚和柏林诸战役中，罗科索夫斯基为切断和粉碎敌强大的战役战略集团而不断增强白俄罗斯第2方面军的突击力量，这些作战已成为他在卫国战争时期的光辉范例。
莫斯科战役中的表现
罗科索夫斯基在莫斯科战役中：他和朱可夫是斯大林在保卫莫斯科战役中发挥重要作用的将领，两人早年是同学，后来在铁木辛格的骑兵军中，罗科索夫斯基担任师长，朱可夫担任团长，但是后来罗科索夫斯基被逮捕关押，而朱可夫迅速高升，到苏德战争爆发时，朱可夫已经是总参谋长，大将军衔；而罗科索夫斯基被平反释放，只是担任了军长，少将军衔。后来罗科索夫斯基调到西方面军，配合指挥亚尔采沃地区的被围苏军突围以后，被提升为16集团军司令。参加了莫斯科保卫战后，罗科索夫斯基和朱可夫在是否该让16集团军退守伊斯特拉的问题上同朱可夫发生矛盾，甚至都闹到总参谋长沙波什尼科夫那里，但是由于朱可夫的坚决态度，最终罗科索夫斯基只能执行就地坚守。
从后来战局发展看，罗科索夫斯基的意见是正确的，不久德军就集中了第三坦克集群和第四坦克集群向伊斯特拉河突击，从两翼突破了16集团军防线，几乎合围俘虏了罗科索夫斯基。他因此对朱可夫非常不满，在回忆录中对这次战斗耿耿于怀。当时他的危险处境尽管被他轻描淡写，但是我们依然佩服他临危不乱的处置能力，他亲自在德军炮火中指挥调整部署，九死一生，例如：“一发炮弹击中了我们的房子，炮弹穿墙而过，但没有在屋里爆炸。”也和德队使用了不合格的假炮弹有关。同时可以看出德军指挥官的无能，他们没有合围消灭16集团军而是平行向莫斯科缓慢推进，在前锋遭到苏军大本营调动的增援部队和罗科索夫斯基迅速指挥回撤拦截后，德军的突击再次停顿。
莫斯科战役主要的三个方面军中，罗科索夫斯基所在的西方面军承受的压力最大，而整个战役中最危机的状况就出现在罗科索夫斯基在伊斯特拉附近的战斗，也是在这不远，德军到达了离莫斯科最近的地方。可以说罗科索夫斯基在这次战斗中巩固防线的突出表现给斯大林留下良好印象，他特意直接打电话给罗科索夫斯基问候，并且给他派遣了援兵。以后罗科索夫斯基受到斯大林重用，比如围歼斯大林格勒的德军第六集团军等多个重要战役中，都让他承担主要任务，1944年，罗科索夫斯基晋升为苏联元帅。