张廷玉尽管十分低调，但是大清皇廷斗争复杂险恶，终于还是在乾隆即位之初即陷入了“党争”的泥潭。满洲镶蓝旗人鄂尔泰与张廷玉同列军机大臣，但两人关系不太好。
据《啸亭杂录》记载：两人同事十余年，往往竟日不交一语。正是由于张鄂二人长期以来关系不和，加上满汉上层地主之间利益分配的矛盾，结果在朝中形成了“满则思依附鄂尔泰，汉则思依附张廷玉”的局面，这样的局面实在是谨慎谦恭的张廷玉所不愿意看到的，但所谓的“张党”确是张廷玉不能否认的。
因为在乾隆前期，张廷玉的弟弟张廷璐、张廷璩以及儿子张若霭、张若澄、张若淳均在朝中为官，张氏一门登仕者就有十九人。但这样的局面也不是张廷玉徇私所得，要怪也只能怪张家家教太好，人才太多，因为他们都是通过中进士走上仕途的：“自先父端（张英）而下，三世入翰林者凡九人，同祖者二人”。
与张氏世代联姻的姚氏，是桐城另一望族，也是“仕宦众多”。张、姚世代为姻亲，两家难免互相照顾，互通声气，渐成一体。“近日桐人之受国恩登仕籍者，甲于天下。”依附张廷玉的汉族官员是对其为人、威信的认同，同时了解到鄂、张两人的不和，自动向张廷玉靠拢，当然也有一部分官员另有企图。终于，越来越多主动依附的汉族官员终于将两个人的不合推动成为两个集团的争斗。张廷玉逐渐身不由己了。
对于张廷玉、鄂尔泰在朝廷官员中具有的影响力和威望，乾隆十分有5261戒心，唯恐使自己大权旁落，影响自己“独断专行”的威严。而且乾隆尤其厌恶的满汉官员争斗，曾多次下诏切责，并意欲剪除两派势力。
乾隆六年（1741年），御史刘统勋（刘墉之父）上书，说张廷玉遭逢极盛，“桐城张姚二姓侦天下半部缙绅”建议乾隆“稍抑其势”，在三年内暂免桐城张姚两姓在吏部名册内有名官员的升迁，此疏正中乾隆心病，也使他下定决心要减除两派党羽。乾隆十年（1741年）鄂尔泰去世，朝堂上德高望重的老臣仅张廷玉一人而已，但是两派势力一时剪除不清，于是，乾隆只能拿张廷玉开刀了。这也是立朝数十年之久的张廷玉由荣至衰的主要症结。
为了达到树立自己的威严和地位的目的，乾隆开始寻衅不断打击张廷玉：如为了达为了乾隆七年，借故撤去世袭伯爵之位；乾隆十年，张廷玉的部属在皇后祭文中误用“泉台”二字，又遭皇帝下令切责；后又在《皇清方颖》御制诗中错字过多，皇帝即下旨：“总裁官张廷玉、梁诗正、汪由敦交部议处。”一生经历了无数风浪的张廷玉深感朝中已不可久留。
为了让家人全身而退，他不断地示意家人亲属，各以事由等等先后辞官回家。他自己也屡次上奏，要求退休回家。但是，数次上奏，张廷玉的回乡之说，都被乾隆驳回了。张廷玉猜想乾隆可能是怕自己知道宫廷的事情太多，不愿放归，所以不敢过激，直到乾隆十四年冬，张廷玉再次提出了回家的事情。
不过，这一次，他不敢再说退休，只说是“暂归”，并说等将来皇帝南巡，他可以在江宁迎驾，一同回京师等等。如此等等，乾隆才允许张廷玉“明春”也就是康熙十五年辞官。
张廷玉在感谢皇上恩典之时重提了先帝雍正之遗命。他说：“蒙世宗遗命配享太庙，上年奉恩谕，从祀元臣不宜归田终老，恐身后不获更蒙大典。免冠叩首，乞上一言为券。”
其实张廷玉此举，是想借此向乾隆明志：我并无异心,配享太庙是我一生的追求，也不会辜负先帝的厚望，对皇上有所不利。然而，乾隆没有听出来，反而认为张廷玉是以功臣自居，要求他对此作出书面的承诺，“上意不怿”。不过，还是替他“颁手诏”。
第二天，皇帝颁布手诏赐之。当日大风雪，张廷玉年迈病痛“不亲至”，让次子张若澄代为谢恩。乾隆因此大发雷霆。张廷玉的门生汪由敦以大学士暗中派人告知廷玉，次日，张廷玉上殿谢恩，乾隆大感惊诧，后来深究起来原来是汪由敦传话，乾隆早就对廷玉门生遍于天下，深加忌讳，于是乾隆皇帝借题发挥，先是责汪由敦“漏言”之罪将之免职，也下旨削去张廷玉伯爵。