德宗常与李泌论及宰相之选，曰：“卢杞清忠强介，人言其奸，我殊不觉。”李泌曰：“人言而陛下不觉，此杞之所以为奸也。倘陛下觉之，岂有建中之乱乎？”孔子曰：“远佞人。”倘佞人而不远，必有与之俱化者。不然，何足以为佞？
卢杞者，唐中丞卢奕子也。貌丑，而色如蓝，阴谋奸狠，多口辨，上悦之。郭子仪见宾客、姬妾，不离侧。杞往谒，便悉屏去，或问故，则子仪曰：“杞貌丑而心险，对妇人必笑。他日得志，我族无类矣。”
德宗建中二年，以杨炎、卢杞同平章事。欲倾炎，用计害炎，有异志诏贬崖州司马，使护送死于途中。
恶太子太师颜真卿，为当代名臣，不肯附己，又欲出真卿，但真卿以舌舔面血说服上帝，上乃留真卿。
建中四年，大将军李希烈反叛，被陷汝州性好杀戮时，将军部众三千余人皆被杀光，只剩下一百余骑逃脱。在此之前，大臣们曾劝上帝任用颜真卿去对付李希烈，但上帝认为颜真卿过于老迈，没有派遣他。
后来，由于形势紧急，上帝终于派遣颜真卿前往处理这件事。但是，在行至半路的某个地方，被追击的叛军截杀在一条小桥上，无奈地身首两分。这位大将军和他的部队被残酷地屠灭，这场战斗导致了许多人的死亡和伤亡，并且严重打击了国家的士气和民心。
初时，上即位擢崔祐甫为相，以道德宽大治国，因此政声蔼然；后来由卢杞取代，以刑名整齐天下。此前，他曾经试图通过税收增加政府收入，但是遭到了人们的广泛抗议，最终被迫放弃。
最后，由于他的种种行为引起了公众愤怒，以及内阁的一致意见，他被贬职并最终流落到边疆地区，从此失去了权力和影响力。在那之后，他继续在野生涯中的生活直到逝世，一些传记作者记录他晚年的生活是充满忧虑和孤独的。在历史回顾中，他通常被描述为一个危险的人物，因为他的政策导致了大量人民死亡以及国家财富的大量损失。他也是中国历史上的一个典型例证：权力的腐败如何会造成社会动荡甚至毁灭性的结果。