刘伯温当时因为要杀李彬，所以就得罪了李善长，李善长和胡惟庸当时领导的淮西集团就把京城一直不下雨的责任推给了刘伯温，他们一直给皇帝上书要刘伯温。刘伯温见此状，就赶紧主动请辞，打算回到老家，隐姓埋名了。但是刘伯温到底能不能全身而退呢？接下来我们就来讲一讲。
刘伯温回到老家之后，就隐姓埋名，从不打听国家大事，一些当地的官员听说刘伯温回来了，就纷纷想要见刘伯温一面，但是刘伯温没有见任何人。据说有一次，青田县的知县就上山求见刘伯温，刘伯温也是一点面子都不给。当时知县觉得自己一定要见上刘伯温一面，于是就打扮成了老百姓的样子，第二次上山求见刘伯温。
当时的刘伯温正在屋里洗着脚，听说门外求见的是老百姓，于是就让自己的侄子把人带到了屋里。进到屋的知县大人，就表明了自己的身份，说道“我是青田县的知县，今天能见到大人十分荣幸啊。”刘伯温一听来的人是知县，于是就赶紧起身，对着知县大人行礼，等行完礼之后，刘伯温就再也不出来见知县大人了。
为什么当时刘伯温如此的害怕见一些官员呢？有人猜测，因为刘伯温是一个做事很小心谨慎的人，所以他自己知道，即便是自己退出朝堂了，胡惟庸等人也不会放过自己。他们肯定会派一些人来打听自己的住处，并且偷偷暗杀刘伯温。如果刘伯温与一些官员见面的话，那么一些官员可能会陷害自己，那个时候刘伯温和朱元璋的关系已经不如从前那么好了。如果有很多人在朱元璋面前说他的坏话，那么朱元璋很可能就会听信他们的谗言，以至于会处死自己。所以刘伯温在回老家之后，就一直过得很低调，不参与政事，不打听也不过问。
尽管刘伯温这么的小心翼翼，但是还是被胡惟庸给陷害了，当时刘伯温的老家有个地方叫谈洋，这个地方有逃兵四处作妖，百姓的生活苦不堪言。地方的官员为了逃避责任，就故意的隐瞒事实，不上报给朝廷。刘伯温知道此事之后就让自己的儿子上报此事，当时胡惟庸见刘伯温的儿子竟然越级像朱元璋报告，心里十分的生气，于是胡惟庸就指使自己身边的人向朱元璋举报。胡惟庸说刘伯温想在谈洋建墓，谈洋是一个非常有王气的地方，并且刘伯温还残害当地的老百姓。朱元璋听完之后大怒，于是就停发了刘伯温的俸禄，刘伯温见状就赶紧赶回京城，像朱元璋解释，并且自己又住在了京城里，以便让朱元璋安心。
据民间传说，胡惟庸多次派人暗杀刘伯温，但是都被刘伯温给发现了。史料记载，胡惟庸在当上宰相之后，刘伯温就生病了，朱元璋知道之后就派胡惟庸去探望刘伯温。胡惟庸当时是带着自己的御医去给刘伯温看病的，当时御医给他开了药，刘伯温吃完之后就难受了好几天。
过了几天之后，刘伯温一直不能上朝，于是就派人禀告朱元璋，说自己吃了胡惟庸御医的药之后，身体就变得很差。朱元璋听后只是嘱咐刘伯温安心休养，朱元璋就把刘伯温给送回了老家。回到老家之后刘伯温就拒绝家里人给他开的药，没过多久刘伯温就去世了。
很多人都认为刘伯温是被胡惟庸给害死的，当时胡惟庸只是一只替罪羊罢了，幕后的黑手可能是朱元璋，因为朱元璋当时把胡惟庸给定罪了，罪名是毒害刘伯温，朱元璋这样做是想洗清自己。所以事实的到底是怎样的，我们也无从知晓了。