洪武六年(1373年)，刘伯温的死敌胡惟庸当上了左丞相，为了打压刘伯温，坏心思的他居然指使别人诬告刘伯温，说他想霸占一块名叫“茗洋”的“有王气”的土地，做自己的坟墓，意图实属不轨。这件事让朱元璋知道了，早就对刘伯温放心不下的他，听到诬告后居然信以为真，立即剥夺了刘伯温的封禄。刘伯温对此惶恐之极，于是亲自上南京向朱元璋谢罪，并执意留在南京，不敢再回来。可是胡惟庸还是不肯善罢甘休，一直没完没了找刘伯温的麻烦，这让刘伯温更加忧虑，终于一病不起。
洪武八年(1375年)，朱元璋得知刘伯温重病，念在他曾经辅佐自己打过天下，于是派使者护送重病缠身的刘伯温回到了自己的故乡。没过多久，刘伯温就在家郁郁而死，当年他65岁。有人说，刘伯温在南京的时候，胡惟庸曾派太医为刘伯温诊病送药，但是刘伯温吃了他的药后，病情加剧了。因此，当时人们都怀疑刘伯温是胡惟庸下毒致死的。就在刘伯温死后139年，即明武宗正德九年（1514年），他又被追赠为太师，谥号文成。因为刘伯温的故乡是文成县，因此后人又称他刘文成。