公元643年，魏征病故，唐太宗亲临吊唁，痛哭失声，并“废朝五日”，亲自为魏征题写碑文，在古代中国，这是臣子至高无上的荣誉。魏征临死之前曾经秘密向唐太宗推荐杜正伦和侯君集，说他们都有宰相之才，结果杜正伦因为犯罪被罢免，侯君集则因为参与谋反被处死，唐太宗开始怀疑魏征在朝中有结党营私的的嫌疑。后来唐太宗又听说魏征曾经把自己给皇帝进谏的书稿偷偷抄录下来，给负责记录历史的褚遂良观看，唐太宗怀疑魏征是有意让历史记录下皇帝的过失，而为自己博取清正的名声，心里很不高兴。先前唐太宗曾经同意把衡山公主许配魏征的儿子叔玉，此时也反悔了，下旨解除婚约。后来越想越是恼火，盛怒之下，竟然亲手砸毁了魏征的墓碑。直到两年后，唐太宗征高丽班师途中，后悔采取了这一军事行动，此时又想起了魏征，对群臣说：“如果魏征还在，他是不会同意我这次的军事行动的。”于是召见魏征的家人，重新树立起魏征的墓碑，以少宰的礼仪祭祀。不过衡山公主早已嫁人，这个错误已经无法弥补了。