十一月，司空、太子太师、英卢武公李世绩病情加剧，唐高宗因他为大唐立下了大功，就把他在外地的子弟全都召回京城，让他们好好服侍李世绩。李世绩只服用唐高宗和太子赏赐给他的药，家人为他请的医生，他一概不让看病，他说：“我本是山东种田人，生逢明主，位至三公，年近八十，这难道不是命运注定的吗？寿命长短有定数，怎么能向医生求多活命？”一天早晨，李世绩忽然对他的弟弟司卫少卿李弼说：“我今天病情稍有好转，可以举办酒宴大家共同庆祝一下。”于是儿孙全部出席宴会。酒席将结束时，李世绩对李弼说：“我自己料想病不会好了，所以想跟你们诀别。你们不要悲伤哭泣，听我吩咐。我看见房玄龄、杜如晦一生勤劳辛苦，才兴起了家业，但却被不肖子孙全部败尽。我有这么多子孙，今天全部托付给你。我死以后，葬礼一结束，你就迁进我家来住，帮我抚养儿孙，细心督察他们。他们凡有心怀不轨、不走正道、结交不伦不类的人，都拉出去斩首，然后到我坟前报告。”从此以后，李世绩不再说话。十二月初三，李世绩辞世。唐高宗得到报丧后，悲痛不已，痛哭流涕。下葬的那天，唐高宗到未央宫，登上高楼，目送灵车哭泣。唐高宗命令埋葬后的坟头像阴山、铁山、乌德鞬山，以此来彰扬李世绩打败突厥、薛延陀的功劳。

作为带兵打仗的将领，李世绩深谋远虑，决胜千里。他与别人讨论事情，能从善如流。打了胜仗就把功劳归于下属，所获得的金银丝帛等财物，也全部分给将士，所以人人奋勇当先，愿效死力，所向披靡，攻无不克。一遇战事选择将领，他一定要挑选那些长相丰满的人。有人问他为什么要这样做，他回答说：“相貌不丰满，是薄命之人，他不能成就功名。”李世绩家庭和睦而严肃。有一次其姐患病，已任仆射的李世绩亲自为姐姐煮粥，突然风向逆转，火苗烧焦了他的头发和胡须。他姐姐说：“这么多仆人和奴婢，你何必这样劳累吃苦！”李世绩说：“并非无人使唤才这样做的，姐姐年事已高，我也老了，虽然我想一直为姐姐煮粥，这可能吗？”李世绩常常对人说：“十二三岁时，我是一个无赖的贼人，见人就杀。十四五岁时我是难对付的贼人，见到不高兴的人就杀。十七八岁时我是一个好的贼人，在战场上才杀人。二十岁成为大将，就用兵来救人于死难。”李世绩的长子李震早年就死去了，后来李震的儿子李敬业继承了李世绩的爵位。