发迹[FaJi]后的李绅还热衷于拉帮结派。唐朝[TangChao]中晚期，士族势力逐渐衰微，庶人阶层通过科举进入了政权的核心。而原来掌握大权的士族又不甘心放弃政权，于是同庶人出身的官员争夺权力。士族官员以李德裕为首，故称李党。庶人官员以牛僧孺为首，故称牛党。牛李两党水火不容，双方互相倾轧了近40年，史称“牛李党争”。在这场旷日持久的权力斗争中，李绅紧跟李党老大李德裕，是李党中的骨干分子。

　　李绅一生中最大的污点，是他晚年经手的“吴湘案”。唐武宗会昌五年（845年），74岁高龄的李绅出任淮南节度使。其时，扬州江都县尉吴湘被人举报贪污公款、强娶民女。李绅接报后立即将吴湘逮捕下狱，判以死刑。但此案上报到朝廷后，谏官怀疑其中有冤情，朝廷便派遣御史崔元藻前往扬州复查。崔元藻调查后发现，吴湘贪赃属实，但款项不多，强娶民女之事则不实，所以罪不至死。但李绅却一意孤行，强行将吴湘送上了断头台。

　　李绅为何执意处死吴湘？按照奏章中的说法[ShuoFa]，事情的起因是扬州都虞候刘群欲娶流落广陵的美女阿颜，不料阿颜的养母却悄悄把阿颜嫁给了江都县尉吴湘，刘群闻讯后非常气愤，就唆使他人举报吴湘贪污公款、强娶民女。但是，如果李绅与吴湘之间没有[MeiYou]私人恩怨，李绅不可能如此坚决地处死吴湘。因此[YinCi]，一些史籍中对此事另有说法[ShuoFa]。《北梦琐言》中的说法[ShuoFa]是，李绅欲纳美女阿颜为妾，没想到却被吴湘捷足先登了，李绅勃然大怒，欲置吴湘于死地。由于吴湘迎娶阿颜的聘礼丰厚，李绅便下令调查他的收入来源，很快便发现吴湘有贪污行为。而《册府元龟》中的说法[ShuoFa]是，李绅欲夺阿颜献给李党老大李德裕，所以一心想干掉吴湘这个绊脚石。

　　不过，以上说法[ShuoFa]不见得真实。毕竟李绅和李德裕都是老之将死之人（李绅在此事后第二年就死了，李德裕死于五年后），不太可能为争夺一美貌女子谋人性命。而且，李绅家中私妓成群，完全没有[MeiYou]必要夺人所爱。诗人刘禹锡任苏州刺史时，李绅请他饮酒，并让几名家妓出来作陪。刘禹锡对其中一位一见倾心，一时诗兴大发，吟了一首《赠李司空妓》：“高髻云鬓新样妆，春风一曲杜韦娘。司空见惯浑闲事，断尽苏州刺史肠。”李绅见刘禹锡如此着迷，便将这位家妓送给了刘禹锡。由此可见，李绅有时候也挺慷慨，并没有[MeiYou]疯狂到想把所有的貌美女子都占为己有的地步。

　　其实，李绅执意处死吴湘，是为讨好李党老大李德裕而实施的一次报复行动。原来，吴湘的叔父吴武陵当年得罪过李德裕的老爸李吉甫，两家是世仇。李德裕当上宰相后，也借故整过吴武陵，并将他贬为潘州司户参军，后吴武陵郁郁而终。李绅自然很清楚吴李两家的历史恩怨，为了取悦李德裕，李绅将吴武陵的侄子吴湘也列为报复对象，因而罗织罪名，处其死刑。事实上，李德裕同此案也脱不了干系。御史崔元藻回京后说吴湘罪不至死，时任宰相李德裕立即将他贬为崖州司户参军，企图掩盖真相。

　　大中元年（847年），唐宣宗即位后罢免了李德裕的宰相职务，李党一干人等全部被贬去崖州。这时，吴湘的哥哥吴汝纳为弟鸣冤，请求朝廷复查吴湘案,三司复查后吴湘终于得到平反。这时李绅虽已去世，但按照唐朝[TangChao]的规定，酷吏即使死掉也要剥夺爵位，子孙不得做官，因此[YinCi],死去的李绅受到了“削绅三官，子孙不得仕”的处罚。