开元二十二年（734年），吏部侍郎李林甫，狡猾又擅长花言巧语，与宦官及后宫妃嫔家的结交很深，对玄宗的行动止息无不了解。因此每每奏对都能符合皇帝的心意，玄宗很喜欢他。当时武惠妃宠冠后宫，生寿王李清，其宠幸程度远过于其余诸子，太子和皇帝的关系也日渐疏远。李林甫于是就通过宦官进言武惠妃，表示愿意尽力保护寿王。武惠妃很感激李林甫，就暗中帮助他，因此李林甫很快就升任为黄门侍郎。五月戊子，以裴耀卿为侍中，张九龄为中书令，李林甫为礼部尚书、同中书门下三品。

当初，玄宗想用李林甫为相，询问中书令张九龄的意见，张九龄答道：“宰相关系到国家安危，陛下如果用林甫为相，臣担心他以后会成为国家的祸患。”玄宗不听。当时张九龄正因为文学才能为玄宗器重，李林甫虽然恨他，但仍然努力奉承他。侍中裴耀卿与张九龄相处友善，李林甫非常痛恨他们。当时玄宗在位日久，渐渐地放纵欲望，对政务也开始懈怠了，而张九龄遇事无论大小都要力争，李林甫小心观察玄宗的心思，每天都在考虑如何中伤张九龄。

玄宗为临淄王的时候，赵丽妃、皇甫德仪、刘才人都有宠，丽妃生太子李瑛，德仪生鄂王李瑶，才人生光王李琚。玄宗即位，宠幸武惠妃，丽妃等都失宠；武惠妃生寿王李瑁，所受宠爱超过其他皇子。太子与李瑶、李琚在内廷住所聚会，因为各自生母的境遇而出言抱怨。驸马都尉杨洄娶了咸宜公主，经常探察三位皇子的过失告诉武惠妃。武惠妃向玄宗哭诉说：“太子暗中结党，将要谋害臣妾母子，他们还指责陛下。”玄宗大怒，告诉了宰相，想要废黜这三位皇子。张九龄说：“陛下登基将近三十年，太子诸王不离深宫，得以经常听到陛下的教导，天下人都觉得陛下享国久长，子孙昌盛，都为陛下高兴。如今三位皇子都已成人，没有听说犯过什么大错误，陛下怎么能突然因为无根的传言，在发怒的时候就要全部废黜他们呢？何况太子为天下的根本，不可轻易动摇。以往历史上晋献公听信骊姬的谗言杀申生，晋国三世大乱。汉武帝相信了江充的诬告降罪戾太子，造成京城流血的惨剧。晋惠帝听了贾后无中生有的话废了愍怀太子，最后中原涂炭。隋文帝因为独孤后之意见废黜太子杨勇，立炀帝，最终丢掉了天下。可见废黜太子不可不慎重。陛下一定要这样做，则臣不敢奉诏。”玄宗不高兴。李林甫开始并没有说什么，退朝后私下对玄宗宠信的宦官说：“这是陛下的家事，何必问外人！”玄宗犹豫不决。武惠妃秘密派官奴牛贵儿对张九龄说：“有废必有兴，太子废立之时，如果您能够加以援手，自然可以长保宰相之位。”张九龄断然斥责，并把她说的话告诉了玄宗。玄宗听了为之变色。因此直到张九龄罢相，太子都安于其位。李林甫则随时随地在玄宗面前讲张九龄的坏话，玄宗渐渐地疏远了张九龄。

李林甫引萧炅为户部侍郎。萧炅向来不学无术，曾经在中书侍郎严挺之面前读“伏腊”为“伏猎”。严挺之对张九龄说：“省中岂容有‘伏猎侍郎’！”于是将萧炅外放为岐州刺史，因此李林甫怨恨严挺之。张九龄与严挺之友善，想要引荐他为相，曾对他说：“李尚书正受陛下器重，足下应当上门拜望，与他相处和睦亲近。”严挺之一向自恃意气，轻视李林甫为人，终究不肯上门拜望。李林甫更加恨他。严挺之原先娶妻，后来休了她，他的妻子改嫁蔚州刺史王元琰，王元琰因为犯贪赃罪交付三司衙门审问，严挺之努力营救他。李林甫趁机通过宦官将这件事告诉了玄宗。玄宗对宰相说：“挺之营救罪人是有私人原因的。”张九龄说：“这是挺之休掉的妻子，不应当还有私情。”玄宗说：“虽然仳离，还是有私情的。”
于是玄宗联系到以前的事，认定裴耀卿、张九龄结为朋党；壬寅，以裴耀卿为左丞相，张九龄为右丞相，同时罢免政事。以李林甫兼中书令，牛仙客为工部尚书、同中书门下三品，仍然领朔方节度。严挺之贬为沼州刺史，王元琰流放岭南。
玄宗即位以来所任用的丞相，姚崇主张通变，宋璟提倡法制，张嘉贞讲究吏治，张说擅长文学，李元绒、杜暹推崇节俭，韩休、张九龄则因忠直著名，各有所长。张九龄得罪被贬斥以后，朝廷之士都顾虑安身保位，不再直言。
李林甫想要堵塞玄宗的耳目，自己专擅大权，于是公开召集各谏官对他们说：“如今明主在上，群臣顺从遵行旨意做事都来不及，哪里用得着多说话呢！各位没看过立仗马吗？平时吃的是三品官的食料，一旦在仪仗中叫一声就被拉出去，到时后悔也晚了。”

李林甫任丞相时，凡是才能、声望、功业超过自己以及受到玄宗器重，在权位上对自己造成威胁的，必定想方设法地除去；尤其忌惮文学之士，有时候会表面与人友善，说些好话而暗中加以陷害。世人说李林甫是“口蜜腹剑”。

★~★