且说高力士看杨贵妃生气，心花怒放，继续煽风点火：“娘娘，还有其二，赵飞燕****后宫，李白拐着弯侮辱娘娘不检点。”
杨贵妃大怒，把桌子上的东西全部扔到地上：“李白欺我太甚！”
宫中，杨贵妃独坐，满脸愁容。
玄宗进来，杨贵妃并没有像平常一样亲亲热热来接驾。
玄宗很诧异：“玉环，你有什么心事，说给朕听听。”
杨贵妃不言语，颗颗玉珠洒落在玄宗手背上。
玄宗急了：“到底怎么了？你倒是说话啊。”
杨贵妃跪下：“请陛下为臣妾作主。”
玄宗扶杨贵妃坐好，说：“不急，不急，慢慢说。”
杨贵妃说：“那个翰林学士李白羞辱臣妾。”
玄宗说：“不会吧？好，那你说一说他怎样羞辱你。”
杨贵妃拭了拭了泪：“就在他写的《清平调》里。”
玄宗说：“那不是写得很好吗？你也说过很喜欢那几首诗。”
杨贵妃道：“他拐着弯骂人。里面有‘借问汉宫谁得似，可怜飞燕倚新妆’，他把我比作汉朝的赵飞燕。”
玄宗说：“没有错啊，赵飞燕是出了名的大美人。”
杨贵妃道：“赵飞燕是大美女，可赵飞燕身轻如燕，能作掌上舞，他讥笑臣妾身体……，还有，那赵飞燕是娼家出身，听说还红杏出墙。他这样说，是对臣妾的最大污辱。反正以后，宫中有他没我。”
玄宗说：“这不过是一面之辞，有点牵强附会。就因为一首诗赶他走，天下人会怎么想？毕竟李白的名气太大太响，他们会笑话朕的。”
杨贵妃撒起娇：“不管，不管，你是陛下，谁敢说你，反正我今后再也不想见到他。”
玄宗说：“好好好，别哭了，我以后不诏他进宫就是了，说不定他会主动离开的。”杨贵妃方破涕为笑。
玄宗对李白有自己的考虑，因为李白走进玄宗的私生活，玄宗害怕李白酒后“言温室树”。这里有一个典故：
西汉时，皇上和臣子们议事的地方，称之为温室殿。汉成帝的大臣孔光，为人十分周密谨慎，每天回家与兄弟妻子一起闲话时，从不谈及朝中的政事。有一次，家人无意中问到温室殿中种了什么树，他却默默无语，守口如瓶。因为他明白，如果讲了温室树，那接下来就是温室事，拿国家机密当茶余饭后的谈资，会干扰政事，危机国家。
“口不言温室树”已成为典故，成为古代官员坚持原则不忘纪律的经典。
玄宗知道李白放荡不羁，害怕他酒醉饭饱后把宫中的事说出去。
李白很久没有受到诏见，李白有些心灰意冷。他在书籍里找到一丝安慰，更多是纵酒高歌。张垍在一旁暗自冷笑。他觉得还不够，煽动集贤殿学士攻击李白。当时长安城有两个学士院：一个是集贤殿学士院，主要职责是侍读，偶而也起草内阁文书；另一个就是翰林学士院，专为皇帝撰写重要文件。很明显，翰林院学士接近陛下，地位高于集贤殿学士。而李白又是翰林院中红得发紫之人，早就引起他们的不满。
“什么翰林院学士，整天不务正业，喝得烂醉如泥，衣冠不整……”
“陛下为什么喜欢他，不过会打小报告，贬低他人，抬高自己。”
“普天之下好像只有他读过书，会写诗，我们都是废物。”
李白受不了，写《翰林读书言怀呈集贤诸学士》解释：
晨趋紫禁中，夕待金门诏。
观书散遗帙，探古穷至妙。
片言苟会心，掩卷忽而笑。