高宗皇帝一路仓皇逃到杭州，为安抚军民，无奈之下效法其父下诏罪己，求直言。诏曰：“朕遭时多故，知人不明，事出仓皇，匹马南渡，深思厥咎，在予一人。既以悔过责躬，洗心改事，罢黜宰辅，收召隽良，尚虑多方未知朕志。自今政事阙遗，民俗利病，或有关于国体，或有益于边防，并许中外士民直言闻奏，朕当躬览，采择施行。”同时大赦天下，杂犯死罪以下囚，放还士大夫被窜斥者，惟独不赦李纲，更不放还。只因其用黄潜善之计，罪李纲以谢金人，却忘记当年自己是如何在李纲面前表达自己中兴之意。</p>
诏书一出，便有御史中丞张守进言道：“陛下处宫室之安，则思二帝母后穹庐毳幕之苦；享膳合之奉，则思二帝母后膻肉酪浆之味；服细暖之衣，则思二帝母后穷边绝塞之寒；操予夺之柄，则思二帝母后语言动作受制于入；享嫔御之适，则思二帝母后谁为之使令；对臣下之朝，则思二帝母后谁为之尊礼：思之又思，兢兢栗栗，圣心不倦，而天不为之顺助者，万无是理也。今罪己诏数下，而天未悔祸，实有所未至耳！”高宗观奏章沉默不语，将其轻轻放在一边。</p>
其时黄、汪二贼在朝中怨声极大，御史中丞张徵上书弹劾两人大罪二十，大略意思为：“潜善等初无措置，但固留陛下，致万乘蒙尘，其罪一。禁止士大夫搬家，立法过严，议者咸云：‘天子六宫过江静处，我辈岂不是人，使一旦委敌！’归怨人主，其罪二。自真、楚、通、泰以南州郡，皆碎于溃兵，其罪三。神宗神主、神御不先渡江，一旦车驾起，则仅一两卒舁致，倾摇暴露，行路酸鼻，其罪四。建炎初年，河南止破三郡，自潜善等柄任以来，直至淮上，所存无几，其罪五。士大夫既不预知渡江之期，一旦流离，多被屠杀，其罪六。行在军兵，津渡不时，仓卒溃散，流毒东南，其罪七。左帑金帛甚多，不令装载，尽为敌有，其罪八。自澶、濮至扬州，咸被杀掠，生灵涂炭，其罪九。谢克家、李擢俱受伪命，而反进用，其罪十。潜善于王黼为相时，致位侍从，故今日侍从、卿监多王黼之客，伯彦则引用梁子美亲党，牢不可破，罪十一。职事官言时病者，皆付御史台抄节申尚书省，壅塞言路，罪十二。用朝廷名爵以胁士大夫，罪十三。行在京师各置百司，设官重复，耗蠹国用，如以巡幸而置御营使司，则枢密院为虚设，置提举财用，则户部为备员，罪十四。许景衡建渡江之议，挤之至死，罪十五。身为御营使，多占兵卫，不避嫌疑，罪十六。敌人相距，斥候全无，止据道涂之言为真，致此狼狈，罪十七。敌骑已近，尚敢挽留车驾，罪十八。卢益自散官中引为八座，遂进枢副；伯彦之客为起居郎，有罪补外，遂除集英修撰；二人朋比，专务欺君，罪十九。国家殆辱，不知引罪，罪二十。”</p>
奏章来到高宗皇帝案前，仔细观看后回想当日在扬州时因黄、汪二人不察，以致兵临城下方知，又兼受到惊吓，使得面对后宫如花美眷，竟然无力从事，诸事种种，令高宗皇帝更为痛恨二人。</p>
此时黄潜善、汪伯彦知道自己民怨极大，若是再留于朝廷之中，身居高位，只怕祸患更大，于是入内求见高宗皇帝。</p>
二人在高宗皇帝面前痛哭流涕，数陈己罪，言词恳切，以求高宗免其相位，谪贬出城。高宗皇帝被二人所惑，又想到当日在扬州城中二人对自己的奉迎之情，便不再深究二人之责。下诏谕罢二人左右相为观文殿大学士，黄潜善知江宁府，汪伯彦知洪州。</p>
虽然黄、汪二贼明为谪贬，但所去之处皆是江南富庶之地。江宁府为江南东路首府，洪州是江南西路首府，皆是外放官员求而不得之地。反观李纲，只因上疏直言，便被贬至鄂州，守卫长江。高宗皇帝对忠奸之分别，可见一斑。</p>
此时金军东路完颜宗辅命其弟兀术继续南侵，兀术闻得高宗皇帝渡江逃亡杭州，便命刘豫知东平府，充京东西、淮南等路安抚使，节制大名府、开德府、濮、滨、博、棣、德、沧等州，以刘麟知济南府，使黄河以南，全归刘豫统之。而自己则厉兵秣马，准备直取杭州。</p>