此时杨广觉得四处都是要害他的人，唯有到了江都，他才能有些安全感。于是杨广便匆匆下令，三月便下江都。
此令一下，满朝哗然。这个时候，正是留在洛阳，平定叛乱的时候，如何能去江都这一隅之地偏安。
但杨广根本不管，他就是要去江都。在他看来，东都已经被那些野心勃勃的人充斥了，这些人勾结在一起，意图谋害于他，他若是再留在江都，必为这些贼人所害。
满朝文武，除了宇文述以外，都不赞同。
宇文述极力劝杨广南下，留在洛阳，樊子盖等人见他如仇人一般，他也不愿意。而且有人出重金请他说动天子南下，宇文述虽然不知道这些人想干什么，但也猜测没什么好事。
但这跟他有什么关系，他又不是天子。宇文述爱财如命，为了钱财，没啥不能干的。
杨广要南下，领左侯卫大将军赵才立刻出来劝谏道：“今百姓疲劳，府藏空竭，盗贼蜂起，禁令不行，愿陛下还京师，以安兆庶。”
赵才是酒泉人，属于关陇一脉的偏支。他们忠于天子，但又希望天子能够返回长安，使政治生态回复到开皇时代，因此在朝中属于身份尴尬的一批人。
赵才性格比较直，肃遏奸非，无所回避。
杨广听了赵才的话，是勃然大怒。他现在最不想听的就是“贼啊，贼啊，回京啊，回京啊”这些词，赵才这是戳他肺管。换了旁人，他直接就下令处死了。
不过杨广也把赵才下狱，关押了十多天才放出来，他要杀一杀这个老匹夫的驴脾气。
建节尉任宗以盗贼充斥全国为由，在建国门上表劝阻江都之行，杨广勃然大怒，先摘掉任宗的下巴，然后将他处死。
至于其他人，若是官职低微的进行劝谏，直接为杨广杖毙。于是众人见杨广态度如此坚决，更没人敢劝谏的了。
三月五日，杨广下令越王杨侗留守洛阳。
往常都是燕王杨倓留守，但随着杨倓年岁愈长，影响力越来越高，在身边人的怂恿下，便生出了一些其它的想法。
有一次杨广听到有人怂恿杨倓讨好天子，与皇太孙杨佶争权，便勃然大怒，处置了杨俨身边的师傅。虽然有杨佶帮着求情，没有废黜杨倓的王位，但他待杨倓较之前疏远了许多。
说来也怪，越是通过夺位上来的君主，越不喜欢下面的子孙去夺位，也是奇了怪了。但上行下效，这不是天子可以阻止的。
杨佶随行，杨侑留守关中，杨侗在杨昭四子中身份最透明，于是反而被祖父委以重任。
同杨侗一起留守的，是民部尚书樊子盖。
这次杨广也知道离开洛阳的时间短不了，于是便令尚书右丞张方翼、太府卿元文都、吏部侍郎韦津、右武卫将军皇甫无逸四人佐之。
三月八日，杨广乃从洛阳出发，南下江都。文武百官于上东门送天子。
这一次南下，众人都是神情郁郁，情绪也没有那么高。若是可能，没人愿意跟着去。
杨广看出众人眉间的愁绪，但也没多说。
本来无事，他更不会找事。
不过这般场面，着实压抑的很。杨广便故意与身侧的黄维烈说道：“猊奴，当初汝父护卫朕南下，便如这般盛景。”
此次天子南下，大半个朝堂百官都要跟着，包括眷属。
虽然黄明远不在洛阳，但身份特殊，按道理裴淑宁也要跟着。不过裴淑宁自年后便对外称“病重”，不再会客，等到南巡之时，便难以成行。