高颎走了，走的波澜不惊，又走的心如刀割。属于高颎的时代已经落幕了，属于当年那个开皇盛世的时代也已经落幕了。
黄明远早让人在九原妥善安置高颎，不使其有衣食之忧。
高颎走后次日，天子下诏，罢尚书右仆射苏威职务，废为庶民；罢内史令萧琮职务、爵位，废为庶民。
苏威是因为之前进谏之事被废黜，而萧琮则是因为与贺若弼交好。
原先，梁公萧琮因为皇后萧氏的缘故，很为杨广亲近推重，是爵位改制之后仅有的五个公爵之一。萧琮宗族中的涉及服丧缌麻三月的人，都按才能提拔任用了，萧琮的几个兄弟，都在朝廷作官，萧家势力在朝中雄厚。萧琮性情恬淡儒雅，不把职务放在心上，虽然客居他乡，但对北方的豪强贵族，都没有看得上的。他与贺若弼有交情，贺若弼被杀，又有童谣说：“萧萧亦复起。”这一次杨广处死贺若弼，查到他与贺若弼的关系，又想到之前流传“西梁将要兴盛”的说法，因此对萧琮满是猜忌，直接废为庶民。
爱之欲其生，恶之欲其死，这就是杨广。
四个宰相，又折一个。
八月初二，杨广下旨迁黄明远为内史令，仍领左武卫大将军，为首相；迁民部尚书杨文思为纳言，增补为宰相。
迁鸿胪卿楚公杨玄感为礼部尚书；迁段文振为兵部尚书；迁西南道大使长孙炽为民部尚书；迁将作大匠宇文恺为工部尚书；迁崔弘升为右御卫大将军。
又令萧琮的弟弟萧珣之子萧钜继承萧琮的爵位，为梁公。
诸相之中，黄明远越过牛弘、裴矩，竟然神奇地成为了大隋首相，而內史侍郎虞世基更成了黄明远的直接手下。
黄明远倒也不以为意，本来就不想再待在洛阳了，即使有这么一个首相的任命，对于志不在此的黄明远来说，又有何意义。
八月初，杨广准备离开榆林，前往定北城。
这时太常卿元寿向杨广建议道：“汉武帝出关，旌旗连绵千里，极其壮观。现在大军十余万人北巡，却集聚在一起，毫无气势，不如将御营的军队分为二十四军，每天派遣一军出发，相距三十里，旗帜相望，钲鼓相闻，首尾相连，千里不绝。如此场面，气势恢宏，更能体现出天子北巡的威严。”
杨广大喜，众人也纷纷赞同。
若是旁事，黄明远自不会扫了杨广的幸，但行军之事，关系到数万人的生死，不可不慎。
黄明远于是反对道：“如此必不可行。我军兵亘千里，沿途有山川隔阻，一旦遇到不测，队伍就会四分五裂。到时中枢有事，则首尾不能相顾，况且出塞道路险阻漫长，难以相救。虽然有汉武帝出关兵连千里的故事，但如此布置，实乃取败之道也。”
黄明远乃大隋军神，说的话本就够分量。且这几年黄明远身为宰相，地位崇高，早养得一股贵气，且兼具杀伐之威，因此元寿虽乃老臣，又声誉颇隆，但此时也不敢和黄明远直接争辩。
杨广听了有些不高兴，乃问道：“明远有何意见？”
黄明远乃说道：“我军兵多，当将军队列成方阵，四面向外防御，六宫及百官家属并在其内；倘若发生变故，就命令受敌的方面抵抗，并从阵内派奇兵，冲出阵外奋力攻击，以车子作壁垒，再设曲形钩阵，必可破敌。此与据城，理亦何异！到时若战而捷，抽骑追奔；万一不捷，亦可屯营自守，臣谓此万全之策也。”
“好！”
杨广听了，也不得不赞同黄明远思虑周全，布置妥当。
黄明远又举荐老将慕容三藏和周法尚分领骁果军左右统领，为大军侧翼。于是数万大军，顺利出了阴山。
杨广的车驾从从榆林出发，经过云中，溯金河而上，进入草原。当时天下承平，百物丰实，随驾的士兵有十余万人之多，至于其他民夫、役夫，数不胜数。时队伍强盛，马匹十万，旌旗辎重，千里不绝。