黄明远返回东都不久，河北来旨，天子也即将到达。黄明远这一次虽然一路大战，但行军速度太快，竟远远的将杨广甩在了身后。
杨广又享受了一次长途行军，可此次与以往得瑟不同，这次杨广的御驾在返回中原的一路上颇不太平。
自黄明远和宇文述二人率领主力隋军南下之后，杨广也带了近二十万人马从辽东徐徐返回。因为有黄明祯的留守，所以这一次杨广也不如历史上那般走得匆忙，更没有遭到高句丽人的尾随追击，伤亡惨重。
杨广到达临渝关之后，听闻葛公赵元淑参与杨玄感谋反，已被黄明远抓获，是勃然大怒，令人前往赵元淑面前质问。赵元淑一直被关押，早就想好了说辞，因此便推脱自己因为与杨玄感家通婚，所以才有交往，至于所得的金宝更只是娉金，实无其它缘故。
可惜赵元淑不了解杨广的性格，杨广若是主观上认为是某个人的错，你若是主动认错，他还可能放你一马，至于狡辩，只会得到更残酷的惩罚。
因此杨广听到赵元淑的推脱更是气愤，对侍臣们说道：“这就是反状，何必反复问！”于是下令在涿郡处死赵元淑和魏氏，并没收赵元淑的家产。
于是朝中与杨玄感交善的大臣人人自危。
兵部侍郎斛斯政是北魏常山王斛斯椿的孙子，明悟有器干，初为亲卫，后以军功授仪同，甚为杨素所礼，又被杨广倚为心腹股肱。他也与杨玄感交好，甚至参与了杨玄感的叛乱，帮着杨氏兄弟逃回中原。听闻赵元淑身死，他内不自安，便趁机逃亡了高句丽。
杨广大怒，命人追杀斛斯政。可惜没能捉住斛斯政，杨广只得下令将斛斯政全家尽诛杀，甚至与斛斯政交好的也被一同处死、流放。
此时虽然还没有平定杨玄感之乱，但由此引发的清洗已然开始。赵元淑、斛斯政不是第一个也不是最后一个，但他们的遭遇却实实在在地割裂了君臣关系，也让大隋朝廷越发的动荡。
很多时候，人心散了，朝廷也便乱了。
杨广还不知道此事的危害，他的注意力很快被其它事所转移。因为他的车驾一路南来，在河北遭遇了大股的流民。这些流民或是成群结队的乞活，或者便成了盗匪袭击天子车驾的运输队。虽然最后尽被隋军主力击溃，并未对天子车驾造成多大损害，但此事更让杨广愠怒。
杨广是个好面子的人，好面子到虚荣。他自以为自己功盖秦皇汉武，乃“千古一帝”，被盗贼袭击的事情简直让他颜面丧尽。杨广对此当众发了脾气，大批的地方官和戍卫官军被处置。杨广甚至指责虞世基等人“难道天下坏到这种地步”。
在杨广的心中，这还是那个蒸蒸日上的大隋，虽偶有微恙，但不过是疥癣之疾，不足为虑。
对于杨广的质问，无人敢答。
杨广以为是律法还不够严苛，乃下令“盗者籍没其家”，即为凡作盗贼的人其家属财产都要被官府没收。而此时因为连续两年的灾祸，河南、河北流民无数，四处求活，流民与盗匪之间的关系本就很难分辨。而杨广的这条诏令，使得各地的郡县官吏各自作威作福，任意地对百姓生杀予夺。百姓苦不堪言，无路可走之下，只得为匪，以至于为乱匪者更是越来越多。
很快，又一件大事发生，彻底撕开了杨广的遮羞布。
杨广的车驾随从高达二十多万，男男女女，各色身份皆有。行军起来，队伍拉得长达数十里，往往前军到了一个城池，后军才刚出发。而众人自是把戍卫的重心放在了杨广的身上，因此一些边边角角的位置便会被众人忽视。