不过杨广的大业还没开始，自河东便传来一个惊天动地的消息。汉王杨谅以“清君侧，诛杨素”为由，在并州起兵造反了。
先时杨坚在仁寿宫病重，杨谅得到消息后，几次请求回京侍疾。当时杨坚也没想到自己病情后来会加重，他由于担心先是加封杨昭为皇太孙，再加上若让杨谅回京，会过度的刺激杨广，因此便拒绝了杨谅的请求。
但后来杨谅病重，再加上杨俨、柳述之乱，为了避免可能出现的动乱，杨广便招杨谅还朝。
这时的杨谅接到令后，还很是欣喜，一路疾驰南下，欲返回长安。不过杨谅也在长安有后手，等到杨谅到达蒲坂，竟传来杨坚病逝的消息。杨谅得信大惊，自觉若是就此返回长安怕是自身性命难保。因此在手下众人的怂恿之下，杨谅急忙率部返回并州。
杨广知道杨谅逃回并州的消息之后，只得哀叹时运不济，失去了解决河东问题的大好机会。因为中央政府没有准备妥当，杨广也不想过度刺激杨谅，因此佯装不知，乃命屈突通持隋文帝的玺书去晋阳（今太原市西南）征汉王杨谅入朝，参加杨坚的葬礼。
父亲死了，这次不管你有什么理由，总该回京了吧。
此时杨谅已经知道了隋文帝临终之前罢并州行台之事，又思虑自己与杨广父子的关系不睦，他若是就此回京，恐性命不保。
这时谋士裴文安献计可诈屈突通一番，看朝廷有无加害汉王之心。因此见到屈突通之后，杨谅乃说道：“当日孤离京之时，曾与先帝有言，先帝曾说‘如果有玺书召你，验看敕字加点，还与玉麟符相合，方可受命上路。’今日你持先帝诏书来并州，这诏书之中，为什么没有敕字加点？”
屈突通根本没听说话此事，大吃一惊，也不知此事是真是假，只能闪烁其词而不回答。杨谅乃怒斥屈突通朝廷作伪，天子死因必有蹊跷，因此拒绝接受这份旨意。
众人纷纷请求扣押屈突通，以对抗朝廷。杨谅知道屈突通虽然官职不高，但素来在朝中有贤名，无论处死还是扣押都没有意义，反而惹人诟病。因此杨谅也没有扣押他，而是将其放归回朝。
杨谅拒不接受杨广的诏书，算是和朝廷撕破了脸面。
事实上杨谅的谋反之举，并不是他心血来潮、脑袋一热的举动，而是早有准备。他自知与二兄杨广不和，因此在最初的时候，杨谅寄希望能够如杨广扳倒慜太子杨勇一般，合法继位。
但是自杨昭北伐得胜，又被封皇太孙之后，杨谅知道自己这条路是走不通了。杨广、杨昭父子二人实力强大，又如此得人心，哪怕杨广死了，也是杨昭继为储君，根本轮不到他。
至此杨谅便准备实行武力夺权。仰仗手中强大的实力，哪怕不能成为天子，也要割据一方，不再受杨广父子辖制。
杨谅作为杨坚和独孤皇后最小的一个孩子，从小备受宠爱，其身为并州总管，所辖之地为崤山以东到沧海，南至黄河，五十二州，相当于天下的四分之一。杨坚又特许杨谅在封地可以便宜行事，可以不拘泥于法律条文。
这使得杨谅便成为大河以北事实上的统治者。古往今来，整个中国历史上，都没有权利、实力如此庞大的藩王。