赤眉军进入安陵前，班超的祖父班稚和外祖父樊叔皮做出了一个惊人的决定，他们命家丁虞四月驾着辎车，带着樊家女公子和班府公子，在赤眉进入安陵前夕的一刹那间，匆匆踏上逃亡行程，从而为班、樊两家保住了一点血脉。
马车飞奔出城邑北门，他们先逃到池阳，然后顺着泾水边的驿道，一路向西北飞奔而去。这一年，班彪二十二岁，虞四月只有二十一岁，而班超的阿母樊儇那时仅有十二岁。
他们从左冯翊的池阳出发，先是顺着泾水旁的官道一路向西北。然后过安定郡的阴槃、临泾等城，翻越凡亭山，过朝那城，巅沛流离、历经艰辛，总算有惊无险，顺利到达高平，并投靠了河东雄狮隗嚣。
隗嚣恰在高平，三辅名人班彪来投，他很是高兴，将班彪延为门下客。
于是，班彪和樊儇便在高平安顿了下来。此时的隗嚣，刚刚将盘踞三水的卢芳打得逃向北地荒漠中，投入匈奴的怀抱。当时的隗嚣已下安定，并完全据有河东、陇右大地，正是他最得意、最辉煌的时候，仅门下宾客就有数千人。
班彪投到隗嚣门下，终日无所事事，只能在长史府从事抄抄写写的零碎杂活，隗嚣从来没有单独召见过他，更别说问计于他了。
虽然倍受冷遇，但从战乱中逃出，总算有了安定之所，班彪虽有怀才不遇的感觉，但还是耐心地呆了下来。没想到的是，这一呆就是四年。虽然他们住在一起，但班彪是真正的读书人，对樊儇秋毫无犯，一直以兄妹礼事之。
隗嚣是当时割据一方的豪杰，他虽然不用班彪，但却令族女隗灵与樊儇一起嫁给班彪。于是，建武五年（公元29年）四月，班彪便按隗嚣令，娶了年已十九岁的隗灵和十六岁的樊儇。
隗灵与樊儇都是知书达礼、美丽贤惠的女人，班彪得二女，自然是人生一大幸事。可班彪过的却一点不开心，隗嚣器量太小，并非有为之主。班彪到河东整整四年，仅是隗嚣门下宾客。平时，班彪根本就无法接近隗嚣，更别说出什么谋划了。
一次，隗嚣破例很虚心地问策于班彪，“叔皮乃三辅名士，史学巨挚，且是前汉世族之后。今天下大乱，不知叔皮对前朝兴废之事，有什么心得可以教吾？”
班彪闻言，心里很是激动。来河东四年了，今日终于有机会直陈已见。于是，他怀着对故国的深深眷念，也带着想报答隗嚣收留自己的感恩之心，当然内心同时也充满自信，侃侃说道：
“大王，自更始之乱始，天下纷争，群雄四起，看似已经改天换地，其实汉祚未灭，天下向汉，他日必兴。今建武帝与成家帝（注：即蜀汉称帝的公孙述）均汉室后裔，臣以为建武大帝已据有中原，且仁德爱民，更有先汉气象，天下已渐归心。大王拥河东之众，如顺应天命，匡扶汉室，必留名青史……”
“汝知往而不知来，真是一派胡言！”