班超痴迷了一般，傻傻地、痴痴地站在门侧道上，并不敢太靠近。
他正不知道下面该怎么办时，忽然又有几辆轺车（注：单人或双人无厢马车，顶有华盖）驾到，他赶紧闪开。抬头一看，高大威严的门楼上，六个大大的红色牛角灯笼间，是“邓府”二个大字。而门楼顶上，“诗书仁义”四个大字，龙飞凤舞，金光四射。
细看，不禁大惊，这竟然是御赐金匾，原来是建武大帝刘秀亲笔手书！
建武中兴后，建武大帝刘秀厚待功臣，但能得到门楣赐书荣幸者，南阳众臣、河西众将、陇右众将中，惟南阳功臣之首高密候邓禹一人。班超仰头看着，为这四个大字所深深震撼！
他明白了，这里是大汉第一仁厚人家，被誉为“仁者之所”，在整个雒阳城赫赫有名的邓府。大门前连士卒都没有，却气势恢宏，慑人心魄。汉帝国第一世族，高密候邓禹邓大人的府第，这里可不是寻常人敢来的。不说别的，班府的小宅院，与邓府相比简直就象泥墙田舍一般。
班超此时心中全是女公子的身影，他伫立良久，只到夜深风凉，才不得不返身走回班府。二十岁的班超如在梦中，回府后见人也不说话，象丢了魂儿一般。邓家女公子那“一瞥一笑”，把班二公子的魂彻底给勾走了。
此后连续数日，每天傍晚会一个人莫名其妙地来到邓府门前转悠一会。没有目的，只是转转，回去便会睡得安逸。这些瞎转自然是枉然，在接下来的整整十年时间内，他再也未见到那个让他惊为天人的豆蔻少女。
但思念的种子已经埋下，浑浑噩噩的班二公子，开始有心思了。
建武二十九年（公元53年）春，中山国望都长一职空缺，班彪被从司徒掾任上晋为望都长。所谓望都长，就是望都县的县长。东汉时代，沿袭前汉郡县制。州下设郡（注：东汉初州不领郡，仅设俸六百石刺史），郡下设县。大县为县令，小县则为县长。
班彪当年在河西张掖郡觻得城时，窦融倚重于他，秩比千石。后做徐县令，仍然秩俸千石。继而做司徒掾，由于资格老，且有贡献，相当于现在地市级政府机关里的处长吧，勉强给了个秩比三百石。到了望都长，只是一个秩俸四百石的小吏。
班固在太学求学，家里开支很大。家里清贫，班彪饥不择食，实在没得挑了。
阴历三月初三，虞四月驾着辎车，载着病弱的班彪，勉强赴望都就任。小厮则载着另一辆辎车，携带满满一车家藏典籍书简。