此前，周为雍州之地，春秋以前为西戎占据，秦为月氏驻牧地。
西汉文帝前元六年（前174年）匈奴占领河西，匈奴族建立改臧城，而后休屠王在谷水建立休屠（屠各）城。
西汉元狩二年（前121年），汉武帝派骠骑将军霍去病远征河西，击败匈奴。
此后，西汉政府在河西走廊设郡置县，为彰显大汉帝国的武功军威，在原休屠王领地置武威郡，武威由此得名。
但《汉书·武帝纪》称武威郡与酒泉郡皆为元狩二年（前121年）置，《汉书·地理志》却称其为太初四年（前101年）所“开”，两说彼此矛盾。
此外，《史记》《汉书》中还有多处与以上记载相抵触的史料。
当代学术界亦无定论，有昭宣时代设立、元鼎初年(前116—前115年)设立等不同说法。
武威郡隶属凉州刺史部，领姑臧、张掖、武威、休屠、揟次、鸾鸟、扑擐、媪围、苍松、宣威共10县，以姑臧（今凉州区）为治所。
原来的历史上东汉献帝兴平元年（194年）6月，重置雍州，武威郡为雍州州治，领14县，为姑臧、张掖、武威、休屠、揟次、鸾鸟、扑擐、媪围、宣威、仓松、鹯阴、祖厉、显美、左骑千人官。
三国魏文帝黄初元年（220年）十月，重置凉州，辖武威等7郡，州治武威郡姑臧县，武威郡领姑臧、宣威、武威、揟次、仓松、显美、骊靬、祖厉、休屠、鸾鸟、扑擐、张掖、鹯阴、媪围共14县。
......
3月22日，华雄、徐荣、董越、胡轸四人领军至枝阳，3月25日至允街，3月28日至令居, 4月8日至张掖, 4月10日至揟次，4月15日至武威郡郡城，4月22日至休屠，4月25日至宣威, 4月30至武威。
华雄、徐荣、董越、胡轸四人走后, 皇甫崇又调牛辅、李傕、郭汜、樊稠带着董卓原来的2万人马，以及赵云带着5000御林军, 命令他们从金城赶到北地郡的灵州, 众人便在3月23日集合后，于3月25日领兵出城。
灵州, 初曰灵洲, 西汉惠帝四年（前191年）置。
《汉书》记载：“灵洲，惠帝四年（公元前191年）置。
有河奇苑、号非苑，莽曰令周。
师古曰：‘苑谓马牧也。
水中可居曰洲，此地在河之洲, 随水高下, 未尝沦没, 故号灵洲。’又曰河奇也。二苑皆在北焉。”
灵州, 西汉惠帝四年（前191年）置灵洲县，属北地郡, 故址在今吴忠市。
东汉为灵州县。北魏为薄骨律镇, 后复改为灵州。
西魏改置灵州普乐郡。
北周时改为灵州、灵武郡。
隋改为灵武郡, 治所回乐县。
唐复置灵州，朔方节度使驻此。
天宝初改曰灵武郡，后又改为灵州。
宋时为西夏翔庆军、西平府。元复曰灵州, 属甘肃等处行中书省宁夏府路。
明洪武十七年（1384年），黄河水淹没灵州, “城凡三徙”, 宣德三年（1428年）第三次迁徙灵州城，迁移到今灵武市。
明置灵州守御千户所, 属陕西省宁夏卫。
清亦为灵州, 属甘肃省宁夏府。