张文远率部向西，前往蒲坂，而在此之前，围攻蒲坂城的独孤怀恩突然从蒲坂撤退，并退回河西蒲津关。
独孤怀恩在吕绍宗兵败银冶时便知恐不敌隋军，于是连夜撤退，避免了全军覆没的危险。
三月二日，被包围数月的蒲坂城终于解围。
自屈突通离开蒲坂，尧君素在城中几乎陷入绝境。蒲坂城内，只有四五千人马，由尧君素统帅。而主力军队，尽被屈突通带往了潼关。
屈突通离开后，唐军便围着城池猛攻。
只是城池坚固，唐军始终没有攻下。
后来独孤怀恩调来尧君素的好友陈政前来劝降。陈政是太府卿陈茂的儿子，担任兵曹承务郎，深得杨广的赞许，对其颇为很看重他。长安城破后，陈政投降李渊。
陈政来到城下，见到尧君素，诉说长安陷落的消息。尧君素闻讯之后，哽咽流泪，悲伤得不能自控，身边的人也都跟着哽咽起来。
陈政也流下泪沾湿了衣襟，并趁机劝说道：“君素，吾军已败，义旗所指，莫不响应。事势如此，卿当早降，以取富贵。”
尧君素朗声答道：“陈政，汝为隋臣，天子命你在关中辅佐代王，汝奈何不思报效，以至于此。今汝麾下所骑，尚是代王所赐，汝有何面目在这里大放厥词。”
陈政辩解道：“君素，我力屈而来。”
尧君素乃回道：“吾尧君素方今力犹未屈，何用多言。”
陈政大惭，于是退下。
之后李渊又派遣了多人前来劝降，更是直言，只要尧君素投降，官升三级，封国公，但尧君素皆不为所动。
尧君素的妻子在长安，李渊又派其妻子前来劝降。
其妻言道：大隋已经灭亡，你何苦要自取祸害？”
尧君素心中大痛，强忍着悲伤说道：“天下的事情不是女人所能知道的。”于是拉开弓射向他的妻子，他的妻子中箭而倒。
众人皆惊，再无人敢劝。
唐军日夜攻城，小小的蒲坂城承受了巨大的伤亡。此时蒲坂城断绝了与外的消息，尧君素于是造了一只木鹅，把奏章放在木鹅的脖颈中，在奏章中他详细地分析了情势，然后把木鹅漂浮在黄河上，让它顺流而下。
虽然尧君素也不抱太大希望，但有万一呢。
其实尧君素也知道这一仗希望不大，但他作为隋臣，必是要尽忠死节的。
“吾是藩邸旧臣，累蒙奖擢，至于大义，不得不死。今谷支数年，食尽此谷，足知天下之事。必若隋室倾败，天命有归，吾当断头以付诸君也。”
诸将闻之，莫不唏嘘。
尧君素为了守御城池用尽了心力，等到张文远抵达蒲坂城之后，再见尧君素，只见尧君素面容枯槁，头发灰白，竟然足足老了十多岁。