谢玄不敢再问，便派好友张玄再去请示，不料谢安驾车去山中别墅，与亲朋好友聚会，然后才与张玄坐下来下围棋赌别墅。
谢安平日里棋艺不及张玄，然而这一天张玄心慌，反而败给了谢安。
羊昙因此白得一座别墅，到了晚上谢安才把谢石、谢玄等将领召集起来，当面交代机宜事务。
当时桓冲在荆州听说形势危急，打算专门拨出三千精兵到建康来保卫。
谢安对派来的将士说我这儿已经安排好了，你们还是回去加强西面的防守吧！
将士回到荆州告诉桓冲，桓冲很担心对将士说，谢公的气度确实叫人钦佩，但不懂得打仗。
眼看敌人就要到了，他还那样悠闲自在，兵力那么少，又派一些没经验的年青人去指挥，我看我们都要失败被俘了。
同年十一月，谢玄遣部将刘牢之以五千精兵奇袭，取得洛涧大捷。
十二月，双方决战淝水，谢玄、谢琰和桓伊率领晋军七万战胜了苻坚和苻融所统率的前秦十五万大军，并阵斩苻融。
淝水之战以晋军的全面胜利告终，晋军在淝水之战中大败前秦的捷报送到时，谢安正在与客人下棋。
他看完捷报，便放在座位旁，不动声色地继续下棋，客人憋不住问他。
谢安淡淡地说没什么，孩子们已经打败敌人了。
直到下完了棋，客人告辞以后，谢安才抑制不住心头的喜悦，舞跃入室，把木屐底上的屐齿都碰断了。
淝水之战的胜利，也使谢安的声望达到了顶点。以总统诸军之功，进拜太保。
战后谢安上疏请求北征，孝武帝于是以谢安都督扬、江、荆、司、豫、徐、兖、青、冀、幽、并、宁、益、雍、梁共十五州军事，加假黄钺，其余官职如旧，又增设从事中郎二人。
谢安上书辞让太保之职及爵位，朝廷不许，桓冲在淝水之战之后不久去世，谢安没有让谢玄任荆、江两州刺史，又担心桓氏失去荆、江二州的职权会不服。
桓石虔有沔阳的战功，谢安考虑到桓石虔骁猛善战，据有险胜之地，恐怕难以控制，于是任命桓石民为荆州刺史，命桓伊改镇江州，桓石虔镇豫州。
从而使三桓统辖三州，彼此无怨言，各得其所，为接下来的大规模北伐稳定了后方。
谢安执政，从长远考虑，使部属之间无争无斗，大抵都是这样。
太元九年八月，谢安起兵北伐，东路的谢玄率领北府兵自广陵北上，一路收复了兖州、青州、司州、豫州，中路和西路的桓氏则出兵攻克了鲁阳和洛阳，并收复了梁州和益州。
至此，淝水之战前秦、东晋以淮河－汉水－长江一线为界的局面改成了以黄河为界，整个黄河以南地区重新归入了东晋的版图。
淝水之战的巨大胜利，谢安的事先筹划功不可没，而且谢安从战前的围棋赌墅到战后的小儿辈大破贼，自始至终一直采取极为冷静的态度。