到咸丰十八年的时候，法越交恶，事情坏在一个叫堵布益的商人和一个叫安邺的法军上尉身上。
道光二十七年之后，法国人的势力范围进入越南，占领了越南南圻六省，在这里大做生意之外，犹不满足，有意谋求更大的利益。而且，越南上下一片暗弱，二十余年的时间里，法国人只要出动有限的几艘军舰和数百军队，就可以横扫越南全境，也助长了法人的骄横之气。
堵布益是个商人，从咸丰十年之后，多次往来中国内地做生意，最深达到过汉口。发了很大的一笔财，与政府方面也有千丝万缕的联系。后来又多次出入云南进行贸易，咸丰十五年的时候，他怀着勘察红河航道的意图到云南的蒙自、蛮耗等地，再从那里乘船到河内，经过航行，他了解到，红河可以建立沟通云南和河内的航道。
第二年，他返回巴黎，向法国海军殖民部提出，允许他乘坐派驻交趾支那的海军分舰队的炮艇前往越南首都顺化，目的是要胁迫越南政府同意法国借用其领土，以创设一条连接越南和云南的航线。法国海军殖民部答应了他的请求，于是，咸丰十八年，堵布益带着四条船和一百五十余人，经由中国云南回到河内。
双方一开始的合作倒很顺畅，但在堵布益回国的期间，给越南人发现，他的随员有和黄崇英勾结的事实，于是恶感大生，趁堵布益不在，拘禁了他在河内的同伙。堵布益回来之后大怒，率领随员带武器上街，向越南官员索回被拘谨的同伙，进而焚烧越南政府的告示，袭击越南士兵，囚禁越南官员，他还在前往云南做贸易的途中，威胁地方官员，“如果你尝试欲拦路，我将用机枪尽杀你等，如你让我经过，我们将会成为世界上最好的朋友。”
越南地方官自然不会为他吓到，于是，堵布益下令射击越军的工事，火烧沿江木筏以示威胁，在通过黑旗军驻守的馆司关时，由于黑旗军在出售粮食的时候要价过高，堵布益又几乎和黑旗军翻脸。他狂妄的宣称，“如果你们试试和我捣乱，我将从老开至河内全区把你们歼灭净尽。”
堵布益这样狂妄的言行引起越南人的不满，而且他根本无视越南人的抗议，没有半点收敛的意思，越南人只好派人去见交趾支那总督狄佩雷，要求他派军舰到河内，帮助驱逐堵布益。同时，堵布益也向狄佩雷求助，以对抗越南政府。
狄佩雷两面讨好，暗中倾向堵布益，一面让他暂时离开河内，以缓解矛盾，一面又考虑，准备趁这样一个机会，派军队深入到北圻——而物色来的率领这支部队的军官，便是安邺上尉。安邺带着56名法军士兵、乘坐四艘小艇从西贡出发，奔赴河内。他所接受的正式命令是：调查堵布益对抗河内当局的原因及河内当局对于堵布益的指控，同时了解河内的对外贸易情况。
但安邺到达河内之后，擅自为自己此行的任务增加了驱逐海岛的内容，这自然遭到河内方面的反对，他们指出，“安邺唯一的任务，就是在审判并驱逐堵布益，非以干预国家之事。”
于是，安邺又张贴了一张告示，声称除解决堵布益的事情之外，“我的使命还有另外一个目的，主要在于保护商务，在法兰西的保护下，把这个国家及其河流（指红河）向各国开放。”同时他还向河内当局提出商约五款，并威胁说，如果不接受，就要使用武力。
到咸丰十九年的七月十九日，安邺给河内当局致送最后通牒，威胁对方，如果天黑之前不接受他的条款的话，就要攻占河内，俘虏巡抚。
到八月二十日，安邺带领的部队和堵布益所有的武装人员的协同作战下，率领百余人向河内城进攻。巡抚阮知方和儿子驸马林组织反击，后来驸马林死于炮弹之下，阮知方也被俘虏，越军一哄而散，法军占领了河内，后来，阮知方绝食而死。
皇帝看到这里，好笑的放下奏折，捏一捏鼻梁，“这份折子，你们都看过了？”
“是。臣等都看过了。”
“朕真不知道该说法国人能耐太大，还是越南人都是蠢猪了！一百几十人的部队，居然就能够占领如斯重镇如河内者？即便越南人都是猪吧，总也能拱倒几个法国人吧？居然这样就给人家杀败了？真可笑！”
“是。”奕赔笑说道，“越人愚笨，于此事便可见一斑。但臣弟想，越南为我大清属国，出了这样大的事情，朝廷总得拿出一个妥善之策，也好让天下人不敢因此小觑了我大清的日上国力啊！”
“拿什么办法？让越南人自己想办法去！一群废物。”
曾国藩明知道皇帝是在说气话，又怕他就此议定，真将越南之事袖手不管，到时候，朝鲜、琉球等国将如何视之？因此，故意不理他的话，自顾自的说道，“皇上，法人得陇望蜀，欲壑难填。河内丢失，则北圻全境危矣。若是法人有心借越南与我大清接壤之土北上……”
皇帝的眉毛猛的一挑，“他敢？！”他大声说道，“朕才不相信， 一个小小的法国，就敢大胆挑衅我大清？这时候，只怕他们连自己国内的事情还照应不过来呢！还敢招惹我大清？”
“是。臣也以为，普法之战，如火如荼，法人就是天做胆子，也绝不敢在东方与我大清交恶。但臣的意思是说，若是由得法人在越南肆虐，百姓凭遭兵燹之外，更恐有流民为避战火，涌入我朝，为滇桂等省，平增困扰。不可不防啊？”
曾国藩这最后一点，着实是给皇帝提了醒：确实，百姓懂得什么？自己的家乡打仗，自然就要往平安的地方跑，广西、云南两省虽然称不上很富庶，终于还是没有日日夜夜命悬一线的苦恼，这种难民的问题，该如何解决呢？“那，广西和云南那边……”他迟疑了一下问道，“好像没有流民涌入的奏报吧？”
“这，据臣等所知，尚无此等文字奏陈，料想法人虽势大横强，终不能在数月之内，攻占北圻，百姓也就毋庸携家带口，北上奔逃。”
“嗯，这且不去管他，你们说说，这件事该如何处置？”
为法越交恶之事，皇帝和军机处议了一个时辰，暂时拿出了三个办法，首先是让奕回京，即刻召见法国法国公使恺自尔，声明大清对于越南自古所有的宗主权，要求法国尽快解决和越南交恶事端，撤换领兵的上尉安邺，归还河内城，法国士兵即刻退回西贡，否则，一切后果有法国人自己承担；第二，命云南巡抚唐炯、提督黄桂兰出镇南关部署防务，给法国人施加压力；第三，全力支持刘永福在越南的抗法作战，给枪炮、给子弹、给教官，帮助他整训士卒。
君臣议定此事之后，皇帝说道，“越南人都是一群蠢猪，这件事过去之后，从直隶抽调绿营士兵，另外，再从邻近的山东、河南抽调部分军中骨干，到越南去，好好帮他们训练一下步卒。一座城，让人家百十人就给攻下来了，这不是笑话吗？”
“是。臣也以为，越南兵战力确实堪虞。从这一次的河内攻防战，就可以见其士气之孱弱，也实在是到了该整顿一番的时候了。”曾国藩是正牌子管着兵部的大臣，他第一个说道，“但臣以为，越南地处南国，其国多有瘴疠之气，恐怕北地士兵有水土不服之扰，到时候，训兵不成，自己反而受其连累，请皇上明察。”
“是吗？”皇帝不怀好意的拖长了声音，“如今可真是了不起了，嗯？当年在关外与俄国人接战，爬冰卧雪的苦楚也能够受得住，如今只是让他们到越南去练兵，就拿出这么多理由来了？”
听皇帝语气不善，曾国藩赶忙跪了下来，“臣奉旨管部，公事有所不谐，都是臣的过失，请皇上恕过。”
“还瘴疠之气？”他似乎根本没有听见曾国藩的自辩之词似的，喃喃自语的骂道，“身娇肉贵，都成老太爷了！？干脆不要管，不要理，连枪也都放下，各自回家去算了！”
眼见皇帝一张清秀的瓜子脸上的阴云越来越浓，可见一场大风暴就在眼前，奕抢先一步，跪了下来，“皇上，臣弟有话说。”