老公外遇要和我离婚怎么办？

我老公是公务员，是政府部门的一个处级干部。我们20多年以前就相爱，而且生活的很幸福，感情很好，现有一10岁女儿。可是3年前他认识了一个未婚比我们小5岁的女人，那个女人也是公务员。老公外遇之后，开始对我实施冷暴力，并千方百计要离婚。可是我对他青梅竹马的感情从未改变，不能接受离婚。他可能要走法庭起诉的手续。我该怎么办？谁够帮帮我们这些弱势群体？刚刚注册的号，只有25分，所以只能悬赏20分
从还不知道感情是什么东西的时候，就把自己给了他，20多年了，从未考虑过除了他之外的任何东西。他是好人，我知道，只要他走出了这段婚外情，还会是一个好丈夫。我们家经济收入，也是他一手掌控，我家到底有多少家底，以前是我信任他不过问，现在是他不告诉我，我也从来没有做过离婚的打算，所以他外遇3年以来，我还是把所有的收入都交给他。
他其实在这3年就曾经有两个外遇女人，在两个女人互相知道了之后，小四对小三攻击，小三很聪明，把小四对他的攻击都告诉我老公，老公从此就想摆脱小四。小四闹，我老公是政府部门，怕把事情闹大，想先把小四安抚住再离婚。小三太聪明，总是利用我老公来对付小四和我，而我老公还就是吃她那一套。他们三个都是公务员。不知道其他公务员是不是也这样。
也可能是我太自私，我老公说，如果我真的爱他，就该让他生活的更好而放手。可是我实在放不下，忍受不了他有一天会朝朝暮暮和另一个女人在一起，那太沉重了。3年了，忍受着他和另外女人在一起的痛楚，不是我度量大能容物，而是我实在太珍视他珍视这个家庭。他也知道，把我对全世界所有的人物加起来的感情，也不及对他感情的十分之一那么多。做不到放手。