我爱上一个已婚男人,我们在一起3年多了,他家里老婆都知道我们的关系,我家里也知道,以前他说过会离婚娶我,可是我感觉他现在不想离婚了!我该如何维护我们的感情,我真的很爱她,离开他我不知道用什么勇气过以后的生活,我该怎么办