爱上一个有家室的男人?怎么办?

在他有女朋友时候我就爱上他了,可是当时没敢和他表白,因为他只是在这边分公司上班,不久会回到总公司,所以当初我我以为只是对他有好感而已,直到他离开,我才知道自己控制不了自己!
在他结婚之后我们之间还有往来,但是他有小孩有老婆,我该怎么办?我似乎还在等他,虽然明知道他不会离婚,但是我是矛盾的,只想和他在一起,怎么办呢?
是啊,我是很迷茫的,但是我也不是在等着他离婚然后再和他结婚,没想过当第三者可是却喜欢上了，我只是觉得我很想保持这种关系……真的很矛盾！