我和他是情人关系我们俩在一个公司他是我的上司

我和他是情人关系我们俩在一个公司他是我的上司为什么在公司感觉他总是躲着我有我在的地方他能不去则不去，可是私下里就不是那样的了，在公司有很多人传他和别的女人怎样怎样，我问他他就说没有的事都是她们传言的，后来再问他就说他说的我不信那也没办法，我爱怎样想就怎样想，我就不明白了他这样做这样说到底是什么意思，为什么在公司还故意避着我，有必要这样吗？如果想在一起就继续不想在一起就拉到啊，也不用这样吧！（有一次一个女同事就是传绯闻的那个女人那手机给他看什么身体几乎都趴在他身上了，他看到我去了，就看看我让那女的走开了）他这人不爱说话有点冷给人的感觉，有时候别人给他发信息他几乎不回（同事间有事情发信息的），有时候我给他发他也不回但有时候回，有的时候还是等很久才回的，等的我都很生气了。问他为什么那么久才回我，然后他就跟我解释他在忙工作怎样的，我就不明白他为什么有人的时候故意避着我，在公司有时候他偷看我被我发现了就赶紧把头给转过去了，这又是为什么呢？我们都已经是这种关系了？有时候觉得他很直接，有时候又觉得很腼腆