感情家庭问题？

我哥14年去世了，他们有俩小孩，当时那最小的小孩才出生1个月，然后我就跟嫂子在一起了，在一起4年了，目前我工资4000，每个月给家里寄1000，然后房租1300左右，剩下的就是每个月我俩吃用，她的工资从来就没拿出来用，现在还要翻我的账，说我没有钱，各种嫌弃，我也辞工了，明年换个好点的工作，你们说我还继续跟她在一起吗