我老公是上门女婿、最近我和老公闹别扭了因为他想把他父母和侄子接到我家住、我表示不愿意我错了吗

我和老公结婚有10多年了，我老公和我结婚的时候我家还是郊区农村，直到2009年我们家拆迁了住进了小区、一个人分了30平米独生子女60平米我家就120平米3层、一二楼租了出去我们住3楼、日子就这样子一直平稳的过着、前2年我爸爸去世了我妈妈说想换一个环境就到我妹妹家住了、现在我家就我们3口住有时候我婆婆也会在这边住、但是最近我家又修了房子、在3楼上又修了一个4楼一个套一3个标价接着问题就来了，我老公说想把4楼房间拿一个给他父母和侄子住、说父母身体不好这么些年一直在外面租房子住侄子一直跟着爷爷奶奶住（侄子父母一直在外地打工）所以想一起过来我家住4楼、我不同意我老公就和我争执说我没有孝心，我说在我这里短住可以但是没有期限的常住我是不接受的、我老公这些日子就一直和我闹别扭我该怎么办难道我应该答应吗我错了吗。