我老公找借口拒绝和我过性生活，我该怎么办？

在我生小孩时，我老公有了外遇。从此我就没有过正常的性生活，已将近两年了。我无法承受他那样对我，前几天我对他说：“既然你对我没感觉了，那么我们离婚吧，我实在忍受不了你对我的冷漠。”可他却说他内心是对我很好的，说我把性生活看得太重了。我想问问，一个月一次都平均不到的性生活是否正常？我俩都三十刚出头，难道我要求的平均一星期一次是我太过分了吗？而且他的工作相对来说也比较轻松。大家帮我出出主意，我该怎么办？