贷款到期了，担保人不想继续担保能退出，或者换人吗

碍于亲属情面，当了担保人，三四年了，他也按时还利息。前两次到期去续贷。现在想继续贷款，但我不想做担保了，一来心里有压力（他借贷25w我一打工的养家糊口差不多月光），二来麻烦（每年都得请假跑回家一趟）。请问现在不继续担保可以退出吗？原来共有4个担保人，因为他说银行那边必须要原担保人继续担保。 请不要复制一堆法律条文，就问下，不继续担保，是否他要重新申请贷款？