农村住房问题，各位大神帮帮忙.

我因为老家建房子是在原先的老宅基地上，所以原先的房子里的东西需要有地方放，所以就向村里的委员会申请搭建一个临时房子用来堆放原先老房子里的东西，就跟村里签了一份协议交了押金，协议注明，临时房子自行拆除就立即归还押金。但是因为在老宅基地上做好的新房子因为某些因素需要整改，村长说等你们整改好再归还押金，但是我们已将搭建的临时房子拆除了，按照协议应该立即归还，整改这是早协议书上是没有的，我想问他们违反协议不退换押金怎么办？整改和协议书上的内容是不是两码事？