几天前我看好了一处农村小产权二手房,便签了协议,卖方代理人在协议书上说明全权办理过户手续请问买方应该怎么办?

你好,几天前我看好了一处农村小产权二手房,便签了协议,卖方代理人在协议书上说明全权办理过户手续,买方预交两万定金,双方答成协议并签字付定金。卖方在办理过户手续过程中没有取得村委会的过户手续,只能同现房主签署购房合同,因此买方要求退还定金不买此房,卖方以买方违约为由拒绝退款。请问买方应该怎么办。谢谢。