我买房时交了首付没有书面合同,就是口头上说了。当时说的是按揭贷款,

你好我买房时交了首付没有书面合同,就是口头上说了。当时说的是按揭贷款,现在卖房人叫我在银行贷款给他付款。不能按揭,他可以给我替交三年高出按揭的利息以后都是我交。现在我接受不了,他说退款你说咋办。