对方和我谈好价钱买我的房子,我们通过中介谈好帮我们代办贷款和过户手续两万块钱退给他吗?

你好,对方和我谈好价钱买我的房子,我们通过中介谈好帮我们代办贷款和过户手续,已签好合同买方交了两万的定金,现在买方原因不想买了,两万块钱退给他吗?