二手房交易,我作为卖方,没有书面合同,只是口头答应买卖,买方交付两万定金在我手边这样需要交付违约金吗?

二手房交易,我作为卖方,没有书面合同,只是口头答应买卖,买方交付两万定金在我手边,我现在又不想卖了,这样需要交付违约金吗