我们几年前买了房子 没过户 现在房主反悔怎么办

 几年前买了套房子，当时没过户，现在房主反悔了，想要回房子。房产证在我手上，现在想过户，房主不签字，怎么办。房子会不会被要回去