房屋买卖合同有效吗

我于98年购买了同村村民的房屋，我写了简单的买卖协议，对方夫妻签了字，由我保留，但没有经过村上和街道办，没有办理房产过户，后来我自己又申请到了宅基地建了房。现在卖方以家庭成员不知情，他家里人口增加了没有宅基地为由，向法院申请买卖合同无效，要求收回房屋。请问我能依法保留住该房屋吗？房屋已交付我使用，这个官司我的胜算有多少？