之前签订按揭合同的银行说要利率上浮,可否换银行贷款

我与2013年12月购置一套一手新房,和开放商签了购置合同,和光大银行签了按揭合同,但是光大银行和我们约定的利率是基准利率。现在广大银行说利率要上调5%,我现在准备向光大银行撤回贷款申请,重新向其他利率不变的银行申请贷款,但是开发商不同意换银行贷款,这种情况怎么办?