我们五家互相担保从农行贷款,但是钱被一个人用了,他不还,银行

我们五家互相担保从农行贷款,但是钱被一个人用了,他不还,银行把我们起诉了,我们和他只有个简单协议,说贷款他用了,和我们没关系,现在我们该咋办?谢谢。