相談お願いします。

我が家と夫の弟家族は車一台を共有しています。
経緯は、夫がもともと腰と膝があまり良くなく長距離移動をする際には大きい車でないと辛いことがあり、その際は過去はレンタカーを借りていました。
しかし比較的田舎なのと夫の休みが直前までわからないこともありレンタカーを借りられないこともあったため、大きい車の購入を検討しました。
でも、普段私はふた回りほど小さい一応７人乗りの車を乗っているし、夫は運転するのに楽な車に乗っている(仕事車でもある)ので、使用するのは自転車を積むときか長距離旅行や夫が助手席に乗るときだけなので躊躇していました。
小さい７人乗りをやめて普段から大きい車を運転するのも嫌でした。
そんなときに弟家族(軽２台所有)が子供が少年団に入るので背が高めのミニバンを買わなきゃいけないけど住宅ローンもあって購入が厳しいという話を義母から聞きました。
夫が義弟と相談して、我が家が大きい車を買うから普段の週末は義弟家族が使っても良いこと、その代わり私達が使いたいときは当然ですが私達が優先で使わせてもらうようにという話になりました。
購入価格700万に対して義弟が支払った金額は120万、これも月々２万ローンを５年かけて私達に返済する形です。
車検や保険等も全額こちら。
その結果弟家は軽を一台手放しています。

この状況で、今度の３連休、義弟家は少年団で遠征だかキャンプに行くために車出しをするそうです。
しかし夫がその３連休休めることになり私達も旅行に行きたいとなり、義弟家に車出しを代わってもらうように頼みました。
そうしたら義弟嫁から、もう決まったことだから厳しいことや、いつもいつもこうやって代わってもらわなきゃいけないから言いづらいと言われました。
でも、今までも年に片手ほどです。
それ以外の週末や夜はほぼ義弟家が使用しています。
その状態で５年ほど来ました。
少年団の他の家庭もミニバンを持っているし交代は当然できます。
この状態でも私達が譲るべきでしょうか？