今責められて悩み中なのでアドバイスお願いします。

☆現在の状況
旦那は旦那・妹・妹の三人兄弟で旦那は既婚で子供はいない。
妹は故人で子供双子で二人小学一年。旦那さんの両親が育てているけど
今度その旦那さんが再婚することになって再婚相手にも子供がいるので
亡き妹側で引き取って欲しいと言われている。
育てている祖父母に当る人は70代後半で経済的にも体力的にも無理だと
言ってます。
引き取るなら家か祖父母に当る義実家になる。義実家には今鬱病で自宅療養中
の一番下の妹がいるので無理だと言われる。

旦那は妹の葬式であったきりの甥と姪に愛情は持ててないし、自分達の子供もあきらめて
ないので無理と断ったが、今更無理に自分の子に拘らなくてもと義両親に言われた。
私達は三十半ばです。結婚したのも三十二だったし今治療中なのであきらめていません。

亡くなった妹は大学在学中に妊娠してしまい義両親の大反対にあいました。
才柔めましたが中退して出産して相手側の実家に同居していました。
相手は二十歳年上の社会人で長期に仕事に出てしまう職だったため
双子の育児を手伝ってもらうための同居だったらしいです。
ですが出産後数ヶ月でくも膜下で亡くなりました。まだそのころ私は旦那と
知り合ってもいませんでしたが、義実家ではお葬式には行ったそうです。
お墓が無いからお骨を引き取って欲しいと言われて引き取り義実家のお墓に入れたそうです。
乳児の双子は父親とその両親が育てると言っていたそうですが、知らないうちに
乳児院に入れられその後施設に入れられていたと後から知ったそうです。

☆最終的にどうしたいか、どうなりたいか
なんと言って断るのが一番効果的でしょうか？