保険をどのくらい掛けるべきか悩みます

生命保険は主人と私、それぞれ医療保険・終身保険に加入しています。医療保険は主人も私もガンや三大疾病をカバーできるしっかりとしたもの、終身保険については主人は死亡保険金500万円、私は200万円のものに加入しています。
なるべく支払いを早めに終わらせたいと思っているので55歳または60歳払込みの保険がほとんどです。しかし、毎月の保険料の支払い金額が大きく、このまま掛け続ける必要があるのか迷っています。払込み期間が終身だと気軽に解約もできますが、55歳払込みの保険はあと10年も経たずに支払いが終わるので、このまま掛け続けた方がお得なのではと思っています。金額に関しては、主人は毎月23000円、私は20000円の保険料を支払っています。
終身保険は老後に解約をして、生活費に充てる方法はいかがでしょうか。
子供が成人して正社員で働います。私達夫婦は将来的には夫の親の持ち家に住む予定なので死ぬまでお金を残しておく必要は特にないように思います。