子供の保険について、入っていた方がいいものは？

ご夫婦で4万円という保険料が年額であれば妥当かと思いますが、もし月額であれば、少し高いどころか高すぎます。
月額4万円もお支払いであれば、掛け捨てではなく貯蓄性の商品であると考えられます。
保険で、貯蓄を考えてはいけません。
保険は掛け捨てが基本です。
そもそも保険という金融商品自体、契約者が負担するコストがものすごく割高です。
ですから保険は、保険でしか備えられないリスクに対してのみ必要最低限で加入するにとどめてください。
具体的には、家計を支えるご主人に万一があった場合の、子どもさんの学費も含めた残されたご家族に対する生活費については、一般的には生命保険でしか備えることができないでしょう。
今ご主人に万一があれば、遺族年金やご相談者さまが働かれたとしての収入を差し引いても、数千万円単位の生活費が不足するかと思います。
その不足分に対して、定期保険やその一種である収入保障保険を活用して備えてください。
月額5,000円も支払えばそれなりの死亡保障を得られるでしょう。

ご相談者さまの死亡保障につきましては、専業主婦でいらっしゃいますし、今後も働かれないご意向であれば、あえて保険に加入される理由はないかと思います。
浮いた保険料は、ご自身の口座にコツコツと積み立てて（できれば投資）、さまざまなリスクに備えておきましょう。
毎月35,000円の積み立てを15年ほど継続されれば、元本のみで630万円（35,000円×12か月×15年）にもなりますよ。
ですから、子どもさんの保険に入る必要はありません。
手厚い公的助成があります。
上記の積み立て分からも、十分にまかなえるでしょう。
できる限り早期の見直しを、お勧めいたします。