家紋の数

先日、息子の初節句で私の両親から兜を買ってもらいました。
（主人の実家の地域では、第一子は嫁側の両親が兜などの贈り物をするとのことで、それに従いました。）
兜の後ろに飾る屏風の事なのですが、３面になっており中央に兜を飾る感じになっています。
両サイドが畳めるタイプのもので、両サイドにそれぞれ１つずつと、後ろの面に２つの、合計４つの家紋が入っています。
ゴールデンウィーク中、主人のご両親と私の両親を招いて、皆でお祝いをしました。
そこで、主人のお母さんから「家紋が４つは縁起が悪いので、買ったお店に持って行って２つに減らしてもらうか、５つに増やしてもらいなさい。」と言われました。
私も主人も（私の両親も）、「４」とか「９」とか縁起がどうのとかあまり気にしない方なので、指摘されるまで気づきもしませんでした。
普通、このような物に家紋を４つ入れることはおかしいのでしょうか？
私自身はこのままの方がバランスがよくていいと思うのですけど・・・。