子供が生まれてからの義家族間関係

一歳４ヶ月になる娘がいます。
娘が生まれてから、1番幸せであるべき時期なのに、家族間のいがみ合い？が絶えません。
事あるごとに、私か旦那の両親が長く子供と接しているか、旦那と喧嘩になります。
海外に住んでいるので、日本の家族には一年に一回会えるか会えないか。
旦那の家族は家から電車で２時間のところに住んでいます。
旦那の家族は私たちの家にもよく来るし、週末なんかはひと月に一回ほど旦那の実家にも行っているし、冬休みなんかは丸2週間旦那家族と過ごしたりしています。
私は、せっかく高い飛行機代を出すのだから、居れるだけ長く居たいというと、僕だって、いつも仕事で子供の時間はほとんどない。
あるのは長期休暇の時だけ。なのに、私の実家に行くと子供を取られる。と訴えてきて、なら、なぜ彼の実家に行くのか？子供が取られるのが嫌なら、実家へは行かず家族3人で過ごせばいいのに。
私の家族は嫌で、自分の家族ならいいのか？と毎回休みのたびに喧嘩になります。
正直疲れました。子供が生まれて、とても幸せなはずなのに、こんなことになるなんて産前想像だにしておらず、精神的に参っています。
皆さんはどうでしたか？