お墓参りの時に住職へ挨拶・手土産は毎回必要？

お恥ずかしい質問ですが・・

お墓参りの時に、住職へ挨拶・手土産は毎回必要でしょうか？

年3回ほど母と行く時は、毎回手土産を持っていき、住職の奥様と少し話をしてから帰っておりました。
ここ8年の間に祖父、祖母、父が亡くなりお世話になっているお寺さんです。

母が都合悪いとき、私ひとりでお墓の掃除に行きました。
母からは手土産を必ず持って行くように言われており、奥様と少しお話しましたが、私ひとりでは間がもたないと言うか・・

お墓参り、お墓掃除は気持ちよいのでもっと行きたいですし、天気が良いときなど思いたった時にフラっと行きたいのですが（車で1時間半かかる場所ですが）、毎回手土産→お話・・では、申し訳ありませんが足が遠のいてしまいそうです。

母は、お墓参りしたら（お花やお線香で）住職にはわかるのだから、必ず手土産を持って行くようにと言われます。

都合で、夕方行きたい時もあるのですが、夕方に挨拶するのでは、こんな時間にお墓参り？と思われるのでは・・と思い余計にお会いしたくないのです。

仏事の時にはお布施や手土産を用意しておりますので、気が向いたときにフラリとお墓参りしたい場合は手土産とあいさつはしなくても良いでしょうか・・。

非常識でしょうか？
よろしくお願いいたします。