消防自動車にはいかなる時でも道を譲るべきか？

私と家内と題記のことで見解の相違があるので教えてください。

優先道路を走っている自車が信号待ちで止まっているときに、
脇道から他車に続いて消防自動車が私の前に入ろうとしていました。

この時消防自動車はサイレンを鳴らさずにいたため、緊急でないと
判断した私は、脇道からの他車に続いて走りましたが、家内はなんで
消防自動車を先に行かせなかったのだと、私を猛烈に非難しました。

こういう場合は私と家内のどちらの言い分が正しいのでしょうか？