【至急】招待状に出席と書いて未提出だが欠席したい場合

職場の一つ年下の正社員の方に結婚式の招待状を頂きました。
私は、業務委託でおなじ職場で働いている23才の派遣社員です。
新年会の席で、その職場の他の方に、祝儀とか二次会の会費がきついんで欠席しようと思ってます
って相談したら、「お前は社外の人間だし、収入も少ないんだから、
最低1万以上で、出来る分出せばいい。来てもらう方がありがたいんだから」などといわれ、
また、その結婚される方もその相談した方に言われ「いいですよ」といっていましたので、
招待状に出席と記入したのです。
ただ後で考えると、酒の席での話ですし、本人もしぶしぶ返事してた様にも思えてきて・・・。
最低でも２万は包もうと思っていたのですが、２万はタブーだということも後で知りまして、
３万円は到底無理ですし、いっそ、欠席しようかと思いましたが、
すでに出席に筆ペンで丸をし、欠席は２本線で消し、
喜んで参加させていただきますとまで書いた始末・・・。
私はこのまま２万円で参加したほうが良いのでしょうか?
それとも、欠席した方がお相手のためなのでしょうか?
その場合、招待状は出席と書きましたので、口頭でもかまわないのでしょうか?
どうかお教え下さい。返答期限は20日です。