元友人にお金を請求したい

お世話になります。
元友人につぎ込んだお金を請求したいと思い相談させて頂きました。
物的証拠がないため、請求できるかどうか悩んでいます。

まずは私と元友人のプロフイールです

私：30歳・会社員
元友人：30歳・派遣社員

私たちは小学校時代から同級生（高校や職場は違う）で頻繁に遊んでいました。高校から進路が違いましたが、23歳の頃に元友人の派遣先が土日休みになり私と頻繁に遊ぶようになりました。

元友人にはいくつか趣味があり、その関係で遠出が必要なことと収入が少ない故、車を持っていないということで私が車を出したり、道中の食事をおごってあげたりしていました。最初は感謝の言葉をもらっていて私も満足していましたが、次第にそれが当たり前になり、私も下請けのような感じで扱うようになりました。時には私が都合が悪くて断ると私を脅すような発言もしてきました。その後、大げんかをしこちらから一度縁を切りました。

その後、喧嘩の際にこちらが暴力を振るったこともあり、謝罪を行い縁を戻したのですが同じことを繰り返しています。向こうが遠出をしたいときのみ・趣味に関して他人の力が必要な時のみ私に連絡をよこすようになりました。

さすがに私も頭にきて、これまで元友人のために車を出した回数や距離を計算した結果、40万円ほどになりました。これに食事代やその他経費も入れるとそれ以上になりました。この事実を伝えるために本人にメールで連絡を入れたのですが無視されています。できれば、全額とは言いませんが本人に今までかかった費用を請求したいと考えています。

しかしながら、致命的なミスを犯しました。
上記の件ですが全て口約束です。メールでは無視されるため、家に手紙を送ろうと勧化が得ています。しかし、物的証拠がないため徒労に終わるのではないか、はたまた元友人側が「恐喝された」と警察に駆け込むのではないかと心配しています。

それでも、5割でもいいからお金を返してもらいたいです。
物的証拠がないのと、このような直接の金銭のやりとりがないことですることは可能なのでしょうか。