義父の車運転再開を止めたい！家族の悩みと対策

こんにちは。
アドバイスをお願いします。
77歳になる義父は去年脳梗塞で倒れ、一時車椅子になりましたが、退院後に自宅でがんばってリハビリを続け杖をついて歩けるようになりました。

そんな義父が、数ヶ月前から「車の運転をまた始める、車を買う」と言い出し、困っています。
実は義父は車を持っていましたが、入院と同時に車の調子が悪くなり、整備の方と相談した結果、廃車にしました。　
義父にもちゃんと確認をとっています。

「歩くのはまだ不自由だけど、運転なら大丈夫」「自分で好きなところに出かけたい」という気持ちは分かるのですが、家族のものはみんな反対しています。　

義母と二人暮らしで、義母のほうも自律神経失調症のため出歩くことがむずかしく、家事も病院へのつきそいも、庭の手入れ、ゴミだし、新聞を取ることでさえ、近くに住んでいる私（長男の嫁）がしています。
気晴らしに喫茶店や外食に出るときも、私が運転することになるので、気を使うのでしょうが・・・
杖をついて、フラフラ歩き、時折倒れそうになる義父を見ていると、運転をしても他の人に迷惑をかけるのではないか心配です。

また、本人は気がついていませんが、軽度の痴呆があります。
夕食後に一度部屋にもどってからまた夕食を食べにきたり、私の息子に対して、夫の名前で呼んだり。

義父を傷つけないように、車を運転することを止めたいのですが、どうすればいいのでしょうか。
性格は気難しく、がんこで、家族が止めてもなかなか聞かない。
もし車を廃車にしていなかったら、家族に黙って外出しそうな人です。
アドバイスをお待ちしています。