スキャン解像度と物理メモリの関係

物理メモリーにスキャンしたデータを保存しているわけではありません。
仮想メモリーに割り当てる量を大きくしてみたら??

そのアプリって何？

　アプリが対応できるデータ量を越えたら動かないとか落ちるとかありますから

一般的な対処としては

ドライバーが最新ものを充てる。
アプリも最新のものを充てる。
アプリを再インストールしてみる。

解像度が高くても処理に時間はかかることはあっても
止まることはふつうありません。

HDDに空き容量も問題なさそうですし

スキャンの場合データはHDDに書き込まれます。
『物理メモリを多くすれば』処理は早く成ります。

おそらく処理済みのデータ書き込みに失敗していると考えます。

物理メモリはスキャンデータ処理を行う時に使っている。

その昔搭載メモリ256MBのPCでA3サイズ300dpiが問題無く出来てます。

スキャンデータが2GBを越えてて32ビットアプリの使える上限をオーバーしているという可能性


なんにしても質問文中の情報が不足してますな。
どんなスキャナでどんなスキャンアプリを使ってどんなデータをどんな解像度で取ってるのか、最低限それ無しにただ落ちるって言われても。
あったからと言って確かに回答できるってわけじゃありませんが、なかったら回答不可能ですよ。