せん断面の色の違いで困っています。

同類のものか分かりませんが、うちでも時折問題になることがあります。
うちはアルミ製品の加工を行っていませんが（主に銅系）打ち抜き油の油量不足により加工時の摩擦熱で油が炭化して付いたりします。調べることが出来るのであれば成分分析してみては？
＞加工が進むにつれて変色する孔が増えていく傾向にあります。
油量不足の炭化であれば、油量を増やすことで問題が解決するはずです。
仮に油量が適正と思われたとしても、確実に加工面全体に添付されてることが条件です。

変色原因の憶測ですが、

パンチの表面にアルミの微細粉末が付着して、それが穴の内面を研磨している可能性があります。

この場合、通常は上から入った光が穴の内面で乱反射して上に光が戻ってくるので穴の内面は白色（銀色）になりますが、内面が磨かれている為、上からの光のほとんどが裏に反射してしまい、上に光が戻ってこない為に黒く見えます。

詳しい事は不明ですが、私の個人的な考えでは、

パンチの製造過程で、研磨工程があると思います。
その時の研磨目が円周方向に付きます。
しかし、パンチの使用時の移動方向は当然、円周方向と直角になります。

そして、パンチで穴をあける時はワークを押しつぶした後、穴が開くので、押しつぶした分、戻る時にパンチの径より穴径が小さくなります（数ミクロン、または、それ以下）

上記の二つの事から、穴の内面をパンチの研磨目がヤスリガケをしたような状態となり、粉末が発生すると考えられます。

上記についての対策は、
パンチのシャー角を大きくする。
（ワークの変形を少なくする為）
問題点、パンチのストロークが大きくなる、パンチの寿命（新品から切れなくなるまで）が短くなる。

パンチとダイのクリアランスを少なくする。
（ワークの変形を少なくする為）
問題点、加工時の熱の影響でのパンチ、ダイの膨張を考慮する。加工機の精度（パンチ、ダイの位置精度）や剛性の影響を考慮する

パンチに逃げ角を付ける
（ワークとパンチの接触を少なくする為）
問題点、パンチの再研磨の回数が少なくなる。

など、あります。

パンチ、ダイでの対処には問題点や注意点が多いのであまりお勧めは出来ません。
現状では加工液（油）を検討されるのがいいかと思われます。