内径加工における公差の問題と解決方法

シチズンNC自動機を担当しております。端面から５ｍｍまでφ６．４＋０．１の内径があり、その径からφ４．４５＋０．０２まで６０°のテーパーがありそのまま１３．４ｍｍまでこの公差で加工し、φ３．７＋０．０２まで６０°のテーパー後、垂直の壁がありφ２．３の穴が１６ｍｍまであります。このφ３．７＋０．０２はテーパーと垂直の壁との接点の為、検査不可能だと思います。（φ２．３の穴はきり穴でOKです。）１３．４ｍｍも±０．０２の公差があります。材質はSUS３０３です。
現在、φ６．１とφ４．１とφ２．３のドリルで粗どり後、φ３．６エンドミルで１３．３ｍｍまで加工（ドリルのかた削り）。そして三菱のステッキツイン最大加工径φ４．０（VP15TFのブレーカー付）で仕上げしろ０．０５残し加工。φ４．４５＋０．０２部分のみゼロカットしています。（奥の壁も同じく）そして同じく三菱のステッキツイン最大加工径φ２．０（VP15TFのブレーカー付）で仕上げております。仕上げもφ４．４５＋０．０２部分のみゼロカットしています。粗、仕上げともに４０ｍｍ／ｍｉｎで送りは０．０５で、ゼロカットは回転同じで送りを０．１でしています。
加工個数は３５００個で加工し現在５００個ほど加工しました。φ４．４５＋０．０２部分を５００個全数検査してみると１５個ほど１２～３ｍｍくらいのところでφ４．４５ピンゲージが止まってしまいました。
上司の指示を仰ぐと、それくらいならしかたないだろうとの意見でしたが、技術の森の諸先輩方のご意見はいかがなものでしょうか？
ちなみに最初はゼロカットなしで５００個近く加工して、３０個ほど通りが硬いものと止まりが覗くのがでてきました。ゼロカットをしてから上記のとおり通りが硬いものだけになりました。
なおリーマーの使用も考えましたが、今回はツールがいっぱいなうえに以前同じような加工をした際、リーマーを使ってかなりばらつきがでました。（超硬リーマー）
よろしくご指導願います。