切削する方向による寸法の変化

失礼ですが機械はまだ新しいでしょうか？
経験上、古い機械ですとヘッドの倒れがありＸ方向で切削すると
Ｙ方向の前後での誤差が生じます。
これを回避するにはＹ方向での切削で補えますが早めの修理をお勧めします。それから仕上げ切削をする場合はバイスの締めを軽めにすることも併せてお勧めします。

フルバック等は、一度に大きな面を加工できるので、刃物に掛かる荷重も
大きくなります。
当然の事ですが、
※ 工具取付ボディー（ヘッド）
※ 加工物
※ 加工物取付のテーブル
にも同様の大きな荷重が掛かります。
それ等の撓み（特に、加工物やテーブル固定方法）が原因で寸法誤差が
生じていると推測します。
加工物が、角パイプで構成され、支柱が少ない場合には、その部分を少し
凸形状加工する事もあります。<加工時に、補正値を入れる>

以下の資料（特に、6.フライス加工の精度）を確認下さい。
http://www.tech.sci.nagoya-u.ac.jp/machine/howto/milling-2.html

寸法が違ってしまうとありますが、どことの寸法が違ってくるのか、測定基準によります。
同時加工している場所からの寸法などであれば、機械的な原因しか考えられません。（機械の頭が垂れている等）

素材面からの高さや、他の工程で削ったところとの寸法であれば、
回答1）さんのとおり、確認してやることで、ポイントを絞れます。

削った状態のままで、なるべく時間をおかずにダイヤルゲージ、ピックテスターを主軸側に取り付けて、ワーク表面を走らせて平面度を確認します。
それで問題点を切り分けることが出来ます。

平面度がＯＫ → ワーク取付に問題有り。
バイスの取付精度が悪い。ワーク押しつけが適切でなく浮いた状態で加工している。締付け力過大でワークが歪んだ状態で加工してる。。。が考えられる。

平面度がＮＧ → 機械の問題。主軸の剛性が低い、または主軸軸受けにガタがあり切削力で垂直度が狂った状態で削っている。 → 仕上げシロ0.1を0.05程度にしてみる。ダメなら機械メーカに相談。