私の大学での査読についての質問とは？

文系の博士の院生ですが、紀要の査読についての質問です。私の大学では査読は十段階評価で、内部査読者が一人、外部査読者が一人という形をとっています。ところが、これの査読に私はかつて通過した事がないのです。私の至らなさを棚に上げる事は出来ません。しかし明らかに奇妙な事があるのです。今まで３回投稿しているのですが、その度に、査読の点が落ちていくのです。１回目が修士１年の時で１４点。二回目が修士２年の時で１０点。さらに博士２年の時が５点。これは明らかに変だと思うのです。学年が上がっているという事に加え、紀要より一般的には上位に位置づけられる学会誌の方は、私はよい点で査読に通るようになりました。レヴェルが落ちているはずはありません。何なのだろうと苦しんでいます。

客観的に見て出来が悪いだけなら納得は行くのです。実際、外部査読者のつける点数はボーダーとなる５点前後です。全体として点のつけ方が辛めなのかもしれないとは思います。しかし３回に共通した査読者（仮に査読者Aと呼ぶ）がおり、この査読者Aと私は険悪な仲です。彼と決定的に険悪になったのが修士２年の頃でした。一回目はともかく、二回目から私の査読が何かおかしい気がしています。
まず特に通常はあり得ない、拒否権を発動する点数が連発されているのです。拒否点とは最低点すれすれの１点と２点の事ですが、この点がついた論文は掲載されません。もう一人の査読者が仮に満点をつけても、再査読そのものをやめさせられます。が、査読者Aは拒否権を発動する点数つけています。
次に査読者Aは拒否点をつけておきながら、きちんとした講評を書いていません。誤字脱字が散見されます、また「論旨には概ね納得する」と述べておきながら、査読の点数に２点をつけるなどしています。執筆者を怒らせるために挑発しているとしか思えないのです。
さらにこれは私の事ではありませんが、別の院生に査読者Aは査読が不適切だったと認め、軽い形ではあるが詫びを言った事もあると聞いています。この院生は怒って学業をそのものから離れてしまったのですが、査読者Aは審査できないのではないかとも私は疑っています。

どこの大学でも当たり前かもしれませんが、私の大学では院生が査読に異論を唱える事は出来ませんし、査読者Aは基本的には匿名性によって守られています（あくまで内々に知っているだけです）。私としては自らの至らない点を認めつつも、せめて査読者Aに審査を離れてもらいたいのですが、大学側にそれを交渉する事は可能でしょうか。
ほとんど嫌がらせとしか思えないと考えた結果、ほぼ一年、鬱に陥ってしまい、特に査読者Aのコメントを読んだ時は、自殺しようかとさえ思ったほどでした。ちゃんと書いた論文なので、出来が悪くても、非礼や挑発が許せなかったからです。今後仮に及第点をつけたとしても、彼に何事かを言われるのも我慢ならないというくらいに嫌な気持ちになっています。

なおアカデミックハラスメントを立証するような、確たる証拠はありません。日頃から査読者Aとの交流はありません。彼にしても出来が悪い院生に愛想を尽かしつつも省エネで対応しているとか、指導の一環といえば、言い逃れられる範囲だと思います。私も査問委員会を招集してくれと大学当局に呼びかける気はありません。しかし精神状態が苦しいのであり、査読者Aと縁を切りたいのです。大学と事を構えず、穏便に済ませる方法はないでしょうか。紀要そのものの投稿は諦めるという選択肢は、この際、考えずにお答えいただけたらと思います。

最後に、全く悪意がなかったとしても、査読者Aのような状態が発生しうるとお考えでしたら、お教えいただけたらと思います（例えばもう片方の査読者の手前、身内である内部査読者は思い切り低い点を付けるのが慣例になっているなど。あるいは、査読で私情を挟む事は普通は一切無くて、質問者の被害妄想でしかないなど）。相手が何を考えているのかさっぱり分かりませんが、私としては、精神の安定を得たいのです。よろしくお願いいたします。