正方形同軸線路の特性インピーダンスについて

回答(1)再出
矩形断面の同軸線路の解析例があるURLが見つかりましたので、参考としてお知らせします。
外側導体の寸法が□6 mm、外側導体の寸法が□2 mmの場合の特性インピーダンスが48.9 Ωとの計算結果が示されています
http://www.e-em.co.jp/fdm/coax_rect.htm

この計算結果を信じれば、正方形断面の同軸線路の特性インピーダンスは、102.5/√ε・log(D/d)のような式を当てはめることができそうです。

内部導体のサイズが□2mmに対して、解析のセルサイズが1mmとのことなので、精度がどの程度かは、別途検討の必要性を想定しておくことがよさそうに思います。

内外導体間の静電容量と内外導体間往復のインダクタンスの計算ができれば特性インピーダンスは求まります。公式として一般的な教科書に記載されているか否かの情報を持ち合わせていませんが、力ずくで数値計算することは可能です。
電磁界解析できるCADシステムが利用できるのであれば、CADで計算することが一番簡単と思います。
略算でよければ、内外導体について、等価径が等しい円導体として通常の同軸ケーブルの式を適用する方法もありそうです。