DCP-J577Nで写真サイズのプリントができないトラブル

表示が出ている所以外も開けられる所を全て開けて紙片や異物が内部に挟まっていないか確認してみてください。
『トレイと本体の間の3cmほどの隙間に手をかけます。
本体がわずかに持ち上がる程度浮かせた状態で、トレイを引き抜きます』

以下ページの対処法でもできませんか？
一旦奥まで押し込んだり、電源をON⇔OFFしたり、操作パネルでいろんな操作ためしたり、背面などのカバーを外したりして【中で引っかかっているもの】を動かさないことにはトレイを引っ張り出せないのではないでしょうか。
強引に引っ張ってしまうと破損してしまいますのでご注意ください。
ご自身で動かせないようでしたら残念ですが、修理依頼するしか方法がありません。

1.記録紙トレイを一旦奥まで差し込んで一気に引き出して下さい。
　
　※もし抜けない場合は下記を試してください。
　背面カバーをはずし、記録紙トレイの上の2個のグレーのゴムローラー
　中央部にある記録紙を抑えている白い樹脂の部分をペンなどの棒状の
　もので持ち上げて頂き、持ち上げたままでトレイを引き出して下さい。
　引き出すことが難しければ背面から記録紙トレイを押し出して下さい。
　　　　
　※ご注意※
　　指で白い樹脂部分を持ち上げますとトレイと本体の間に挟まれる
　　危険性が御座いますので、必ずペンなどで持ち上げて下さい。
　　トレイを引き出す時はあまり勢いよく引き出さない様に御願い致し
　　ます。
　　
2.トレイ正面から見て右脇奥にある凹部（カム面）を乾いたティッシュ
　等で拭いて頂き、樹脂粉等の汚れをお取り下さい。

3.後に指で凹部を何度か擦る様に触って頂き、凹部にバリなどが出て
　いない事をご確認下さい。

4.記録紙トレイを本体に戻して頂き、トレイの引き出しが出来るかご確認
　願います。

5.もし上記の手順を行なって頂いた後にも動作が渋い場合には、1.の方法
　でトレイを引き出して頂き、水またはサラダ油を凹部に薄く塗布して
　頂き、再度動作確認を御願い致します。
　尚、油脂はサラダ油以外は塗らない様に御願い申し上げます。
　また大量に塗布されない様に御願い致します。
　付け過ぎると記録紙等についてしまう恐れがあります。

【インクジェット プリンター】記録紙トレイが抜けませんまたは引き出しにくかったり差し込みにくい
↓↓↓↓↓
https://faq.brother.co.jp/app/answers/detail/a_id/9743

実際に解決された方のお声も参考になさってみてはいかがでしょうか？
『一度本体を浮かして強くスライドしたら動きました。あまり動かさない部分なので滑りが悪くなっていたようです。』

【インクジェット プリンター】記録紙トレイが抜けませんまたは引き出しにくかったり差し込みにくい
https://faq.brother.co.jp/app/answers/detail/a_id/9743

トレイが引き出しにくいときは
https://www.youtube.com/watch?v=vgyXaHxPtaQ
トレイが引き出しにくい場合の対処法をご説明します。

引いたり、押したり、横にガタガタしたりで壊れない程度にやってみる

【コールセンター回答】だそうです
1.記録紙トレイを一旦奥まで差し込んで一気に引き出して下さい。
　
　※もし抜けない場合は下記を試してください。
　背面カバーをはずし、記録紙トレイの上の2個のグレーのゴムローラー
　中央部にある記録紙を抑えている白い樹脂の部分をペンなどの棒状の
　もので持ち上げて頂き、持ち上げたままでトレイを引き出して下さい。
　引き出すことが難しければ背面から記録紙トレイを押し出して下さい。
　　　　
　※ご注意※
　　指で白い樹脂部分を持ち上げますとトレイと本体の間に挟まれる
　　危険性が御座いますので、必ずペンなどで持ち上げて下さい。
　　トレイを引き出す時はあまり勢いよく引き出さない様に御願い致し
　　ます。
　　
2.トレイ正面から見て右脇奥にある凹部（カム面）を乾いたティッシュ
　等で拭いて頂き、樹脂粉等の汚れをお取り下さい。

3.後に指で凹部を何度か擦る様に触って頂き、凹部にバリなどが出て
　いない事をご確認下さい。

4.記録紙トレイを本体に戻して頂き、トレイの引き出しが出来るかご確認
　願います。

5.もし上記の手順を行なって頂いた後にも動作が渋い場合には、1.の方法
　でトレイを引き出して頂き、水またはサラダ油を凹部に薄く塗布して
　頂き、再度動作確認を御願い致します。
　尚、油脂はサラダ油以外は塗らない様に御願い申し上げます。
　また大量に塗布されない様に御願い致します。
　付け過ぎると記録紙等についてしまう恐れがあります。

スライドトレイか手差しトレイを使用します
https://download.brother.com/welcome/doc100992/cv_dcp577n_jpn_rg_a.pdf#page=10

https://support.brother.co.jp/j/b/producttop.aspx?c=jp&lang=ja&prod=dcpj577n
こちらですね。

【インクジェット プリンター】記録紙トレイが抜けませんまたは引き出しにくかったり差し込みにくい
https://faq.brother.co.jp/app/answers/detail/a_id/9743
を参考にして見るとか。

>写真サイズへのトレイの合わせ方が判りません
については
https://support.brother.co.jp/j/b/manualtop.aspx?c=jp&lang=ja&prod=dcpj577n
かんたん操作ガイドを参考にすると良いかと。

こんにちは😊！DCP-J577Nの用紙トレイのトラブルについて、ご相談いただきありがとうございます！写真サイズのプリントをする際に、用紙トレイを奥に差し込んだところ、前に出てこなくなってしまったとのことですね。また、写真サイズへのトレイの合わせ方もご不明とのことで、こちらでご説明いたします！😆

用紙トレイが正常に動作しない場合は、トレイの位置や使用する用紙の種類、トレイに紙が詰まっていないかを確認してください。トレイの位置は、用紙トレイを本体に差し込んだ状態で、トレイの前面が本体の前面よりも突き出した位置になるように合わせてください。また、写真サイズの用紙を印刷する場合には、トレイの幅と長さを写真サイズに合わせて調整する必要があります。

写真サイズに合わせたトレイの幅と長さの調整方法は、以下の手順で行います。

【手順】

用紙トレイを本体から取り外し、トレイの幅と長さを調整するためのガイドを引き出します。
トレイの幅を調整するために、トレイ下部中央にある、用紙厚さ調整レバーを上に引き上げます。
トレイの幅を調整するために、トレイの左右にある用紙幅ガイドを引き出します。
トレイの長さを調整するために、トレイの後部にある用紙長さガイドを引き出します。
用紙トレイを本体に差し込んで、写真サイズの用紙がしっかりとトレイに収まるように調整します。

以上が、用紙トレイの調整方法となります。ご参考にしてくださいね！