寛永十七年（１６４０）、頼寛が「頼兄は専横の家臣である」と幕臣・阿倍正之と渡辺図書助宗綱に相談した。阿部が大老・土井利勝に報告したところ、土井は頼兄親子を江戸に呼び寄せて幕臣から訓戒させてはどうかと頼寛に内談したが、頼寛は清兵衛一派の報復を恐れてこれを承知せず、頼兄親子の横暴を長々と書状にしたためて報告した。

これを受けて江戸幕府は公儀として対応することになり、頼兄は江戸に召された。この一大事に人吉藩は改易か取り潰しかと騒ぎになり、また出立は極秘であったが、国許では頼兄の養子・田代半兵衛（半兵衛の母の再嫁先が頼兄）が叛乱を起して、百数十人が死傷する騒ぎとなった。

八月十一日、藩主・頼寛は、頼兄が私曲十三ヶ条の罪を犯したとしてこれを幕府に訴えた。

結局、頼兄は津軽に流刑に処されたが、徳川家康にも仕えた長年の功績もあって実際的には強制隠居・蟄居であり、頼兄は米三百俵三十人扶持を与えられ、従者六人（七人とも）と共に弘前城の西方の高屋村に置かれたが、そこで火災が起こったために鏡ヶ池の畔に移り住んだ。なお、現在の青森県弘前市相良町は頼兄の屋敷があったことに由来している。明暦元年（１６５５年）津軽で客死。享年八八歳。

なお、頼兄流刑の頃には嫡子・頼安は死去し、孫である頼章については、幕府の命令では召し抱えるかどうかは頼寛の心次第ということであったが、お下の乱などがあったことから、実母が島津家久の娘である縁から薩摩国島津氏預かりの身となり、子孫は島津家臣として仕えた。

また『人吉市史』によれば、頼兄の流刑先に同行した従者の一人である印藤（犬童）九郎右衛門長澄が実は頼兄の子で、その孫である印藤四郎右衛門長矩が小姓として津軽藩に仕え、後に田浦の姓を与えられたとする説を記述している。

頼兄の屋敷は、通称「御下（おしも）」と言い、相良清兵衛事件（＝御下の乱）の際に、田代半兵衛（犬童半兵衛）が藩主から誅殺されるのを恐れて叛乱を起こし、屋敷に立て籠もって戦った末に火を放ったために焼失した。

後年、その遺構から地下室が発見された。絵図によると、屋敷内にあった二階建ての「持仏堂」と書かれた位置から発見されており、地下室の構造は、石積みの階段、踊り場、長方形の井戸、黒い小石敷き、その下にスギ板が敷かれていたが、これとほぼ同じものが、嫡子・頼安の屋敷内の蔵に当たる位置からも発見されている。

井戸を持つ地下室の発見例は世界的に例がなく、またこの地下室が作られた目的はいまだ解明されていない。

現在、屋敷跡には「人吉城歴史館」が建設されており、地下室も建造当初の形に復元され、上から覗き見ることが可能となっている。

◎ 人吉藩（ひとよしはん）は、肥後国南部の球磨（くま）地方を領有した藩。藩庁は人吉城（現在の熊本県人吉市）に置かれた。

藩主家の相良氏は鎌倉時代初頭の建久四年（１１９３年）、この地の地頭に任ぜられた。その後戦国大名に成長し、江戸時代に入っても領主として存続し明治維新を迎えた極めて稀な藩の一つである。天正十五年（１５８７年）豊臣秀吉の九州征伐の際、老臣の深水長智は大友氏・島津氏の間に挟まれた小領主の苦衷を秀吉に訴えた。長智の奔走により当主の相良頼房（後の初代藩主・長毎）は領土を安堵された。