忠興の短気ぶりは歴史学者も認める処だが、家臣ならずともとばっちりを受けてる事もある。
有名なのは箱根の関所での忠興の振舞である。側室を伴っての旅の途中の箱根関所で事件は起きた。
箱根関所における決まりごとは幕府の定める処だが、忠興のような人物が横車を押すと、決まり事を執行する役人が命を失うことになる。立孝（宇土家祖）と興孝（刑部家祖）の生母・幾知か、愛娘・萬姫（烏丸光賢廉中）の生母・小也々のどちらかだと思うが定かでないが、箱根の関所で検査を受けた。
女性は「髪改め」がご定方と定められているらしいが、大名夫人らは、御駕籠を関所の上段にあげ、「人見女」が駕籠を開けて中を覗ってそれですませたことが記されている。忠興はそのことさえ、許しがたいことと考えた訳であろう。
切りすてにするには及ばなかったのではないかとも考えるが、戦国乱世の気風が残る時代の荒々しさや大名の気概を感じさせるものがある。
加藤利之著「箱根関所物語」では、この事件については取り上げていないが、その後、特に細川家の夫人の取り扱いには気を使っていた様子がうかがえる。
元和7年には忠利が遺領相続したが、元和9年10月には室・千代姫が江戸に下る事になる。奥方の江戸定府が始まったからだ。
千代姫は徳川秀忠の養女だから、特別の扱いがなされたことは容易に想像できる。
三斎忠興が死去すると、八代領は解体され立孝の嫡子・行孝は本藩から3,000石を内分され宇土支藩が立藩される。
これに伴い、三斎の養女のお三（お佐舞とも）も江戸へ下る事になるが、これは承応3年に行孝室になるためである。
お三付の三崎与右衛門・同弥左衛門・矢野忠左衛門が妻子と共に付き添うが、一方では女中18人が供をした。
そこで本藩の米田・沢村・長岡（松井）の三家老は特に、坂梨（肥後出口）や鶴崎河口（豊後領出口）の出切手を出すとともに、此処での上記の女性についての取り扱いを特に通知している。
国内に於いても出入りが厳しく応対していたことを伺わせている。
ただ、箱根関所での扱いは記録が見当たらず、よく判らない。支藩とは言え細川家関係者の通行で随分気を使ったであろうことが伺える。
随分時代が下っているが、寛政4年4月、細川治年の没後、その夫人・瑤台院が湯治と称して熊本へ帰国する際に当たってのことが委敷く紹介されている。細川藩九代藩主の治年は天明七年（1787）九月十六日江戸にて死去した。年二十九歳。嫡男・年和が年若であった為、正室・瑶台院の実弟宇土藩主・立禮を養子として十代藩主とした。斎茲である。
そんな中瑤台院は寛政四年（1792）四月、国元へ湯治の名目で帰国している。
実は先にご紹介した「箱根関所物語」に、四月十四日「細川越中守養母瑤台院」が帰国、箱根の関所を通過されたことが記されている。
３月下旬にはこの帰国については関所へも知らされていたらしく、27日関所から小田原藩に対し、その取扱いに対し判りかねることを尋ねる伺い書をだしている。
「入り鉄炮と出女」は大変うるさく、大名家とて同様である。処が瑤台院が先代の藩主夫人であり、あまり例がなかったとみえての伺いだったようだ。
1、役人は上の間の下座に下がること。
2、上の間における人見女の改めは大名夫人同様の扱いとすること。
3、通行にあたっては先番の女中衆が少し前に来るが、（そのまま通さず留め置き）瑤台院改めの付き添いをさせること。
4、瑤台院の駕籠は番所縁側までは陸尺（かごかき）、上の間へは細川家付き添いの者が行い、その者は縁側で控えること。
5、瑤台院の駕籠には御側用人二人、付き添い女中一人が上の間に上がってよいこと。
6、駕籠が上の間に上がったら役人は次の間へ下がり、人見女を差出して改め、終了したら細川家付き添いの者が駕籠を縁側まで運び、
その後陸尺に渡すこと。改めの際駕籠の戸を引くのは付き添いの者であること。 （以上津々堂要約）
以上が伺いによって決められたことであり、このことは通行の日の早朝細川藩士が先行して関所に出向いた際に通告された。
瑤台院は駕籠に乗ったまま関所の上の間へ通され、女性専門の改め役「人見女」によって形式的な「改め」を受けている。
