苦学した芳賀明は、兵学校であったかもしれないが、それも受かったらしいが、きかない性格でもあり、お山の大将でいられる船乗りが良いということで、東京商船学校に入学したのだと祖母から聞いている。その祖父・明は、欧州航路の機関長だったそうだが、第２次世界大戦のときで、ドイツの潜水艦に追いかけられたりして、危険手当が大変良かったので実入りが良いが、危険であるというので、辞めて、商船学校の教師などを経てから、鉄道省のちの国鉄に入っている。そこでかその前か分からないが、後藤新平の部下として、海難審判所の判事に任命されたとき、汚職が蔓延していた為、一生食べられるくらいの賄賂を船主からもらったと言う。しかし、それを妻のあさのにみな返させたあと、他の同僚に迷惑をかけない為、退職したのだそうだ。後藤新平が、明のその行為を褒めて「清節・為芳賀君、新平」と大書してくれたのが、額に表装されて書院の間に掲げられている。それと並んで、沼南島田三郎が芳賀明君の為に書いた書が額装されてある。これも、芳賀明を評価したものだが、そのような付き合いがあった島田三郎は、毎日新聞を背景に政界の汚職を一掃する運動をしていた代議士で、１０期以上つとめ海軍のシーメンス事件などの汚職を摘発した人のようだ。