子安は天保7年(1836)生まれ。家は代々大垣藩に仕えていた。生まれつき勉強家で弘化4年(1847)早くも大垣藩校敬教堂の句読教授に抜擢されたという。(11歳)当時の大垣藩主は戸田氏正で、家老小原鉄心の建言で優秀な青年子弟を江戸に送って、西洋砲術を学ばせた。子安は其の中の一人で彼は下曽根金三郎へ入門したが蘭学を学ぶ必要性を感じ、藩の許可を得て、佐久間象山の塾に寄宿して学んでいた。
嘉永6年ペリーが浦賀に来たとき、象山について浦賀に行き、異国の軍備を見て、軍制改革の必要性を感じ、藩に建言したと言う。(16歳)翌年安政元年伊豆下田での吉田松陰密航事件により、象山が松代に幽閉されたとき、大垣藩は子安へ疑いをかかるのを恐れ、大垣に帰した。(吉田松陰と子安峻との関係資料がないのはこの事情がある)
少し時間がたって、再び江戸に出たがこの辺の人間関係の証拠隠滅工作は横浜で高島嘉右衛門が金銀交換比率の不適正で金儲けしたとき、高島の姉に咎めが及ばないように大垣藩主から離縁されたことに似ている。この姉が産んだ子が戸田欽堂である。つまり、明治の初めに横浜の豪商であった高島嘉右衛門と子安が関係あっても不思議ではない。三代キシャと言っていた鶯亭金升は新聞記者だが子安峻は読売新聞を作った。