昇は、練兵館塾頭に就任するや、交友の範囲が広がっていきました。それは、まず、練兵館創始者の初代斎藤弥九郎（篤信斎）の関係先から始まり、次いで、桂小五郎の活動範囲とも重なってきます。
篤信斎は、練兵館道場の創設にあたって資金援助をしてくれた伊豆韮山代官の第３６代江川太郎左衛門（英龍）と第３７代（英敏）に手代として仕え、領地である伊豆の海岸防備や鉱山開発に尽力したり、同じく領地の甲斐の巡察をしたり、韮山の反射炉の建設を手伝ったりしています。
また、篤信斎は水戸藩とも関係が深く、剣術指南だけでなく、水戸斉昭の意を受けて、一橋慶喜の将軍位承継のための根回し工作にあたったりして、藤田東湖などの勤王派藩士とも深く関りを持ちました。
ただ、安政の大獄で水戸斉昭が蟄居させられ、その余波で篤信斎も幕吏の追及を受けそうになりましたが、桜田門外の変の後の政変で、何とか、追及を免れました。
この間、篤信斎に付き添っていたのが桂小五郎で、小五郎自身も勤王派の人物として、知られるようになりましたが、長州藩の要職に就いたために、一旦、練兵館から離れることになり、その後を継いだのが昇でした。
しかし、昇が、江戸に出たころは、大老井伊直弼の下で弾圧が進行中でしたが、その後、練兵館の塾頭に就任した直後に井伊直弼は殺害されましたので、時代は、徳川幕府の終焉が見え始めたころなのです。
そのような中、篤信斎と昇の間で、時代を反映するようなエピソードが昇の自伝に記されています。
当時、篤信斎は代々木に三千坪を超える広大な土地を手に入れて山荘を構え、練兵館は新太郎（二代目弥九郎）に任せていました。昇は、塾頭に就くと、寝起きの場を大村藩邸から練兵館に移していましたが、篤信斎から練兵館に残している重要な書状を代々木の山荘に運んでもらいたいとの頼みがありました。
新太郎の話では、幕府が篤信斎の行動を疑い始め、捕縛する証拠を探しているが、篤信斎が練兵館に残している書状が、もし幕府の手に渡れば、面倒なことになるということでした。安政の大獄で処分を受けた人物とやり取りした書状でしょう。まだ、井伊大老が権力を振るっていたころだと思われます。
新太郎は、昇に、練兵館を見張っている奉行所の密偵の目を避けて運ぶようにと命じましたので、昇は、面や胴を入れる信玄袋に、それらの道具と一緒に問題の書状を隠し、代々木の山荘まで運びました。
篤信斎は昇が運んできた書状を見て安心したようで、すぐに庭で火をおこし、書状を焼いてしまったのです。
昇は、篤信斎の裏の面をみたように思ったと、自伝に残しています。
