安政７年（１８６０）３月３日、江戸城桜田門の手前で大老井伊直弼が水戸藩浪士らに討取られる事件が発生しましたが、その後、幕府は、世の不吉さを振り払おうとしたのか、朝廷に願い出て、３月１８日に元号が万延と改元されました。
しかし、そのような幕府の願いを他所に、安政の大獄にみられた強権政治の反動でしょうか、段々と幕府の独善政治に陰りが見え始めました。
この頃、桂小五郎は、国元の長州と京都と江戸の間を行き来し、また、江戸藩邸の藩校有備館の御用掛も兼ねて、忙しい日を送っていました。その付き人が、後の伊藤博文で,
当時は、伊藤俊輔と名乗っていました。
伊藤は、元の身分は農民でしたが、父が奉公先で下級武士の地位を得たため、それを受け継ぎました。そして、長州藩の軍制改革に当たっていた来原良蔵の付き人となりましたが、来原の勧めで、吉田松陰の松下村塾に通い始め、高杉晋作らの塾生とも知り合いになりました。
来原は小五郎の義弟で、小五郎が次第に忙しくなってきたので、自分の付け人であった伊藤を小五郎に譲りましたが、小五郎は伊藤に「武士らしく、剣を習え」と申し渡し、練兵館に通うように命じました。その際、小五郎は伊藤を昇に紹介し、剣を教えるように頼みました。
こういう経緯があって、伊藤は昇から剣を学びましたので、二人の間に師弟関係が生まれました。ただ、伊藤は昇が苦手だったようで、それは明治時代に伊藤が内閣総理大臣に就いてからも変わりませんでした。
伊藤の他にも、昇は、多くの長州藩士と知り合いになっています。なぜなら、練兵館自体が長州藩士を多く受け入れたからです。その契機が、斎藤新太郎（二代目弥九郎）が廻国修行と称して、神道無念流を日本国中に広げるために西日本各地を訪問した中で、長州藩を訪れた際、長州藩の藩士たちが新太郎に散々に負けたことにあります。
長州藩では、これは恥だとして、来嶋又兵衛ら、藩きっての遣い手が江戸の練兵館道場に殴り込みをかけたのですが、留守を預かっていた、新太郎の弟、斎藤歓之助に再び撃ち負かされました。
これで長州藩も目が覚め、練兵館に藩士を送り込んで、鍛え始めたのです。練兵館に入門した長州藩士として、最初に挙げられるのが桂小五郎ですが、高杉晋作や太田市之進など、幕末に活躍する長州藩士たちの多くが練兵館に通いました。
当然に、昇も多くの長州藩士と知り合いになったり、伊藤のように、直接に教えたりしました。
