渡辺昇の父は渡辺雄太夫（後、巌）といい、大村藩の馬廻（うままわり）３０石程度の中級家臣団の家柄の次男として生まれました。長男は、清左衛門（後、清）といい、昇とは腹違いで、３歳違いです。多分、清左衛門の母は、清左衛門を産んで、すぐに亡くなったのでしょう。雄太夫の後妻の子が昇です。
次男である渡辺昇は、幼い頃から乱暴でしたが、剣の鍛錬に励みました。当時、武家の次男以下は部屋住みと呼ばれ、どこか養子に出ない限りは、一生を日陰者で終わるしかなかったのです。
ところが、大村藩では、一刀流などの、形を重んじる古来の剣の流派では、新しい時代に対応できないとして、より実践的な剣の流派を導入する必要に迫られていました。
というのも、大村藩は、鎖国政策の下で隣接する長崎の警護を幕府から命じられていたのですが、１９世紀に入ると、隣国の中国では、アヘン戦争により英国などの列強が占領地を租借し、事実上の植民地支配となり、こうした外国勢力は日本にも触手を延ばし、頻々と、外国船の侵入事件が起きたりしていました。ましてや通商条約で長崎に居留地が設けられ、徳川幕府治下の太平の世は過ぎつつあることを、身をもって実感したのが大村藩でした。
このことが、大村藩をして、欧米式の新しい武器の導入に踏み切らせ、かつ、武士の命である剣も、即戦力になる流派に変える必要があったのです。
ここで、白羽の矢が立ったのが、江戸三大道場の一つ、神道無念流の練兵館でした。実は、嘉永年間（１８４８年から１８５４年）に、練兵館道場の創始者である斎藤弥九郎の長男、斎藤新太郎が神道無念流を広げようとして、中国から九州一帯を廻国修行と称して回り、大村にも来ました。
ところが、大村藩の剣の達人といわれた藩士の誰もが斎藤新太郎に勝てませんでした。ここで、大村藩主は、自分の藩の剣が立ち遅れていることを痛感し、斎藤新太郎の弟である斎藤歓之助を破格の高給で招き、同時に、藩の剣を神道無念流に統一することにしたのです。
斎藤歓之助は、江戸では「鬼歓」というあだ名が付けられたほどの激しい剣で有名で、そのような剣客が大村に来たのですが、なかなか、大村藩士はついていけませんでした。ただ、数人の藩士は、鬼歓の荒稽古に耐え、神道無念流を会得していきました。その筆頭が昇だったのです。
昇は、幼少から乱暴者で有名でしたが、それが鬼歓の稽古法に合ったのでしょう、鬼歓が自邸に設けた私的な道場である「微神堂」で鍛えられ、鬼歓は、昇を江戸に出して、練兵館道場で昇の剣に磨きをかけるように、藩主に推挙したのです。
こうして、昇は、藩費で江戸に出ました。
