練兵館塾頭に就任した渡辺昇は、いくつかの藩の藩邸に出稽古に行きましたが、なかでも、水戸藩上屋敷（現、小石川後楽園から東京ドーム、後楽園遊園地一帯）へは、斎藤弥九郎が水戸斉昭と親しかった関係で、出かけたようです。これは、塾頭時代の桂小五郎も同じで、弥九郎か小五郎か、どちらの紹介かはわかりませんが、昇は、水戸藩の重鎮、武田耕雲斎（享和3年（1803）- 元治2年（1865））の面識を得ます。
万延元年（１８６０）当時、耕雲斎が仕えた徳川斉昭は、安政の大獄で蟄居幽閉の憂き目にあっていたのですが、この年８月に、幽閉先の水戸で急死しました。多分、この前後の頃と思われますが、水戸藩邸で昇は耕雲斎から声をかけられました。
桜田門外の変で多数の水戸藩士が井伊大老襲撃に加担し、その原因が、井伊大老による斉昭への処罰に対する報復にあるとされ、耕雲斎も一味ではないかと疑われた時期でもありました。そういうこともあり、耕雲斎は、斉昭の死去により、職を解かれ、水戸藩執政の場を追われていました。
ただ、昇にとっては、若い頃に尊王の精神を学んだ水戸学の大家、藤田東湖と並ぶ耕雲斎の知己を得たことは、大きな収穫でした。自伝でも、耕雲斎に会い、親しく話しかけられたことに感動した様子が書かれています。
耕雲斎は、後に、藤田東湖の子（四男）、藤田小四郎が決起した天狗党の乱で、これを止めようとして小四郎に会いますが、逆に、首謀者に引き入れられ、天狗党を率いることになりました。その後、天狗党は幕府側の軍勢に押されて各地を転々とし、最後は敦賀まで逃げ、当時の禁裏御守衛総督であった一橋慶喜（後、徳川慶喜）を頼ったのですが、捉えられ、斬首されます。
この時、昇は、大村から京都に上っていたのですが、敦賀まで耕雲斎が来ていることを知り、耕雲斎の下に馳せ参じようとさえしたのですが、断念しています。
いずれにせよ、耕雲斎は、昇にとって、勤王の道を進む上での道標のような存在となり、反幕、やがては倒幕に舵を切っていくことになります。
