安政５年（１８５８）、渡辺昇は、当時、大村藩の用人を務めていた父雄太夫の藩務での出府に供する形で江戸に出ました。藩費による剣術修行を命じられての出府でしたが、昇の本心は、学問を修めることにありました。
というのも、昇は、大村藩の藩校、五教館（ごこうかん）に通っていましたが、一歳下に、松林廉之助（後、飯山）という天才児がいて、藩主の前で四書五経を講じるほどでした。負けず嫌いの昇は、松林廉之助を学問で凌駕することを目標に置き、日々、研鑽しましたが、なかなか追いつけず、江戸出府は、学問を磨く、良い機会だと思ったのです。
そこで、昇は、大村藩邸には内緒で、出府早々、練兵館ではなく、安井息軒（日向飫肥藩士。寛政１１年（１７９９）－明治９年（１８７６））の三計塾に入門したのです。
三計塾の教育は、「一日の計は朝にあり。一年の計は春にあり。一生の計は少壮の時にあり」という、三つの計を基本におき、ここには全国から２０００名以上の塾生が集まっていました。その中には、土佐藩の谷干城や紀州藩の陸奥宗光、さらに長州藩の桂小五郎もいました。
三計塾の教育は儒学ではありますが、儒教の因循な教理学にとどまらず、時世を論ずる場でもあり、水戸藩の国学者藤田東湖なども安井息軒を訪ねて論を交わしたほどでした。
安井息軒は、黒船来航（嘉永６年（１８５３））の余波で世情騒然とするなか、東湖の紹介で水戸の徳川斉昭からも意見を求められ、「海防私議」（軍艦の製造や海堡の築き方や糧食の確保などを進講する）などを上程し、文久２年（１８６２）には官儒として幕府に抱えられることになります。
実は、昇が小五郎に最初に会ったのは、この三計塾でした。小五郎は、練兵館の塾頭でもありましたが、長州藩が幕府から命じられた海防工事の研究で、藩命で三計塾に通っていました。小五郎が昇の巨躯に興味を持ち、話しかけると、何と、昇が大村藩士だとわかったのです。当然、斎藤歓之助のことに話題が移り、しかも、斎藤弥九郎の許には歓之助から「昇をよろしく」という手紙が届いていることも聞いていました。
当然、小五郎は、昇を練兵館に引っ張っていき、入門させました。
渋々、練兵館に入門した昇でしたが、弥九郎は歓之助が育てたという昇の力量を計るために、長州藩士太田市之進（後、御掘耕助）を対戦相手に指名しました。太田は、昇よりも３歳下ですが、練兵館では名うての剣士として、小五郎の跡を継ぐ者とみられていました。
ところが、昇は、神道無念流の特徴である突きの一撃で太田を失神させました。
弥九郎は、昇の剣を、我が次男、歓之助の剣そのものと認め、また、小五郎は、自分の後継者は昇しかいない、と思ったのかもしれません。二人は、すぐに大村藩邸に出向き、昇を練兵館の特待生にする許可を得ました。
こうして、昇は、大村藩邸（現在の国会図書館あたり）と練兵館（現在の靖国神社境内）と三計塾（現在の麹町二番町）を行き来する毎日となりました。
