本人が「おっかさんなんているかどうかも知らない」「家族はいない」と語るように、天涯孤独の身。幼い頃は、戦場跡で死体からモノをはぎ取って生活していた。 「世界を憎んでいる」などと指摘された事もあり、その過去はそれなりに壮絶だったようだ。 そのような荒んだ幼少期を過ごしていた彼だったが、ある日ふと現れた吉田松陽という謎多き人物に拾われたことから彼の運命は大きく動き始める。 松下村塾に入り、孤独だった銀時も他人と交流するようになっていく。そして、それぞれの事情を経て松下村塾に通うようになった桂小太郎や高杉晋助と出会う。 銀髪の天然パーマに「死んだ魚のような目」をした青年で、外見からして無気力、脱力感が感じられる。 スケベで、セクハラ発言は日常茶飯事。

武家の長男として生まれ、桂と同じ名門私塾「講武館」の出身であったが、周囲には馴染めず屈折した幼少期を送っていた。 家族仲も良好とは言えず、身分を笠に着て威張り散らす門下生達とも度々衝突しており、その喧嘩の最中に松陽らと出会い、彼らに興味を抱く。銀時に対しては、『俺が勝つまで』と半ば道場破りのような形で勝負を挑んでいく。何度も銀時に惨敗し、塾生にも後ろ指を指され父親にも「一族の面汚し」呼ばわりされながらも挑み続け、ついに一本を勝ち取る。 今は銀時としょっちゅう喧嘩し、 2人揃って松陽に怒られている。

貧しい家庭に生まれ、幼い頃に両親を病気で亡くした。その後は、屋敷を没収され、お婆と二人で暮らしていたが、時には路頭に迷ったこともあったという。お婆が死んでからは天涯孤独の身となり、幼くして桂家の当主となった。巷でも評判の賢い子として養子縁組の話もあったが、本人曰く「侍は自分で自分を育てるもの」と語っており、誰に頼るわけでもなくたった一人で炊事・掃除・洗濯など全ての家事をこなしていた。 そして、その才覚を認められて名門塾「講武館」に特待生として招かれる。同塾に通っていた高杉とはこの頃からの知り合いであり、仲が良いとは言えないながらも塾生との喧嘩の仲裁に入ろうとしたり、家族から飯抜きの罰を受けた高杉の元へおにぎりを持参する等（何故か具はツナマヨ）素行を気に掛けていた。やがて松陽と出会い、高杉と共に講武館を抜けて、松陽の塾で侍として成長していく。

坂田銀時や桂小太郎、高杉晋助の最大の恩師にもあたり、子供達からは「松陽先生」と呼ばれ慕われている。 浮浪児として暮らしていた銀時を塾に招いたことが二人の出会いである。銀時に侍としての在り方を説いて、彼の生き様に大きく影響を与えた人物であり、両親の居ない彼にとっては、師弟関係を超えた実の父親にも等しい存在。