元々は近藤と十四郎の故郷である田舎（武州）で名の知れた豪農が、妾に密かに産ませた子である。母が亡くなった後、行く当てがなかったが、父の死後に突如現れた幼い異母弟を、他の兄弟たちは皆嫌った。しかし、唯一長兄である土方為五郎だけは善良な人物で、弟を引き取り手厚く世話をした。十四郎もまた、父親ほど年の離れた兄を慕っていた。 ところが、十四郎が11歳の時、村で大火災が発生した。その混乱に乗じて豪農である土方家に略奪に押し寄せた暴漢たちが十四郎を襲おうとするのを見て、為五郎が十四郎を庇い、目を失ってしまう。これに激昂した十四郎は、一人でその暴漢たちを小刀一本で皆殺しにした。他の異母兄弟たちはそんな十四郎を見て怯え、さらに遠ざけるようになり、この時から十四郎は「バラガキ」と呼ばれるようになった。 突如現れた隠し子という理由で、幼い頃から人々の冷ややかな視線を浴びて育ち、自分に温かく接してくれるのは兄の為五郎だけだった。しかし、その兄が自分を助けようとして失明したことで、罪悪感と大切な人を守れなかったという後悔が重なり、土方の心は満身創痍となった。兄の件で大切な人を守れなかったという思いから、強くなりたい一心で無謀な戦いに身を投じるようになる。この時期の土方は誰にも止められない乱暴者で、道場破りを繰り返し、他人に喧嘩を吹っかけては恨みを買っていたという。なお、幼少期は短髪だったが、この時期はポニーテールのように長く伸ばして結んでいた。 その後、近藤勲に出会うまではずっと一人で戦い、バラガキとして生きてきた。そんな折、偶然近藤勲と出会い、近藤はむしろ彼の孤独を理解して温かく接した。そして近藤の道場に入り、剣術を学ぶことになった。