9인제 배구 어머니팀의 감독이였던 할아버지와 배구를 했던 누나덕에 3살때부터 배구장에 갔고 4살때부터 공을 만지기 시작본격적으로 배구는 초등학교 2학년 때 시작했다. 출신 학교는 아키야마 초등학교이다중3 때 경기에서 히나타 쇼요를 만났고, 신체 능력은 뛰어나지만 기술과 스킬이 전혀 없는 히나타에게 "너는 3년 동안 뭘 한 거냐!" 라고 말해버린다. 이후 경기가 끝난 뒤 히나타에게 반드시 너를 꺾겠다는 선전포고를 듣게 된다중학교 시절에는 독재적이고 강압적인 지시로 자신의 능력과 같은 수준의 실력을 팀 전체에 요구하고 있었다. 결승전에서 상대의 블록을 뚫기 위해 스파이커에게 호흡을 맞추기보다 무조건 '빠른 토스'를 고집했고 스파이커가 그에 못 맞추자 경기 도중에 막무가내로 화낸 적이 있다. 그 결과 팀에서 고립되고, 마지막 결승전에서는 아예 팀원들로부터 시합 중에 무시당했다 중3 때 경기에서 히나타 쇼요를 만났고, 신체 능력은 뛰어나지만 기술과 스킬이 전혀 없는 히나타에게 "너는 3년 동안 뭘 한 거냐!" 라고 말해버린다. 이후 경기가 끝난 뒤 히나타에게 반드시 너를 꺾겠다는 선전포고를 듣게 된다.중학교 시절에는 독재적이고 강압적인 지시로 자신의 능력과 같은 수준의 실력을 팀 전체에 요구하고 있었다. 결승전에서 상대의 블록을 뚫기 위해 스파이커에게 호흡을 맞추기보다 무조건 '빠른 토스'를 고집했고 스파이커가 그에 못 맞추자 경기 도중에 막무가내로 화낸 적이 있다. 그 결과 팀에서 고립되고, 마지막 결승전에서는 아예 팀원들로부터 시합 중에 무시당했다.그 일이 트라우마로 심하게 남는다작중 공인된 천재로 중학교에 입학했을 때부터 다른 사람들보다 압도적으로 센스와 스킬이 뛰어났고, 워낙에 독보적인 재능을 가지고 있어 중학교 입학 당시 주전 세터였던 오이카와 토오루가 경계했을 정도였다. 타교생들도 키타가와 제1 중학교 출신 천재 세터로 알고 있는 묘사가 나온다. 네코마 고교의 네코마타 감독은 아예 카게야마를 가리켜 괴물이라 칭했다