До середины 19 века Япония находилась практически в полной культурной изоляции от остального мира, и когда в 1902 году в Токио родился Хидео Сайто — будущий основатель колледжа — в стране практически не было европейской музыкальной традиции. Его отец был профессором английского языка, переводчиком и составителем первого толкового Англо-Японского словаря, а также одним из первых сторонников приобщения Японии к европейской культуре. Свой интерес к английскому языку он передал детям, которые изучали европейские языки и играли на европейских музыкальных инструментах.

В Университете Софии Хидео Сайто вначале осваивал немецкий язык и литературу, но продолжал заниматься музыкой, и в 1923 году уехал в Германию для продолжения музыкального образования. После войны Хидео Сайто решил посвятить себя преподаванию. Он был убежден, что в Японии, преклоняющейся перед культурой и искусством, должна хорошо прижиться и европейская музыкальная традиция. Он считал также, что начинать нужно с детского музыкального образования, поэтому в 1948 году арендовал помещение в женской школе Касеи Гакуэн в Токио и основал детскую музыкальную школу. Из учеников школы он организовал ансамбли камерной музыки, а затем и школьный оркестр.

В 1952 году Хидео Сайто убедил университет Тохо Гакуэн открыть старшую музыкальную школу для учеников от 15 до 18 лет, а через несколько лет им был создан и Музыкальный колледж. Таким образом, благодаря усилиям Хидео Сайто, выросло целое поколение японских музыкантов европейской традиции.

В 1964 году Хидео Сайто организовал гастроли детского оркестра Тохо по Америке, Европе и СССР. В 1974 году им было запланировано еще одно турне, но смерть настигла его буквально накануне отъезда. Ученики решили все же продолжить турне, чтобы почтить память Хидео Сайто, оркестром дирижировал блестящий студент Школы, впоследствии всемирно прославленный дирижер — Сейджи Озава.