Одно из старейших музыкальных учебных заведений России,пережившее вместе со страной нелегкие перипетии ее истории. Институт ведет свое летоисчисление с 1879 года, когда в Тамбове были основаны Музыкальные классы под руководством пианиста Р. А. Гельма. В 1882 году Музыкальные классы были переданы в ведение Имперского Русского музыкального общества и в 1900 году получили статус Музыкального училища с правами среднего учебного заведения. В 1918 году постановлением Тамбовского губернского совета рабочих, солдатских и крестьянских депутатов Музыкальное училище было национализировано, передано в ведение Народного Комиссариата просвещения, а затем преобразовано: сначала в Народную, позже — в Государственную консерваторию.

В 1922 году Консерватория превращается в Музыкальный техникум, который в 1936 году постановлением Всесоюзного комитета по делам искусств при Совете Народных комиссаров СССР был снова переименован в Музыкальное училище. В 1959 году Тамбовскому музыкальному училищу было присвоено имя С. В. Рахманинова, а в мае 1996 года Постановлением администрации Тамбовской области училище было преобразовано в Тамбовский государственный музыкально-педагогический институт имени С. В. Рахманинова.