B 1921 году правительственным декретом была учреждена Народная консерватория, в которую без экзаменов было принято несколько тысяч человек. С этого момента началась история профессионального музыкального образования в Азербайджане.

Задачи и цели обучения сводились к «популяризации музыкального искусства в самых широких слоях трудового населения». Позже была основана Бакинская государственная консерватория, состоявшая из трех ступеней профессионального музыкального обучения. Высшая ступень, призванная управлять всей системой профессионального музыкального образования в республике, была названа Музыкальной Академией.

Первыми ректорами консерватории стали пианисты Л. Прессман и И. Айсберг. Устав, предложенный родоначальником азербайджанской музыки Узеиром Гаджибековым (ректор с 1939 года), создавался на основе аналогичных документов Петербургской и Московской консерваторий. По инициативе У. Гаджибекова в консерватории был создан Восточный отдел, обучение в котором велось в двух направлениях: традиционная «устная» игра на народных инструментах и направление, основанное на письменной — европейской нотной системе. В 20–30 годы XX века в консерватории преподавали, в основном, музыканты, приехавшие из Москвы, Ленинграда, Саратова и других городов.

В 1933–1934 годах при Консерватории была создана «Группа особо одарённых детей», позже ставшая основой Специальной средней музыкальной школы. Тогда же при консерватории был организован Рабфак,
привлекавший к музыкальному образованию азербайджанцев — представителей рабочей среды. На Рабфаке обучались будущие композиторы — К. Караев, Дж. Гаджиев, Т. Кулиев, З. Багиров. После смерти У. Гаджибекова консерваторию несколько лет возглавлял Кара Караев.

С 1991 года ректором БМА является выдающийся пианист Ф. Бадалбейли.

С 1997 по 2007 год в Бакинской Музыкальной Академии регулярно проходили выступления и мастер-классы М. Ростроповича. БМА посещают и дают концерты Белла Давидович (выпускница Специальной средней музыкальной школы), скрипач и дирижер Дмитрий Ситковецкий, а также другие выдающиеся инструменталисты, дирижёры, теоретики, композиторы из США, Германии, Японии, Китая, Франции, России.