Когда пророк Мухаммед в сентябре 622 года прибыл из Мекки в Медину, аль-Баки представляла собой участок земли, заросший дерезой. Во время строительства мечети Пророка, Мухаммед купил этот участок у двух детей-сирот. Первым похороненным на аль-Баки стал Асаад ибн Зарара, сподвижник пророка Мухаммеда из числа ансаров. В 624 году во время битвы при Бадре от болезни умерла дочь Мухаммеда Рукайя[2]. Вскоре после того, как Мухаммад прибыл из Бадра на аль-Баки был похоронен Усман ибн Мазун, который считается первым похороненным мухаджиром[3].
Третий Праведный халиф Усман ибн Аффан первоначально был погребён в соседнем с аль-Баки еврейском кладбище.
В мае 1925 года по приказу короля Ибн Сауда все мавзолеи на кладбище были снесены[4].