Mustafa Yılmaz, 1966 yılında Gaziantep Nizip'te doğdu. Nizip'teki ortaöğreniminin ardından 1984-1988 yılları arasında İstanbul Üniversitesi Hukuk Fakültesi'nde eğitimini tamamladı. 

1989 yılında İstanbul'da serbest avukatlığa başladı. 1993-2004 yılları arasında enerji sektöründe avukat olarak çalıştı. 

Bu dönemde bazı sivil toplum kuruluşlarının çalışmalarına katkıda bulundu. 

Mustafa Yılmaz, 21 Şubat 2004 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararı ile EPDK Kurul Üyeliğine atandı. 28 Ocak 2010 tarihinde EPDK İkinci Başkanı olarak görevlendirildi.

20 Şubat 2014 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararı ile EPDK Başkanı olarak atanan Yılmaz, görev süresinin bitimini müteakiben 1 Mart 2016 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararıyla da EPDK Başkanı olarak ikinci kez getirildi. 

4 yıllık görev süresinin dolmasının ardından Mustafa Yılmaz; 3 Mart 2020 tarihinde Cumhurbaşkanı Recep Tayyip Erdoğan imzasıyla Resmi Gazete’de yayımlanan kararla ve 4628 sayılı Enerji Piyasası Düzenleme Kurumunun Teşkilat ve Görevleri Hakkında Kanun'un 5'inci maddesi ile 3 sayılı Cumhurbaşkanı Kararnamesi'nin 2, 3 ve 7'nci maddeleri gereğince üçüncü kez EPDK Başkanlığı görevine atandı.

Mustafa Yılmaz'ın başkanlığı döneminde, EPDK'nın uluslararası platformda etkinliğinin artırılmasına yönelik olarak başlatılan çalışmalar daha da artırılmıştır. Bu dönemde, EPDK'nin ev sahipliği ve başkanlığında 6.Dünya Enerji Düzenleme Forumu İstanbul'da toplanmış ve EPDK, üyesi bulunduğu Enerji Düzenleyicileri Bölgesel Birliği ERRA ve Akdeniz Enerji Düzenleyicileri Birliği MEDREG'in aktif bir üyesi haline gelmiştir Yılmaz, aynı zamanda ERRA Yönetim Kurulu Üyeliği görevini de yürütmektedir. 

İngilizce bilen Yılmaz, evli ve üç çocuk babasıdır.