1904 yılında İstanbul’da doğdu. 1925 yılında Piyade Asteğmen rütbesiyle Harp Okulu'nu bitirdi. Muhtelif birliklerde Takım Komutanlığı yaptı. 1932 yılında girdiği Harp Akademisi'ni 1935 yılında bitirerek kurmay oldu. 1954 yılına kadar çeşitli karargah ve birliklerde görev yaptı.
1954 yılında Tuğgeneral, 1956’da Tümgeneral, 1959’da Korgeneral ve 1961‘de Orgeneralliğe yükseldi. Tuğgeneral rütbesi ile 8 nci Tümen Komutanlığı, Yedeksubay Okul Komutanlığı, Tümgeneral rütbesi ile Kara Harp Akademisi Komutanlığı, 10 ncu Tümen Komutanlığı, Korgeneral rütbesi ile 8 nci Kolordu Komutanlığı, 2 nci Ordu Komutan Vekilliği, 3 ncü Ordu Komutanlığı ve 25 Eylül 1962 - 19 Mart 1966 tarihleri arasında 1 nci Ordu Komutanlığı görevlerinde bulundu.
Orgeneral rütbesinde 1 nci Ordu Komutanı iken, 15 Mart 1966 tarihinde atandığı Kara Kuvvetleri Komutanlığı'ndan, 16 Ağustos 1968 tarihinde kendi isteği ile emekli oldu.
Bir çocuğu olan Orgeneral Yılmaz, 21 Şubat 1986 tarihinde vefat etti ve İstanbul Karacaahmet Mezarlığı'nda toprağa verildi.
