1950 yılında Kızılcahamam’a bağlı Saraycık köyünde doğdu. ilköokulu aynı köyde, ortaokulu Kızılcahamam’da ve liseyi de Ankara’da bitirdi. Lise öğreniminden sonra askere giden Yılmaz, askerlik dönüşü 1973 yılında T.C.K. 4. Bölge Müdürlüğü’nde işe başladı. 1982 yılında aynı kurumda Akköprü Atelye Müdürlüğü’nde makine eğitim öğretmeni olarak işe başlayan Yılmaz, 1989 yılında T.Yol-İş Sendikası Ankara 1 No.lu Şube Başkanlığı’na seçildi. Temmuz 2007’de yapılan Yol-İş Sendikası 8. Olağan Genel Kurulu’na kadar bu görevi sürdüren Yılmaz, Genel Kurulda Yol-İş Sendikası Genel Başkan Yardımcılığı görevine seçildi.
Kemal Yılmaz evli ve üç çocuk babasıdır.
