1967 yılında dünyaya gelen Cevdet Yılmaz’ın annesi Fatma Hanım, babası ise Kemal Bey’dir. Lise eğitimini memleketinde tamamlamış ardından Orta Doğu Teknik Üniversitesi İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümünden mezun olmuştur.
Aslen Bingöl’lü olan Dr. Cevdet Yılmaz ileri derecede İngilizce bilmekte, evli ve bu evliliğinden iki evlat sahibidir.
1989 yılında Devlet Planlama Teşkilatında göreve başlayan Cevdet Yılmaz Amerika Denver Üniversitesi Uluslararası İlişkiler’de Yüksek Lisans yapmıştır. 1995 ve 2003 yılları arasında Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetiminde Doktorasını tamamlamış 2003’te Devlet Planlama Teşkilatının AB İlişkiler Genel Müdürlüğü’ne atanmıştır.
2007 ve 2011 seçimlerinde Adalet ve Kalkınma Partisi milletvekili olarak mecliste yer alan Dr. Yılmaz 2009 senesinde GAP-DAP Projesi ve Kalkınma’dan Sorumlu Devlet Bakanlığı görevini sürdürmüştür. 62. hükümette de Kalkınma Bakanı görevini devam ettiren Dr. Cevdet Yılmaz 61. 62. ve 64. Hükümetlerde Kalkınma Bakanı, 63. Hükümette Başbakan Yardımcısı olarak görev almıştır. Günümüzde ise AK Parti Ekonomi İşleri’nden sorumlu Genel Başkan Yardımcısı olarak siyasi hayatını sürdürmektedir.