Yönetmen Stephen Gyllenhaal ve senarist Naomi Foner'ın oğlu, aktris Maggie Gyllenhaal'in kardeşidir. Los Angeles'ta doğan Gyllenhaal, anne tarafından Yahudi'dir. İlk olarak 1991 Billy Crystal ile City Slickers filminde görülmüştür. Ailesi bir süre filmlerde yer almasını yasakladı, çünkü evden uzak kalmasını istemiyorlardı. Bu yasaklama 1993 yılında babasının yönettiği ve ablası Maggie'nin de oynadığı A Dangerous Woman filmi ile son buldu.

Ablası gibi Los Angeles'taki Harvard-Westlake Lisesi'ni bitirdi ve Columbia Üniversitesi'ne kaydoldu. Ancak 2 yıl okuduktan sonra okulu bırakarak oyunculuğa odaklandı. 1999 yapımı October Sky, ilk başrol filmi oldu. Büyük çıkışını ise 2001 yapımı gerilim-gizem filmi Donnie Darko ile yaptı. Sorunlu bir genç olan Donnie performansıyla büyük alkış toplayan Gyllenhaal için bu film, daha da önemli film ve rollerin kapısını açtı. 2004'te Roland Emmerich'in felaket filmi The Day After Tomorrow'da başrolde yer aldı. Çok tartışma yaratan 2005 yapımı Ang Lee filmi Brokeback Mountain'da ise zor bir rolün üstesinden başarıyla kalktı. Heath Ledger'la birlikte birbirlerine ilgi duymaya başlayan iki sığır çobanını canlandırdıkları film, oyuncuya En İyi Yardımcı Erkek Oyuncu dalında Oscar adaylığı getirdi. Aynı yıl, Sam Mendes'in yönettiği Jarhead filminde Körfez Savaşı'nda Irak'ta savaşmış bir askeri canlandırdı.

2007'de David Fincher'ın Zodiac filminde başrolde oynadı. Gizemli bir katil tarafından işlenen cinayetleri araştıran karikatürist Robert Graysmith rolüyle yine olumlu tepkiler aldı. 2010'da Prince of Persia epiğinde Dastan rolündeydi. 2013'te Kanadalı Denis Villeneuve'ün 2 filminde oynadı. Tutsak ve Jose Saramago'nun Kopyalanmış Adam romanından uyarlanan Düşman'da oynadı. Nightcrawler'da geceleri gezen bir adamı oynadıktan sonra, 2015 yapımı Son Şans'ta (Southpaw) her şeyini kaybettikten sonra tekrar yükselmek için çabalayan boksör Billy Hope performansıyla bir kez daha zor bir rolün hakkında gelmeyi başardı.

2016'da ise hayatına yepyeni bir yön vermeye kararlı üst düzey yatırım bankacası Davis Mitchell'ı oynadığı Yeniden Başla'da (Demolition) başrolü Naomi Watts'la paylaştı. 2016'da oynadığı bir diğer önemli film ise, Gece Hayvanları (Nocturnal Animals) oldu. Burada yazar Edward Sheffield rolüyle En İyi Erkek Oyuncu dalında BAFTA adaylığı aldı. 2017'de Hayat (Life) ve Pes Etme (Stronger) gibi filmlerde oynadı. 2018 yapımı Paul Dano filmi Yangın Yeri'nde (Wildlife) başrolü Carey Mulligan ile paylaştı.

Gyllenhaal, Kirsten Dunst, Reese Witherspoon ve Taylor Swift gibi tanınmış isimlerle birliktelikler yaşamıştır.