Suatu pagi ketika murid Imam Syafi'i datang menjenguk beliau yang sakit menjelang ajalnya, Imam Syafi'i berkata, "Pagi ini aku akan meninggalkan dunia, berpisah dengan kawan-kawan, dan menenggak cawan kematian. Aku akan berjumpa dengan segala kejahatanku, dan menghadap Allah Sang Pencipta. Aku tak tahu kemana ruhku akan melayang, akankah ke Jannah hingga kuucapkan selamat, ataukah ke Neraka hingga kuucapkan belasungkawa?".
Sesaat kemudian, beliau menangis sambil melantunkan bait-bait berikut,
Ketika hatiku mengeras dan jalanku menyempit kujadikan harapan akan maghfirah-Mu sebagai tangga
Dosaku yang terasa besar ketika kubanding,
dengan maaf-Mu Rabbi, jadilah tak seberapa
Engkau selalu pemaaf akan dosa
dan senantiasa bermurah hati sebagai anugerah dan karunia
Kalau Kau siksa diriku ku takkan putus asa
meski karena dosaku ku harus masuk neraka
Kalau bukan karena-Mu Iblis takkan sesatkan manusia
namun bagaimana kalau Adam pun telah disesatkannya
Aku memang berdosa namun kutahu berapa kadarnya
dan kutahu bahwa Allah memaafkan dengan rahmat-Nya
Beliau wafat pada hari Kamis di penghujung bulan Rajab tahun 204 Hijriyah dalam usia lima puluh empat tahun.