Beliau dilahirkan di Samarqand dan dibesarkan di Abi Warda, suatu tempat di daerah Khurasan.
Tidak ada riwayat yang jelas tentang kapan beliau dilahirkan, hanya saja beliau pernah menyatakan usianya waktu itu telah mencapai 80 tahun, dan tidak ada gambaran yang pasti tentang permulaan kehidupan beliau.
Sebagian riwayat ada yang menyebutkan bahwa dulunya beliau adalah seorang penyamun, kemudian Allah memberikan petunjuk kepada beliau dengan sebab mendengar sebuah ayat dari Kitabullah.
Disebutkan dalam Siyar A’lam An-Nubala dari jalan Al-Fadhl bin Musa, beliau berkata: “Adalah Al-Fudhail bin ‘Iyadh dulunya seorang penyamun yang menghadang orang-orang di daerah antara Abu Warda dan Sirjis. Dan sebab taubat beliau adalah karena beliau pernah terpikat dengan seorang wanita, maka tatkala beliau tengah memanjat tembok guna melaksanakan hasratnya terhadap wanita tersebut, tiba-tiba saja beliau mendengar seseorang membaca ayat:
