Джеймс Тэйлор родился 12-го марта 1948-го года в Бостоне (Массачусетс) в семье Исаака Тэйлора - резидента массачусетского госпиталя Massachusetts General Hospital - и Гертруды Вудард – в прошлом оперной певицы. Джеймс был вторым ребенком из пятерых детей.