Начал музицировать в 12 лет на однострунной гитаре, она называется "диддли боу " (diddley bow" или "jitterbug"), струна этого народного инструмента натягивается прямо от стены жилища.
Играл на танцах, был трижды женат, копировал темы Роберта Джонсона, Тампы Реда и Кокомо Арнольда. Был знаком с Джонсоном лично. До сих пор идут споры, кто настоящий автор песни "Dust My Broom", Джеймс или Роберт Джонсон.
Во время второй мировой войны Элмор Джеймс служил на флоте, старшиной шлюпки принимал участие в военной компании по штурму японского гарнизона на Гуаме, после войны проживал со своим сводным братом Робертом Холстоном. В это же время его начали беспокоить проблемы с сердцем.
В магазине, принадлежащем сводному брату он и начал эксперименты со звукоснимателями на акустических гитарах.Его акустическая гитара с электрозвукоснимателем звучит как "доска". Игра его на танцах в блюзовых клубах производила неизгладимое впечатление на очевидцев своей экспрессией и драматизмом. Голос был груб, жесток и скрипуч, но чрезвычайно своеобразен и по-своему привлекателен.
Записывать пластинки начал в январе 1951, сначала как сайдмен для второго Сонни Боя Уилльямсона, затем быстро продолжил как самостоятельный лидер со своим ансамблем The Broomdusters.
Был большой любитель виски и самогонки, начал пить в раннем возрасте и упрямо долгое время гнал сам, несмотря на то, что алкоголь на его глазах быстро унес в могилу приятелей юности; Вилли Лова и Джонни Джонса.
Автор одного из наиболее известных вступлений-стандартов в блюзе : "Changety changety changety changety chang chang!"этим стандартом начинается Dust My Broom? oн играет его на слайд-электро-гитаре.
Вдохновлял своей игрой Брайана Джонса, Джими Хендрикса (есть фото Хендрикса с пластинкой Элмора Джеймса), Алана Уилсона, Джереми Спенсера, Hound Dog Taylor, J. B. Hutto, Фрэнка Заппу. Джордж Харрисон в своей песне "For You Blue" во время слайд-соло Леннона в шутку поет ""Elmore James got nothin' on this, baby."Элмор Джеймс с этого ничего не поимеет, детка"
Умер от сердечного приступа (третьего по счету) в Чикаго в 1963 незадолго до сборов в Европейский тур в рамках Американского Фолк-блюз Фестиваля.
