Вырос в музыкальной семье, в юности обучался игре на скрипке, фортепиано, теории музыки. Рашинг начал выступать в ночных клубах после переезда в Калифорнию в середине 1920-ых. Сначала это были Walter Page's Blue Devils в 1927 году, затем Bennie Moten (с 1929 до кончины лидера в 1935 году). Бейси подобрал оставшихся музыкантов Мотена, в их числе и Рашинга. Записи Рашинга с оркестром Бейси во множестве были сделаны н на фирмах Decca, Columbia и РСС. С Бейси его можно увидеть на старых пленках 1930х-1940х.
Ансамбль Бейси распался в 1950 году, пав жертвой тяжелых времен для Биг-бэндов, пришло время более дешевых малых форм. Рашинг сделал небольшую паузу, потом организовал собственный септет и стал записывать серию сольных альбомов для Vanguard в середине 1950х. Позже на Columbia он стал записываться с новыми джазовыми светилами, Дейвом Брубеком (1960), Кулеман Хокинсом и Бенни Гудменом (1958). Дейв Брубек считал, что Джимми Рашинг — отец всех блюзовых певцов. Рашинг мог петь тенором и баритоном. Принято считать, что он пел в традициях канзас-джамп-блюза.