Rabbit Junk появился в 2004 году после распада The Shizit – группы начавшей деятельность в 1999 году в Сиэттле и состоявшей из гитариста Брайана Шрейдера и ДжейПи Андерсона, отвечавшего за электронику и вокал. С приходом на бэк-вокал вокалистки Джениффер «Sum