Начиналось всё довольно давно: будучи детьми трое из четырёх участников: Daniel Hoxmeier, Joel Calvin и Greg Barkley уже вовсю музицировали. Причём, каждый освоил не менее трёх музинструментов. Называлось всё это довольно звучно — The Jolly Rogers. Но позже было придумано другое, более нам привычное название — Oh No! Oh My! вдохновлённое песней группы The Robot Ate Me.
В 2005 году трио переезжает в Нэшвилл, где продолжают свои творческие эксперименты и активно выступают. Там к ним присоединился четвёртый участник — клавишник Tim Regan. Весь накопленный материал робята записали на своём дебютнике название которого не блещет выдумкой и оригинальностью (она называлась Oh No! Oh My!), зато контент поистине бесподобен.
Осенью 2006 года группа покидает Нэшвилл уже, практически, звёздами — разогревать публику перед The Flaming Lips и Gnarls Barkley. После возвращения в Остин группа активно концертировала, записала ещё одну ЕР Between The Devil And The Sea и удалила из названия восклицательные знаки. А перед осенним евротуром вышел свежий релиз — ЕР Dmitrij Dmitrij.