Erityisesti todennäköisimmät esi -isät ovat brittiläisiä hevosia Esitelty saarelle 1800 -luvulla. Tarkat rotujen määrittäminen on vaikeaa, mutta ne olivat todennäköisesti sekoitus vedon hevosia, täysiverisiä ja muita yleisiä rotuja ajan.
Vaikka tarkka suku on mysteeri, Fraser Islandin brumbit ovat sopeutuneet huomattavasti villiin ympäristöönsä ja ovat kehittäneet ainutlaatuisia ominaisuuksia, mukaan lukien pienempi koko ja erottuva turkin väri.