"Shiba" viittaa eräänlaiseen pieneen, harjapuun, joka löytyy Japanin vuoristoalueilta. Sanaa "Shiba" käytetään kuvaamaan jotain pientä, kompaktia tai maalaismaista. Shiba Inu:n tapauksessa se todennäköisesti viittaa koiran pieneen kokoon ja sen yhteyteen maaseutualueisiin.
"INU" tarkoittaa yksinkertaisesti "koiraa" japaniksi. Se on yleinen sana, jota käytetään viittaamaan minkä tahansa tyyppiseen koiraan, rodusta riippumatta.
Joten sana "Shiba Inu" kääntyy kirjaimellisesti "Brushwood Dog" tai "pieneen maalaismainen koira". Tämä nimi heijastaa koiran alkuperää ja sen yhteyttä Japanin maaseutualueisiin, joissa sitä kasvatettiin.