Aikuisten harmaat valaat ruokkivat ensisijaisesti pieniä äyriäisiä, nimeltään Krill ja muut pienet selkärangattomat, kuten Amphipods ja Copepods . He syövät myös pieniä kaloja.
Ruokansa löytämiseksi harmaat valaat käyttävät tekniikkaa nimeltä mutatulos . He kauhistuttavat suuria määriä sedimenttejä merenpohjasta käyttämällä baleenilevyään suodattamaan ruokahiukkaset ja karkottamaan muta ja vesi.