Siitä huolimatta syyt siihen, miksi heidän lukumääränsä oli niin alhainen aivan viime aikoihin asti, johtuvat sekä elinympäristön häviämisestä että elinympäristön pirstoutumisesta, mutta enemmänkin edellisestä. Kiinan nopeasti kasvava väestö on lisännyt painetta heidän asuttamansa maa-alueeseen. Kiinan taloudellisen kehityksen myötä enemmän maata raivattiin hakkuita, maanviljelyä ja asutusta varten, mikä loukkasi jättiläispandan elinympäristöä.
Pandat ovat myös melko erityisiä elinympäristöstään. Ne elävät lauhkeissa metsissä, joilla on erityinen ilmasto, korkeus ja kasvillisuus. Kun heidän elinympäristönsä häiriintyy tai tuhoutuu, heidän on vaikea selviytyä.
Lisäksi pandoilla on alhainen lisääntymisnopeus. Naaraat synnyttävät vain yhden tai kaksi pentua kahden tai kolmen vuoden välein, ja pentujen kuolleisuus on korkea. Tämä vaikeuttaa jättiläispandapopulaatioiden toipumista elinympäristön menetyksestä.
Suojelutoimet ovat auttaneet lisäämään jättiläispandojen määrää luonnossa, mutta niitä pidetään edelleen haavoittuvana lajina. Niiden elinympäristön suojeleminen ja ihmisten aiheuttamien häiriöiden vähentäminen ovat olennaisia heidän selviytymiselleen.