Pemberton Philadelphiában nőtt fel, 1833-ban lépett be a West Pointba, majd négy évvel később diplomázott. A mexikói háborúban harcolt, és bátorságáért kiáltották ki, miközben részt vett az 1846-os és 1847-es döntő csatákban.

az amerikai polgárháború kitörésekor Pemberton 1861.április 24-én lemondott megbízatásáról, és Richmondba ment, hogy szolgálatait a Konföderációnak ajánlja fel. 1861.április 28-án alezredessé vált, Pemberton megkezdte a lovasság és tüzérség megszervezését Virginiában. Május 8-án ezredessé, majd június 17-én dandártábornokká léptették elő; 1862.február 13-án Dél-Karolina, Grúzia és Florida vezérőrnagya lett. 1862 októberében Pembertont altábornaggyá nevezték ki és parancsnokságot kapott Mississippi, Tennessee és Kelet-Louisiana felett.

Jefferson Davis elnök elrendelte, hogy minden áron tartsa Vicksburgot, Pemberton makacs védekezést folytatott annak ellenére, hogy nem volt megfelelő élelmiszer, lőszer és munkaerő. Ulysses S. Grant tábornok ostrom alá vette mind a szárazföldet, mind a vizet, és 1863 július elejére a Konföderációs védők éhen és kimerültségben szenvedtek. Július 4-én Pemberton elfogadta Grant átadási feltételeit. Röviddel ezután lemondott altábornagyi megbízatásáról, és ezredesi rangban hadrendi felügyelőként szolgált.

Appomattox után Pemberton visszavonult egy Warrenton melletti farmra, Virginia. 1876-ban Philadelphiába költözött.