Pemberton voksede op og blev uddannet i Philadelphia, kom ind i Vestpunktet i 1833 og dimitterede fire år senere. Han blev citeret for tapperhed, mens han deltog i mange af de afgørende slag i 1846 og 1847.efter udbruddet af den amerikanske borgerkrig fratrådte Pemberton sin kommission den 24.April 1861 og rejste til Richmond for at tilbyde sine tjenester til Konføderationen. Lavet en oberstløjtnant den 28. April 1861 begyndte Pemberton at organisere kavaleriet og artilleriet i Virginia. Den 8. maj blev han forfremmet til oberst og den 17.juni til brigadegeneral; den 13. februar 1862 blev han generalmajor med kommandoen over South Carolina, Georgia og Florida. I Oktober 1862 blev Pemberton generalløjtnant og fik kommandoen over Mississippi, Tennessee og det østlige Louisiana.beordret af præsident Jefferson Davis til at holde Vicksburg for enhver pris, Pemberton gennemførte et stædigt forsvar på trods af hans mangel på tilstrækkelig mad, ammunition og arbejdskraft. General Ulysses S. Grant belejrede både land og vand, og i begyndelsen af juli 1863 led de konfødererede forsvarere af sult og udmattelse. Den 4. juli accepterede Pemberton Grants betingelser for overgivelse. Kort derefter fratrådte han sin kommission som generalløjtnant og tjente balancen i krigen som en ordnance inspektør med rang af oberst.