Landry begyndte sin professionelle karriere som spiller med All-America Fodboldkonference Ny York Yankees (1949) og flyttede til NFL Ny York Giants (1950-55) som en cornerback. Han var spiller-træner i 1954-55, og som assistenttræner med ansvar for forsvar gennem 1959-sæsonen revolutionerede hans 4-3-tilpasning defensivt spil, hvilket gjorde det til en glamourøs del af spillet.Landry blev træner for det nyoprettede hold i 1960, og i sin første sæson vandt de ingen spil, tabte 11 og bundet 1. Tabende sæsoner fortsatte for holdet gennem 1964. Derefter gik de videre til 20 på hinanden følgende vindende sæsoner. De konkurrerede i 2 NFL championship spil, 10 National Football Conference championship spil og 5 Super skåle, taber 3 af dem (1971, 1976 og 1979) og vinder 2 (1972 og 1978). Mens hans hold blev fejret for deres innovative spil (han genoplivede haglgeværdannelsen og banebrydende situationelle udskiftninger) og computerstøttet effektivitet, var Landry selv kendt for sin intetsigende opførsel, hans konservative kjole (Han blev sjældent set uden en sportsfrakke og en fedora) på sidelinjen og væk fra fodbold, hans religiøse fromhed. Hans samlede rekord var 270 sejre, 178 tab og 6 bånd, a .601 vindende procent.efter flere på hinanden følgende tabte sæsoner blev Landry afskediget som træner i 1989, da holdet blev solgt til en ny ejer. I 1990 blev han valgt til Pro Football Hall of Fame.