Lo llevaron a juicio, le negaron la condición de objetor de conciencia y lo condenaron a cinco años de prisión. Le revocaron todas sus licencias de boxeo, le arrebataron todos sus títulos y lo quisieron meter en la cárcel.
Le llamaron traidor y antipatriota, pero aprovechó el tiempo entre la anulación de sus licencias y su ingreso en prisión para dar una serie de conferencias por todo Estados Unidos e influyó muchísimo en futuros grandes deportistas negros.