Carlos Ray Norris nasceu na cidade de Ryan, estado de Oklahoma, nos Estados Unidos, filho de Wilma Scarberry e Ray Norris, um caminhoneiro, motorista de ônibus e mecânico.1 Seu avô paterno era um imigrante irlandês, sua avó materna era de ascendência também irlandesa, enquanto sua avó paterna e seu avô materno eram nativos americanos cherokee. Ele recebeu o nome em homenagem a Carlos Berry, pastor da igreja que seu pai frequentava. Ele teve dois irmãos mais novos, Wieland (já morto) e Aaron (produtor de Hollywood). Quando o jovem Carlos tinha dezesseis anos, seus pais se divorciaram, e ele se mudou com sua mãe e irmãos para Prairie Village, no Kansas, e depois para Torrance, na Califórnia.2

Chuck descreve sua infância como apática. Ele não era atlético, era tímido e tinha um desempenho medíocre na escola.3 Outras crianças o perturbavam por sua etnia misturada, e o menino sonhava em se livrar de seus detratores. Ele mencionou em sua autobiografia que seu pai tinha um sério problema com alcoolismo e foi um pai ausente durante seu crescimento. Chuck admitiu que não o amava, mas sentia pena dele, porque "era assim que ele era, e ele perdia muito com isso."