С одной стороны, родившийся 27 апреля 1820 года в семье Уильяма Джорджа Спенсера мальчик мало чем отличался от множества своих сверстников, таких же слабых здоровьем сынов великой и могучей Британской империи, «прославившейся» в том числе и чудовищной детской смертностью. С другой — из девятерых детей своих родителей он единственный успешно пережил младенчество.
Образованием маленького Герберта занялся отец. Бунтарь по натуре и учитель по профессии, он и в родном сыне, и в учениках основанной им, как сейчас сказали бы, авторской школы воспитывал прежде всего независимость мышления. Как много позднее писал в автобиографии наш герой, обучение заключалось главным образом в постоянном отыскивании причин всего и вся. Так сформировалось его убеждение, что на все есть свой естественный, а не сверхъестественный резон.