霍去病的母亲是 卫少儿，她原是平阳公主府的女奴，后来与平阳县的小吏霍仲孺私通，生下霍去病。卫少儿与霍仲孺断绝往来后，霍去病一直不知道自己的父亲是谁，直到后来才得知霍仲孺就是自己的父亲，并特地前往平阳跪拜表示孝顺。

霍去病的舅舅是汉朝将军卫青，姨妈是汉武帝的皇后卫子夫。霍去病在舅舅卫青的推荐下进入军队，迅速得到重用，并在十八岁时被汉武帝任命为侍中。霍去病在军事上表现出色，尤其是在公元前119年，他率领800轻骑深入大漠数百里，取得杀敌2000余人的辉煌战绩，被汉武帝授予“冠军侯”。