平山历史悠久，据中贾壁、田兴、米家沟、尚家湾、韩庄、郭苏、西沿兴、西荣村等地发现的新石器时代仰韶文化遗址说明，在原始社会晚期，县境内的滹沱河两岸就已有人类活动。

平山境春秋属鲜虞国，战国时属中山国与赵国，秦为恒山郡属地，西汉置县，治所蒲吾，位于今县城东南8公里处的蒲吾原村址（原址已被黄壁庄水库淹没，今址为迁移后的新址），历经东汉，至魏、晋。隋开皇十六年（596），析蒲吾县置房山县，其治所设于今县城旧址。唐贞观元年（627），蒲吾县并入井陉县。唐至德元年（756），改房山县为平山县，历经宋、元、明、清至民国，县城所在地均未变更。

抗日战争时期，中国共产党政权组织平山县抗日民主政府驻地在今古月镇洪子店村。1940年8月，平山冶河以东与井陉、获鹿、正定相连的区域成立建屏县，驻地在今获鹿县牛山村。1942年8月，平山西部的蛟潭庄、合河口、营里与山西盂县的部分地区合并成立盂平县，县政府设于本县康庄村。1945年10月，平山划为两个县，西部为建屏县，县政府驻秘家会村，后迁往东黄泥、洪子店；东部为平山县，县政府驻城关。

中华人民共和国建政，此区域内延旧制设有平山、建屏两县，属石家庄专区。1958年9月，撤销建屏县，其所辖行政区并入平山县，属石家庄专区。1960年5月3日，撤销石家庄专区，平山县归属石家庄市。1961年5月23日，复置石家庄专区，平山仍属之。1967年11月22日，石家庄专区改称石家庄地区，仍辖平山县。

1993年7月1日，石家庄地区和石家庄市合并为石家庄市，平山为石家庄市属县。