鲁山县历史悠久，夏商时，鲁山县初称鲁县，后改称鲁阳，春秋时属郑，后来隶楚。
楚肃王三十年（公元前374年），魏伐楚取鲁阳，鲁阳属魏，西汉置鲁阳县，归南阳郡。
三国时，属魏，晋代，属南阳国，南北朝永初年间，属南朝宋。公元487年，北魏孝文帝南巡，改名山北县，并置鲁阳镇。太和十八年（公元495年），为荆州治所，又为广州治所。太和二十二年（公元499年），兼鲁阳郡治所。
隋大业初（公元617年），改名鲁县。唐武德四年（621），为鲁州治所。贞观元年（627），废州，改鲁县为鲁山县，隶属伊州。贞观八年（634），属汝州。
明洪武初，属南阳府汝州。成化十二年汝州升为直隶州，鲁山县直至清末民初仍隶属汝州直隶州。
民国三年（1914），属河南河洛道，民国二十一（1932）年到三十六年（1947），属河南省第五行政区。1949年后隶属许昌专区（后改地区），1983年归平顶山市辖，至今未变。