张公山系涂山山脉，涂山一带曾是原始社会后期涂山氏居住的地方。涂山脚下的禹会村，传说是当年治水英雄大禹会诸侯之地，作为行政村村名属全国唯一，这里至今流传着大禹治水三过家门而不入的动人故事。

张公山是历史文化名山涂山山脉的组成部分，有着悠久的历史，据《怀远县志》记载：明朝嘉靖年间此山就叫张公山，山下一湖，名化陂湖，现更名为张公湖。相传，明朝有个张姓战将，解甲归田，隐居山下，由于他德高望重，当地百姓尊称张公，张公山因此得名。

清朝，张公山顶建有寺庙，每年还有一次初春庙会。该庙原名“寺山庙”，后改名“中岳庙”，又改为“观音庙”。由于庙的基础南高北洼，庙门朝北，当地百姓又称之为“倒座观音庙”。民国27年（1938年）日军侵占蚌埠后，寺山庙遭到彻底毁坏。

1973年，蚌埠市政府决定利用张公山与化陂湖的自然风景和优美环境，将此山辟为公园，1975年建园工程全面开工。1983年7月1日，张公山公园正式对外开放。

从1986年以来，张公山公园各项基础设施和景点建设日益完善。先后建成了湖滨餐厅、水榭长廊、园中园、望淮塔、儿童乐园、月季园、动物园等。

2009年被国家旅游局授予国家AAAA级风景区称号。

2012年，经蚌埠市政府会议研究，对张公山景区进行提升改造。