濉溪市成立后，市人民委员会机构不单独设立，与濉溪县人民委员会合署办公（一个机构，两块牌子），即为淮北市政府最早的雏形。濉溪市建立以后，政权建设不断加强。1960年10月5日，经中共安徽省委批准，濉溪市人民委员会正式成立，并从此独立办公。中共安徽省委任命许彩文兼濉溪市市长，韩固、刘建新兼任副市长，徐邦圣任副市长。10月，建立了濉溪市人民检察院。1961年7月，建立了濉溪市人民法院。

濉溪市人民委员会成立后，逐步建立各级行政部门，工作机构不断得到加强。1960年10月2日，中共濉溪市委拟定《濉溪市人委机构定员编制的初步意见》，上报安徽省人民委员会请求批准。10月8日，安徽省人民委员会复函中共濉溪市委指示，濉溪市人民委员会根据省委指示设立的机构，可自行函告有关单位。10月，濉溪市人民委员会设立办公室、劳动局（与濉溪矿务局劳动工资处合署办公，1963年1月17日开始分开办公）、交通局（1963年4月合并到市城建局）、邮电局、工业局、财税局、商业局、粮食局、城市建设局（与濉溪矿务局土建处合署办公，1961年4月与土建处分开办公）、卫生局（与濉溪矿务局卫生处合署办公）、文教局、公安局（与濉溪矿务局保卫处合署办公，1963年1月1日后与保卫处分开办公）；12月，设立电业局（1962年4月改名为淮北供电局）。1961年1月，设立中国人民银行濉溪市支行；2月，设立民政局、物资局；4月，设立农林局（1963年7月改名为农林水利局）；10月，设立安徽省供销社濉溪市办事处（1962年11月改为濉溪市供销合作社）；撤销财税局，分别设立财政局、税务局。

1962年6月18日—21日召开的濉溪市第一届人民代表大会第一次会议选举产生濉溪市第一届人民委员会，选举郑春田为市长，马诚义为副市长。此后，全市行政机构进一步增加。

1980年7月30日至8月4日，淮北市第八届人民代表大会第一次会议召开，根据《中华人民共和国地方各级人民代表大会和地方各级人民政府组织法》的规定，淮北市人民政府成立，行使全市的行政领导职权。选举邹云龙为市人民政府市长，王利绪、谢伯华、王文汉、朱玲、杨毓芝、宋孝贤为副市长。