黃石市地處幕阜山北側,為幕阜山向長江河床沖積平原,過渡地帶,轄地內多低山。境內較大的山有東方山、黃荊山、云臺山、父子山、七峰山等,最高峰為陽新境內的七峰山主峰南巖嶺,海撥860米,次高峰為大冶太婆尖,海拔839.9米,最低處為陽新境內的富水南城潭河床,海撥8.7米。
長江自北向東流過市境,北起鄂州市艾家灣,下迄陽新縣天馬嶺,全長76.87公里,市境內主要水系有富水水系、大冶湖水系、保安湖水系、還有海口湖、磁湖、青山湖、三山湖、花馬湖、葛湖、荊山源、上巢湖等水系。最大的水系為陽新境內的富水水系,富水河發源于通山,由西向東,注入長江,全長196公里,流域面積5310平方公里。
境內巖溶地貌發育,溶洞眾多,很多具有旅游開發價值。全境地勢由西南向東北傾斜,地形破碎,局部地方形成不完整的山間盆地。市區形狀呈“入”字形,三面環山,一面臨江,風光綺麗的磁湖鑲嵌市區中心。有東方山、西塞山、飛云洞等旅游景點。磁湖面積8平方公里宛如嵌在市區中心一顆璀璨的明珠,是聞名遐邇的風景旅游勝地。