吳山峰巒連綿，逶迤排列，有十七座。其中以鎮西峰、大賢峰、靈應峰、望輦峰和會仙峰最為著名。鎮西峰位于其他四峰之中，卑而獨秀，諸峰列峙，被視為昊山主峰歷代帝賜封吳山之號，即為此峰。六賢峰位于鎮西峰之左，凝峭插天，秀棒突起，賓儼然拱肅之狀，固之名賢峰。峰右有四座山嶧。k應峰在鎮巧峰之右，峰下有湫池,值歲天旱，鄉民采it祈禱雨水每#靈驗而名。峰左有二小峰，右有一峰。

會仙峰在應靈峰之南，層巒疊翠，林窈幽窕，時有高士逸人，游棲于此，固名會仙。峰北有一小峰，南有四座小峰。望輦峰在大賢峰之左，秀并群峰，形若北顧，好似有所盼企。故名望輦。左有幾座小峰。

吳山自隋以后，便有許多建筑。這是為歷帝王祭祀方便而為。這些建筑以昊岳廟為主，成一頗具特色的古建筑群。《隋書札記》記載：隋開皇十六年正月，朝廷準許西鎮吳山造建廟宇，后歷經唐、宋、明、清各代均有修建。明洪武十二年，降勅增修，建筑煥然一新，明王朝并遣官頒賜金香爐一座，永樂、正統年間>均有樣建,永樂皇帝以后各帝登基，皆遣重臣祭祀。