臧霸之父臧戒為縣獄掾，因據守律法不聽從太守憑欲私殺獄犯。第一看書蛧已發布蕞芯漳劫太守大怒，令人收押戒詣府備罪。時年十八的臧霸獲悉父親被押囚，召集食客十數人前往費縣西山將父親救出，時押送役卒百余人，都因懼怕臧霸的健勇而竄逃。此后，臧霸與父親逃亡東海。經此事跡，臧霸的孝烈勇名遍聞鄉野。黃巾起義時，臧霸從屬陶謙，擊破賊眾，拜為騎都尉。后來臧霸收兵于徐州，與孫觀、吳敦、尹禮等聚合軍眾，臧霸為統帥，屯于開陽一帶，自成一方霸主。[2建安二年（197年），臧霸到莒縣襲擊瑯邪國相蕭建，攻陷莒縣，得到蕭建的輜重。呂布之前與蕭建結交，得知此事后，親自率步騎前往攻打莒城。\x~i+an,yu-k`s~?c`o_?呂布手下的高順勸道：“將軍親自斬殺董卓，威震戎狄，只需安坐顧盼，遠近各處便會畏服。實在不應該輕易出兵，如果交戰失利，將軍的威望就會損失不小。”呂布不聽。臧霸擔心呂布抄掠騷擾，就登城拒守，臧霸軍射出藥箭，擊中呂布軍的人馬。呂布不能攻克，只得引軍退回下邳。后來，臧霸與呂布和解。另一說，臧霸攻克莒縣后，答應送給呂布財幣用來結交，但還沒有送到，呂布就親自前去索取。呂布的部將高順勸阻呂布說：“將軍威名遠揚，遠近畏懼，想要什么會要不到，何必自己去索取財物！萬一不成，豈不損害威名嗎！”呂布不聽。呂布到莒縣后，臧霸等不知呂布的來意，堅守城池，抵御呂布，呂布空手而歸。建安三年（198年），呂布擊破劉備，臧霸等泰山諸將與呂布聯合。求書幫醉芯章結哽新筷曹操討伐呂布時，臧霸等帶兵往助呂布。呂布被擒后，臧霸隱身匿藏，然而曹操點名搜索，尋得臧霸，一見之下大悅，便使臧霸招降吳敦、尹禮、孫觀、孫觀之兄孫康等，往見曹操。曹操厚待臧霸等人，割青、徐二州委任于臧霸，又分瑯邪、東海、北海設城陽、利城、昌慮三郡，以臧霸為瑯邪相，吳敦為利城太守、尹禮為東莞太守、孫觀為北海相、孫康為城陽太守。當初曹操在兗州時，以徐翕、毛暉二人為將。兗州亂起，徐、毛二人皆叛。后來兗州之亂平定后，徐、毛亡命出逃投靠臧霸。[6建安四年（199年），曹操命劉備起行往見臧霸，并命臧霸奉上二人首級。臧霸便向劉備說：“以前我之所以能自立一方，是因為我不會做這種事。我受曹公的存命之恩，不敢違其命令。不過有意于王霸之道的君主應該以義相告，不宜威迫，愿將軍為我辭卻這個命令。”劉備便以臧霸所言告訴曹操，曹操嘆息地向臧霸道：“這是古人仁德之事，而你能夠加以奉行，這也正是孤之所愿。”于是皆以徐、毛二人為郡守。[6八月，曹操進軍黎陽，令臧霸等人率軍進入青州，攻破齊國、北海、東安。官渡之戰，曹操與袁紹相拒，而臧霸數以精兵投入青州，所以曹操不用顧念東方之事，能專心應付袁紹。建安十年（205年），曹操破袁譚于南皮，臧霸等前往祝賀。臧霸便求遣子弟及諸將之父兄家屬前往鄴城，曹操道：“諸位忠心報國，但何必要如此來表現呢。昔日蕭何派遣子弟入侍，而漢高祖沒有拒絕，耿純焚燒自己的房子、馬車追隨，而光武帝沒有辜負他的好意，現在我又怎么好改變前人的做法呢！”當時東州擾攘不止，而臧霸等執正匡義，征暴伐虐，清定海岱，其功莫大，于是皆封列侯。臧霸因功拜為都亭侯，加威虜將軍。[8建安十一年（206年），臧霸與于禁討昌豨于東海，昌豨降，為于禁引用法令所誅。建安十二年（207年），與夏侯淵討黃巾余賊徐和等，再算上前討昌豨之功勞，遷為徐州刺史。沛國人武周時為下邳令，臧霸敬重武周，認為他與眾不同，常親自到其舍作客。后來武周部下從事總詷不遵守法令，武周得悉他的罪狀，便將總詷收押拷問（而未徇私），臧霸因此更加善待武周。