三津の渡しで三津浜側からたった80mの海道（正しくは松山市道高浜2号線）を渡った先が港山です。この小丘陵に河野水軍が拠点にした山城が築かれていました。かつては海岸線が入り組んでいて島のような形状であり、三津の港を見下ろすのに絶好の場所でした。また、港の警護と監視、有事の際に軍船で出撃するにはうってつけの立地であったと思われます。現在ではまったく面影はありませんが、東西に細長く本丸と二の丸が伸びていたそうです。
このお城に関しては、河野予州家の武将河野通春が築城して居城としたとする説、河野通盛が風早郡河野郷(現在の松山市北条付近)から湯築城に移った際に海の守りとして築城したとの説、 さらには河野通信が文治2年に築いたという3つの説があります。
河野氏本宗家と予州家との内戦においては予州家の河野通春の居城となり、重見飛騨守が1465年にこの城で討死し予州家の勢力が弱まる中、河野通春が病没し本宗家に攻められあえなく落城してしまいます。 本宗家の手に渡った湊山城には河野氏の水軍衆が置かれ(湊山衆)忽那氏が統率し、伊予にたびたび侵入した大友氏や毛利氏との争いにおいては防衛の要として重要な役割を果たします。 1585年6月の豊臣秀吉の四国征伐に伴って、伊予に攻め寄せた小早川隆景の伊予平定軍の攻撃でついに落城し廃城となりました。 落城と同じ年、長宗我部元親が伊予を制圧してほぼ四国統一を果たしていたとされており、四国征伐の際には港山城も長宗我部氏の支配下にあった可能性があります。
宮前川が注ぎ込む三津の内湾が山城の直下で天然の港となっており、地の利は覆しがたく、廃城ののち江戸時代になってからも松山藩の船奉行と軍用船が置かれるなど水軍の根拠地でありつづけました。この頃に活躍していたのが、船手中（組）なのです。
港山城の城兵が毎朝、渡しに乗って三津へ降り、米穀や魚を買い求めたことが、その名も高き「三津の朝市」の始まりになったと言われています。城兵が定位置に着くと行商の人々が廻りをくるりと取り囲んだそうで、このことが古い市場のドーナツ屋根の原形になったそうです。そして、現在の市場の真ん前で毎年花火大会が開催されています！
