「IPアドレスが電話番号だとすると、ポートは内線番号だと思えばいいだろう」

この喩えはなかなかよい。
from http://old.netsecurity.ne.jp/menu/personal_index.html

ポートに攻撃をかける
　他の攻撃方法としては、TCP/IPのポートを通じたアタックがある。TCP/IPでは、アプリケーションごとに異なる番号のポートを使う。たとえば、IPアドレスが電話番号だとすると、ポートは内線番号だと思えばいいだろう。同じ会社でも担当部署によって受ける業務内容が違う。メール受取は25番、ホームページ参照は80番、ファイル受取は20番・・・などのようにある程度決まっている。これは、会社によっては、顧客ごとに番号を割り振っていることもあるだろう。たとえば、お客様から、お客様苦情センターにはつながるが、秘書課に直接通じることはない（もちろん教えない）のようにある程度のガイドラインはあるはずだ。

　ところが、これを交換機レベルで外部からの電話は秘書課には通じない、のようにしておかないと、内線番号リストが漏れたり、他の番号から類推したり、しらみつぶしに電話したりして、直接かかる、ということは避けられない。もし、秘書課の人間が、内部からしかかからない、と信じていて、「ヤマダだが、これからうちの若いのをよこすから、XXの書類を渡してくれ」などと部課長クラスの名前で社内文書をもってこさせるような社内ではよくある類いの電話を秘書課にかけたとしたら、そして、ハッカーがその若い者になりすましたら、重要書類をみすみす渡すことになりはしないだろうか。これがポート番号のセキュリティホールである。