【數據中心設計】CDCP 學習筆記 - 數據中心 (Part 12-1) - Data Centre Design - Designing a Scalable Network Infrastructure

Structured cabling system

• Network cabling is the foundation to support a high-availability data centre, IT equipment and its applications 
• Proven products and contractors are crucial for the proper design, installations works and maintenance of a cabling infrastructure; it will reduce downtime and improve
• Operational efficiency
• Manageability
• Reliability
• Availability

ICT網絡是數據中心設施建設的最終目的，而network cabling system是所有ICT設備的基礎。其產品質量和設計好壞直接決定了數據中心的可用性。

數據中心使用的產品和新技術最好定期進行跟蹤和記錄。對於服務及產品承包商也應該有類似行業能力和服務質量的記錄。（白名單和黑名單）

因此，正確的設計、安裝網絡布線可以減少數據中心當機時間，提高運行和管理效率、提升數據中心的可靠性和可用性。

Consider the following in planning the cabling infrastructure of the data centre:

• Structured cabling （更昂貴，一次到位）vs On-demand cabling（逐步增加）
• Current requirements/ future growth
• Which media (fibre, Cat6, Cat6A etc.)
• Apparatus (i.e. type of patch panels etc.)
• ANSI/TIA-942 data centre standard cabling requirements
• Brand name preference/ global specification / global pricing

Structured cabling

• Reduce the risk of downtime
• Easy re-patching
• Easy fault finding
• Better cooling
• Standardized length - easy stock

Copper cables

• Unshielded / Shielded
• Solid cables
• Less insertion loss
• Best used for permanent links
• Length maximum 90 metres
• Flexible / Stranded cables (patch cords)
• Flexible
• Higher losses
• Best used for patch panel / short distances
• Maximum length < 10 metres
• Total channel (Solid + Flexible) = 100m
• Cat 5E = 100 Mb/s, 1 Gb/s
• Cat 6 = 1 Gb/s or Cat 6A = 10 Gb/s
• Cat 7 or 7A = 10 Gb/s (Non-RJ45)
• Cat 8 = 40 Gb/s （2 GHz, 30 metres, shielded cabling, 2 connections channel ONLY, designed with data centre focus）

Copper termination / patch panels

• Structured cabling patch panels terminate cable links
• Flat panel
• Angled panel
• Use the correct patch cables (RJ45)
• Patch cable should always be the same or class higher than structured cable
• Match shielded or unshielded twisted pair types
• No on-site termination

Fibre cables

• Not prone to EMF
• Distance longer than copper
• Lightweight and smaller than copper
• 62.5/125 pm and 50/125 pm (multi-mode)
• 8.3/125 pm (single-mode)
• The first number represents the diameter of the core
• The second number represents the size of the cladding
• Both values are in microns
• The actual diameter for a fibre 'cable' is much bigger because of protection over the cladding

光纖有很多優點，由於它們不容易受到電磁場的影響，幾乎可以安裝在任何地方，甚至電源附近。與銅電線相比，光纖材料重量輕，同時又佈置很遠的距離。

光纜的尺寸用兩個數字表示。第一個數字（在斜線之前），是內核的直徑，第二個數字（在斜線之後）代表外層的直徑。

Single-mode vs Multi-mode

• Single-mode
• Laser light source
• Longer distance (several km)
• Used in infinit band, carrier circuits, campus environment and other specialized applications
• Standards: ITU G.652; OS1, OS2
• Multi-mode
• LED (100 Mb/s, 1 Gb/s), Laser light source (10 Gb/s and above)
• More expensive than single-mode but the equipment itself is cheaper
• Standards: ISO 11801; OM1, OM2 for speed up to 1Gbps, OM3 and OM4 for 10Gbps and up

Single-mode光纖使用激光，但缺點是通常只有一個頻率。因此，一般可以跨越超長的距離，達到幾公里。

Multi-mode光纖的纖芯直徑比Single-mode光纖大得多，通常為50-100微米。它允許更多的光源（不需要非常精確），因此，平均成本較低，可適用於短距離傳輸且高達1 Gbps的速度。

ISO 11801標準分類了OM1, OM2, OM3和OM4。OM3和OM4進一步定義了光纖的帶寬，EMB（Effective Modal bandwidth) ），單位是MHz/Km。 如下圖所示：

對於數據中心，數據傳輸的最大的平均距離大概是幾百米，所以大多使用Multi-mode光纖。Single-mode光纖在電信/電訊等長距離傳輸中有更多的應用，反而在數據中心很少使用。

Fibre terminations/patch panels

• SC largely replaced by:
• LC or mini LC
• MPO now used for 40 Gb/s and higher speed links
• Handle fibre with care, ensure connectors are always cleaned before mating
• Don't exceed the bend radius for the cable

使用光纖連接器接駁時需要光纖表面的清潔，因此，要確保在接駁前進行清潔，以防止接駁後出現性能問題。

由於會影響到內部光線的反射角度，線纜的彎曲半徑對光纖影響很大，因此在安裝時要注意光線線纜的彎曲半徑要求。

TIA-942 network cable / Rating levels illustration

上圖中，Rated I/II/III/IV表示了布線/元件/空間對冗余的要求。

• 在Rated I中，不需要冗余組件，比較簡單。
• 在Rated II中，需要至少兩個獨立的路由的進線，不同路由進線至少有20米的間隔。
• 在Rated III中，需要至少兩個獨立的主進線房，它們之間應至少相隔20米，兩間房需要處於獨立的防火分區。
• 在Rated IV中，需要至少兩個獨立的配線房，這提供額外的冗余，但代價是路由變得異常覆雜，難於管理。。

以上網絡進線的冗余配置非常類似電力系統的Rated 1/2/3/4的配置，由主線後備，配線後備，一直到線路提供設備前的末端切換，可以類比學習。