02 · 叢集配置
Level 0 — Harvester · 裸機 · 以 VM 承載兩個獨立的 Level-1 RKE2 叢集。3 × master(control-plane/etcd) · 15 × worker(運算+儲存)。 · 互動原版 ↗
Level 1 · 應用程式 RKE2 叢集
獨立 VM · 獨立叢集。3 × master VM + 3 × worker VM(每區 1 台、各自獨占主機、平均擴展) · 由 Rancher 佈建。
工作負載與儲存類別
- 應用程式 Pod — CNI:Canal/Cilium · pod CIDR 10.42.0.0/16
- Ceph CSI (RBD/FS) — PVC → 儲存叢集,走 VLAN 210
- Harvester CSI — PVC → Longhorn 磁碟區(熱插拔磁碟)
對外入口
- MetalLB — L2/BGP · LoadBalancer VIP 來自客體 VLAN 300–399 的位址池
- Gateway API — Envoy/Traefik GatewayClass · HTTPRoute/TLS 位於 MetalLB VIP 之後
一般 VM
資料庫、設備、舊有服務。
- 根磁碟在 Longhorn(1 副本、本機 — 無網路 I/O)
- 網卡接客體 VLAN 300–399(bridge)
- 即時遷移走管理/儲存網路
Level 1 · 儲存 RKE2 叢集 — Rook / Ceph
獨立 VM · 獨立叢集。獨立 RKE2 · 3 × master VM + 6 × OSD worker VM — 各自獨占主機、每區 2 台 OSD 主機 · OSD VM 以 passthrough 取得主機全部 NVMe(4 顆 NVMe = 4 個 OSD daemon)。
元件
- 3 × MON + 2 × MGR — 跨主機反親和
- OSD 使用原生 NVMe — passthrough 磁碟,不經 Longhorn
- RBD · CephFS · RGW — 於 Ceph public VLAN 210 提供服務
節點構造
每台裸機主機:
| 介面 | 承載 |
|---|---|
bond0 2×25G | 管理 VLAN 100 — RKE2、Harvester API、即時遷移 |
bond0(tagged) | 客體 VLAN 300–399 — VM 流量經 bridge/mgmt-bo |
bond1 2×25G | Longhorn 儲存 VLAN 200 — 副本同步(專用) |
bond1(tagged) | Ceph public 210 + cluster 211 — 儲存 VM 網卡 |
eth-bmc 1G | OOB / IPMI VLAN 90 — 隔離 |
| 磁碟 | 2×SSD(OS+Longhorn) · 2–4×NVMe 保留給 Ceph OSD passthrough |
18 節點配置
18 個節點 · 每列 = L0 裸機主機(Harvester 自身的 RKE2)+ 其 L1 客體 VM · 3 個區域(機櫃)。
擺放規則
- Harvester master 主機(hv-01、hv-07、hv-13)不承載客體 VM — 每區一台。
- 每台應用程式叢集 VM 與每台儲存叢集 VM 都獨占一台主機。
- OSD 主機把全部 NVMe passthrough 給 OSD VM;master 位於其他主機。