向聖夫原著測試與圖表創作 ,OSSLab Thx 補充
傳統虛擬化架構非常仰賴昂貴的Cluster Storage . Hyper Converged簡單說是將虛擬化與儲存集中合一在Server內
並且多點分散儲存資料.
價格上非常有優勢.
這邊先來說明本地端Storage效能與透過網路端效能比較
下圖為 在同樣媒體儲存裝置下模擬比較 local vs iSCSI.
左圖為本地端 右圖為同樣的Storage 透過iSCSI
這個測試看出當 Storage over iSCSI 協議時, 效能下降非常嚴重. 如果是AFA Storage效能起碼增加50% 以上.
- UNAS-AFA 是全部 MLC SATA SSD 本地端 Storage
- UNAS-VN(CACHE) 是 seagate VN 4TB x 8 (RAID1+0)+ Intel 750 SSD 做 cache & log
- UNAS-VN 是 seagate VN 4TB x 8 (RAID1+0)
4k Random local vs iSCSI
所以這個就是為什麼, 如果使用 AFA, 大部分會建議是用支援 RDMA 的協議種類如 iSER/iWARP, SRP 避免效能下降太多. 這個也就是為什麼最高端的 storage 會開始採用NVMEof(NVMe Over Fabrics)新協定.
如果服務是需要大量的 throughput 時, 也可以從下圖看到比較.
4M Sequential local vs iSCSI
像這邊AFA 的 throughput 完全被 10GBe 單口的頻寬給限制住了, 如果要超越這個瓶頸, 就需要是用 雙口 10GBe +MPIO. 或是使用 40GBe 網卡+ switch .
那麼使用 Hyper Converged 架構, 要如何同步storage 避免一個 node 掉了以後, 資料有損失呢?
Proxmox VE +ZFS snapshot replicate 到異機的模式是最簡單快速的. 就是 Node A -> Node B -> Node C -> Node A. 但是這個方式會有快照時間差異
所有如果有 node 的 storage 壞掉, 那麼一定會損失部分資料 (目前OSSLab目前使用此架構 此架構好處是在於效能高跟好管理.但是快照間隔內資料確實無法補上 目前有考慮要測試1 min 同步狀況)
以下把一些常用的 Hyper Converged 架構整理一下. 一些優缺點會慢慢補充
- Proxmox VE+GlusterFS free 它支援 tcp 跟 rdma. 其實是非常好的 file base 的同步方式, 適合 file server 的同步到每一個 node. 但是它的效能較低, 它的 gluster server 同步模式是 kernel space. 但是到了掛載的 ceph client 時, 它是使用 FUSE 模式掛載.
- Proxmox VE+ Ceph Luminous BlueStore free它同時支援 object base storage, file base & block storage. 以資料複寫 x3 的架構去建制. 但是它非常需要 NVMe SSD 作為它 RocksDB 的存放位置. 同時它是需要 7個以上的 nodes 它的效能以及備援度 (redundancy) 更高.
- Proxmox VE + ZFS iSCSI free
- Windows Server 2016 DATA Center 上的 Hyper-V+S2D 一套價格約20萬 .
- Vsphere +Vsan 一node 約40萬.目前缺點是太複雜. 及RDMA支持度差.
- Windows Hyper-V +starwind.約10萬上下.
- Vsphere+Napp-IT https://www.napp-it.org/napp-it/all-in-one/index_en.html
如何簡化管理Hyper Converged 架構,
效能跟 node 數量示意圖
目前測試者是以 ZFS Z replicate 跟 Proxmox VE+GlusterFS 的模式, 搭配著 SRP 模式，測試者在家Lab會開始轉換到 3 的 cephe 模式.
P.S. 使用 NVMe SSD 作 log and cache, 在 bonnie++ 上面的 throughput 是看不出差異. 但是在 latency 上就可以看得出差別很多. 同時在 4k random 的 iops 上, 效能是更有顯著的差異
OSSLab補充結論
1. 同樣等級Local Storage 本機效能遠高於TCP/IP Networking cluster storage .
2.Storage replication 架構缺點是無法即時同步 但效能非常良好
3.AFA一定要用10G 以上.最好40G.並且使用RDMA over Converged Ethernet.
4.Hyper Converged 是未來趨勢 .但是必須克服下面因素:好架設,好穩定,好維護,好價格.
期待有更多商業與開源的整合應用.也期待更多架構分享與應用.
