軟硬體RAID卡與WD Ultrastar Data60硬碟陣列櫃效能測試

建置伺服器時，往往都需要優先想好未來的擴充性，以及效能表現，以便為未來升級時打好基礎。在儲存裝置更是如此，不管使用幾bay的伺服器，若資料量一直膨脹，當初配置再怎麼多的HDD容量，也有可能到達用罄的一天。因此，伺服器在儲存容量的規劃上，可是馬虎不得！而OSSLab為提供客戶最好的陣列組合套餐，都會幫客戶量身訂作好用且穩定的 陣列卡+硬碟+外接櫃 解決方案，讓客人擁有高可擴充性、高效能，同時減少TCO (整體擁有成本)。

繼上次為各位介紹了最新入手的WD Ultrastar Data60 Enclosure，並測試了5張不同等級的RAID卡之後，結果發現都是只有偵測陣列櫃，卻沒有偵測到硬碟，最後就先暫時放棄測試。不過後來終於找到問題點，本篇將繼續為各位做效能測試。有關於前情提要，也就是WD Ultrastar Data60 Enclosure的介紹與陣列卡搭配測試文章，請參考這裡： https://www.osslab.com.tw/wd-ultrastar-data60_enclosure_test/。

 

▲WD Ultrastar Data60 Enclosure外接式硬碟陣列櫃，可安裝60顆3.5” SAS/SATA HDD

不放棄，繼續找出原因，原來要220V啊!

上次的測試，各RAID卡只有偵測到WD Enclosure陣列櫃，但硬碟都沒偵測到。後來經過與原廠再三確認，原來是WD Enclosure的電壓要用220V，才能正常驅動這個大野馬啊！但有趣的是，該PSU上面明明就寫可以使用110V的電力，而且該陣列櫃也配備兩組PSU，照道理應該是可以負荷得了60顆硬碟的電力需求，況且我們只是插2顆HDD而已咧！

▲WD UltraStar Data60陣列櫃的PSU規格，可看到其實可以支援110V輸入，但只能啟動陣列櫃，無法驅動各硬碟，必須改插220V的電，才能完整驅動用所有硬碟

 

▲WD UltraStar Data60陣列櫃的原廠說明書，其實有說明必須使用220-240V的電力，且需要消耗近1000W 的電力，最高負載時需要1250W

既然找到的問題點，我們就直接拉了一條220V的電線，重新開測了！這次我們也將共12顆WD Ultrastar DC HC530 14TB氦氣碟，全部裝上去。而上述的6張陣列卡測試，也全部再來一遍！

這次我們找來了共6張不同等級的陣列卡，來與這款機櫃做搭配：

1. IBM ServeRAID M5110內接式RAID卡 (https://osslab.tv/shop/lsi-megaraid-sas-9260-8i-6gb-s-satasas-raid/)

2. IBM ServeRAID M1215內接式RAID卡 (https://lenovopress.com/tips1174.pdf)

3. Dell 12Gbps HBA卡 (https://www.dell.com/en-us/shop/dell-sas-12gbps-host-bus-adapter-external-controller-low-profile/apd/405-aaes)

4. LSI 9300-8e RAID卡 (https://www.broadcom.com/products/storage/raid-controllers/megaraid-sas-9300-8e)

5. LSI 9361-8i RAID卡 (https://osslab.tv/shop/lsi-megaraid-sas-9361-8i/) *新加入

6. LSI 9480-8e OEM RAID卡 (https://osslab.tv/shop/lsi-9480-8e/)

 

▲各式RAID陣列卡排排站，有內接式，也有外接式的

從上面可以看到，5張RAID卡裡面有3張是外接埠，3張是內接埠。因此後者可以搭配一張LinkReal LRFC4622  (12G SFF8644-SF8643)轉接卡，將內接轉成外接，以便可以進行測試。

▲此為內轉外的轉卡。將內接的SFF8643轉成外接的SFF8644規格

 
▲內接RAID卡，連接到此轉卡，再連接到外接的磁碟陣列櫃

相容性測試，每張卡都可抓到陣列櫃

如前述，由於WD這款陣列櫃有限定可以搭配的陣列卡，我們OSSLab就拿上述的6張陣列卡來測試看看。外接卡就直接用SFF8644連接線來連到陣列櫃。內接卡就以轉卡方式，將內接轉外接以連接陣列櫃。

      
▲在伺服器上，轉上RAID卡，並連接至WD Ultrastar Data60陣列櫃

以下就來測試WD Ultrastar Data60陣列櫃，和6張陣列卡的相容性吧!

   
▲IBM M5110可以偵測到該Enclosure，以及12顆14TB HDD

  
▲IBM M1215可以偵測到該Enclosure，以及12顆14TB HDD

 
▲Dell 12Gbps SAS HBA可以偵測到該Enclosure，以及12顆14TB HDD

  
▲LSI/Broadcom 9300-8e同樣可以偵測到該Enclosure，以及12顆14TB HDD

  
▲新加入的LSI/Broadcom 9361-8i卡同樣可以偵測到該Enclosure，12顆14TB HDD

  
▲LSI/Broadcom 9480-8e OEM卡同樣可以偵測到該Enclosure，以及12顆14TB HDD，也不會有Phy Error字樣

這次，6張卡都有認到外接的WD陣列櫃，也有偵測到裡面硬碟了，終於可以正常運作囉！整理結果如下：

 

上表中可以發現，LSI 9480-8e OEM卡不但不會顯示Phy Error的錯誤訊息，而且也抓到了所有的WD 14TB與8TB硬碟。但是其他廠牌的HDD (試過HP、Dell、Seagate、Toshiba等SAS/SATA HDD)都抓不到，因此看來這台Enclosure真的只吃WD自家的高容量硬碟。

效能測試，陣列卡真的是一分錢一分貨

接下來就是效能測試了，同樣我們拿了這6張卡來連接外接陣列櫃，以進行效能測試。我們連接了12台WD 14TB的氦氣硬碟，並建立一個RAID 5的超大磁碟陣列，獲得約140TB的容量，搭配RAID卡的快取功能，來測試各組合下的效能表現。

測試配備如下：

● 伺服器：Dell PowerEdge R630
● 處理器：2x Intel Xeon E5-2620 v4 (8C16T)，共16C32T
● 作業系統：Windows Server 2016 Standard
● 記憶體：4x Micron DDR4-2400 R-DIMM 16GB (共64GB)
● 硬碟：12x Western Digital Ultrastar DC HC530 14TB (3.5″，7200 RPM)

 

▲OSSLab將12顆WD 14TB氦氣碟，全部裝入陣列櫃，準備來開測

在測試軟體CrystalDiskMark v7的設定中，主要測試項目為Real真實模式效能，該項目會測試循序讀取、循序寫入與Mixed混合讀寫(70%讀/30%寫)的效能，以反應出伺服器的使用情境。以下就是這6張卡的簡易測試結果。

▼各陣列卡在Windows Server 2016實體機下的測試結果:

 

上表是實體作業系統的執行結果，以下我們就挑LSI幾款新RAID卡，來進行虛擬機的效能測試。

▼各陣列卡在VMware ESXi 6.7下執行Windows Server 2016虛擬機的測試結果:

 

▼各陣列卡在Proxmox VE 6.2.1下執行Windows Server 2016虛擬機的測試結果:  

 

由於每張RAID卡/HBA卡的功能皆不大相同，因此從上述的測試可以發現，有些卡只能支援到最多6台HDD且不支援RAID-5 (需購買軟體授權)。另外有些只是純HBA卡，只能透過作業系統來做軟體RAID-5，其存取效能就會受限於OS本身是否針對儲存裝置的讀寫進行優化。在以上的範例中，除了IBM M5110、LSI 9361-8i、LSI 9480-8e OEM這三張硬體級陣列卡，可完全以硬體方式來處理RAID-5模式，搭配硬體快取設定，與Write Back等優勢，讓整體存取效能提升。

至於在虛擬機方面，各Hypervisor的支援度也不盡相同。以VMware來說，建議使用硬體RAID加速卡來讓整體效能提升。至於Proxmox VE在使用硬體RAID加速卡時，讀取速度可能不如VMware表現，但開啟快取模式之後，效能就可以提升，此外，若使用一般HBA卡，Proxmox VE可以透過建立ZFS RAIDZ (類似RAID 5)的方式來加速，再搭配打開軟體快取，使其整體表現也能有接近硬體RAID卡的水準。但在安全性與管理性方面，還是使用硬體RAID卡會比較好管理就是了！

結論

從上述的測試可以發現，不同陣列卡的規格，搭配相同的硬碟陣列模式，就有不同的效能表現。以6Gbps的SATA/SAS硬體陣列卡來說，其表現算是不差，但在應付超多硬碟時，會因為RAID晶片本身效能以及緩衝區容量而讓效能有點卡住，雖說還是可以應付各種工作需求，但伺服器的應有效能就會受到限制。

再來看看12Gbps的各式陣列卡，有分成純HBA卡，以及RAID卡。前者必須搭配作業系統來設定軟體RAID，因此使用HBA卡時，所使用作業系統在RAID的支援度上，就非常重要，其效能往往也受到作業系統的設定而有不同表現。以上述Windows家族來說，上表可以看到其軟體RAID-5效能無法被完整發揮出來。若改用Linux或Proxmox VE這類的作業系統，搭配ZFS RAIDZ的陣列模式，就可以有較好的效能。

總之，OSSLab在幫客戶量身訂做各種伺服器解決方案時，我們會用心測試各種搭配狀況，包含不同作業系統有不同的設定方式，以及搭配的硬體產品，以讓硬體和軟體的搭配可以發揮出最佳效能與穩定性。不管效能表現如何，哪裡快、哪裡慢，都會跟客戶說明清楚，以讓客戶使用到最棒的產品組合，裝好之後即可安心使用。

以上就是這次6張陣列卡的效能大評比，讓想要連接外接式大容量儲存裝置的IT人員有參考。若您想要打造最佳的伺服器儲存解決方案，OSSLab有提供本文的產品組合優惠價哦！記得進來這裡看看：https://osslab.tv/shop/lsi-sas-9480-8e-wd-data60-enclosure/www.osslab.tv。