Skip to main content

建置伺服器時,往往都需要優先想好未來的擴充性,以及效能表現,以便為未來升級時打好基礎。在儲存裝置更是如此,不管使用幾bay的伺服器,若資料量一直膨脹,當初配置再怎麼多的HDD容量,也有可能到達用罄的一天。因此,伺服器在儲存容量的規劃上,可是馬虎不得!而OSSLab為提供客戶最好的陣列組合套餐,都會幫客戶量身訂作好用且穩定的 陣列卡+硬碟+外接櫃 解決方案,讓客人擁有高可擴充性、高效能,同時減少TCO (整體擁有成本)。

繼上次為各位介紹了最新入手的WD Ultrastar Data60 Enclosure,並測試了5張不同等級的RAID卡之後,結果發現都是只有偵測陣列櫃,卻沒有偵測到硬碟,最後就先暫時放棄測試。不過後來終於找到問題點,本篇將繼續為各位做效能測試。有關於前情提要,也就是WD Ultrastar Data60 Enclosure的介紹與陣列卡搭配測試文章,請參考這裡: https://www.osslab.com.tw/wd-ultrastar-data60_enclosure_test/

 


▲WD Ultrastar Data60 Enclosure外接式硬碟陣列櫃,可安裝60顆3.5” SAS/SATA HDD

不放棄,繼續找出原因,原來要220V啊!

上次的測試,各RAID卡只有偵測到WD Enclosure陣列櫃,但硬碟都沒偵測到。後來經過與原廠再三確認,原來是WD Enclosure的電壓要用220V,才能正常驅動這個大野馬啊!但有趣的是,該PSU上面明明就寫可以使用110V的電力,而且該陣列櫃也配備兩組PSU,照道理應該是可以負荷得了60顆硬碟的電力需求,況且我們只是插2顆HDD而已咧!


▲WD UltraStar Data60陣列櫃的PSU規格,可看到其實可以支援110V輸入,但只能啟動陣列櫃,無法驅動各硬碟,必須改插220V的電,才能完整驅動用所有硬碟

 


▲WD UltraStar Data60陣列櫃的原廠說明書,其實有說明必須使用220-240V的電力,且需要消耗近1000W 的電力,最高負載時需要1250W

既然找到的問題點,我們就直接拉了一條220V的電線,重新開測了!這次我們也將共12顆WD Ultrastar DC HC530 14TB氦氣碟,全部裝上去。而上述的6張陣列卡測試,也全部再來一遍!

這次我們找來了共6張不同等級的陣列卡,來與這款機櫃做搭配:

1. IBM ServeRAID M5110內接式RAID卡 (https://osslab.tv/shop/lsi-megaraid-sas-9260-8i-6gb-s-satasas-raid/)

2. IBM ServeRAID M1215內接式RAID卡 (https://lenovopress.com/tips1174.pdf)

3. Dell 12Gbps HBA卡 (https://www.dell.com/en-us/shop/dell-sas-12gbps-host-bus-adapter-external-controller-low-profile/apd/405-aaes)

4. LSI 9300-8e RAID卡 (https://www.broadcom.com/products/storage/raid-controllers/megaraid-sas-9300-8e)

5. LSI 9361-8i RAID卡 (https://osslab.tv/shop/lsi-megaraid-sas-9361-8i/) *新加入

6. LSI 9480-8e OEM RAID卡 (https://osslab.tv/shop/lsi-9480-8e/)

 


▲各式RAID陣列卡排排站,有內接式,也有外接式的

從上面可以看到,5張RAID卡裡面有3張是外接埠,3張是內接埠。因此後者可以搭配一張LinkReal LRFC4622  (12G SFF8644-SF8643)轉接卡,將內接轉成外接,以便可以進行測試。


▲此為內轉外的轉卡。將內接的SFF8643轉成外接的SFF8644規格

 
▲內接RAID卡,連接到此轉卡,再連接到外接的磁碟陣列櫃

相容性測試,每張卡都可抓到陣列櫃

如前述,由於WD這款陣列櫃有限定可以搭配的陣列卡,我們OSSLab就拿上述的6張陣列卡來測試看看。外接卡就直接用SFF8644連接線來連到陣列櫃。內接卡就以轉卡方式,將內接轉外接以連接陣列櫃。

      
▲在伺服器上,轉上RAID卡,並連接至WD Ultrastar Data60陣列櫃

以下就來測試WD Ultrastar Data60陣列櫃,和6張陣列卡的相容性吧!

   
▲IBM M5110可以偵測到該Enclosure,以及12顆14TB HDD

  
▲IBM M1215可以偵測到該Enclosure,以及12顆14TB HDD

 
▲Dell 12Gbps SAS HBA可以偵測到該Enclosure,以及12顆14TB HDD

  
▲LSI/Broadcom 9300-8e同樣可以偵測到該Enclosure,以及12顆14TB HDD

  
▲新加入的LSI/Broadcom 9361-8i卡同樣可以偵測到該Enclosure,12顆14TB HDD

  
▲LSI/Broadcom 9480-8e OEM卡同樣可以偵測到該Enclosure,以及12顆14TB HDD,也不會有Phy Error字樣

這次,6張卡都有認到外接的WD陣列櫃,也有偵測到裡面硬碟了,終於可以正常運作囉!整理結果如下:

介面卡

LSI 晶片

規格

內接/外接

UltraStar Data60
陣列櫃認到

陣列櫃內硬碟認到

IBM M5110

SAS2208

6Gbps SATA/SAS

內 轉 外

Yes

Yes! (14TB & 8TB)

IBM M1215

SAS3008

12Gbps SATA/SAS

內 轉 外

Yes

Yes! (14TB & 8TB)

DELL 12Gbps HBA

SAS3008

12Gbps SATA/SAS

Yes

Yes! (14TB & 8TB)

LSI 9300-8e HBA

SAS3008

12Gbps SATA/SAS

Yes

Yes! (14TB & 8TB)

LSI 9361-8i

SAS3108

12Gbps SATA/SAS

內 轉 外

Yes

Yes! (14TB & 8TB)

LSI 9480-8e OEM

SAS3516
(Dual Core)

12Gbps SATA/SAS

Yes

Yes! (14TB & 8TB)

 

上表中可以發現,LSI 9480-8e OEM卡不但不會顯示Phy Error的錯誤訊息,而且也抓到了所有的WD 14TB與8TB硬碟。但是其他廠牌的HDD (試過HP、Dell、Seagate、Toshiba等SAS/SATA HDD)都抓不到,因此看來這台Enclosure真的只吃WD自家的高容量硬碟。

效能測試,陣列卡真的是一分錢一分貨

接下來就是效能測試了,同樣我們拿了這6張卡來連接外接陣列櫃,以進行效能測試。我們連接了12台WD 14TB的氦氣硬碟,並建立一個RAID 5的超大磁碟陣列,獲得約140TB的容量,搭配RAID卡的快取功能,來測試各組合下的效能表現。

測試配備如下:

● 伺服器:Dell PowerEdge R630
● 處理器:2x Intel Xeon E5-2620 v4 (8C16T),共16C32T
● 作業系統:Windows Server 2016 Standard
● 記憶體:4x Micron DDR4-2400 R-DIMM 16GB (共64GB)
● 硬碟:12x Western Digital Ultrastar DC HC530 14TB (3.5″,7200 RPM)

 


▲OSSLab將12顆WD 14TB氦氣碟,全部裝入陣列櫃,準備來開測

在測試軟體CrystalDiskMark v7的設定中,主要測試項目為Real真實模式效能,該項目會測試循序讀取、循序寫入與Mixed混合讀寫(70%讀/30%寫)的效能,以反應出伺服器的使用情境。以下就是這6張卡的簡易測試結果。

▼各陣列卡在Windows Server 2016實體機下的測試結果:

介面卡

規格

RAID模式設定

CrystalDiskMark Read (MB/s) Real (8GB Block)

CrystalDiskMark Write (MB/s) Real (8GB Block)

CrystalDiskMark Mix (MB/s) Real (8GB Block)

IBM M5110

6Gbps SATA/SAS

硬體RAID 5
硬體快取/WriteBack

1169.90

1096.09

352.90

IBM M1215

12Gbps SATA/SAS

只抓到6HDD
硬體RAID 0
軟體快取/WriteThru

626.80

555.52

271.77

DELL 12Gbps HBA

12Gbps SATA/SAS

軟體RAID 5
Windows設定值

789.30

59.97

125.19

LSI 9300-8e HBA

12Gbps SATA/SAS

軟體RAID 5
Windows設定值

475.58

60.39

149.72

LSI 9361-8i

12Gbps SATA/SAS

硬體RAID 5
硬體快取/WriteBack

2097.83

2476.14

571.93

LSI 9480-8e OEM

12Gbps SATA/SAS

硬體RAID 5
硬體快取/WriteBack
(
內建4GB Flash)

2573.50

2662.09

1016.67

 

上表是實體作業系統的執行結果,以下我們就挑LSI幾款新RAID卡,來進行虛擬機的效能測試。

▼各陣列卡在VMware ESXi 6.7下執行Windows Server 2016虛擬機的測試結果:

介面卡

規格

RAID模式設定

CrystalDiskMark
Read (MB/s) Real (8GB Block)

CrystalDiskMark
Write (MB/s) Real (8GB Block)

CrystalDiskMark
Mix (MB/s) Real (8GB Block)

LSI 9361-8i

12Gbps SATA/SAS

硬體RAID 5
硬體快取/WriteBack

862.58 

1934.26

373.75

LSI 9480-8e OEM

12Gbps SATA/SAS

硬體RAID 5
硬體快取/WriteBack
(
內建4GB Flash)

1928.66

1703.69

940.31

 

▼各陣列卡在Proxmox VE 6.2.1下執行Windows Server 2016虛擬機的測試結果:  

介面卡

規格

RAID模式設定

CrystalDiskMark Read (MB/s) Real (8GB Block)

CrystalDiskMark Write (MB/s) Real (8GB Block)

CrystalDiskMark Mix (MB/s) Real (8GB Block)

LSI 9300-8e HBA

12Gbps SATA/SAS

軟體ZFS RAID 5
Proxmox
設定值

PVE cache off: 462.04
PVE cache on: 1259.92

PVE cache off: 651.40
PVE cache on: 1021.18

PVE cache off: 467.02
PVE cache on: 1138.97

LSI 9361-8i

12Gbps SATA/SAS

硬體RAID 5
ZFS格式
硬體快取/WriteBack

PVE cache off: 525.73
PVE cache on: 1179.66

PVE cache off: 395.25
PVE cache on: 1084.21

PVE cache off: 454.25
PVE cache on: 1228.16

LSI 9480-8e OEM

12Gbps SATA/SAS

硬體RAID 5
ZFS格式
硬體快取/WriteBack
(
內建4GB Flash)

PVE cache off: 789.86
PVE cache on: 1262.09

PVE cache off: 1744.25
PVE cache on: 971.07

PVE cache off: 533.27
PVE cache on: 1081.36

 

由於每張RAID卡/HBA卡的功能皆不大相同,因此從上述的測試可以發現,有些卡只能支援到最多6台HDD且不支援RAID-5 (需購買軟體授權)。另外有些只是純HBA卡,只能透過作業系統來做軟體RAID-5,其存取效能就會受限於OS本身是否針對儲存裝置的讀寫進行優化。在以上的範例中,除了IBM M5110、LSI 9361-8i、LSI 9480-8e OEM這三張硬體級陣列卡,可完全以硬體方式來處理RAID-5模式,搭配硬體快取設定,與Write Back等優勢,讓整體存取效能提升。

至於在虛擬機方面,各Hypervisor的支援度也不盡相同。以VMware來說,建議使用硬體RAID加速卡來讓整體效能提升。至於Proxmox VE在使用硬體RAID加速卡時,讀取速度可能不如VMware表現,但開啟快取模式之後,效能就可以提升,此外,若使用一般HBA卡,Proxmox VE可以透過建立ZFS RAIDZ (類似RAID 5)的方式來加速,再搭配打開軟體快取,使其整體表現也能有接近硬體RAID卡的水準。但在安全性與管理性方面,還是使用硬體RAID卡會比較好管理就是了!

結論

從上述的測試可以發現,不同陣列卡的規格,搭配相同的硬碟陣列模式,就有不同的效能表現。以6Gbps的SATA/SAS硬體陣列卡來說,其表現算是不差,但在應付超多硬碟時,會因為RAID晶片本身效能以及緩衝區容量而讓效能有點卡住,雖說還是可以應付各種工作需求,但伺服器的應有效能就會受到限制。

再來看看12Gbps的各式陣列卡,有分成純HBA卡,以及RAID卡。前者必須搭配作業系統來設定軟體RAID,因此使用HBA卡時,所使用作業系統在RAID的支援度上,就非常重要,其效能往往也受到作業系統的設定而有不同表現。以上述Windows家族來說,上表可以看到其軟體RAID-5效能無法被完整發揮出來。若改用Linux或Proxmox VE這類的作業系統,搭配ZFS RAIDZ的陣列模式,就可以有較好的效能。

總之,OSSLab在幫客戶量身訂做各種伺服器解決方案時,我們會用心測試各種搭配狀況,包含不同作業系統有不同的設定方式,以及搭配的硬體產品,以讓硬體和軟體的搭配可以發揮出最佳效能與穩定性。不管效能表現如何,哪裡快、哪裡慢,都會跟客戶說明清楚,以讓客戶使用到最棒的產品組合,裝好之後即可安心使用。

以上就是這次6張陣列卡的效能大評比,讓想要連接外接式大容量儲存裝置的IT人員有參考。若您想要打造最佳的伺服器儲存解決方案,OSSLab有提供本文的產品組合優惠價哦!記得進來這裡看看:https://osslab.tv/shop/lsi-sas-9480-8e-wd-data60-enclosure/www.osslab.tv

 

Thx Chang

Author Thx Chang

More posts by Thx Chang