ZFS 使用的經驗

我透過 OpenMediaVault 搭配 OMV-zfs plugin 使用 zfs ,UI 能使用的功能依舊很少,所以大部分還是得用 CLI 控制 ZFS 本身,不過可以用 OMV UI 控制很多 file sharing 的設定就已經萬謝了。以下分享一些,使用 ZFS 以來的心得。

ZFS on Debian

Debian 透過 DKMS 的方式動態編譯與載入 ZFS Module,以規避 ZFS 與 Linux Kernel License 不相容的問題,所以每次更新 ZFS 或是 Kernel ,都會有很長一段編譯時間要等待。

系統配置

  • CPU: E5-2620v2 x2
  • RAM: DDR3 ECC REG 48G
  • HDD: Toshiba HDD 4T 5900RPM x12
  • HBA: LSI-2308 (有點忘了)
  • Network: Intel Dual 10G

硬碟規劃

目前硬碟規劃都是 3 顆硬碟做成 RAIDZ1,用 12 顆硬碟作 4 組,後再做 RAID0

NAME                                      STATE     READ WRITE CKSUM
zpool                                     ONLINE       0     0     0
  raidz1-0                                ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46TAK2K1FNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46T2K63RFNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46T1K2V4FNWA  ONLINE       0     0     0
  raidz1-1                                ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46M4K3ZOFNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46T2K63DFNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46TBK183FNWA  ONLINE       0     0     0
  raidz1-2                                ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46TAK2K5FNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_86F1K3B4FNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46T1K2V7FNWA  ONLINE       0     0     0
  raidz1-3                                ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46TBK184FNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46T1K2V6FNWA  ONLINE       0     0     0
    ata-TOSHIBA_MD03ACA400V_46TAK2KAFNWA  ONLINE       0     0     0 

L2ARC

當你記憶體足夠大的時候,事實上 L2ARC 也沒有甚麼太大作用,對於 4K 讀寫加速也沒有特別顯著,基本上 Cache 的量大約都只有記憶體大小而已,用太大的 SSD 沒什麼幫助以外,甚至可能還會占用一個硬碟空間,記憶體大於 32G 之後,就沒有那麼划算了。除非 Server 背面有 2.5 吋硬碟的槽位,但通常這情況將系統碟做成 RAID1 可能會比較實際。

ZIL

若使用 async mode 來開啟檔案,ZIL 在這情境就完全不會發揮作用。還沒有測試過 iSCSI 是否也會相同,未來可以測試看看。

測試過後,iSCSI 透過 LIO 處理,並沒有任何使用到 ZIL 的跡象,可能還是因為 async mode 的緣故

VMware on ZFS

NFSv3

透過 NFSv3 來提供 VMware ESXi 存放,以上面那種配置而言,在上面安裝 Windows Server 2016 ,測試速度大概如下:

基本上 L2ARC 與 ZIL 都沒有發揮作用

iSCSI

這邊我就直接測試透過 Windows 10 直接存取 iSCSI 的效能

Reference

Configuring ZFS Cache for High Speed IO