Archive

文章標籤 ‘RAID’

Home NAS Disk Expend

2014年7月7日 評論已關閉

家中的NAS由原本5隻2TB (7.275TB 可用) 升級到7隻3TB (13.625TB 可用)

家中的NAS由原本5隻2TB組成的RAID5, 經過漫長的升級終於成為現在7隻3TB的RAID6。

期間只用了LSI MegaRaid/StoreCLI 指令 (因為ESXi環境只有CLI可用),NTFS 內的資料無需抄來抄去,只要在Windows Disk Manager內Extend Volume就能夠使用。

 

由5隻2TB upgrade 到7隻

因為一早預計會轉用3TB硬碟, 所以買了3隻3TB 做UPGRADE (一隻更換, 兩隻新加入)

用到的指令

MegaCli -LDRecon {-Start -rX [{-Add | -Rmv} -Physdrv[E0:S0,…]]}|-ShowProg -Lx -aN

e.g.

MegaCli -LDRecon -Start -r6 -Add -Physdrv[:5,:6] -L0 -a0

當時用了大約5日去完成這個RAID level migration (DELL H700)

249336_10151332572932218_205991818_n

 

再由7隻2TB+3TB 升級至7隻3TB

這是最簡單的步驟, offline 一隻HDD, 換上一隻新的3TB, 再將它設定為Global HotSpare 等到Rebuild 完成再換一隻

用到的指令有

PDOffline, 將一隻2TB HDD 離線又或直接熱拔離線

MegaCli -PDOffline -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

及 PDHSP,將一隻新3TB設定為hot spare就會自動用來rebuild raid

MegaCli -PDHSP {-Set [-Dedicated [-ArrayN|-Array0,1,2…]] [-EnclAffinity] [-nonRevertible]}
|-Rmv -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

e.g.

MegaCli -PDHSP -Set -PhysDrv[:5] -a0

在沒有大量寫入/讀取情況下,大約10個小時能夠完成一隻。用了兩日多的時間去完成更換4隻硬碟。

994103_10152191540912218_280932830496552494_n

 

Expand volume 9.1TB -> 13.5TB

這個步驟比較奇, 用MegaCli 始終無法完成,最後用了StoreCLI。

MegaCLI 指令

MegaCli -getLdExpansionInfo -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL
MegaCli -LdExpansion -pN -dontExpandArray -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL

StoreCLI 指令

storcli /cx/v(x|all) show expansion
storcli /cx/v(x|all) expand Size=<xx> [expandarray] //size 是GB, 試過用4.4TB 結果認了做4.4GB。

e.g.

storecli /c0 /v0 expand size=4400GB

 

10523677_10152191540937218_7915230281814309491_n

由於顯示方式是TB而EXPAND VOLUME 計GB, 最後EXPEND了3次才完成。
輸入EXPEND指令後, VOLUME會自動進行Background Initialise,介時不能再做EXPEND。
想快可以用指令停止 BGI。

StoreCLI 指令

storcli /cx/v(x|all) stop bgi

完成後的VOLUME
Capture

測試

10351090_10152191540887218_3732589245823715645_n 10417676_10152191540922218_6190645593724952779_n

Categories: ESXi, NAS Tags: , , ,

MegaRAID Collection

2013年9月2日 評論已關閉

唔經唔覺用了MegaRAID 十多年了

近日整理一下已離線的SERVER,把拆下來的RAID 卡影一張大合照。

IMG_4564

由左至右分別是
MegaRAID SCSI 320
DELL PERC 5/i
DELL PERC 6/i
DELL PERC 5/E
DELL PERC 6/E
DELL H710P (自己的SPARE STOCK)

而缺少了的分別是
Mylex AcceleRAID 352
DELL SAS6i/R (有好幾部1U SERVER 用過)
DELL PERC H700 (家裹的SERVER使用中)
DELL PERC H710 (公司的DESKTOP使用中)
DELL PERC 4/dc (以前應該有一張在PowerEdge 6850內)
DELL PERC H710P/M(BLADE SERVER版本)
DELL PERC H700/M(BLADE SERVER版本)

還記得當年因為SQL SERVER 慢, 所以轉用RAID。當時(2003年左右)買了一張Mylex AcceleRAID 352,後來再UPGRADE SERVER,因為當時Mylex 已被LSI 收購所以買了MegaRAID SCSI 320。

除了中間幾年用了INTEL ONBOARD RAID / ZERO CHANNEL RAID以外, 到後來轉用DELL SERVER開始也變成只用MegaRAID了。

Categories: 硬件 Tags: , , ,

Home server Oct 2011

2011年10月13日 2 則評論

終於等到 H700 所需的Sff-8087
寫住Home server 的上半Part先

Hardware

  • MB-  MSI Z68A-G45 B3
  • CPU – Intel i7-2600
  • Memory – 4GB DDR3 1333 x 4
  • HBA – Dell PERC H700 512MB with BBU
  • Disk – 2TB SATA HDD x5 (3 Brand 4 Models, RAID 5, 2 Logical Disk)
  • NIC – Broadcom NetXtreme II 5709 Dual Port GbE, onboard Realtek 8111D
  • Power – Antek 380W Power Supply

Software

  • Host – vmware ESXi 5
  • guest – pfSense 2.0
  • guest – Server 2008R2 as NAS

Side view, overcrowded

MSI Z680A-G45 (B3), HK$9xx have VT-d

Dell PERC H700

ESXi installed on 2GB USB Flash, in picture also have H700 battery backup unit.

Front view – the FAN controller lower the HDD Case fan noise

Installed LSI CIM Provider, can view card status

VT-d enabled in BIOS, can mark device for vmdirectpath I/O

 

 

 

Categories: ESXi, i5/i7, 網絡 Tags: , , , , ,

ESXi 5.0 + VT-d + PERC5i = Data Loss

2011年9月27日 評論已關閉

昨日挑戰ESXi 5.0 + VT-d + PERC5i, 結果全軍覆沒。
找了很久才發現。早在ESXi 4 開始,已有人講過PERC 5i 在已開啟VT-d 功能的主板上會出現Data Corruption.

睇來張PERC 5i 應該要退休了。

Reference

http://communities.vmware.com/message/1339356#1339356

Categories: ESXi, 軟件 Tags: , , ,

NAS 2010 Final

2010年3月26日 評論已關閉

等埋第二隻WINGSONIC MRA508同DELL SAS 6i 隻NAS終於可以UPGRADE了.

原本RAID5是4隻1TB (3TB 可用), 加多兩隻1.5TB (每隻只用1TB個RAID) 成為5TB儲存空間.

Rebuild 做得多,EMC FC SAN grow 也試過,LINUX 實機RAID5 grow 就第一次。
每隻HDD 14MB/s 寫入, 1TB Disk就要 1,000,000MB / 14 / 3600 = 19hr 才完.
[singlepic id=383 w=320 h=240 float=]

[singlepic id=384 w=320 h=240 float=]

[nggallery id=28]

[nggallery id=29]

Categories: 網絡 Tags: ,

My Home NAS

2010年2月18日 評論已關閉

農歷新年幾日足不出戶,重點完成了家裏NAS PROJECT (除了NAS 還睇完100集REBORN)

因為有兩隻1TB是有DATA的,所以花了多了時間。
一晚時間做 BACKUP、一日安裝、兩日個調整,終於大功告成。

硬件

  • ASL ATOM 330 ITX
    onboard  ICH7 with 4x SATA、1x40PIN PATA,
    PCIE x16 slot (x8 Actual)
    Realtek 8111C Gigabit Ethernet
    AC97 (no use for me)
  • 1GB DDR2
  • 4GB CF BOOT UP
  • 4x1TB RAID5 (3隻Seagate + 1隻WD)

軟件

  • Openfiler 2.3 32bit
  • 外掛 TransmissionBT
  • 更新 proftpd 至 1.3.2c (支援 UTF8檔)

[nggallery id=27]

Categories: NAS, 網絡 Tags: , ,

Openfiler RAID擴展、加碟

2010年1月30日 評論已關閉

以下是測試Openfiler  Software RAID 5 擴展的過程

環景是Vmware ESXi, 由6隻Virtual Disk的RAID5擴展到7碟

先是檢視現有的RAID,
/sbin/mdadm –detail /dev/md0

在VM加多一隻SCSI DISK後, 做一次SCSI Rescan 令到新碟顯示

把新碟初始化

parted /dev/sdh
mklabel msdos
mkpart primary ext2 0 8192
set 1 raid on
quit

並把新碟加入RAID
mdadm –add /dev/md0 /dev/sdh1

把RAID由6碟擴展為7碟

mdadm –grow /dev/md0 –raid-devices=7

在背景碟擴佔用CPU不多

完成RAID

到Physical Volume

再擴大Logical Volume

最後到XFS

Categories: 其他, 網絡 Tags: ,

Openfiler vs FreeBSD

2010年1月28日 評論已關閉

早在一個月前已開始準備在家建立一台NAS,當時還未選定用FreeNAS還是Openfiler。
剛好有個PROJECT要為ESXi準備NAS Storage,所以返復測試了兩者。

今次測試的版本
Openfiler 2.3
FreeNAS 0.7

在驅動方面, 如終是LINUX的Openfiler佔優。
因為Openfiler 的Kernel 可以在Web介面上更新,而且想自己Compile Driver 也比較易。
無論在ESX下使用VMXNET3、還是ATOM NanoITX用RTL8111C的JUMBOFRAME支援上,比起使用FreeBSD 7.2的FreeNAS好。

FreeBSD 對於Realtek 8111的jumboframe支援應該要到 FreeBSD 8.0 才能解決。

論功能,FreeNAS 佔優
兩者皆有 iSCSI Target, iSCSI Initiator, NFS, SMB, FTP

但在FTP方面, FreeNAS 佔優。
FreeNAS用proftpd 1.31, 而Openfiler只是proftpd 1.30。雖然版本號相差很少,但可用性就大有不同。
FreeNAS是可以用UTF8的. 用UTF8支援的FTP CLIENT可以見到完整的檔名。而proftpd 1.30 就會出亂碼。

還未計FreeNAS原生有Bittorrent client,基本上可以選定FreeNAS了。

RAID管理,Openfiler LVM+XFS vs FreeNAS ZFS。
在RAID管理方面,Openfiler較強

用到電腦做家用NAS,差不多一定會用RAID。

在空間擴展方面,單以WEB面介面來比較,FreeNAS 較好。因為FreeNAS能用WEB介面使ZFS不斷以Stripe方法擴展。當然Stripe不是真正的RAID。
而Openfiler的Software RAID 只有建立array及加HDD入array為HOT SPARE功能。而且新建的array也不能加到現有的share folder入面。

但Openfiler的優勢是LVM可以在console用指令擴展array.
例如把4碟RAID5加多2碟成為6碟RAID5。

返而FreeNAS的ZFS未能做到。

Finally, LINUX WIN
餘下來的問題是選擇,要功能強大的Openfiler,但沒有UTF8 FTP支援。還是要簡單好用,但RAID未能逹標的FreeNAS?

其實最簡單就要令Openfiler入面的proftpd升給就可以。

設定方法、待續..

Categories: NAS, 網絡, 軟件 Tags: , , , ,