stephenyeong's blog

家中的NAS由原本5隻2TB (7.275TB 可用) 升級到7隻3TB (13.625TB 可用)

家中的NAS由原本5隻2TB組成的RAID5, 經過漫長的升級終於成為現在7隻3TB的RAID6。

期間只用了LSI MegaRaid/StoreCLI 指令 (因為ESXi環境只有CLI可用)，NTFS 內的資料無需抄來抄去，只要在Windows Disk Manager內Extend Volume就能夠使用。

由5隻2TB upgrade 到7隻

因為一早預計會轉用3TB硬碟, 所以買了3隻3TB 做UPGRADE (一隻更換, 兩隻新加入)

用到的指令

MegaCli -LDRecon {-Start -rX [{-Add | -Rmv} -Physdrv[E0:S0,…]]}|-ShowProg -Lx -aN

e.g.

MegaCli -LDRecon -Start -r6 -Add -Physdrv[:5,:6] -L0 -a0

當時用了大約5日去完成這個RAID level migration (DELL H700)

再由7隻2TB+3TB 升級至7隻3TB

這是最簡單的步驟, offline 一隻HDD, 換上一隻新的3TB, 再將它設定為Global HotSpare 等到Rebuild 完成再換一隻

用到的指令有

PDOffline, 將一隻2TB HDD 離線又或直接熱拔離線

MegaCli -PDOffline -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

及 PDHSP，將一隻新3TB設定為hot spare就會自動用來rebuild raid

MegaCli -PDHSP {-Set [-Dedicated [-ArrayN|-Array0,1,2…]] [-EnclAffinity] [-nonRevertible]}
|-Rmv -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

e.g.

MegaCli -PDHSP -Set -PhysDrv[:5] -a0

在沒有大量寫入/讀取情況下，大約10個小時能夠完成一隻。用了兩日多的時間去完成更換4隻硬碟。

Expand volume 9.1TB -> 13.5TB

這個步驟比較奇, 用MegaCli 始終無法完成，最後用了StoreCLI。

MegaCLI 指令

MegaCli -getLdExpansionInfo -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL
MegaCli -LdExpansion -pN -dontExpandArray -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL

StoreCLI 指令

storcli /cx/v(x|all) show expansion
storcli /cx/v(x|all) expand Size=<xx> [expandarray] //size 是GB, 試過用4.4TB 結果認了做4.4GB。

e.g.

storecli /c0 /v0 expand size=4400GB

由於顯示方式是TB而EXPAND VOLUME 計GB, 最後EXPEND了3次才完成。
輸入EXPEND指令後, VOLUME會自動進行Background Initialise，介時不能再做EXPEND。
想快可以用指令停止 BGI。

StoreCLI 指令

storcli /cx/v(x|all) stop bgi

完成後的VOLUME

測試

在一次巧合再次見到萬由NAS香港代理的Facebook Page，並發現了NSC-800機箱返了貨的消息，最後還是發了個Facebook Message 過去問。今次訂貨流程出奇地快，有貨及免費送貨之除，並且免訂金只需貨到付款給速遞就可以。小心對過網頁的資料後發現PCI-E 延長線及2.5吋SATA託盤要另外配，好彩在出貨前一次過訂了。

16/10 開始Message, 17/10 下午收工前收到了

影開箱用的相也忙記了，一開始就進入砌機模式。

先是準備好RAID CARD到BACK PANEL 的線，由於改的機會較少，所以固定的比較講究。

火牛開始時是用公司的Router spare

CPU FAN 要用1U （大約可以放50mm 高的散熱），XIGMATEK Praeton LD964 高了大約8mm

由於火牛太舊又太長，

1. 舊的問題是風扇長期在高轉速很嘈，
2. 長的問題就是影響到機箱關不上

結果要再訂一隻火牛。

而個機箱的火牛與PCIE之間的空間不足，令到DELL PERC H700 沒有足夠的空間插線，所以只好轉用DELL PERC H710P

最後在淘宝訂了隻兩百幾人仔的FSP350-701UH

輸出12V 上限為24A。少4P線，返而有兩組PCI-E 6pin。

原本兩組PCI-E 6pin 改為HDD供電

由於PCI-E沒有5V，只好由另一組線借

完成後整潔好多

同舊機箱對比

到另一個問題來了，由於入風位不足，令到張DELL H710P ROC 温度上升到85度的高温，就算加了一把7CM 的簿扇也只能壓在70度以下。加上火牛位置積熱令到火牛風扇加速，聲浪大增，所以只好打開機箱用。

第二朝只好帶個頂蓋返公司改。

感覺好似開罐頭

人工造口手術完成

測試結果，DELL H710P ROC 温度在室温升了兩三度的情況下，還下降了13度。

温度下降了共16度。

完成

LINKS

Security Technology Engineering Company Limited 香港區代理-萬由unas

今年電腦UPGRADE了兩次，DOWNGRADE了一次。

機箱還是之前的PC-Q25 。
但因為儲存空間不足，硬碟由原本的5x2TB RAID5 轉為 7x2TB RAID6 （加了兩隻碟但空間只多了2TB）。

買了兩隻WD 2TB RE4後問題出現了，原有的DELTA M300W 支持不了7隻硬碟，不能開機。

不能開機只好換火牛，當時有可選擇的有

• Silverstone SF45SF 80Plus Bronze （約＄550）
• Silverstone SF45SF-G 80Plus Gold modular （約＄700）

經過一番爭扎後，還是選擇了最貴的SF45SF-G

換了火牛後，開機再發現原有的Disk  Group 因為建立了兩個Virtual Disk，不能加碟及Migrate RAID Level。最後只好重新建立。但建立之前要BACKUP VD內的5TB資料。

結果又買了一隻3TB⋯⋯

原本存放VM的VMFS 因為不能放在同一Disk Group，所以要另外用硬碟儲存。
幸好手邊有SSD多，又加了一隻120GB入機箱 （第8隻硬碟）。
原本做TIMEMACHINE 的空間沒有了，只好加隻硬碟，又買了一隻750GB 2.5吋硬碟 （第9隻硬碟）。

加了兩隻2.5吋硬碟後，又加了一個籠。

這樣就平安地使用了3個月。

由於原有的MODULAR CABLE 插頭數及長度始終與實際需要有些出入，最近下定決心自己重造電源線。

在淘寶找到MOULX 4P ＄0.8 人仔一隻，買了一大袋回來DIY。

草草地造好兩條電源線,

• 火牛 – 4P – 4P – 4P – SATA Power (五隻3.5″ + 2隻2.5″)
• 火牛 – SATA -> SATA (兩隻 3.5″)

Downgrade CPU

因於SERVER 應用CPU使用率太低，所以由i7-2600 降級到i3-2100。

i7-2600 CPU 使用量(一個月圖)

i3-2100 CPU 使用量(一個月圖, 紅圈部分為未downgrade之前)

由95w TPD 下降到65W TDP, 實測idle power 由85w 下降到70w左右。

家中的電腦轉用了ITX主板加聯力PC-Q25後，始終有個想法，PC NAS 是否一定需要高輸出的電源？

爬文找了很多測試，Z77＋超頻後的IVY BRIDGE 也不過100W，硬盤每一隻10W，PCI-E Dell PERC H700 也最多只有75W （PCI-E power 上限）。即使連5隻硬盤，總和也只有225W。因為機箱對流不佳，電源擋了不少風令到CPU位置積熱，同時也令到硬盤積熱。參考了PC-Q03可選用SFX電源的設計，最後決定了轉用SFX電源。

在不想花太多錢的前題下，放棄了買 FSP 450W (HK$549)及SilverStone 450W ST45SF (HK$7xx) 的念頭，買了DELTA M300W (HK$2xx)，但需要找一塊SFX-ATX 轉換板。

花了一些時間，最後在淘宝找到了 “ATX電源位改裝SFX電源的改裝板”

Back View

Side View

相對之前用ATX電源，硬盤温度下降了近10度。

自六月開始就換了聯力PC-Q25機箱來做家中的VM Server。因為當時用的主板 (Zotac Z68ITX-A-E) 只有兩個GigabitEthernet 口，所以一直不能使用Dual WAN。

後來找到台灣肯懋 (www.commell.com.tw) 有一張 MPX-574D2 mini PCI-E dual GbE module在RS Component 有賣，所以買了一張來試。

但裝上機才發現… 不是所有板能用這卡，手上的ITX板不能偵測這卡的存在。

直到最近找到台灣肯懋的工業板有國內的銷售渠道，而且有一形號LV-67G是mini ITX 用Q67 chipset。onboard 兩個 Intel 82574L GbE NIC，並且可以使用之前買來的MPX-574D2，所以發了個message去問。

雖然售價有點貴，但最後還是敗了一塊回來

• CPU: i7 2600

• Memory: Two 8GB DDR3 1333, total 16GB
  

• Chipset: Intel® Q67 Express Chipset

• Display Interface: Onboard VGA
  

• LAN Interface: 2 x Intel® 82574L Giga LAN + 2 x Intel® 82574L Giga LAN
  

• Extended interface:
  1 x PCI-Express X16 slot – DELL Perc H700
  1 x Mini-PCIe –  MPX-574D2
  1 x Mini-PCI – no use

由於MPX-574D2是mini PCIE 子卡，要引兩組線到外面的接口

好彩H700同主板之間有空間可以過兩組線

DUAL WAN + LAN, 隻USB其實是ESXi5 個Boot disk

在ESXi 內可以見到4張NIC, 而且還可以行9K JumboFrame

pfSenseDual WAN

可能是INTEL 關係, Speed 由原本用Realtek 8111 的只有300Mbps 提升到現在的800Mbps

Finally, I found a free SFTP server for my file server.

http://www.k2sxs.com/silvershield/

Although it limited only one client and max 3 session on free version. However, it run as service nature and natively support file name encoding UTF8 which is enough for me.

GoodReader syncing through 3G

SilverSHielD Management Console screen

Security Settings – anti hammer support

Expert Settings – just show off how many type of SFTP / encryption method supported

Add/Edit User screen. Support Windows/AD account, command shell login

今次換機及使用ESXi 5 的其中一個原因是, ESXi 5 的VMFS更新及RDM (Raw Disk/Device Mapping) 可以支援到2TB以上.

今次個File Server使就用RDM, Mapping 了H700上運行的一個6TB Logical Disk. 同時為了效能, 用上了vmware 的 PVSCSI controller driver.

6TB 一個Volume 當然要用GPT header

Disk read test (1MB block)
以RAID5 5隻 7200rpm HDD來講，唔算好快。但由於同一RAID5上，還有一個Logical Disk 用來Store VM 有可能影響了。

File bench 唔知這個是ESXi Cache 還是H700的Cache 效能，大IO近700MB/s

由於PERC 5/i 在VT-d 環境下出現Data Loss Link 所以由Dell order 了張新RAID 卡。可惜淘宝 order 的兩條 SFF-8087 to SATA cable 還未到手，這個週末未能上機。

準備放在NAS用的 HOT SWAP 籠

[Show as slideshow]

前幾日又被人追問點設定, 不幸地之前 DROP 下的NOTES 不見了. 結果今早在VM下由頭SET一次.

1. Install related component

conary update gcc gcc:devel
conary update libtool libtool:devel
conary update glib glib:devel
conary update glibc glibc:devel
conary update automake autoconf pkgconfig
conary update gcc-c++
conary update pam:devel

2. Download & extract proftpd (in this case 1.3.3 )

wget ftp://ftp.proftpd.org/distrib/source/proftpd-1.3.3.tar.gz

tar -zxf proftpd-1.3.3.tar.gz
cd proftpd-1.3.3

3. Config & Compile

makesure proftpd ( ftp service ) stopped before “make install”.

./configure --prefix=/usr --sysconfdir=/etc/proftpd --localstatedir=/var/run --enable-nls --enable-auth-pam

make

make install

4. modify generate.inc

因為proftpd自1.3.2開始有一句config改了syntex, 所以openfiler要修改一下才能正常generate出1.32以後的proftpd.conf

Modify openfiler web generate.inc

vi ./opt/openfiler/var/www/includes/generate.inc

find

$ac_ftp_fp->AddLine(“DisplayFirstChdir\t\t.message”);

replace with

$ac_ftp_fp->AddLine(“DisplayChdir\t\t.message”);

修改完後到share edit 再 update 令openfiler更新一次proftpd.conf

這樣就可以start ftp service.

1.3.3 已解決MLST不能正常進入有”[]”的路徑問題. 所以不用disable mod-facts

關於1.3.2 的問題和解決方法.

FileZilla Forums • View topic – 550 error on certain characters

Disable ProFTPD 1.3.2 mod_facts

5. Completed & Test