Archive

‘ESXi’ 分類過的Archive

Home NAS Disk Expend

2014年7月7日 評論已關閉

家中的NAS由原本5隻2TB (7.275TB 可用) 升級到7隻3TB (13.625TB 可用)

家中的NAS由原本5隻2TB組成的RAID5, 經過漫長的升級終於成為現在7隻3TB的RAID6。

期間只用了LSI MegaRaid/StoreCLI 指令 (因為ESXi環境只有CLI可用),NTFS 內的資料無需抄來抄去,只要在Windows Disk Manager內Extend Volume就能夠使用。

 

由5隻2TB upgrade 到7隻

因為一早預計會轉用3TB硬碟, 所以買了3隻3TB 做UPGRADE (一隻更換, 兩隻新加入)

用到的指令

MegaCli -LDRecon {-Start -rX [{-Add | -Rmv} -Physdrv[E0:S0,…]]}|-ShowProg -Lx -aN

e.g.

MegaCli -LDRecon -Start -r6 -Add -Physdrv[:5,:6] -L0 -a0

當時用了大約5日去完成這個RAID level migration (DELL H700)

249336_10151332572932218_205991818_n

 

再由7隻2TB+3TB 升級至7隻3TB

這是最簡單的步驟, offline 一隻HDD, 換上一隻新的3TB, 再將它設定為Global HotSpare 等到Rebuild 完成再換一隻

用到的指令有

PDOffline, 將一隻2TB HDD 離線又或直接熱拔離線

MegaCli -PDOffline -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

及 PDHSP,將一隻新3TB設定為hot spare就會自動用來rebuild raid

MegaCli -PDHSP {-Set [-Dedicated [-ArrayN|-Array0,1,2…]] [-EnclAffinity] [-nonRevertible]}
|-Rmv -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

e.g.

MegaCli -PDHSP -Set -PhysDrv[:5] -a0

在沒有大量寫入/讀取情況下,大約10個小時能夠完成一隻。用了兩日多的時間去完成更換4隻硬碟。

994103_10152191540912218_280932830496552494_n

 

Expand volume 9.1TB -> 13.5TB

這個步驟比較奇, 用MegaCli 始終無法完成,最後用了StoreCLI。

MegaCLI 指令

MegaCli -getLdExpansionInfo -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL
MegaCli -LdExpansion -pN -dontExpandArray -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL

StoreCLI 指令

storcli /cx/v(x|all) show expansion
storcli /cx/v(x|all) expand Size=<xx> [expandarray] //size 是GB, 試過用4.4TB 結果認了做4.4GB。

e.g.

storecli /c0 /v0 expand size=4400GB

 

10523677_10152191540937218_7915230281814309491_n

由於顯示方式是TB而EXPAND VOLUME 計GB, 最後EXPEND了3次才完成。
輸入EXPEND指令後, VOLUME會自動進行Background Initialise,介時不能再做EXPEND。
想快可以用指令停止 BGI。

StoreCLI 指令

storcli /cx/v(x|all) stop bgi

完成後的VOLUME
Capture

測試

10351090_10152191540887218_3732589245823715645_n 10417676_10152191540922218_6190645593724952779_n

Categories: ESXi, NAS Tags: , , ,

VCP-DCA

2014年4月17日 評論已關閉

上年走去讀, 今年才去考。讀完書送的EXAM VOUCHER都過了期,只好自已碌卡去考。

VCP-DCV

Categories: ESXi Tags: ,

Home Server 2013-10

2013年10月23日 評論已關閉

在一次巧合再次見到萬由NAS香港代理的Facebook Page,並發現了NSC-800機箱返了貨的消息,最後還是發了個Facebook Message 過去問。今次訂貨流程出奇地快,有貨及免費送貨之除,並且免訂金只需貨到付款給速遞就可以。小心對過網頁的資料後發現PCI-E 延長線及2.5吋SATA託盤要另外配,好彩在出貨前一次過訂了。

16/10 開始Message, 17/10 下午收工前收到了

IMG_5069

影開箱用的相也忙記了,一開始就進入砌機模式。

先是準備好RAID CARD到BACK PANEL 的線,由於改的機會較少,所以固定的比較講究。

DSC05217

火牛開始時是用公司的Router spare

DSC05221

CPU FAN 要用1U (大約可以放50mm 高的散熱),XIGMATEK Praeton LD964 高了大約8mm

DSC05342

DSC05232

由於火牛太舊又太長,

  1. 舊的問題是風扇長期在高轉速很嘈,
  2. 長的問題就是影響到機箱關不上

結果要再訂一隻火牛。

而個機箱的火牛與PCIE之間的空間不足,令到DELL PERC H700 沒有足夠的空間插線,所以只好轉用DELL PERC H710P

DSC05239

最後在淘宝訂了隻兩百幾人仔的FSP350-701UH

大陸淘宝貨, 輸出12V 上限為24A。少4P線,返而有兩組PCI-E 6pin。

輸出12V 上限為24A。少4P線,返而有兩組PCI-E 6pin。

原本兩組PCI-E 6pin 改為HDD供電

原本兩組PCI-E 6pin 改為HDD供電

由於PCI-E沒有5V,只好由另一組線借

由於PCI-E沒有5V,只好由另一組線借

DSC05243

完成後整潔好多

同舊機箱對比

DSC05225 DSC05227

到另一個問題來了,由於入風位不足,令到張DELL H710P ROC 温度上升到85度的高温,就算加了一把7CM 的簿扇也只能壓在70度以下。加上火牛位置積熱令到火牛風扇加速,聲浪大增,所以只好打開機箱用。

第二朝只好帶個頂蓋返公司改。

感覺好似開罐頭

感覺好似開罐頭

IMG_5174

人工造口手術完成

測試結果,DELL H710P ROC 温度在室温升了兩三度的情況下,還下降了13度。

ROC 温度在室温升了兩三度的情況下,還下降了13度。

温度下降了共16度。

 

 

完成

完成

LINKS

Security Technology Engineering Company Limited 香港區代理-萬由unas

 

Categories: ESXi, NAS, 硬件 Tags:

Home Server 2013

2013年9月4日 2 則評論

今年電腦UPGRADE了兩次,DOWNGRADE了一次。

機箱還是之前的PC-Q25
但因為儲存空間不足,硬碟由原本的5x2TB RAID5 轉為 7x2TB RAID6 (加了兩隻碟但空間只多了2TB)。

買了兩隻WD 2TB RE4後問題出現了,原有的DELTA M300W 支持不了7隻硬碟,不能開機。

不能開機只好換火牛,當時有可選擇的有

  • Silverstone SF45SF 80Plus Bronze (約$550)
  • Silverstone SF45SF-G 80Plus Gold modular (約$700)

經過一番爭扎後,還是選擇了最貴的SF45SF-G
DSC04993

換了火牛後,開機再發現原有的Disk  Group 因為建立了兩個Virtual Disk,不能加碟及Migrate RAID Level。最後只好重新建立。但建立之前要BACKUP VD內的5TB資料。

結果又買了一隻3TB⋯⋯

原本存放VM的VMFS 因為不能放在同一Disk Group,所以要另外用硬碟儲存。
幸好手邊有SSD多,又加了一隻120GB入機箱 (第8隻硬碟)。
原本做TIMEMACHINE 的空間沒有了,只好加隻硬碟,又買了一隻750GB 2.5吋硬碟 (第9隻硬碟)。

加了兩隻2.5吋硬碟後,又加了一個籠。

DSC07569

這樣就平安地使用了3個月。

DSC07569

由於原有的MODULAR CABLE 插頭數及長度始終與實際需要有些出入,最近下定決心自己重造電源線。

在淘寶找到MOULX 4P $0.8 人仔一隻,買了一大袋回來DIY。

DSC04188

DSC04187

草草地造好兩條電源線,

  • 火牛 – 4P – 4P – 4P – SATA Power (五隻3.5″ + 2隻2.5″)
  • 火牛 – SATA -> SATA (兩隻 3.5″)

DSC04178
DSC04179

Downgrade CPU

因於SERVER 應用CPU使用率太低,所以由i7-2600 降級到i3-2100。

i7-2600 CPU 使用量(一個月圖)

i7-2600 CPU 使用量(一個月圖)

i3-2100 CPU 使用量(一個月圖, 紅圈部分為未downgrade之前)

Downgrade 後

由95w TPD 下降到65W TDP, 實測idle power 由85w 下降到70w左右。

Categories: ESXi, NAS, 硬件 Tags: , , ,

SFX-ATX PSU

2012年8月16日 評論已關閉

家中的電腦轉用了ITX主板加聯力PC-Q25後,始終有個想法,PC NAS 是否一定需要高輸出的電源?

爬文找了很多測試,Z77+超頻後的IVY BRIDGE 也不過100W,硬盤每一隻10W,PCI-E Dell PERC H700 也最多只有75W (PCI-E power 上限)。即使連5隻硬盤,總和也只有225W。因為機箱對流不佳,電源擋了不少風令到CPU位置積熱,同時也令到硬盤積熱。參考了PC-Q03可選用SFX電源的設計,最後決定了轉用SFX電源。

在不想花太多錢的前題下,放棄了買 FSP 450W (HK$549)及SilverStone 450W ST45SF (HK$7xx) 的念頭,買了DELTA M300W (HK$2xx),但需要找一塊SFX-ATX 轉換板。

花了一些時間,最後在淘宝找到了 “ATX電源位改裝SFX電源的改裝板

Back View

Side View

相對之前用ATX電源,硬盤温度下降了近10度。

 

Categories: ESXi, NAS, 網絡 Tags: , , ,

家裡的VM Server upgrade

2012年8月9日 2 則評論

自六月開始就換了聯力PC-Q25機箱來做家中的VM Server。因為當時用的主板 (Zotac Z68ITX-A-E) 只有兩個GigabitEthernet 口,所以一直不能使用Dual WAN。

後來找到台灣肯懋 (www.commell.com.tw) 有一張 MPX-574D2 mini PCI-E dual GbE module在RS Component 有賣,所以買了一張來試。

但裝上機才發現… 不是所有板能用這卡,手上的ITX板不能偵測這卡的存在。

直到最近找到台灣肯懋的工業板有國內的銷售渠道,而且有一形號LV-67G是mini ITX 用Q67 chipset。onboard 兩個 Intel 82574L GbE NIC,並且可以使用之前買來的MPX-574D2,所以發了個message去問。

雖然售價有點貴,但最後還是敗了一塊回來

  • CPU: i7 2600

  • Memory: Two 8GB DDR3 1333, total 16GB

  • Chipset: Intel® Q67 Express Chipset

  • Display Interface: Onboard VGA

  • LAN Interface: 2 x Intel® 82574L Giga LAN + 2 x Intel® 82574L Giga LAN

  • Extended interface:
    1 x PCI-Express X16 slot – DELL Perc H700
    1 x Mini-PCIe –  MPX-574D2
    1 x Mini-PCI – no use

由於MPX-574D2是mini PCIE 子卡,要引兩組線到外面的接口

好彩H700同主板之間有空間可以過兩組線

DUAL WAN + LAN, 隻USB其實是ESXi5 個Boot disk

在ESXi 內可以見到4張NIC, 而且還可以行9K JumboFrame

pfSenseDual WAN

可能是INTEL 關係, Speed 由原本用Realtek 8111 的只有300Mbps 提升到現在的800Mbps

 

Astaro Security Gateway – Free Home use firewall

2012年2月12日 評論已關閉

由於長期未能解決pfSense 2.0 的PPTP server 問題。所以決定換software.

條件是

  • Linux
  • UTM
  • VMware ready
  • SMP multi processor support
  • IPSec (Site to  Site VPN返公司)
  • PPTP

Wiki 了一會,再用了Google找找。最後選擇了Astaro。
http://www.astaro.com/landingpages/en-worldwide-homeuse

安裝

安裝之前,先在Astaro網頁request了一套home license (後來發現無license也能下載,並且有30日試用)

下載完一個556MB ISO後就準備安裝

在ESXi內,先開一個VM,
CPU : Single socket 2 Core
RAM : 2GB ﹣4GB  (今次開了3GB試試)
HDD : 10GB (無10GB 不肯安裝)
Network : 3xE1000 (LAN,WAN1,WAN2)

再Mount起ISO直接INSTALL。安裝完REBOOT一次就問LAN IP ADDRESS 就完成了。

第一次入WEB界面會有Wizard幫助,問了十個問題左右就完成。

Main Screen 選項分類不太難用,Dashboard 比pfSense 詳細。

Free Home License

進入Management -> Licensing 就能上載伸請來的Free Home License。
Free Home 只是沒有HA 以及限際 50個LAN IP使用,IPS、Antivirus、Anti-spam 提供三年免費更新。

IPSec (Site to Site VPN)

設定上遇到了問題,原來Astaro是不支援Agressive mode IKE,只有Main Mode IKE 可用。沒了Agressive Mode 只好修改公司ROUTER 個設定,用dyndns host name 為peer identity。

PPTP

設定比較簡單,因為預設了IP Address range。只需設定USER就完成。用IPAD測試過可以用。

Speed test – Speedtest.net

由於Astaro有IPS及WEB PROXY,SPEEDTEST.NET只能到200Mbps左右。

Speed test – iperf

但用iperf 返公司電腦 WAN/VPN (BB100)分別有90Mbps及60Mbps

CPU使用方面,
90Mbps NAT時使用了15%
60Mbps IPSec Tunnel 時使用了25%

NAT test, JPerf to Office WAN

VPN test, Jperf to Office LAN through 3DES-SHA1 Tunnel

Speed test – FTP

再測試用filezilla由ftp.cuhk.edu.hk下載檔2個檔案

Fedora-16-x86_64-Live-Desktop.iso (633339904 bytes)
Fedora-16-x86_64-Live-KDE.iso (729808896 bytes)


最後共用了45秒完成。即是1.3GB/45 = 28.8MB/s (~230Mbps)

Speed test – BitTorrent

試用BitTorrent下載幾個大檔案

ubuntu-11.10-server-i386.iso + ubuntu-11.10-server-amd64.iso + ubuntu-11.10-desktop-i386.iso + ubuntu-11.10-desktop-amd64.iso

同時下載4個六百幾MB檔案,尖峰可達12MB/s

預告,下一回寫Performance Tuning.

Categories: ESXi, SoftRouter, 網絡 Tags: , , ,

OpenWrt (2 SSID) + pfSense + ESXi

2012年1月12日 評論已關閉

因為手上的Wireless LAN 卡可以開幾個SSID,所以決定玩多一樣  ﹣Guest Zone。

先在ESXi 內開多一個VMNetwork – Guest 並且設定好Security ﹣Promiscuous Mode=Accept。

並且在現有的pfSense VM及OpenWrt VM各加多一個e1000 Network Interface 並連接到Guest Zone。

OpenWrt 設定好新增的e1000界面及開多一個Bridge Interface  br-Guest

Wireless 加多一個SSID叫OpenWrtGuest,設定好一個易記的WPA Preshared Key 並開橋接到br-guest。

由於是Guest Zone,使用者不可以進入OpenWrt Web管理界面,所以Interface Protocol設定為Unmanaged

pfSense方面,同樣設定好Interface。IP、DHCP Server、Proxy Server。

最後設定Firewall Rules ,Guest Network 除了不能進入LAN Network、Management界面外,其他Traffic 就Accept。

 

 

 

ESXi 下的Open-Wrt Access Point

2012年1月6日 評論已關閉

首先,由openwrt.org下載 virtual disk image http://downloads.openwrt.org/backfire/10.03.1/x86_generic/openwrt-x86-generic-combined-ext2.vmdk

盡量下載最新版本,因為module 是跟版本的。試過10.02 的ath9k driver 是不能驅動TP-LINK TL-WDN4800 (AR9380) 。

Virtual Machine

建立一部VM,Other 2.6.x Linux (32bit)

  • RAM: 32MB
  • HDD: 直接用剛下載的vmdk,
  • LAN: Intel e1000
  • PCI Device: Wireless LAN card

啟動Virtual Machine 後,如網絡環境的IP不是192.168.1.1/24,可以在Console 輸入以下command修改IP

ifconfig br-lan [ip] netmask [netmask]

Configuration

用Browser 進入router IP,設定 LAN IP、Netmask以及root password

作為AP,LAN的DHCP應該停用。
Network->Interface->LAN->DHCP Server, Disable DHCP for this interface

Packages
可以REMOVE iptables 因為bridge 沒用

Install packages

  • wpad-mini (WPA-PSK 必需)
  • kmod-ath9k (Wireless LAN driver,視乎用什麼卡)

reboot  一次再設定Wireless Lan card

Wireless Lan

最基本只需要設定ESSID及Wireless Security。並且將Network 加入到 lan (bridge with LAN)

vSwitch Security

最後一步,就是設定vmware 的vSwitch Security頁內的Promiscuous Mode 一定要設定為Accept,否則wireless client不能Bridge 到LAN zone,全部OpenWrt MAC以外的packet會被 drop.

Categories: ESXi, 網絡 Tags: ,

RDM on ESXi5

2011年10月13日 評論已關閉

今次換機及使用ESXi 5 的其中一個原因是, ESXi 5 的VMFS更新及RDM (Raw Disk/Device Mapping) 可以支援到2TB以上.

今次個File Server使就用RDM, Mapping 了H700上運行的一個6TB Logical Disk. 同時為了效能, 用上了vmware 的 PVSCSI controller driver.

6TB 一個Volume 當然要用GPT header

Disk read test (1MB block)
以RAID5 5隻 7200rpm HDD來講,唔算好快。但由於同一RAID5上,還有一個Logical Disk 用來Store VM 有可能影響了。

 

File bench 唔知這個是ESXi Cache 還是H700的Cache 效能,大IO近700MB/s

Categories: ESXi, NAS Tags: ,