Archive

文章標籤 ‘ESXi’

Home NAS Disk Expend

2014年7月7日 評論已關閉

家中的NAS由原本5隻2TB (7.275TB 可用) 升級到7隻3TB (13.625TB 可用)

家中的NAS由原本5隻2TB組成的RAID5, 經過漫長的升級終於成為現在7隻3TB的RAID6。

期間只用了LSI MegaRaid/StoreCLI 指令 (因為ESXi環境只有CLI可用),NTFS 內的資料無需抄來抄去,只要在Windows Disk Manager內Extend Volume就能夠使用。

 

由5隻2TB upgrade 到7隻

因為一早預計會轉用3TB硬碟, 所以買了3隻3TB 做UPGRADE (一隻更換, 兩隻新加入)

用到的指令

MegaCli -LDRecon {-Start -rX [{-Add | -Rmv} -Physdrv[E0:S0,…]]}|-ShowProg -Lx -aN

e.g.

MegaCli -LDRecon -Start -r6 -Add -Physdrv[:5,:6] -L0 -a0

當時用了大約5日去完成這個RAID level migration (DELL H700)

249336_10151332572932218_205991818_n

 

再由7隻2TB+3TB 升級至7隻3TB

這是最簡單的步驟, offline 一隻HDD, 換上一隻新的3TB, 再將它設定為Global HotSpare 等到Rebuild 完成再換一隻

用到的指令有

PDOffline, 將一隻2TB HDD 離線又或直接熱拔離線

MegaCli -PDOffline -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

及 PDHSP,將一隻新3TB設定為hot spare就會自動用來rebuild raid

MegaCli -PDHSP {-Set [-Dedicated [-ArrayN|-Array0,1,2…]] [-EnclAffinity] [-nonRevertible]}
|-Rmv -PhysDrv[E0:S0,E1:S1,…] -aN|-a0,1,2|-aALL

e.g.

MegaCli -PDHSP -Set -PhysDrv[:5] -a0

在沒有大量寫入/讀取情況下,大約10個小時能夠完成一隻。用了兩日多的時間去完成更換4隻硬碟。

994103_10152191540912218_280932830496552494_n

 

Expand volume 9.1TB -> 13.5TB

這個步驟比較奇, 用MegaCli 始終無法完成,最後用了StoreCLI。

MegaCLI 指令

MegaCli -getLdExpansionInfo -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL
MegaCli -LdExpansion -pN -dontExpandArray -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL

StoreCLI 指令

storcli /cx/v(x|all) show expansion
storcli /cx/v(x|all) expand Size=<xx> [expandarray] //size 是GB, 試過用4.4TB 結果認了做4.4GB。

e.g.

storecli /c0 /v0 expand size=4400GB

 

10523677_10152191540937218_7915230281814309491_n

由於顯示方式是TB而EXPAND VOLUME 計GB, 最後EXPEND了3次才完成。
輸入EXPEND指令後, VOLUME會自動進行Background Initialise,介時不能再做EXPEND。
想快可以用指令停止 BGI。

StoreCLI 指令

storcli /cx/v(x|all) stop bgi

完成後的VOLUME
Capture

測試

10351090_10152191540887218_3732589245823715645_n 10417676_10152191540922218_6190645593724952779_n

Categories: ESXi, NAS Tags: , , ,

家裡的VM Server upgrade

2012年8月9日 2 則評論

自六月開始就換了聯力PC-Q25機箱來做家中的VM Server。因為當時用的主板 (Zotac Z68ITX-A-E) 只有兩個GigabitEthernet 口,所以一直不能使用Dual WAN。

後來找到台灣肯懋 (www.commell.com.tw) 有一張 MPX-574D2 mini PCI-E dual GbE module在RS Component 有賣,所以買了一張來試。

但裝上機才發現… 不是所有板能用這卡,手上的ITX板不能偵測這卡的存在。

直到最近找到台灣肯懋的工業板有國內的銷售渠道,而且有一形號LV-67G是mini ITX 用Q67 chipset。onboard 兩個 Intel 82574L GbE NIC,並且可以使用之前買來的MPX-574D2,所以發了個message去問。

雖然售價有點貴,但最後還是敗了一塊回來

  • CPU: i7 2600

  • Memory: Two 8GB DDR3 1333, total 16GB

  • Chipset: Intel® Q67 Express Chipset

  • Display Interface: Onboard VGA

  • LAN Interface: 2 x Intel® 82574L Giga LAN + 2 x Intel® 82574L Giga LAN

  • Extended interface:
    1 x PCI-Express X16 slot – DELL Perc H700
    1 x Mini-PCIe –  MPX-574D2
    1 x Mini-PCI – no use

由於MPX-574D2是mini PCIE 子卡,要引兩組線到外面的接口

好彩H700同主板之間有空間可以過兩組線

DUAL WAN + LAN, 隻USB其實是ESXi5 個Boot disk

在ESXi 內可以見到4張NIC, 而且還可以行9K JumboFrame

pfSenseDual WAN

可能是INTEL 關係, Speed 由原本用Realtek 8111 的只有300Mbps 提升到現在的800Mbps

 

OpenWrt (2 SSID) + pfSense + ESXi

2012年1月12日 評論已關閉

因為手上的Wireless LAN 卡可以開幾個SSID,所以決定玩多一樣  ﹣Guest Zone。

先在ESXi 內開多一個VMNetwork – Guest 並且設定好Security ﹣Promiscuous Mode=Accept。

並且在現有的pfSense VM及OpenWrt VM各加多一個e1000 Network Interface 並連接到Guest Zone。

OpenWrt 設定好新增的e1000界面及開多一個Bridge Interface  br-Guest

Wireless 加多一個SSID叫OpenWrtGuest,設定好一個易記的WPA Preshared Key 並開橋接到br-guest。

由於是Guest Zone,使用者不可以進入OpenWrt Web管理界面,所以Interface Protocol設定為Unmanaged

pfSense方面,同樣設定好Interface。IP、DHCP Server、Proxy Server。

最後設定Firewall Rules ,Guest Network 除了不能進入LAN Network、Management界面外,其他Traffic 就Accept。

 

 

 

ESXi 下的Open-Wrt Access Point

2012年1月6日 評論已關閉

首先,由openwrt.org下載 virtual disk image http://downloads.openwrt.org/backfire/10.03.1/x86_generic/openwrt-x86-generic-combined-ext2.vmdk

盡量下載最新版本,因為module 是跟版本的。試過10.02 的ath9k driver 是不能驅動TP-LINK TL-WDN4800 (AR9380) 。

Virtual Machine

建立一部VM,Other 2.6.x Linux (32bit)

  • RAM: 32MB
  • HDD: 直接用剛下載的vmdk,
  • LAN: Intel e1000
  • PCI Device: Wireless LAN card

啟動Virtual Machine 後,如網絡環境的IP不是192.168.1.1/24,可以在Console 輸入以下command修改IP

ifconfig br-lan [ip] netmask [netmask]

Configuration

用Browser 進入router IP,設定 LAN IP、Netmask以及root password

作為AP,LAN的DHCP應該停用。
Network->Interface->LAN->DHCP Server, Disable DHCP for this interface

Packages
可以REMOVE iptables 因為bridge 沒用

Install packages

  • wpad-mini (WPA-PSK 必需)
  • kmod-ath9k (Wireless LAN driver,視乎用什麼卡)

reboot  一次再設定Wireless Lan card

Wireless Lan

最基本只需要設定ESSID及Wireless Security。並且將Network 加入到 lan (bridge with LAN)

vSwitch Security

最後一步,就是設定vmware 的vSwitch Security頁內的Promiscuous Mode 一定要設定為Accept,否則wireless client不能Bridge 到LAN zone,全部OpenWrt MAC以外的packet會被 drop.

Categories: ESXi, 網絡 Tags: ,

Hackintosh life

2011年11月12日 評論已關閉

因為ESXi 5可以裝MacOS (應該支援EFI BOOT )所以手多多走去試。

答案原來

  1. ESXi 5 所指可以安裝MacOS 是指MacOS X 10.5 Server. 無法對應10.6&10.7
  2. 是可以Boot EFI , 可不用Boot loader, 但ESXi 無法處理DMG。
  3. 新版Mac OS 不能從IDE CD-ROM 安裝,似取消了。由於ESXi 的Virtual CD-ROM 是IDE Mode的,所以無法使用。

要解決10.7支援,要找一套叫UNLOCKER

要安裝MacOS,最基本的方法就是用VMDirectPath 直接經Passthrough USB Flash或CD-ROM 來開機。但這個方法比較慢,大約只有4MB/S的傳輸速度。而且由Apple DMG來製作一定要用Mac機。
最快的方法是用PREBUILD USB 來安裝。

最後找到一隻已完成的VMDK,但因為來源是較舊的VMware版本,要經過vmkfsutil 修正後才能使用。

Post installation 相對實機安裝簡單,在虛擬環境只需(只能)安裝

  1. VMware tools。darwin500.iso
    這個vmwaretools其實只是power state helper及修改VGA resolution。雖然不是QE/CI,但顯示反應速度在ESXi 5環境下還可接受。
  2. LegacyAppleIntelPIIXATA.kext 令VM可使用IDE Virtual CD-Rom
  3. Upgrade 到 Lion 10.7.2,這個Step會比較困難,因為10.7.2內的AppleLSIFusionMPT.kext 會令Mac OS 不能順利進入。解決方法有
    • a. 用Offline  install pack MacOSXUpdCombo10.7.2.dmg, 在安裝完成並提示要Reboot時,把舊有的AppleLSIFusionMPT.kext 回復來。最好可以用Kext Utiltiy 來Rebuild security及Extension cache
    • b. 用 10.7.1的安裝USB/Custom built CD開機,並在Terminal 回復AppleLSIFusionMPT.kext

    如要避免Mac OS 會使用Cache Extension, 要在Boot flag 加入 -k
    進入Mac OS後,再用Kext Utility 來Rebuild cache

最後,啟用 OS X的Sharing內的Screen Sharing ( VNC )

Links

How to Install Retail OS X 10.6 “Snow” and OS X 10.7 “Lion” under VMware ESXi 5 – InsanelyMac Forum

 

Categories: osx86, 其他, 軟件 Tags: , , ,

Home server Oct 2011

2011年10月13日 2 則評論

終於等到 H700 所需的Sff-8087
寫住Home server 的上半Part先

Hardware

  • MB-  MSI Z68A-G45 B3
  • CPU – Intel i7-2600
  • Memory – 4GB DDR3 1333 x 4
  • HBA – Dell PERC H700 512MB with BBU
  • Disk – 2TB SATA HDD x5 (3 Brand 4 Models, RAID 5, 2 Logical Disk)
  • NIC – Broadcom NetXtreme II 5709 Dual Port GbE, onboard Realtek 8111D
  • Power – Antek 380W Power Supply

Software

  • Host – vmware ESXi 5
  • guest – pfSense 2.0
  • guest – Server 2008R2 as NAS

Side view, overcrowded

MSI Z680A-G45 (B3), HK$9xx have VT-d

Dell PERC H700

ESXi installed on 2GB USB Flash, in picture also have H700 battery backup unit.

Front view – the FAN controller lower the HDD Case fan noise

Installed LSI CIM Provider, can view card status

VT-d enabled in BIOS, can mark device for vmdirectpath I/O

 

 

 

Categories: ESXi, i5/i7, 網絡 Tags: , , , , ,

Nested ESXi5 on Z68+i7-2600

2011年10月9日 評論已關閉

今日終於有時間去試Nested ESXi5。即是在ESXi5 內安裝另一隻ESXi5。

同時也試了用PXE 安裝ESXi5

預備PXE Image 我唔多講,因為已經有好幾個BLOG有完整的教學。

基本上我是參考了這個POST
http://vcp5.wordpress.com/2011/10/01/performing-scripted-installation-of-esxi-by-pxe-booting-the-installer/

只是被pfSense個DHCP設定玩了一個小時。原來pfSense的DHCP Server 已完全支援PXE Boot,返而用Additional BOOTP/DHCP Options 會出現ERROR。

設定好Network booting後,就要設定現有的ESXi5 Host。

1. 設定 allow nested hypervisors

SSH 入ESXi 修改/etc/vmware/config

在結尾加一句

vhv.allow = “TRUE”

這樣就會令nested hypervisors生效。

2. 建立GuestOS

基本設定為

  • Virtual Machine Version: 8
  • Guest Operating System 為Other (64-bit)
  • 2GB 以上Memory
  • 2 – 4 CPUs
  • E1000E
  • LSI Logic SAS Adapter

3. 修改 Virtual Machine Properties

建立後再修改Guest Operating System 為 VMware ESXi 5.x

CPU /MMU Visualization 要設定為 Intel EPT /AMD RVI

EPT/RVI 應該是Memory Page Remap 一種 Wiki:Extended Page Table

4. Install from PXE

Loading ESXi installer 個速度不似由TFTP下載,應該經HTTP由IIS下載。

5. 完成及測試

ESXi5 新增的e1000e Network Adapter 可以開JumboFrame

64bit Guest under Nested ESXi

如果無設定錯誤,Server 2008R2 (64bit) 的Boot DVD 應該能進入Install Windows 畫面

Others, Bad Ending

1. 如果沒有設定Guest Operating System 為 VMware ESXi 5.x 就會出現這個問題,會令到Nested ESXi 不能執行64bit Guest

2. 1GB Memory 是不能安裝ESXi 5 的

Categories: ESXi, 軟件 Tags: , ,

MegaCLI on ESXi 5.0

2011年9月28日 1 則評論

上前有部DELLBlade Server壞HDD,因為有pro support,有兩個(外包)DELL Engine上來幫手REBUILD  >_<“。

我問佢地如何在ESXi 下知道RAID CARD 的status。佢地就打了好幾個電話,過了半個鐘後同我講返 『現時沒有方法』…

其實在佢地上來之前,我已用MegaCLI for vmware 睇完.

在ESXi 4下裝MegaCLI好簡單,只在到LSI個WEB 下載,並且抄到ESXi 入面。再入SSH chmod 返個檔案 executable 就可以用。

但到了ESXi 5 就出事了。有個檔案不見了。

./libstorelib.so: cannot open shared object file: No such file or directory
ERROR:Could not detect controller.
Failed to get ControllerId List.
Failed to get CpController object.

找了一會也找不到libstorelib.so。最後把心一橫,由ESXi 4.1內抄過來,可以正常執行了。


LINK
MegaCLI version 8.02.16

Categories: ESXi, 軟件 Tags: , , ,

ESXi 5.0 + VT-d + PERC5i = Data Loss

2011年9月27日 評論已關閉

昨日挑戰ESXi 5.0 + VT-d + PERC5i, 結果全軍覆沒。
找了很久才發現。早在ESXi 4 開始,已有人講過PERC 5i 在已開啟VT-d 功能的主板上會出現Data Corruption.

睇來張PERC 5i 應該要退休了。

Reference

http://communities.vmware.com/message/1339356#1339356

Categories: ESXi, 軟件 Tags: , , ,