stephenyeong's blog

由於長期未能解決pfSense 2.0 的PPTP server 問題。所以決定換software.

條件是

• Linux
• UTM
• VMware ready
• SMP multi processor support
• IPSec (Site to  Site VPN返公司)
• PPTP

Wiki 了一會，再用了Google找找。最後選擇了Astaro。
http://www.astaro.com/landingpages/en-worldwide-homeuse

安裝

安裝之前，先在Astaro網頁request了一套home license （後來發現無license也能下載，並且有30日試用）

下載完一個556MB ISO後就準備安裝

在ESXi內，先開一個VM，
CPU : Single socket 2 Core
RAM : 2GB ﹣4GB  (今次開了3GB試試)
HDD : 10GB (無10GB 不肯安裝)
Network : 3xE1000 (LAN,WAN1,WAN2)

再Mount起ISO直接INSTALL。安裝完REBOOT一次就問LAN IP ADDRESS 就完成了。

第一次入WEB界面會有Wizard幫助，問了十個問題左右就完成。

Main Screen 選項分類不太難用，Dashboard 比pfSense 詳細。

Free Home License

進入Management -> Licensing 就能上載伸請來的Free Home License。
Free Home 只是沒有HA 以及限際 50個LAN IP使用，IPS、Antivirus、Anti-spam 提供三年免費更新。

IPSec (Site to Site VPN)

設定上遇到了問題，原來Astaro是不支援Agressive mode IKE，只有Main Mode IKE 可用。沒了Agressive Mode 只好修改公司ROUTER 個設定，用dyndns host name 為peer identity。

PPTP

設定比較簡單，因為預設了IP Address range。只需設定USER就完成。用IPAD測試過可以用。

Speed test – Speedtest.net

由於Astaro有IPS及WEB PROXY，SPEEDTEST.NET只能到200Mbps左右。

Speed test – iperf

但用iperf 返公司電腦 WAN／VPN (BB100)分別有90Mbps及60Mbps

CPU使用方面，
90Mbps NAT時使用了15%
60Mbps IPSec Tunnel 時使用了25%

NAT test, JPerf to Office WAN

VPN test, Jperf to Office LAN through 3DES-SHA1 Tunnel

Speed test – FTP

再測試用filezilla由ftp.cuhk.edu.hk下載檔2個檔案

Fedora-16-x86_64-Live-Desktop.iso (633339904 bytes)
Fedora-16-x86_64-Live-KDE.iso (729808896 bytes)

最後共用了45秒完成。即是1.3GB/45 = 28.8MB/s (~230Mbps)

Speed test – BitTorrent

試用BitTorrent下載幾個大檔案

ubuntu-11.10-server-i386.iso + ubuntu-11.10-server-amd64.iso + ubuntu-11.10-desktop-i386.iso + ubuntu-11.10-desktop-amd64.iso

同時下載4個六百幾MB檔案，尖峰可達12MB/s

預告，下一回寫Performance Tuning.

因為手上的Wireless LAN 卡可以開幾個SSID，所以決定玩多一樣  ﹣Guest Zone。

先在ESXi 內開多一個VMNetwork – Guest 並且設定好Security ﹣Promiscuous Mode＝Accept。

並且在現有的pfSense VM及OpenWrt VM各加多一個e1000 Network Interface 並連接到Guest Zone。

OpenWrt 設定好新增的e1000界面及開多一個Bridge Interface  br-Guest

Wireless 加多一個SSID叫OpenWrtGuest，設定好一個易記的WPA Preshared Key 並開橋接到br-guest。

由於是Guest Zone，使用者不可以進入OpenWrt Web管理界面，所以Interface Protocol設定為Unmanaged

pfSense方面，同樣設定好Interface。IP、DHCP Server、Proxy Server。

最後設定Firewall Rules ，Guest Network 除了不能進入LAN Network、Management界面外，其他Traffic 就Accept。

首先，由openwrt.org下載 virtual disk image http://downloads.openwrt.org/backfire/10.03.1/x86_generic/openwrt-x86-generic-combined-ext2.vmdk

盡量下載最新版本，因為module 是跟版本的。試過10.02 的ath9k driver 是不能驅動TP-LINK TL-WDN4800 (AR9380) 。

Virtual Machine

建立一部VM，Other 2.6.x Linux (32bit)

• RAM: 32MB
• HDD: 直接用剛下載的vmdk,
• LAN: Intel e1000
• PCI Device: Wireless LAN card

啟動Virtual Machine 後，如網絡環境的IP不是192.168.1.1/24，可以在Console 輸入以下command修改IP

ifconfig br-lan [ip] netmask [netmask]

Configuration

用Browser 進入router IP，設定 LAN IP、Netmask以及root password

作為AP，LAN的DHCP應該停用。
Network->Interface->LAN->DHCP Server, Disable DHCP for this interface

Packages
可以REMOVE iptables 因為bridge 沒用

Install packages

• wpad-mini (WPA-PSK 必需)
• kmod-ath9k (Wireless LAN driver，視乎用什麼卡)

reboot  一次再設定Wireless Lan card

Wireless Lan

最基本只需要設定ESSID及Wireless Security。並且將Network 加入到 lan (bridge with LAN)

vSwitch Security

最後一步，就是設定vmware 的vSwitch Security頁內的Promiscuous Mode 一定要設定為Accept，否則wireless client不能Bridge 到LAN zone，全部OpenWrt MAC以外的packet會被 drop.

今次換機及使用ESXi 5 的其中一個原因是, ESXi 5 的VMFS更新及RDM (Raw Disk/Device Mapping) 可以支援到2TB以上.

今次個File Server使就用RDM, Mapping 了H700上運行的一個6TB Logical Disk. 同時為了效能, 用上了vmware 的 PVSCSI controller driver.

6TB 一個Volume 當然要用GPT header

Disk read test (1MB block)
以RAID5 5隻 7200rpm HDD來講，唔算好快。但由於同一RAID5上，還有一個Logical Disk 用來Store VM 有可能影響了。

File bench 唔知這個是ESXi Cache 還是H700的Cache 效能，大IO近700MB/s

終於等到 H700 所需的Sff-8087
寫住Home server 的上半Part先

Hardware

• MB-  MSI Z68A-G45 B3
• CPU – Intel i7-2600
• Memory – 4GB DDR3 1333 x 4
• HBA – Dell PERC H700 512MB with BBU
• Disk – 2TB SATA HDD x5 (3 Brand 4 Models, RAID 5, 2 Logical Disk)
• NIC – Broadcom NetXtreme II 5709 Dual Port GbE, onboard Realtek 8111D
• Power – Antek 380W Power Supply

Software

• Host – vmware ESXi 5
• guest – pfSense 2.0
• guest – Server 2008R2 as NAS

Side view, overcrowded

MSI Z680A-G45 (B3), HK$9xx have VT-d

Dell PERC H700

ESXi installed on 2GB USB Flash, in picture also have H700 battery backup unit.

Front view – the FAN controller lower the HDD Case fan noise

Installed LSI CIM Provider, can view card status

VT-d enabled in BIOS, can mark device for vmdirectpath I/O

今日終於有時間去試Nested ESXi5。即是在ESXi5 內安裝另一隻ESXi5。

同時也試了用PXE 安裝ESXi5

預備PXE Image 我唔多講，因為已經有好幾個BLOG有完整的教學。

基本上我是參考了這個POST
http://vcp5.wordpress.com/2011/10/01/performing-scripted-installation-of-esxi-by-pxe-booting-the-installer/

只是被pfSense個DHCP設定玩了一個小時。原來pfSense的DHCP Server 已完全支援PXE Boot，返而用Additional BOOTP/DHCP Options 會出現ERROR。

設定好Network booting後，就要設定現有的ESXi5 Host。

1. 設定 allow nested hypervisors

SSH 入ESXi 修改/etc/vmware/config

在結尾加一句

vhv.allow = "TRUE"

這樣就會令nested hypervisors生效。

2. 建立GuestOS

基本設定為

• Virtual Machine Version: 8
• Guest Operating System 為Other (64-bit)
• 2GB 以上Memory
• 2 – 4 CPUs
• E1000E
• LSI Logic SAS Adapter

3. 修改 Virtual Machine Properties

建立後再修改Guest Operating System 為 VMware ESXi 5.x

CPU /MMU Visualization 要設定為 Intel EPT /AMD RVI

EPT/RVI 應該是Memory Page Remap 一種 Wiki:Extended Page Table

4. Install from PXE

Loading ESXi installer 個速度不似由TFTP下載，應該經HTTP由IIS下載。

5. 完成及測試

ESXi5 新增的e1000e Network Adapter 可以開JumboFrame

64bit Guest under Nested ESXi

如果無設定錯誤，Server 2008R2 (64bit) 的Boot DVD 應該能進入Install Windows 畫面

Others, Bad Ending

1. 如果沒有設定Guest Operating System 為 VMware ESXi 5.x 就會出現這個問題，會令到Nested ESXi 不能執行64bit Guest

2. 1GB Memory 是不能安裝ESXi 5 的

由於PERC 5/i 在VT-d 環境下出現Data Loss Link 所以由Dell order 了張新RAID 卡。可惜淘宝 order 的兩條 SFF-8087 to SATA cable 還未到手，這個週末未能上機。

上前有部DELLBlade Server壞HDD，因為有pro support，有兩個(外包)DELL Engine上來幫手REBUILD  >_<"。

我問佢地如何在ESXi 下知道RAID CARD 的status。佢地就打了好幾個電話，過了半個鐘後同我講返 『現時沒有方法』…

其實在佢地上來之前，我已用MegaCLI for vmware 睇完.

在ESXi 4下裝MegaCLI好簡單，只在到LSI個WEB 下載，並且抄到ESXi 入面。再入SSH chmod 返個檔案 executable 就可以用。

但到了ESXi 5 就出事了。有個檔案不見了。

./libstorelib.so: cannot open shared object file: No such file or directory
ERROR:Could not detect controller.
Failed to get ControllerId List.
Failed to get CpController object.

找了一會也找不到libstorelib.so。最後把心一橫，由ESXi 4.1內抄過來，可以正常執行了。

LINK
MegaCLI version 8.02.16

昨日挑戰ESXi 5.0 + VT-d + PERC5i， 結果全軍覆沒。
找了很久才發現。早在ESXi 4 開始，已有人講過PERC 5i 在已開啟VT-d 功能的主板上會出現Data Corruption.

睇來張PERC 5i 應該要退休了。

Reference

http://communities.vmware.com/message/1339356#1339356