今次換機及使用ESXi 5 的其中一個原因是, ESXi 5 的VMFS更新及RDM (Raw Disk/Device Mapping) 可以支援到2TB以上.
今次個File Server使就用RDM, Mapping 了H700上運行的一個6TB Logical Disk. 同時為了效能, 用上了vmware 的 PVSCSI controller driver.
6TB 一個Volume 當然要用GPT header
Disk read test (1MB block)
以RAID5 5隻 7200rpm HDD來講，唔算好快。但由於同一RAID5上，還有一個Logical Disk 用來Store VM 有可能影響了。
File bench 唔知這個是ESXi Cache 還是H700的Cache 效能，大IO近700MB/s
終於等到 H700 所需的Sff-8087
寫住Home server 的上半Part先
Hardware
Software
Side view, overcrowded
MSI Z680A-G45 (B3), HK$9xx have VT-d
Dell PERC H700
ESXi installed on 2GB USB Flash, in picture also have H700 battery backup unit.
Front view – the FAN controller lower the HDD Case fan noise
Installed LSI CIM Provider, can view card status
VT-d enabled in BIOS, can mark device for vmdirectpath I/O
今日終於有時間去試Nested ESXi5。即是在ESXi5 內安裝另一隻ESXi5。
同時也試了用PXE 安裝ESXi5
預備PXE Image 我唔多講，因為已經有好幾個BLOG有完整的教學。
基本上我是參考了這個POST
http://vcp5.wordpress.com/2011/10/01/performing-scripted-installation-of-esxi-by-pxe-booting-the-installer/
只是被pfSense個DHCP設定玩了一個小時。原來pfSense的DHCP Server 已完全支援PXE Boot，返而用Additional BOOTP/DHCP Options 會出現ERROR。
設定好Network booting後，就要設定現有的ESXi5 Host。
SSH 入ESXi 修改/etc/vmware/config
在結尾加一句
vhv.allow = "TRUE"
這樣就會令nested hypervisors生效。
基本設定為
建立後再修改Guest Operating System 為 VMware ESXi 5.x
CPU /MMU Visualization 要設定為 Intel EPT /AMD RVI
EPT/RVI 應該是Memory Page Remap 一種 Wiki:Extended Page Table
Loading ESXi installer 個速度不似由TFTP下載，應該經HTTP由IIS下載。
ESXi5 新增的e1000e Network Adapter 可以開JumboFrame
64bit Guest under Nested ESXi
如果無設定錯誤，Server 2008R2 (64bit) 的Boot DVD 應該能進入Install Windows 畫面
1. 如果沒有設定Guest Operating System 為 VMware ESXi 5.x 就會出現這個問題，會令到Nested ESXi 不能執行64bit Guest
2. 1GB Memory 是不能安裝ESXi 5 的
由於PERC 5/i 在VT-d 環境下出現Data Loss Link 所以由Dell order 了張新RAID 卡。可惜淘宝 order 的兩條 SFF-8087 to SATA cable 還未到手，這個週末未能上機。
早幾日發現, 其中一部4GB RAM 的Server 2008R2 使用了95% ( Available = 200MB, Cached = 200MB )。相對其他不同服務的Server 『大食』。
由幾個方向不斷查找，找過Kernel Page、找過Application Page及Driver memory leak也找不出問題。
最後基於該Server 有2TB 好幾百萬個檔案，找了NTFS相關的資料。
答案是MFT
好似自Vista 開始就有
原來MFT會Cache 到Windows memory，而且只會有部份顯示在Cached 一項之內。
Cached = 6786MB, Used = 12,279MB -6929MB = 5350MB
如果用RamMap一看, Cached 的6786MB 大約等如 Standby 6,914,160/1024 = 6752MB
那Active 部分的Mapped File 和 Metafile應該會視為 Used, Task Manager 內 Physical Memory Usage 藍線的部份。
一個檔案在 NTFS 內大約會使用 1KB 的MFT空間，即是如果有4,000,000個檔案，全數MFT Area 應該會用4GB。
如果那些檔案及目錄被讀取過，Metafile就會load上Memory。
以下是一部讀多過寫、有4百萬個檔案的EMAIL SERVER。
Metafile Active 有3GB 會計算在Used Memory 的部份內
睇完RAMMap 才知, 自己對Task Manager 內的數字未了解得透。
今日出現在Apple主頁的, 不是iphone 4S, 不是iCloud, 而是令人傷心的 Steve Jobs 逝世消息.
因為PERC5i 對應 VT-d 有問題，要轉用別一張RAID卡了 (已order Dell H700) 。
在換卡之前，對現有的DELL PERC做了些功課
以下是DELL PERC 對應 LSI OEM/型號
| DELL PERC | Chip | Related LSI RAID/HBA |
| PERC5/i, PERC5/e, PERC5/i Integrated Internal | Intel IOP333 I/O Processor + LSISAS1068 |
MegaRAID SAS 8408E/8480E |
| PERC 6/I | LSISAS1078 RAID on Chip (ROC) | MegaRAID SAS 8888ELP |
| SAS6/ir | LSISAS1068E | LSI SAS 1068E |
| SAS5i & SAS5E | LSISAS1068 | LSI SAS 1068 |
| PERC H200 | LSISAS2008 | LSI SAS 9211-8i |
| PERC H700/800 | LSISAS2108 RAID-on-Chip (ROC) | MegaRAID SAS 9260-8i/MegaRAID SAS 9260DE-8i |
LSIASA1068 http://www.lsi.com/…/LSISAS1068.aspx
LSIASA1068E http://www.lsi.com/…/LSISAS1068E.aspx
LSIASA2008 http://www.lsi.com/…/LSISAS2008.aspx
LSISAS2308 http://www.lsi.com/…/SAS2308 product brief.pdf
MegaRAID SAS 8408E http://www.lsi.com/…/MR_SAS_8408E_PB-Final.pdf
MegaRAID SAS 8888ELP http://www.lsi.com/…/MegaRAIDSAS8888ELP.aspx
MegaRAID SAS 9260-8i http://www.lsi.com/…/MegaRAIDSAS9260-8i.aspx
找了很久也未能在LSI的網頁找到LSISAS2108的專頁。連LSISAS2208也找不到。似所有RAID5、RAID6 的ROC資料也收起了。
以下是相關RAID Controller 的比較 (LSISAS2208 還未有Dell model)
| RAID Controller | SAS | Interface | ROC PowerPC | Memory |
RAID |
| LSISAS1068 | 3Gbps | PCI-X 133MHz 64bit | |||
| LSISAS1078(ROC) | 3Gbps | x8 PCI-E 1.0a | 500MHz | 667MHz DDR2 | 0, 1, 5, 6, 10, 50, 60 |
| LSISAS1068E | 3Gbps | x8 PCI-E 1.0a | 0, 1E | ||
| LSISAS2008 | 6Gbps | x8 PCI-E 2.0 | 533MHz | 0, 1E, 10 | |
| LSISAS2108(ROC) | 6Gbps | x8 PCI-E 2.0 | 800MHz | 800MHz DDR2 | 0, 1, 5, 6, 10, 50, 60 |
| LSISAS2208(ROC) | 6Gbps | x8 PCI-E 3.0 | DualCore 800MHz | 1333MHz DDR3 | 0, 1, 5, 6, 10, 50, 60 |
| LSISAS2308 | 6Gbps | x8 PCI-E 3.0 | 800MHz | 0, 1E, 10 |
上前有部DELLBlade Server壞HDD，因為有pro support，有兩個(外包)DELL Engine上來幫手REBUILD >_<"。
我問佢地如何在ESXi 下知道RAID CARD 的status。佢地就打了好幾個電話，過了半個鐘後同我講返 『現時沒有方法』…
其實在佢地上來之前，我已用MegaCLI for vmware 睇完.
在ESXi 4下裝MegaCLI好簡單，只在到LSI個WEB 下載，並且抄到ESXi 入面。再入SSH chmod 返個檔案 executable 就可以用。
但到了ESXi 5 就出事了。有個檔案不見了。
./libstorelib.so: cannot open shared object file: No such file or directory
ERROR:Could not detect controller.
Failed to get ControllerId List.
Failed to get CpController object.
找了一會也找不到libstorelib.so。最後把心一橫，由ESXi 4.1內抄過來，可以正常執行了。
昨日挑戰ESXi 5.0 + VT-d + PERC5i， 結果全軍覆沒。
找了很久才發現。早在ESXi 4 開始，已有人講過PERC 5i 在已開啟VT-d 功能的主板上會出現Data Corruption.
睇來張PERC 5i 應該要退休了。
Reference
http://communities.vmware.com/message/1339356#1339356
早前在網上找到的文件都強調新Controller Type-12 是不用電池的，內部的Cache 在斷電時會自動抄到FLASH保存。
在9月開放下載的Hardware Maintenance guide 找到這個terms
Each control module includes a cache-to-flash module for storing recently-used data.
又找到這句
When connected, the control module cache-to-flash module receives full charge
最後找到這張圖
睇來似用電容來提供由cache-to-flash 所需的電力。
