今年買了很多TPLink 的產品

1. 5Port Giga Hubs （因為裝了BB1000加了個BBTV 要在客廳加多一個Gigabit port…)
2. 450Mbps Dual Band Wireless PCI-E Adapter （行OpenWrt用）
3. 3支8DBi 天線（OpenWrt 用）
4. 300Mbps WirelessN USB Adapter （為了試300Mbps 2T2R所以買了）

其實以網絡產品而言，TP-Link算做得唔錯了。

因為手上的Wireless LAN 卡可以開幾個SSID，所以決定玩多一樣  ﹣Guest Zone。

先在ESXi 內開多一個VMNetwork – Guest 並且設定好Security ﹣Promiscuous Mode＝Accept。

並且在現有的pfSense VM及OpenWrt VM各加多一個e1000 Network Interface 並連接到Guest Zone。

OpenWrt 設定好新增的e1000界面及開多一個Bridge Interface  br-Guest

Wireless 加多一個SSID叫OpenWrtGuest，設定好一個易記的WPA Preshared Key 並開橋接到br-guest。

由於是Guest Zone，使用者不可以進入OpenWrt Web管理界面，所以Interface Protocol設定為Unmanaged

pfSense方面，同樣設定好Interface。IP、DHCP Server、Proxy Server。

最後設定Firewall Rules ，Guest Network 除了不能進入LAN Network、Management界面外，其他Traffic 就Accept。

首先，由openwrt.org下載 virtual disk image http://downloads.openwrt.org/backfire/10.03.1/x86_generic/openwrt-x86-generic-combined-ext2.vmdk

盡量下載最新版本，因為module 是跟版本的。試過10.02 的ath9k driver 是不能驅動TP-LINK TL-WDN4800 (AR9380) 。

Virtual Machine

建立一部VM，Other 2.6.x Linux (32bit)

• RAM: 32MB
• HDD: 直接用剛下載的vmdk,
• LAN: Intel e1000
• PCI Device: Wireless LAN card

啟動Virtual Machine 後，如網絡環境的IP不是192.168.1.1/24，可以在Console 輸入以下command修改IP

ifconfig br-lan [ip] netmask [netmask]

Configuration

用Browser 進入router IP，設定 LAN IP、Netmask以及root password

作為AP，LAN的DHCP應該停用。
Network->Interface->LAN->DHCP Server, Disable DHCP for this interface

Packages
可以REMOVE iptables 因為bridge 沒用

Install packages

• wpad-mini (WPA-PSK 必需)
• kmod-ath9k (Wireless LAN driver，視乎用什麼卡)

reboot  一次再設定Wireless Lan card

Wireless Lan

最基本只需要設定ESSID及Wireless Security。並且將Network 加入到 lan (bridge with LAN)

vSwitch Security

最後一步，就是設定vmware 的vSwitch Security頁內的Promiscuous Mode 一定要設定為Accept，否則wireless client不能Bridge 到LAN zone，全部OpenWrt MAC以外的packet會被 drop.

終於等到 H700 所需的Sff-8087
寫住Home server 的上半Part先

Hardware

• MB-  MSI Z68A-G45 B3
• CPU – Intel i7-2600
• Memory – 4GB DDR3 1333 x 4
• HBA – Dell PERC H700 512MB with BBU
• Disk – 2TB SATA HDD x5 (3 Brand 4 Models, RAID 5, 2 Logical Disk)
• NIC – Broadcom NetXtreme II 5709 Dual Port GbE, onboard Realtek 8111D
• Power – Antek 380W Power Supply

Software

• Host – vmware ESXi 5
• guest – pfSense 2.0
• guest – Server 2008R2 as NAS

Side view, overcrowded

MSI Z680A-G45 (B3), HK$9xx have VT-d

Dell PERC H700

ESXi installed on 2GB USB Flash, in picture also have H700 battery backup unit.

Front view – the FAN controller lower the HDD Case fan noise

Installed LSI CIM Provider, can view card status

VT-d enabled in BIOS, can mark device for vmdirectpath I/O

原本上星期已有構思，想寫一個插件加到MDaemon去將收到郵件的數量返影給MRTG/CACTI 等rrdgraph。
因為只有rrdgraph才可以有助分析Server 繁忙時間分佈。

找了一會, 想用MDaemon 的guicounts.dat 內數據用WebService Publish 出去.
再找了一會, 找到一個2006件的project MD-MRTG

雖然舊少少, 部份設定不是很好。但經一番修改後總算可以使用。
修改內容如下

1. index.html font size and graph size double (new target screen width > 1280)
2. Web Session folder path (non default location)
3. Graph Max Value of (POP3 session, Mail In/Out, Spam, Network Bandwidth)
4. Inbound count method support Hash directory (sub directory)

唔睇都唔知, POP3 Session / hour 可以上到28K、SMTP IN 也有近8.5K。
晚上原來有近半的EMAIL是垃圾。

今日因為小問題要CHECK一吓HKIX. 突然發覺個Switching Statistics個樣唔同左.

http://www.hkix.net/hkix/stat/aggt/hkix-aggregate.html

`Daily’ Graph (5 Minute Average)
張5分鐘圖成張FLAT左. 之前個Y Axis 是30G – 120G, 今日個Graph 是30G – 220G.

再睇Monthly Graph，2小時平均個Peak比兩星期前多了20Gbps (大約多了 20%)
`Monthly’ Graph (2 Hour Average)

一年圖就更加明顯了.
`Yearly’ Graph (1 Day Average)

如果RRD Graph有移動平均線就好了. 可以見到個勢

等埋第二隻WINGSONIC MRA508同DELL SAS 6i 隻NAS終於可以UPGRADE了.

原本RAID5是4隻1TB (3TB 可用), 加多兩隻1.5TB (每隻只用1TB個RAID) 成為5TB儲存空間.

Rebuild 做得多，EMC FC SAN grow 也試過，LINUX 實機RAID5 grow 就第一次。
每隻HDD 14MB/s 寫入, 1TB Disk就要 1,000,000MB / 14 / 3600 = 19hr 才完.

[Show as slideshow]

[View with PicLens]

[Show as slideshow]

[View with PicLens]

繼上年YAHOO.COM.CN個Outdated Bogon BGP 事件, 同YAHOO的 technical support 交手以後. 今年又要面對 YAHOO.COM 的postmaster.

因為見到有幾封十幾MB的郵件在mail server loop 了很久，才發現 send 到 yahoo.com 經常發生drop connection 的問題.

大郵件發送到YAHOO.COM會無原因地被對方斷開。由於沒有 SMTP Status code*1，E Mail server 會即時重試另一MX*2。 YAHOO.COM 的DNS記錄總共有 8個 MX RECORD。如事者，一封20MB 的電郵每次會傳到YAHOO.COM 的 8個 MX IP，每個IP傳20MB資料。

我地Server 每半小時重試一次，24小時不能成功遞送才會放棄。

即是寄一封20MB的信件到YAHOO.COM會花了20MB x 8 x 2 x 24 = 7.68GB的bandwidth。平均全日0.7Mbps (7680MB * 8bit / 86400sec).

以Singtel 去海外每Mbps每月約$1,000計算, 一封信花了$1,000 * 0.7 / 30 = $23.

*1 Enhanced Mail System Status Codes - rfc3463
*2 MX = Mail Exchange - rfc1035

不是淘返來的 Broadcom 5709 Dual port GbE, 有iSCSI offload, 行PCI-E x8

調試了幾日Openfiler 發覺用 Windows 連上NAS 唔夠Windows 連Windows 快。無論寫入或讀取，上限只有40MB/s。相對從 Windows 找檔到 Windows (both windows 7) 可以快過 80MB/s.

排除是 RAID5 慢的問題，在 Linux 下用 hdparam 做讀取測試，有 180MB/s

再試在 Windows 用 FTP (Filezilla)  從 NAS 下載反而可逹 110MB/s ，近乎 GbE 上限。

Googling, 用 "NAS slow"、"samba slow"、"samba RAID5 slow" 找到好多資料，但所有提及到的設定只可令到速度上升至50MB/s.

似乎上限在50MB/s

昨晚返而用 "samba 50MB" 找到一些資料。即是很多人都停在50MB/s。

再找Samba個Changes log發現以下幾點

1. Samba 3.45 只用SMB v1, 而Vista 、Server 2008 & Windows 7 用SMB v2
2. Microsoft 話 SMB v2 快過 SMB v1
3. SMB v1 訊息最大64KB, 同TCP Windows Size 個Concept 一樣, 即是TCP Windows size max = 64KB,
   相對現在Linux Kernel 可以設定大過16MB相差很遠
4. Samba 3.5 會加入 SMB v2.

可能等到Samba 3.5 release 才知能否突破這個限制

Samba 3.5 RC2 Available for Download (26 January 2010)
Download and Samba 3.5 rc2 Release note