當你有多個設計選擇，不知道哪一種比較好的時候，A/B testing 可以幫助你測試哪一種比較有效果。例如: 你的網站註冊有兩種設計方式，哪一種讓比較多人註冊呢? 你的購物車按鈕有兩種設計，哪一種比較讓人順利結帳呢? 你的廣告版本有三種，哪一種比較吸引人呢?
別猜了!! 公說公有理，婆說婆有理。讓使用者的實際體驗跟統計結果來告訴你吧。a/b testing 的作法是: 1.輪撥這些選項 2. 設定追蹤點(goal) 3. 一段時間後，觀察哪個選項達成的 goal 比較多。
而 A/B testing 工具可以幫助你很容易做好這些事情: 1. 針對不同人提供不同選項 2. 但讓同一個人看到的都是同一個選項(這是一個重點，不然測試就不準了)，例如透過 cookie 或使用者ID 3. 提供後台報表，並提供分析告訴你這些數據是否有統計學上的顯著差異 4. 方便安裝及使用 5. 夠快，不會對 production site 造成效能負擔
對 Rails 來說，目前有兩套可以考慮使用: A/Bingo 和 Vanity。A/Bingo 很容易安裝使用，功能比較陽春，使用 ActiveRecord 搭配快取(memcached) 來記錄資料。Vanity 功能比較豐富，願景也比較大，提倡了一整套的 Experiment Driven Development 開發方式。它使用了 Redis 來記錄資料。不過他的使用文件似乎沒有跟上程式的更新速度，所以不太好安裝，得去翻 source code。如果你現在就想試試，我會先推薦 A/Bingo 比較容易上手。
如果你不想改 server side 的程式(或是你是不會寫程式的行銷人員)，也可以透過 Google Website Optimizer 這套工具來做 a/b testing。Google 的方式就單純用 JavaScript 來記錄: 你先告訴 Google 你有哪幾種頁面，例如 Original page、Variation page 1、Variation page 2 三種選項，接著提供 Conversion page 是指達成 goal 的頁面，然後將 Google 會給你 control script 貼到 Original page 去(讓使用者可以輪撥到其他頁面)，以及 tracking script 貼到各個頁面。
最後，A/B Testing 當然也不是萬能的: Why A/B testing of web design fails。
