一本出版有五十年的暢銷統計科普小書,內容還是非常適用,裡面提到的手法至今都還可以常常看到。當看到任何統計數據,一定要有自己獨立思辨的能力,很多東西多注意看一下就可以知道可信度有多少。
1.內建偏差的樣本
最大的誤差來源往往來自於 抽樣過程。例如填問卷時,心理上就會偏向多報或少報,好比問到收入或報稅 (前者多報後者會少報),因為人們會有勢利心理。
樣本是否有代表性? 可否假設樣本成員跟以外的差不多? 例如調查畢業生的平均收入,那些畢業後就窮困潦倒的同學應該不容易(或是不喜歡?)被連絡上吧。只要有可能的誤差來源,就可以輕易毀掉樣本的可靠性,你應該對結果抱持某種程度的存疑。因此,意見調查的作業方式,終究是在對抗各式各樣的誤差來源。
被選來代表母體的樣本常會不公平,可能會偏向比較有錢、教育水準較高、資訊較豐富、比較友善等這些比較容易被訪問到的人。受訪者也會有想要給訪問員喜歡的答案的傾向。
要做手腳不需要刻意操弄調查結果,只要樣本有特定偏的傾向,就已經自動替結果作手腳了。
2.精心選擇的平均
平均有好幾種,可能是算數平均、中位數或是眾數。小心某人告訴你的平均是根據不同需求來挑那種平均,而刻意沒不告訴你是那種平均。
這是因為只有常態分布(對稱鐘型分佈)時,這幾種平均才會接近,例如統計身高。但若是統計收入,則曲線是偏斜的,因為少數人擁有多得多的財富,這種情況若用算術平均就會高的多。因此通常中位數提供的訊息比較有用,你可以知道有一半的人比這多或少。
例如公司公布的工資平均喜歡用算數平均 (可能老闆的薪水超高而大多數員工薪水很少),因為數字比較好看!!雜誌社公佈的讀者收入平均也希望數字較高,以便對廣告主顯示讀者比較有錢。
3.隱藏起來的小數字
只要樣本夠小,就會因為機率產生出並不代表任何意義的結果。例如廠商宣稱實驗有極大效果,其實只有少數人受測。這個被隱藏起來的數字就是顯著水準,可以告訴我們例如有 95%的機率估計會在某個誤差內,可以確實代表真正的結果而不是偶然。
另一個被忽略的數字是數據離平均有多遠,如果在平均之外再說明一下範圍,就可以避免大部分的誤解。例如父母若只知道小孩在幾個月的時候學會坐,那慢了就會擔心小孩遲鈍,但如果能知道正常範圍,就不會為了很小的差距而擔心。還有若只知道年均溫來挑居住地點?還要知道溫度範圍才有用啊? 平均不能代表範圍。
當圖表沒有伴隨重要數字,你最好別太認真。
4.庸人自擾篇
你一定要牢記有加減某個百分點(誤差)這回事,把兩個差別很小的數字拿來比較毫無意義,例如IQ。考慮抽樣結果時,唯一的正確方式是看範圍,IQ 正常不表示只有剛好100,應該拿90~110與較高或較低的範圍來比較。
5.誇大其辭的圖
改變圖表的橫座標與縱座標的比例啦,切掉(省略)長條圖的長條中間部分啦等手法。
6.象形圖
數字告訴你兩倍,於是象形圖畫兩倍高 => 體積變八倍。嘴裡告訴你兩倍的同時,你的視覺印象卻加深成八倍。
7.似相關而非相關的數字
任何一個數字常常有許多表示方法,辦法是選擇對你的目的最有利的一種,並且相信在讀到這項報導的人當中,難得會有人看出來你所報告的數字不能反映實情。
8.錯誤因果論
這章的教訓,在蘋果橘子經濟學一書特別強調!! 數字只是告訴你 X,Y 有相關性,但無法得知因果方向,可能是 X 影響 Y,或是 Y 影響 X ,更或是有個 Z 同時影響 X 跟 Y。關聯雖然存在,但因果關係純屬猜測。況且只要樣本小一點,就有可能在你想像得到的任何兩種特質或事件之間,找到相當程度的關連。當你發現有人(通常是利益團體)對某項關聯大驚小怪的時候,首先就該想想,情況是否可歸因於時代潮流的類型。
9.怎樣利用統計來操控
精確到有點失真,但是又會替最爛的統計結果加分的東西,則分小數點莫屬。例如要講大家的平均睡眠時間是7.831而不是7.8。百分比也會讓不確定的數字看起來精確。任何根據稀少案例計算出來的百分比,誤導的機會都不少。不如直接把原始數字列出來,訊息反而比較清楚。
有許多愚蠢的錯誤或者詐騙把戲,都是源自於把不應該相加、卻看來可以加的東西給加起來。例如原料的成本漲了10%,員工薪資漲了10%,廣告漲了10%,所以總共漲了30% ? 去年減了20%薪水,今年加了5%,所以補回了四分之一? (別忘了若減薪50%,得加薪100%才打平)
對百分比(percentage)與百分點(percentage point)也有可以耍弄的地方,例如某一年的利潤是3%,隔年上升到6%,你可以淡淡的說上升了3個百分點,也可以說有100%的成長。
10.如何對統計提出質疑
問題一: 誰說的? 要尋找蓄意的偏差,不自覺得偏差更要仔細找,更要小心做結論的人根本不是本來的(權威)調查單位。
問題二: 他怎麼知道的? 樣本選擇的方法洽當嗎? 樣本夠大使結論可靠嗎? 關聯夠大有實質意義嗎? 也許你沒辦法去仔細做顯著性檢定,但其實有相當比例一看就知道結論所依據的個案根本不夠多。
問題三: 漏了什麼? 報告關聯性卻沒有提供誤差? 提供平均卻沒說哪種平均? 只有百分比而沒有原始數據? 公布指數卻沒有列出基期? 另外在缺少比較的情形下,很多數字會失去意義。
問題四: 是否有人改變了主題? 從原始數據推導到結論的過程當中,有沒有什麼地方被改掉了。常常有人報導是某件事,實際上它卻是別的事。例如當主題有私密性時,填問卷說的跟實際做的一樣嗎? 兩次調查的對象定義一樣嗎? 調查的目的相同嗎? 有個例子是中國兩次人口調查差距頗大,一次是徵稅跟軍事目的,另一次是發放飢荒補助。
再來就爭做第一,幾乎幾個人都可以說自己在某件事情上是第一名,只要不挑剔,例如報紙 (我最常見到的就是自由時報一直登自己是第一)。而氣象播報員則愛說今天是某年某月以後最熱的一天之類得。
問題五: 這有道理嗎? 當碰到有人根據未經證明的假設胡言亂語的時候。過去至今的趨勢或許是事實,但是對將來得趨勢做預測時,不過是有根據的猜測罷了,請小心不加限制的外插法。
In Hong Kong, it often happens that the media use statistical result to misled the ignorant. Its good for us to have basic knowledge in statistics in order to justify the result.