網站調查的興起與謬誤

【編者按】

2011年，隨著大數據的興起和網絡調查（包括網絡上開展的定量調查，也包括網絡民族志）的盛行，社會學者潘綏銘、黃盈盈、王東出版了《論方法 : 社會學調查的本土實踐與升華》第一版，對于定量調查與定性調查這兩種主要的社會學調查研究方法進行有原創(chuàng)性地比較，反思當時流行的結合使用兩種方法的誤區(qū)與局限，并建設性地探討兩者結合的可能性與條件，提出可以提高調查質量的一些具體建議。

自20世紀90年代起，潘綏銘團隊就中國人的性行為、性關系、性觀念進行了四次全國范圍內的隨機抽樣調查，并在多點紅燈區(qū)考察的基礎上訪談了1300多位相關人群，積累了大量的定量與定性調查實地經驗。該書第二版由世界圖書出版公司/巴別塔文化于2023年1月再版。本文摘自該書第四章“隨機抽樣的本土應用”。

《論方法：社會學調查的本土實踐與升華》書封

一、捷徑往往是失誤

在互聯網上的某個網站發(fā)布、僅僅由上網者主動登錄該網站并且主動回答的問卷調查就是網站調查（web survey & web-based survey）。通常所說的“網上調查”或者“網絡調查”還有其他內容，本文暫不論及。

至晚從2005年開始，網站調查就在我國呈現為幾何式的增加，其調查結果往往被大眾傳媒廣泛地、放大地傳播（董瑞豐、楊桃源，2006），不但已經在相當大的程度上影響到公眾的認知與價值判斷傾向（人民論壇“千人問卷”調查組，2008），而且甚至影響到政府行政與立法（盛宇、劉俊熙，2008；孫云龍，2008）。就連在被認為應該是科學性要求最強的醫(yī)學領域中，居然也有人堂而皇之地使用起這樣的網站調查的結果（陳新，2006）。

在“性”方面最典型的例子是，生產避孕套的杜蕾斯公司2004年公布其網站調查結果說：中國人的性伴侶人數達到平均19.3個，是世界上最多的。經大眾媒體廣泛傳播之后，引發(fā)了中國公眾的極大困惑與爭論。盡管該公司的網站調查負責人信誓旦旦地說：“我們就是想盡一些社會責任，了解人們性生活全景，并和社會來分享信息。這個報告和商業(yè)沒有任何關系，也不會為商業(yè)而用?！钡?，從其社會效果來看，人們仍然很有理由認為，這個網站調查其實從一開始就可能僅僅是該公司的一種促銷手段而已（劉吉濤，2004）。

雖然國際上早有對于網站調查的批評（Bailey，2000），雖然我國的一些學者在泛論式的研究成果中也涉及這方面的問題，但是我國學術界（包括筆者自己）直到本書第一版面世的2011年為止仍然沒有專門針對這種大行其道的網站調查的論文。此后直到2021年，在中國知網的檢索結果顯示，以“網站調查”為主題的中文文獻中，仍未有針對此種方法進行的專門研究。與研究方法相關的文章只有《基于網上調查的科研成果可信嗎?》。它以2016年美國總統(tǒng)大選為例，僅僅提出網上調查用于科學研究需要慎重。

網站調查既沒有一個調查總體，也不可能進行隨機抽樣，因此其結果不具有任何意義上的代表性。這是學術界一直堅持的共識（徐浪、向蓉美，2006；方國斌、陳年紅，2009），某些網站調查的主張者也敢于公然承認這一點。

但是，網站調查的這種非隨機抽樣方法究竟產生了多大程度的樣本偏差，這種偏差又造成了調查結果在多大程度上的失誤，我國學術界目前尚缺乏實證的研究成果。這不利于對網站調查方法及其結果進行科學的評價，不利于引導公眾正確看待各種網站調查的結果，客觀上可能造成學術界放棄引導公眾之社會責任。

筆者尤其希望論述的是：網站調查的這種樣本偏差為什么值得學術界高度重視？其方法論層面（而不是操作層面）的意義是什么？筆者又主張什么與建議什么？

為此，筆者設計了這樣的一個研究方案。

第一步，以筆者完成于2006年底的“第二次全國調查”為對照組。

第二步，從2007年8月開始，在保留所有基本提問、刪除細節(jié)追問（題量大約是原來的一半）之后，將同樣的問卷以Web格式掛在一個公共網站上。到2008年12月1日為止，共獲得18歲到60歲的2593人的有效回答。（以下簡稱為“網站調查”）

第三步，由于具有足夠的可比性，筆者將兩組數據進行對比分析，以便發(fā)現其差異。

筆者所設計的這個對照研究，不僅足以檢驗網站調查樣本偏差的程度及其后果，而且是檢驗的最佳途徑。

二、網站調查樣本的社會階層分布嚴重偏離實況

與總人口的偏差

在現實生活中，網站調查的實施者經常把大規(guī)模的樣本量當作標榜其調查結果具有代表性的最重要的指標，有時甚至是唯一標準。

我國社會學的研究成果早已指出了上述說法的荒謬。筆者的實證對比研究也清楚地表明：在筆者所設置的30個社會階層特征指標中，與全國總人口調查的結果相比，網站調查結果中基本持平的指標僅有7個，而其余的23個指標相差可以達到58個百分點，甚至相差20倍（上過大學或者研究生的比例）。這就使得任何統(tǒng)計技術層次上的矯正都失去了可能性。

與全國網民總體的偏差

在大眾傳媒中，相當多的人認為，網站調查雖然不能代表中國的總人口，但是至少在一定程度上可以代表中國的網民。這成為網站調查結果被廣泛傳播的重要理論依據之一。

但是，筆者把全國總人口調查中的網民抽出來與網站調查結果進行對照卻發(fā)現：即使僅僅針對網民這個群體，網站調查的對象也系統(tǒng)地偏向于城市的、30歲以下的、大學以上的、中等以上收入的科技人員與知識分子。其間的差異可以達到49個百分點，甚至5倍左右（上過大學或者研究生的比例）。顯然，網站調查無法代表全國的網民總體。

與城市男性網民總體的偏差

網站調查樣本就連特定的網民小群體也無法代表。筆者把兩個調查中的城市男性網民這樣一個總體單獨抽取出來進行對照分析，發(fā)現網站調查在其他社會階層特征上的差異仍然很大而且具有統(tǒng)計學顯著性。

三、樣本偏差帶來的認知謬誤

表4-1說明：那些在網上回答筆者調查的人，其實都是那些性活動非常活躍而且不遵守傳統(tǒng)性道德的人們之中那些表現欲更強一些的人?？墒?，即使是僅僅針對這些特定人，網站調查的結果也仍然不具有任何意義上的代表性。

表4-1　網站調查與總人口調查的差異（％） 

如果學術界任由這樣的網站調查結果在大眾傳媒中擴散，那么就會夸大“性自由者”的比例，就會扭曲城市男性網民、全體網民乃至全體中國人的性的存在狀況，甚至可能引來社會管理方面的決策失誤。

四、網站調查興旺及其惡果的社會文化原因

網站調查得以興旺，最基本的社會推動力來自于中國公眾的“統(tǒng)計數字饑渴”。

一方面，一是長期以來，中國的統(tǒng)計數字一是過于官方化（唯有官方機構發(fā)布）；二是過于物質化（主要是統(tǒng)計客觀存在物）；三是統(tǒng)計普通人所關心的日常生活狀況不夠，造成了供給不足所引發(fā)的需求旺盛。

另一方面，中國公眾中存在著一種“中國人幻象”，也就是一種抽象出來的、絕對整體化的、不需要也不能夠證偽的“中國人”。人們格外關注這種“中國人”究竟是什么樣的，因此總是傾向于把任何一個百分數都看作“中國人”的發(fā)生率。在這種情況下，網站調查所得到的非隨機抽樣的各種百分數，就很容易滿足人們的需求。也就是說，與其說是網站調查誤導了公眾，不如說是公眾渴求這種誤導。

正是在這種背景下，兩方面的社會力量共同造就了網站調查興旺的現實。

首先，無知與無良自覺合謀的“統(tǒng)計數字經濟學”是大約21世紀以來中國的獨特產物（周銀香，2002）。它雖然來自“眼球經濟”（Thomas and John，2001），但是在當今的中國，這往往是一種高度自覺的合謀行為：一些缺乏社會科學基本訓練的IT從業(yè)者，持續(xù)地、商業(yè)化地（雷弢，2001）、批量化地生產出各式各樣的非隨機抽樣的網站調查結果，再由一些力圖吸引眼球的傳媒商人（黃鳴剛，2004）包裝為五花八門的聳人聽聞的“統(tǒng)計數字”來賺錢。他們還發(fā)出豪言壯語：“網絡調查必將取代傳統(tǒng)的調查方式，這是調查業(yè)發(fā)展的趨勢和方向?！苯Y果，中國公眾被兩面夾擊：在信息荒漠中忍受信息的商業(yè)化。

其次，網站調查對于公眾的誤導，在相當大的程度上應該歸罪于社會學家既沒有積極抗爭“傳媒的話語霸權”（丁和根，2000），也沒有用日常語言把社會學調查中隨機抽樣的必要性給公眾人們講清楚。結果，象牙塔中學者的潔身自好在當今中國的消費主義化的情境之中，很有可能蛻變?yōu)槿逯髁x之舉，甚至可能為虎作倀（汪傳雷、羅繪俊、陳宏亞，2008）。 

五、網站調查的非科學性

表面上看來，網站調查與總人口調查之間僅僅是在代表性方面出現巨大差異。因此，許多網站調查中的有識之士已經開始努力接近隨機抽樣，不斷地提出各種解決方法，例如“正確界定目標總體”、運用IP地址限制技術、Cookie技術等。一些專業(yè)學者也試圖進行評估與控制（杜婷、龐東，2004；李軍軍、李應榮，2005），或者矯正各種抽樣誤差（黃建，2004；徐浪，2006；杜婷，2006；王東，2007；胡云峰、何有世，2008），或者在統(tǒng)計技術層面上進行彌補（浦國華、高玲芬、惠琦娜，2004），試圖解決“網絡調查的回復率呈現逐年下降趨勢”（邵培基等，2008）。還有一些學者則是提倡規(guī)范網站調查的應用范圍（郭繼志、閻瑞雪、宋棠，2006），或者提倡“網絡調查與傳統(tǒng)調查相結合”（石磊，2008）。

但是，上述努力都是治標而不是治本。其實，網站調查與總人口調查這兩者之間的根本區(qū)別（隨機抽樣的決定性）在于，前者是依賴于被調查者主動地去尋找調查問卷，而后者則是調查者去尋找調查對象。

這是網站調查無法克服的根本缺陷。這又可以分為三個層次步步深入地來看。

首先，任何網站，即使是僅僅針對網民，也不可能具有起碼程度的涵蓋性，都不可避免地會出現極高比例的無應答誤差（這往往被刻意隱瞞了）。因為絕大多數網民根本就看不到發(fā)布問卷的該網站，或者看到了而根本不去點擊。哪怕是最大的門戶網站或者搜索引擎也是如此。

其次，網站調查的抽樣框永遠無法涵蓋人口總體。無論科技與經濟如何發(fā)展，只要人類還存在著各種差異，那么網民就永遠也不可能覆蓋任何一個較大規(guī)模的人口總體。所謂“隨著互聯網的發(fā)展，網站調查的代表性會日益提高”的說法其實只是以假設來代替前提的謬誤。

最后，也是最根本的，對主動應答者無法進行任何抽樣。也就是說，只要調查對象是主動地、任意地參加的（這常常被認為是網站調查最重要的優(yōu)點），那么任何一種抽樣（哪怕是非隨機的）就不可能實現，任何程度的代表性也就根本無從談起。況且，“在互聯網上你不知道對方是一條狗”，夫復何言？

這一本質區(qū)別標識了網站調查方法的非科學性。網站調查的方法論的實質是招募式調查，是守株待兔、愿者上鉤。這違背了任何一種問卷調查的最基本的原理。

社會學的問卷調查來源于對于自然科學基本研究方法之一的“受控條件下可重復的試驗”的模仿（陳蓉霞，2004）。后者要求“我”（調查者）必須主動地去研究被動存在的“它”（調查對象），才能得到對于“我”的假設的檢驗。

在社會學調查中，經典的實地調查方法因為是調查者自己需要進行“試驗”（實地調查），所以不得不主動地追求“受控條件”（界定總體）與“可重復”（隨機抽樣），結果客觀上也就達到了模仿自然科學的效果，實現了自己的科學性。

可是，網站調查卻恰恰相反。因為它一開始就沒打算進行“由調查者來操作的試驗”（實地調查），而是依賴于應答者自投羅網，所以根本不需要任何主動尋找調查對象的設計與實施，結果也就不需要“受控條件”“可重復”這兩大原則。也就是說，招募調查對象的網站調查，絕不是在總體界定與抽樣方法方面做得不夠，而是根本不需要這些東西。這就是它的非科學（不是反科學）的性質，任何基于科學性的統(tǒng)計技術都無法改善之，因為兩者牛頭不對馬嘴。

進一步說，正是由于招募調查這一實質不可改變，網站調查被認為所擁有的一切優(yōu)越之處（方便、及時、廉價、時空廣泛等），統(tǒng)統(tǒng)都會因其調查結果在代表性上的謬誤而變成助紂為虐之舉。

更進一步說，經典的實地問卷調查是客觀測量的方法，是調查者主動去收集被動存在的數據；而網站調查所使用的招募調查方法則在很大程度上是“主體建構”（潘綏銘、黃盈盈，2007），是應答者們主動創(chuàng)造出調查結果。這兩者之間的區(qū)別已經超出統(tǒng)計技術與調查方法的操作層次，實際上是方法論層次上的“唯科學主義”與“唯人文主義”的沖突焦點（張學廣，2007），甚至需要從認識論層次上來進行分析（秦英君，2007）。本文僅希望強調雙方的不同質，不再展開論述。

六、發(fā)展建議 

由于“招募調查對象”這一方法論上的本質，網站調查不應該再朝著總體代表性這個無望的方向發(fā)展，而是應該朝著三個不同的方向前進。

第一個方向仍然在問卷調查的范疇之內，把網站調查作為實地調查的試調查，用來修訂問卷。這樣，網站調查的各種優(yōu)點（方便、及時、廉價、時空廣泛等）才能真正變成正向的長處。

第二個發(fā)展方向是把網站調查所發(fā)現的小概率的社會現實轉化為定性的表述。

招募式調查不可能實現代表性，卻足以反映社會生活的多樣化存在。它所得到的任何數字的意義，并不是某種情況在某種群體中占百分之多少，而是在社會生活中確實存在著這種情況。因此，網站調查應該努力去揭示那些發(fā)生概率很小甚至極小的各種現象，這才是其最大優(yōu)點。

這是因為，一方面，隨機抽樣的實地調查的最大缺點恰恰是很容易篩選掉這樣的小概率情況；另一方面對于任何一種小概率情況來說，最重要的并不是它有多少、占百分之多少，而首先是它究竟有沒有、存在不存在。

例如，在網站調查中，有些應答者一生中的性伴侶人數達到了4位數。反之，有些年輕夫妻雖然沒有任何相關的障礙，卻可以在上一年中連一次性生活都沒有。因此，網站調查實施者應該這樣來發(fā)布自己的調查結果：盡管發(fā)生概率很小而且出乎大眾的意料，但是這樣的人確實存在于中國社會之中。

這樣的表述是一種定性的認知，不但應該舍棄任何尋求絕對數與百分比的意圖，而且應該在表述中刻意把具體的數字模糊化。

這種定性認知其實非常重要。它可以打破社會中廣泛存在的各式各樣的刻板印象，促進公眾首先在思維方式上實現多元化，從而發(fā)揮社會學調查的積極社會作用。

說到底，即使是隨機抽樣的統(tǒng)計數字與相關分析的結果，最后其實也只有被當作定性認知來使用，人類才能夠思考（Lincoln and Guba，1985）。因此在這一點上，網站調查恰恰可以以其對于小概率現象強大的發(fā)現能力，在定性認知上開辟捷徑。

第三個發(fā)展方向是把網站調查徹底轉變?yōu)槎ㄐ哉{查的工具。

定性調查追求的并不是測量社會現象，而是發(fā)現與理解人的行為及其結果，所以不尋求代表性，而是追求資料的深度。因此，定性調查不但不排斥而且非常歡迎調查對象的各種主動呈現（黃盈盈等，2008）。這不僅恰恰符合網站調查的性質，而且其所有優(yōu)點更有用武之地。調查者完全可以運用各種文化感召與技術手段，把網站設置為某一主題的磁鐵，去吸納那些日漸增多而且送貨上門的“網上自白”。

尤其是，在實地的定性調查中，合適的調查對象常常是可遇而不可求，或者只能是沙里澄金，而網站調查的招募性質及其相對更容易做到的大應招量，卻恰恰可以在更大的程度上解決這一難題。

筆者猜測，恐怕恰恰是由于定性調查的理論與實踐在目前中國尚不夠普及，眾多的網站調查才會舍優(yōu)擇劣地去進行問卷調查。