社會(huì)調(diào)查回報(bào)率分析及思索

前言：本站為你精心整理了社會(huì)調(diào)查回報(bào)率分析及思索范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。

本文作者：吳煒作者單位：南京大學(xué)

CGSS與GSS的一個(gè)比較

風(fēng)文笑天（2007）對(duì)發(fā)表在《社會(huì)學(xué)研究》上的2004年第2期至2006年第3期所有論文中利用抽樣調(diào)查數(shù)據(jù)撰寫的全部研究中的論文中的回收率進(jìn)行了統(tǒng)計(jì)，發(fā)現(xiàn)在27篇論文中，有8篇沒有報(bào)告調(diào)查回收率，甚至有4篇沒有辦法通過其他方式計(jì)算其回收率。在通過各種方式能夠得到調(diào)查回收率的23篇論文中（涉及16項(xiàng)調(diào)查），有17篇（屬于11項(xiàng)調(diào)查）回收率超過了90%。特別是其中兩項(xiàng)全國范圍的大規(guī)模調(diào)查（樣本量在6000份左右）的回收率更是達(dá)到了99.2%和99.9%。這兩個(gè)調(diào)查分別為“中國社會(huì)結(jié)構(gòu)變遷調(diào)查”和“2003年度中國綜合社會(huì)調(diào)查（簡稱CGSS）”，筆者選擇對(duì)CGSS2003做一分析，原因有三個(gè)：一是CGSS的影響范圍較大，是國內(nèi)目前比較正規(guī)、調(diào)查質(zhì)量比較好的一項(xiàng)全國范圍的調(diào)查項(xiàng)目；二是CGSS2003的調(diào)查回收率比中國社會(huì)結(jié)構(gòu)變遷調(diào)查還高，達(dá)到驚人的99.9%；三是與筆者的經(jīng)歷有關(guān)，如此高的回收率與筆者所了解的CGSS調(diào)查情況完全不符，筆者曾經(jīng)接觸過CGSS的調(diào)查員與督導(dǎo)員，他們給筆者的反饋是調(diào)查進(jìn)行得并不十分順利，經(jīng)常會(huì)被拒訪，這么高的回收率與事實(shí)是不符的。筆者認(rèn)為，比較分析作為一種思維方式和分析方法，能夠更深刻的認(rèn)識(shí)調(diào)查回收率。因此，本文將美國綜合社會(huì)調(diào)查回收率與中國綜合社會(huì)調(diào)查回收率做一對(duì)比分析，以便更好的展現(xiàn)國內(nèi)調(diào)查回收率的現(xiàn)狀。美國的全國綜合調(diào)查（簡稱GSS）是一項(xiàng)從1973年開始實(shí)行的、面向全美國的、連續(xù)的大型社會(huì)調(diào)查計(jì)劃。在這個(gè)調(diào)查的支持下，美國芝加哥大學(xué)以此為基礎(chǔ)建立了一個(gè)規(guī)模龐大的、開放性的抽樣調(diào)查數(shù)據(jù)庫，免費(fèi)為全世界的社會(huì)科學(xué)研究者使用，為推動(dòng)社會(huì)科學(xué)和社會(huì)政策研究的發(fā)展發(fā)揮了重要作用。2003年之前，大型的、連續(xù)開展多年的、開放的全國性數(shù)據(jù)庫在我國社會(huì)科學(xué)研究領(lǐng)域還是一個(gè)空白。這一年，參照美國GSS，由中國人民大學(xué)社會(huì)學(xué)系和香港科技大學(xué)調(diào)查研究中心共同推進(jìn)中國大陸的綜合社會(huì)調(diào)查（簡稱CGSS）項(xiàng)目啟動(dòng)，從2003年開始至2008年度的調(diào)查是這一項(xiàng)目的第一期（每年一次，其中2007年暫停了一年），目前在中國綜合社會(huì)調(diào)查項(xiàng)目的官方網(wǎng)站上已經(jīng)公開了2003~2006年的4次調(diào)查數(shù)據(jù)。在官方網(wǎng)站中，筆者并未看到調(diào)查回收率的狀況，甚至連樣本規(guī)模也未作說明，能看到的只是其列出的完成有效樣本規(guī)模。為了計(jì)算其調(diào)查回收率，筆者查閱了其中國綜合社會(huì)調(diào)查項(xiàng)目組編寫的《中國綜合社會(huì)調(diào)查報(bào)告（2003~2008）》，在書中對(duì)樣本規(guī)模進(jìn)行了說明，所計(jì)算得到的調(diào)查回收率具體情況見表1。由表1可知，美國綜合社會(huì)調(diào)查的歷年計(jì)劃調(diào)查樣本規(guī)模、完成的有效樣本規(guī)模和回收率都被明確的給出或者可以經(jīng)過計(jì)算得出，都穩(wěn)定在70~80%之間。而中國綜合社會(huì)調(diào)查通過計(jì)算得出以上的回收率結(jié)果，讀者稍微看一眼，就肯定會(huì)問，為什么CGSS的調(diào)查回收率如此奇怪？其回收率接近等于甚至都超過了100%。這也是本文所要分析的第三個(gè)問題。

為何CGSS調(diào)查回收率如此奇怪

根據(jù)調(diào)查回收率的定義和計(jì)算公式，可知其涉及的是樣本規(guī)模和實(shí)際完成的有效樣本量。除非普查或者所有被調(diào)查者的特征都一樣，否則所有旨在根據(jù)樣本特征來推論總體特征的抽樣調(diào)查，都面臨一個(gè)如何確定樣本規(guī)模的問題。因?yàn)椋谝豁?xiàng)抽樣調(diào)查研究中，按照一般程序，在研究設(shè)計(jì)階段，研究者在界定了總體之后會(huì)制定一個(gè)抽樣框，按照一定的規(guī)則從這一抽樣框中抽取樣本。在實(shí)際抽取樣本之前，需要確定樣本規(guī)模。一般來說，樣本規(guī)模的大小與總體規(guī)模、估計(jì)的把握性與精確性要求、總體的異質(zhì)性程度以及研究者所擁有的經(jīng)費(fèi)、人力和時(shí)間有關(guān)(風(fēng)笑天，2009)，樣本規(guī)模往往是研究者綜合考慮有關(guān)影響因素之后進(jìn)行主觀判斷的一個(gè)結(jié)果。以CGSS為例，其計(jì)劃調(diào)查的總體樣本規(guī)模的大小的確定考慮了很多因素才最終確定的。在中國人民大學(xué)中國調(diào)查與數(shù)據(jù)中心中國綜合社會(huì)調(diào)查項(xiàng)目編組編寫的《中國綜合社會(huì)調(diào)查報(bào)告（2003~2008）》中明確寫到：“綜合考慮精確度、費(fèi)用以及調(diào)查實(shí)施的可行性等因素，以及以往若干全國社會(huì)調(diào)查的經(jīng)驗(yàn)，再加上考慮到調(diào)查實(shí)施中通常會(huì)存在一部分戶內(nèi)找不到、或沒有合格調(diào)查對(duì)象以及各種原因造成的無回答等情況，根據(jù)對(duì)回答率的估計(jì)，以及總體劃分為五個(gè)抽樣框，我們把樣本量確定為10000。這10000個(gè)樣本不僅能滿足對(duì)總體的估計(jì)，而且也能滿足抽樣框各自總體的估計(jì)，所以是比較合適的樣本量”（李路路等，2009）。筆者認(rèn)為，CGSS在研究設(shè)計(jì)時(shí)確定的計(jì)劃調(diào)查樣本規(guī)模是十分明確的，即10000個(gè)，那么根據(jù)調(diào)查回收率的計(jì)算公式，作為分母的計(jì)劃調(diào)查樣本量為10000個(gè)，如果問題并非出在抽樣設(shè)計(jì)中的樣本規(guī)模這一分母上，那么就只能出在作為分子的完成的有效樣本規(guī)模上。完成的有效樣本規(guī)模表明的是調(diào)查的具體開展過程中的完成了多少個(gè)有效的樣本量，這涉及到了調(diào)查的具體實(shí)施過程。根據(jù)CGSS歷年調(diào)查結(jié)果（見表1），可以發(fā)現(xiàn)實(shí)際完成的有效樣本規(guī)模居然和計(jì)劃完成的樣本規(guī)模幾乎一致、或甚至比計(jì)劃完成的樣本規(guī)模還要多。因而，對(duì)第三個(gè)問題的回答引出了筆者所要分析的第四個(gè)問題：在實(shí)際實(shí)地執(zhí)行過程中發(fā)生了什么，從而導(dǎo)致實(shí)際完成的有效樣本規(guī)模出現(xiàn)這樣的情形。

實(shí)地執(zhí)行過程中發(fā)生了什么

CGSS依據(jù)其抽樣方案（具體抽樣方案見其官方網(wǎng)站或《中國綜合社會(huì)調(diào)查報(bào)告（2003~208）》一書）可以確定到居委會(huì)或村委會(huì)，在抽中的居委會(huì)/村委會(huì)中如何抽取居民戶和抽中的居民戶中如何抽取被調(diào)查者，則是實(shí)地執(zhí)行的內(nèi)容。那么在這個(gè)實(shí)地執(zhí)行過程中發(fā)生了什么呢？仔細(xì)分析實(shí)地執(zhí)行過程的程序，可以發(fā)現(xiàn)問題出現(xiàn)在居民戶抽樣的過程中，如在城市居民戶抽樣中：“隨機(jī)選取起點(diǎn)之后（可以是翻一本書看頁數(shù)或看一下表等方式），按右手原則，隔六抽一（如果起點(diǎn)是第三戶，中間凈隔六戶，即第二戶應(yīng)抽取第十戶），同時(shí)標(biāo)注其+1（下一戶）及-1（上一戶）戶地址，并多抽3倍的備用地址”（李路路等，2009）。不難看出，問題就出在最后一段話上面——并多抽3倍的備用地址。那么這些備用地址來干什么的？再看下面一段話：“如果所抽取的地址不夠使用，則由抽樣員在此居委會(huì)繼續(xù)抽取，如果該居委會(huì)地址全部抽完，訪問中仍然不夠用，則繼續(xù)按右手原則在相鄰居/村委會(huì)進(jìn)行抽取”（李路路等，2009）。這多抽的3倍備用地址是用來干什么的？答案已經(jīng)很明顯了。由于現(xiàn)實(shí)被調(diào)查者和調(diào)查者的各種特殊情況，總會(huì)導(dǎo)致樣本中的某些個(gè)體無法成功訪問，或者說總有一部分樣本會(huì)訪問失敗，那么多抽的這3倍的備用地址的居民戶就是用來作為替補(bǔ)那么訪問失敗的樣本的，甚至于在多抽的3倍備用地址仍不夠用時(shí)，還需繼續(xù)在相鄰的居委會(huì)/村委會(huì)抽取備用地址以彌補(bǔ)訪問失敗的樣本。為了更好的理解這種備用地址導(dǎo)致所發(fā)生的變化，筆者舉一個(gè)例子：一項(xiàng)調(diào)查計(jì)劃從總體抽取400個(gè)調(diào)查對(duì)象作為樣本，研究者采用結(jié)構(gòu)式訪問的方式收集資料，實(shí)地執(zhí)行中訪問了400人，實(shí)際成功訪問240人，那么該項(xiàng)調(diào)查回收率為60%。而遵循CGSS的方式，則以上調(diào)查則變成為：一項(xiàng)調(diào)查計(jì)劃從總體中抽取400個(gè)調(diào)查對(duì)象作為樣本，研究者采用結(jié)構(gòu)式訪問的方式收集資料，實(shí)地執(zhí)行中第一步抽取400人作為調(diào)查對(duì)象，筆者稱之為樣本1；第二步抽取另外1200人作為替補(bǔ)調(diào)查對(duì)象，筆者稱之為樣本2；第三步對(duì)第一步所抽取的400個(gè)樣本進(jìn)行訪問，如果全部成功則到此結(jié)束；如果未能成功，如成功訪問了240人，則缺少的160人，則從第二步選擇的1200人即樣本2中選擇替代者進(jìn)行訪問，直到訪問成功160人，調(diào)查結(jié)束。如果這樣本2中的1200人種未能成功訪問160人，則還需要在其它地域如相鄰的居委會(huì)抽取人員作為調(diào)查對(duì)象進(jìn)行訪問，這部分被抽取的調(diào)查對(duì)象筆者稱之為樣本3，直到160人滿為止，調(diào)查結(jié)束。該項(xiàng)的回收率理論上按照調(diào)查回收率的公式計(jì)算為100%。任何一個(gè)讀者看到這里對(duì)100%回收率都會(huì)存在疑問，即是不是公式本身有問題？筆者認(rèn)為，問題不是出現(xiàn)在公式上，而是由于實(shí)地執(zhí)行過程中的操作導(dǎo)致按照這一個(gè)公式進(jìn)行計(jì)算得到的回收率變得毫無意義。根據(jù)CGSS的調(diào)查方式，原本作為計(jì)劃調(diào)查樣本的規(guī)模變成了實(shí)際調(diào)查過的完成的有效樣本規(guī)模，即在計(jì)算公式中本應(yīng)作為分母的樣本規(guī)模變成了作為分子的完成的有效樣本規(guī)模，那么分母在哪里呢？筆者認(rèn)為，實(shí)地執(zhí)行過程中所調(diào)查的所有樣本，不論是訪問成功還是訪問失敗，構(gòu)成實(shí)際調(diào)查回收率的分母即實(shí)際發(fā)生的訪談數(shù)量，那么這個(gè)分母的數(shù)字是究竟為多少呢？從調(diào)查的實(shí)際過程來看，樣本1肯定是包含在分母中的，樣本2和樣本3也或多或少的包含在分母之中。用公式表示為：實(shí)際調(diào)查回收率=計(jì)劃完成的樣本量（/計(jì)劃完成的樣本量+備用樣本的使用量）=樣本1（/樣本1+樣本2（部分或全部）+樣本3（0或部分或全部））從以上公式中可見，分母數(shù)字究竟多大，已經(jīng)很難確定，因?yàn)樵趯?shí)地調(diào)查的執(zhí)行中一旦完成了樣本1規(guī)模的數(shù)量，調(diào)查就已經(jīng)結(jié)束，此時(shí)，已經(jīng)調(diào)查了的樣本2和樣本3中調(diào)查對(duì)象屬于分母，尚未調(diào)查的樣本2和樣本3中的調(diào)查對(duì)象不屬于分母。在CGSS調(diào)查中，實(shí)地執(zhí)行過程是由具體調(diào)查單位執(zhí)行的，他們對(duì)訪問過程的記錄是不全面和不詳細(xì)的，甚至可以說是有問題的，使得這些調(diào)查人員究竟調(diào)查了多少個(gè)樣本2和樣本3，CGSS項(xiàng)目組是無從得知或者很難統(tǒng)計(jì)的。一方面，實(shí)際調(diào)查回收率的分母的確切數(shù)字無法得知，導(dǎo)致實(shí)際的調(diào)查回收率已經(jīng)成謎；另一方面，CGSS按照回收率的定義進(jìn)行計(jì)算，其調(diào)查回收率就變的如此奇怪，甚至調(diào)查回收率超過100%。基于以上分析，筆者認(rèn)為，CGSS在實(shí)地執(zhí)行過程中發(fā)生了一些重大改變，樣本規(guī)模被替換了，即實(shí)地調(diào)查的樣本規(guī)模并非計(jì)劃調(diào)查的樣本規(guī)模，而是實(shí)際發(fā)生的訪談數(shù)量。實(shí)地執(zhí)行中的樣本規(guī)模除了包含研究設(shè)計(jì)中計(jì)劃調(diào)查的樣本量之外，還包含了計(jì)劃外的替代樣本，這種將樣本規(guī)模引入實(shí)地調(diào)查過程的做法，導(dǎo)致的結(jié)果是其調(diào)查回收率已經(jīng)不可知了。筆者認(rèn)為，樣本規(guī)模與調(diào)查中的無應(yīng)答數(shù)量是相關(guān)的，然而，無應(yīng)答數(shù)量對(duì)于樣本規(guī)模的影響是發(fā)生在研究設(shè)計(jì)階段時(shí)確定樣本規(guī)模中的，無應(yīng)答個(gè)案的存在導(dǎo)致樣本規(guī)模會(huì)大于研究需要的被調(diào)查者數(shù)量。

目前國內(nèi)社會(huì)學(xué)界社會(huì)調(diào)查的實(shí)地執(zhí)行狀況及思考

抽樣調(diào)查是通過樣本來推論總體，樣本的質(zhì)量直接決定了總體推論的可信度，因此，抽樣調(diào)查中必須以規(guī)范調(diào)查和提高總體推論可信度為目標(biāo)。從前一部分的分析中，可知，在目前中國的CGSS實(shí)地調(diào)查中，發(fā)生了一種樣本替換的過程，導(dǎo)致按照調(diào)查回收率的公式計(jì)算得到的回收率數(shù)據(jù)虛高。在前文所提到的另外一個(gè)回收率超過99%的調(diào)查為陸學(xué)藝主持的“中國社會(huì)結(jié)構(gòu)變遷調(diào)查”，通過仔細(xì)查閱相關(guān)資料，在其以此調(diào)查為基礎(chǔ)出版的《當(dāng)代中國社會(huì)流動(dòng)》一書中，在介紹研究方法時(shí)寫到“調(diào)查員持抽樣名單、選樣表和問卷進(jìn)入被調(diào)查戶選擇被訪人；如果選樣順利則繼續(xù)進(jìn)行訪問，如果選樣失敗，則需要告知督導(dǎo)員，由后者根據(jù)備訪戶名單進(jìn)行更換，再度入戶選樣”（陸學(xué)藝，2004）。也即在這個(gè)調(diào)查中同樣發(fā)生了類似CGSS調(diào)查的情況。這種情況的發(fā)生是造成其回收率畸高的原因。以上兩個(gè)發(fā)生了樣本替換導(dǎo)致調(diào)查回收率虛高的全國性的調(diào)查中，都是由較為有名的調(diào)研機(jī)構(gòu)和和社會(huì)科學(xué)研究者所主持的，促使筆者不得不思考是否國內(nèi)的調(diào)查研究在實(shí)地執(zhí)行中是否普遍發(fā)生了這種情況。如果這種情況較為普遍，那么有學(xué)者指出的國內(nèi)調(diào)查回收率較高的現(xiàn)狀（風(fēng)笑天，2007）就能夠得到一個(gè)較好的解釋。筆者至今參與的大大小小近10項(xiàng)社會(huì)調(diào)查項(xiàng)目，均為發(fā)生樣本替換導(dǎo)致回收率虛高甚至回收率不可計(jì)算。例如邊燕杰所主持的“社會(huì)資本與職業(yè)經(jīng)歷”大型問卷調(diào)查，筆者作為調(diào)查員參與了這一項(xiàng)目的濟(jì)南部分，其抽樣方式和CGSS完全一樣，實(shí)地執(zhí)行中也發(fā)生了樣本替換現(xiàn)象，但是在替換樣本的選擇方法上和CGSS有較大差別，CGSS使用的是隨機(jī)方法。而這次調(diào)查為非隨機(jī)方法，具體為其替換樣本為是抽中的戶的上一戶和下一戶（如果訪問失敗，先訪問上一戶，如果繼續(xù)失敗則訪問下一戶，如果仍然失敗，訪問所抽中戶的上上一戶，以此類推）。從筆者的調(diào)查對(duì)象來看，第一批入戶名單中訪問成功率沒有達(dá)到50%，在超過一半的不成功的案例中，拒訪占了絕大部分。在調(diào)查完成之后，項(xiàng)目組只是在成功完成的訪問問卷中剔除了一些無效的問卷，得出完成的有效樣本規(guī)模，并最終未計(jì)算調(diào)查回收率。在國內(nèi)目前所開展的社會(huì)學(xué)調(diào)查研究中，樣本替換現(xiàn)象較為常見。有相當(dāng)多的調(diào)查對(duì)無應(yīng)答單位進(jìn)行了替換處理。樣本替換也是社會(huì)調(diào)查中經(jīng)常使用的一種方法，使用得當(dāng)會(huì)在很大程度上提高調(diào)查的質(zhì)量。這里并不想專門討論樣本替換問題，筆者想強(qiáng)調(diào)的是，這些對(duì)無應(yīng)答單位進(jìn)行替換處理的調(diào)查中，有一些甚至是大部分并未全面保存有關(guān)初始應(yīng)答單位的替換記錄（郝大海，2008），甚至完全沒有這方面的記錄。在這些調(diào)查之中，真實(shí)的調(diào)查回收率已經(jīng)被隱藏起來了，而根據(jù)回收率定義所得到的理論上的回收率卻是虛高的，是不真實(shí)的。回收率作為樣本代表性的一個(gè)重要指標(biāo)，缺失或者不真實(shí)的狀況將嚴(yán)重動(dòng)搖其研究結(jié)論的可靠性。為了保證推論的有效，部分調(diào)查研究的調(diào)查回收率往往是一個(gè)理論上的虛假回收率，并非其實(shí)際的回收率，甚至有些調(diào)查的回收率可能僅僅是完成的有效樣本規(guī)模與完成的樣本規(guī)模之比（百分比的形式）。調(diào)查研究作為社會(huì)學(xué)研究中最重要的一種“科學(xué)”方法，必須遵循一套嚴(yán)格的程序，確保資料的信度和效度。但是實(shí)地執(zhí)行過程中的對(duì)樣本替換的不規(guī)范操作，使這一科學(xué)”方法偏離了軌道，無法得出能代表其樣本質(zhì)量的調(diào)查回收率，甚至產(chǎn)生一個(gè)虛假的調(diào)查回收率。對(duì)此，風(fēng)笑天（2007）認(rèn)為對(duì)于調(diào)查中的無回答現(xiàn)象，比較合適的做法是先按照正規(guī)的抽樣設(shè)計(jì)，將可能的無回答比例考慮進(jìn)去，計(jì)算出相對(duì)較大的樣本容量。這樣能方便計(jì)算調(diào)查回答率。如果要采用樣本替換，則需要研究者實(shí)地執(zhí)行過程中，嚴(yán)格遵循研究設(shè)計(jì)，同時(shí)要考慮樣本替換對(duì)整個(gè)調(diào)查的影響。在整個(gè)調(diào)查過程中要全面保存替換記錄，并在調(diào)查結(jié)果中如實(shí)地呈現(xiàn)給讀者。國內(nèi)一些調(diào)查正是由于沒有能夠保存這些數(shù)據(jù)，而在回收率上出現(xiàn)了問題。在今后的社會(huì)調(diào)查中，應(yīng)該制定出保存調(diào)查執(zhí)行數(shù)據(jù)的辦法，嚴(yán)格執(zhí)行，以確保調(diào)查的信度和質(zhì)量。