原创作者:胡婧炜
在问卷调查中,设计者经常会遇到各种各样的“坑”,一不小心就会犯错误。比如以下的各种效应(Effect)就是大量的研究者从他们做调查的经验中总结出来的人们可能会踩的“坑”,让我们来了解一下。
首因效应指受访者在面临一组选项时,更倾向于选择排列靠前的选项;近因效应正好相反,指受访者在面临一组选项时,更倾向于选择排列靠后的选项。
研究者发现,在以视觉形式呈现的问卷中,如纸笔访问,经常会出现首因效应。对此,一种合理的解释是受访者在从前往后读选项时会尽量减少自己的工作量,当碰到一个差不多的答案时,便会停止读取选项,而不会继续往下直至读到与自己更匹配的选项为止,从而导致排在前面的选项更可能被选中。
近因效应则更多地出现在以听觉形式呈现的问卷中,如电访。在听访员读问题时,受访者理解问题的顺序和视觉呈现的问卷是相反的,他们会从最后一个听到的选项开始往前考虑,当碰到一个差不多的答案时,他们便会停止继续思考更前面的可能与自己更匹配的选项,因而导致更多后面的选项被选择的状况。对于近因效应还有一种解释是受访者会忘记前面的选项,而更多地记得后面的选项,因此选择后面选项的可能性会更高。
研究者发现,在回答一些敏感性问题时,受访者会倾向于提供一个更符合社会期望的、能更好地表现其个人形象的答案,而非填报真实的情况。这种敏感性问题分为两类,一类是符合社会期望的问题,比如提问受访者运动的频率、去图书馆的频率、是否系安全带等,对于这类问题,受访者倾向于高报其发生的频率;另一类是不符合社会期望的问题,比如是否吸毒、酗酒、违规驾驶等,对于这类问题,受访者往往倾向于低报其发生的频率。
访问方式效应(Mode Effect)
调查中的访问方式一般包括面访、电话访问、网络访问等。为了最大程度地提高应答率和降低调查成本,现在比较流行混合访问的方式,即在一项调查中混合使用多种访问方式,比如在同一项调查中,对一部分人采用电话访问,另一部分人采用网络访问。访问方式效应指的就是在混合访问的过程中,不同的访问方式所带来的数据结果的系统性差异。
比如,如上文提到的,在选项的选择上,视觉呈现的访问方式(如网络访问)更容易出现首因效应,而听觉形式呈现的访问方式(如电访)更容易出现近因效应。
再如,很多研究者发现,相比有访员在场的访问方式(如面访、电访),没有访员在场的访问方式(如网络访问)能够有效降低上文提到的社会期望效应,因为在没有访员在场的情况下,人们更容易说出实话。
因此,在一项调查中,如果一组人采用一种访问方式,另一组人采用另一种访问方式,当两组人的答案存在差异时,我们需要考虑这种差异是这两组人之间实际存在的差异,还只是因为访问方式不同造成的差异,即所谓的访问方式效应。
在访问过程中,访员自身的一些属性或者行为可能会对受访者的答案造成系统性的影响,这种影响被称为访员效应。
很多研究发现访员的性别和种族会导致访员效应。比如Kane和Macaulay(1993)发现,相比男性访员,当访员是女性时,男性和女性受访者在答题过程中均表达出更强的性别平等的主张,如有更多的男性受访者表示他们在家庭中分担照顾孩子的工作,也有更多的女性受访者表示她们支持女权主义政策。
访员的一些行为,如访员的资历、经验等,也会导致访员效应。访员经验越丰富,受访者的应答率就越高,但这并不意味着访问的质量一定更高。比如Hughes等(2002)在一项关于使用非法药物的研究中发现,没有经验的访员所访问的人群非法使用药物的比例比有经验的访员所访问的人群高了21%,因为有经验的访员更可能会告诉受访者在"是否非法使用过药物"这一筛选题中回答“否”来避免回答更多相关的问题。
上下文效应指受访者在一些问题上的观点、态度受到前面问题的影响而发生了改变。
比如在一项经典的研究中(Schuman & Presser 1981; Schuman1992),研究者将受访者分为A、B两组,每组的问题分别是这样子的:
A组:
B组:
可以看出,A、B两组唯一的区别是A组先问因不想要更多孩子而堕胎一题,B组后问因不想要更多孩子而堕胎一题。研究者比对两组受访者支持因不想要孩子而堕胎的比例。
实验结果显示,在B组中,由于有胚胎缺陷这种堕胎原因在前面做对比,不想要孩子这一堕胎原因显得很没有说服力,因而支持因不想要孩子而堕胎的比例更低。
相比之下,A组将是否支持因不想要孩子而堕胎排在前面,由于没有受到因胚胎缺陷而堕胎一题的影响,支持因不想要孩子而堕胎的比例相比B组更高。
面板效应发生在追踪调查中,受访者在后面轮次的调查中的答案受到前面轮次的调查的影响,导致研究者所观察到随时间发生的变化并不是真实环境下自然发生的变化,而是受访者受之前调查的影响而发生的改变。
这种改变有时候是通过影响受访者的填答行为而导致的。受访者在经过多轮调查后,可能更加清楚答题的程序,对访员更加信任,因而能够或者愿意提供更加精确的答案。
比如有研究者发现,在进行了若干轮的日常消费行为调查后,受访者开始有意识地收集整理日常消费的票据,以便在作答时能够提供更完整精准的答案。
当然,有时候这种改变也可能是负面的,比如在经过多轮的调查后,受访者会逐渐发现一些走捷径的方法,如对一些筛选题回答“否”相比回答“是”要更节省答题时间,因为回答“是”往往会导致展开很多新的题目。
还有些时候,追踪调查并不只是简单地影响了受访者的填答行为,而是直接改变了受访者的实际行为。
比如Zwane等(2011)发现,接受过一项关于健康和腹泻状况的调查导致受访者更多地使用家庭净水设备;另一项关于家庭健康状况、健康风险行为与保险的调查则明显地导致受访者更多地购买医疗保险。Crossley等(2017)在荷兰的一项研究发现,一项调查中关于养老需求的模块会影响人们实际的储蓄行为,干预组(即回答了该模块)的存钱率相比控制组(即没有回答该模块)要低了3.5%。
在网络调查中,受访者可以使用不同的设备作答,比如常见的有手机、平板和PC。
对于同一类设备,还会涉及到不同的机型和操作系统,比如手机有苹果、华为、小米等多种机型,以及iOS 和Android等系统。
不同的设备、机型、系统之间的差异可能对受访者的填答产生系统性影响,这种影响即设备效应。
比如,很多研究发现,相比在PC上作答,使用手机、平板等移动设备作答时的中断率(即中途退出的比例)更高,对开放性问题的回答越短,答题时间更长。
想了解以上效应产生的具体原因,以及如何减小或避免以上效应带来的数据偏差,请继续关注SurveyPlus后续的方法分享。
参考文献:
Crossley, Thomas F., Jochem deBresser,Liam Delaney, and Joachim Winter (2017), “Can Survey Participation Alter HouseholdSaving Behaviour?” The Economic Journal, 127(606), 2332-2357.
Hughes, Arthur, James Chromy, Katherine Giacoletti,and Dawn Odom (2002), “Impact of Interviewer Experience on Respondent Reportsof Substance Use,” in Redesigning an Ongoing National Household Survey:Methodological Issues, eds.
Joseph Gfroerer, Joe Eyerman, and James Chromy,pp.161-184, DHHS Publication No. SMA 03-3768, Rockville, MD.
Kane, Emily W., and Laura J. Macaulay (1993),“Interviewer Gender and Gender Attitudes,” Public Opinion Quarterly57(1): 1-28.Schuman, H. and S. Presser (1981),Questions and Answers in Attitude Surveys, New York: Academic Press.
Schuman, H. (1992). “Context Effects:State of the Art/State of the Past,” in Context Effects in Social andPsychological Research, eds. N. Schwarz, and S. Sudman, pp.35-47, New York:Springer-Verlag.
Zwane,A., J. Zinman, E.V. Dusen, W.Pariente, C. Null, E. Miguel, M. Kremer, D. Karlan,R. Hornbeck, X. Gine, E. Duflo, F.
Devoto, B. Crepon, and A. Banerjee (2011), “BeingSurveyed Can Change Later Behavior and Related Parameter Estimates,” Proceedingsof the National Academy of Sciences, 108(1), 1821–1826.
扫码关注调研家公众号,随时随地获取调研家观点
关注公众号
调研家将为您提供
一对一专业服务,根据您的项目情况,为您定制专属解决方案
Copyright © 2023 SurveyPlus 瀚一数据科技(深圳)有限公司 粤ICP备18114013号 粤公网安备44030502004015号