专业人士都在用的调研平台

问卷设计|问题选项的顺序效应

调研家SurveyPlus
2021-08-27

原创作者:胡婧炜、方悦如

 

我们先来做一个小测试吧。

 

现在给出一组无意义字母组合,请大家在认真看过一次后尽可能地进行复述。

 

cbu 

scv

evj 

wpq 

rsl 

qos 

gqs 

qke 

wzo

fmw 

qnb 

osc

 

大家都记住哪些了呢?是不是前面几个和后面几个?这是为什么呢?

图片来自网络

 

一、 什么是选项的顺序效应(Response Order Effect)

 

这里引入两个心理学上的概念:首因效应(Primacy Effect)近因效应(Recency Effect)

 

首因效应是指最初接触到的信息会形成更为深刻的印象;近因效应是指新接受的刺激更容易被大脑提取。

 

当人们识记一系列事物时,对开头部分和末尾部分项目的记忆效果优于中间部分项目。信息前后间隔时间越长,首因效应和近因效应就会越明显。

 

这种顺序效应不仅是出现识记上,我们生活中的很多行为选择都无形地受到顺序的影响:比如有无厘头的研究者发现卫生间的隔间中首尾的使用率更高。

 

图片来自网络

 

问卷调查中同样存在这样的效应,我们把这种问题选项的排列顺序对受访者答案的影响,统称为选项的顺序效应

 

选项类型不同,其顺序效应的机制也不一样,我们接下来将其分为类别型选项评分量表型选来进一步介绍。

 

二、 类别型选项(Categorical Response Options)

 

举个简单的例子:

 

你更喜欢以下哪种蔬菜? 1. 豌豆 2. 菠菜 3. 胡萝卜 4. 西红柿 5. 黄瓜 6. 萝卜

 

图片来自网络

 

 

相关研究表明更多的受访者会选择排在前面的豌豆、菠菜,或者是排在后面黄瓜、萝卜。

 

学者们使用走捷径理论(Satisficing Theory)来解释这种顺序效应(Krosnick & Presser,2010)。以上面的问题为例,一个理想型的认真答题者会仔细思考所有的6个选项,斟酌到底哪个是自己最喜欢的蔬菜;而一个走捷径的受访者则不会考虑那么多,当出现的“豌豆”这个选项还算过得去时,他们便不再考虑后面选项了,哪怕其实相比豌豆他们更喜欢胡萝卜。在这时,首因效应便出现了,即靠前的选项更受青睐!

 

但这通常只是选项通过视觉传递给受访者时产生的效果(就像我们在文中举的例子便是视觉呈现,也是线上调查最常见的形式)。而当选项通过听觉传递给受访者时(比如面访或者电访),在听访员读完所有选项后,受访者更容易记住的则是后面的选项,从后往前进行选择对他们来说也更容易,故在这种情况下近因效应更可能出现。

 

可见,访问的模式决定了顺序效应的表现形式。而顺序效应的强弱则和受访者的个体特征相关,受访者的认知能力越低,顺序效应越强。此外,如果调查的问题太难,受访者在答题过程中更容易疲惫,顺序效应也会越发明显。

 

三、评分量表型选项(Rating Scales)

 

很多的主观态度题采用评分量表的形式。举个例子:

 

你在多大程度上同意“经济发展通常导致自由民主”这个观点? 1.完全同意 2.比较同意 3.既不同意也不反对 4.比较不同意 5.完全不同意

 

与类别型选项不同,评分量表型选项必须遵循循序渐进的内在逻辑,因此只可能有正序或者倒序两种排序,而不能任意打乱选项间的顺序。

 

比如在上面的例子中,可以将积极的选项放在前面,将消极的选项放在后面(如上述例子),也可以将这个顺序颠倒过来,将消极的选项放在前面,将积极的选项放在最后。

 

这个看似微不足道的设计决定在一定程度上会影响受访者的答案,导致数据分布的改变。比如Toepoel 等学者(2009)在一项研究中比较了同一道题(Overall, how would you rate the quality of education in the Netherlands? 总的来说,你会如何评价荷兰的教育质量?)

 

在正序和倒序两种选项排序方式下,各个选项的被选中的百分比,发现相比从负向到正向排序,当量表从正向到负向排序时,受访者正面评价的比例更高(图一)。

 

具体来说,当选项从“非常好”到“差”呈现时,受访者选择更为正面,倾向于选择“好”;当选项从“差”到“非常好”呈现时,受访者的选择则较为负面,体现了选项顺序效应中的首因效应。

 

图一

 

走捷径理论同样适用于评分量表型选项中的顺序效应。相比类别型选项,量表型选项的不同选项间没有明确、精准的边界,而只是反映了程度上的差别,因此受访者经常会在某两个相邻的选项间举棋不定。

 

而一个走捷径的受访者则不用为此烦恼,他们遇到一个合理范围内的选项时,便不再考虑接下来的选项了,首因效应因此出现。

图片来自网络

 

需要注意的是,与类别型选项不同,量表型选项相当于一个有内在逻辑的序列(而不像类别型选项那样杂乱无章),这弱化了记忆的难度以及从后往前思考和选择选项的必要性,因此即便在听觉呈现的访问模式中,往往表现出来的也是首因效应,而不是近因效应。

 

四、减少顺序效应的小技巧(TIPS)

 

问题选项的顺序在某种程度上会影响被访者的最终答案,特别是在被访者没有明确的态度或意见时尤为明显,故在设计问卷时可以巧妙地运用一些技巧来规避这些可能出现的顺序效应。

 

A. 平衡选项的顺序。

既然受访者倾向于选择靠前或靠后的选项,那么打乱选项的顺序可以在统计学意义上削减这种效应。

对于类别型选项来说,我们可以对所有选项进行随机的排序;但如果是评分量表型选项,任意的打乱顺序则会损害量表内在的逻辑性,这时候将量表按正序或者倒序两种顺序随机分派给受访者是比较合理的做法。

 

B. 将大家不太愿意选择的一端作为起始端。

在测量主观态度的量表题中,可以考虑将大家不太愿意选择的一端作为量表的起始端(Bradburn et al. 2004),这样一来可以有效减少首因效应。

比如在人们的日常习惯中,很多人都更倾向于表达许可或者同意的态度,而不太愿意表达反对或者不同意的观点,因此我们可以将量表按照从不同意到同意的顺序进行排序。

 

C. 从受访者答题的认知机制入手,从根源上解决顺序效应。

如果顺序效应是由于受访者走捷径引起的,便要想办法减少受访者走捷径的可能性。

如增加被访者回答问题的动力(如给予受访者适当的酬劳、将问卷尽可能缩短),降低任务的难度(如题目和选项都尽可能地简单)等,都是减少走捷径行为的行之有效的方法。

 

References Jon A. Krosnick and Presser S.(2010). Handbook of Survey Research. (2nd ed.) Emerald Group Publishing. Toepoel V., Das M., and Soest A.V. (2006). Design of Web Questionnaires: The Effect of Layout in Rating Scales. Journal of official statistics, 25, 509-528. Bradburn, Norman M., Seymour Sudman, and Brian Wansink. (2004). Asking Questions: The Definitive Guide to Questionnaire Design for Market Research, Political Polls, and Social and Health Questionnaires. San Francisco: Jossey-Bass.

 

相关推荐

随时随地获取 调研家 观点

关注公众号

调研家,专业人士
都在用的调研平台

关注调研家公众号

随时随地了解问卷编辑、数据收集、数据分析干货分享

调研家,专业人士
都在用的调研平台

获取定制解决方案

《调研家服务协议》
已有账户 马上登录

提交成功

感谢您的申请,我们将在24小时内与您联系

知道了

调研家将为您提供

一对一专业服务,根据您的项目情况,为您定制专属解决方案

专业服务助您事半功倍
样本需求
项目定制
  • 请选择您的需求

  • 提交成功

    感谢您的申请,我们将在24小时内与您联系

    企微咨询顾问

    咨询电话

    188 2459 1379

    Copyright © 2023 SurveyPlus 瀚一数据科技(深圳)有限公司 粤ICP备18114013号 粤公网安备44030502004015号