作者:胡婧炜
调查实验(Survey Experiment),顾名思义,是一种将科学实验设计用于问卷调查中的方法。通过在调查问卷中引入随机分组处理和对照组,研究者可以观察不同条件对受访者态度和行为的影响。
调查实验结合了传统问卷调查的广泛覆盖性和实验研究的因果推断能力两方面的优势,解决了基于问卷调查方法基础上的社会科学研究所面临的因果关系不明确的挑战。通过对受访者的随机分组,调查实验能够有效控制外部变量,排除未观测到的个体特征的影响,从而更准确地识别变量间的因果关系。 由于调查实验在因果推断能力上的价值,它被广泛地应用于社会学、政治学等诸多领域。比如在市场研究领域,研究者随机分配受访者观看不同类型的广告,以此来研究不同的广告形式对消费者决策的影响;在公共卫生领域,研究者通过随机分配不同的健康信息内容给受访者学习,以此来研究不同的信息内容对人们健康行为的影响。
相比其他的调查方式,网络调查能够以相对低成本的方式解决调查实验的广泛覆盖性问题。除此之外,网络调查还能够为调查实验的随机分组提供便利。随机分组对于调查实验的成功至关重要,因为它能够确保组与组之间无论是在可观测到特征上还是在不可观测到的特征上都是等同的,唯一的差异来自于干预条件的不同。只有这样我们才能够确保观测结果的差异是受干预条件而非其他因素影响的。网络调查实现了随机分组的自动化,排除了人为实施随机分组可能导致的差错(比如,访员为了回避难以执行的实验条件或因为个人情感偏好而随意改变分组),可以避免因分组不随机而导致的调查结果的偏差。
调研家平台支持多样化的实验设计,无需付费即享其他平台需要付费才能使用的实验功能,下面我们便分享如何通过调研家平台实现不同的实验设计。
联合实验(Conjoint Experiment)通过将多个实验因素(如产品特征、候选人特征、政策措施等属性)的不同水平随机组合在一起呈现给受访者进行选择,以此来量化评估各因素水平对受访者决策的影响程度。相比传统的单因素实验设计方法,联合实验同时考察多个变量的交互作用,更贴近真实的决策情境,因而能够更真实地反映受访者的选择行为和偏好结构。
我们以2021年中国综合社会调查(CGSS)中关于生育意愿的一道联合实验题为例,来看一下如何通过调研家平台轻松快捷地实现联合实验设计。这道题目考查了受访者对于给定的虚拟情境下个体是否应当生育三孩的评估。这些虚拟情境综合了不同经济资源、照料资源和性别偏好的合计54种(3*2*3*3)组合,具体如下:
研究者并不需要根据54种组合编辑出对应的54道题目来进行随机分配。在调研家平台,只需选择联合实验题型,将不同的实验因素的不同取值录入到一道题目中即可(如下图所示),系统将自动进行随机组合。
研究者既可以像CGSS一样,设置每次呈现一个随机组合的虚拟情境给受访者,然后绑定一道量表题供受访者评分(如上图所示),还可以设置一次并列呈现多个虚拟情境,让受访者从中选出一个他们所认为的最应该生育三孩的情境,答题效果如下图所示,每个受访者看到的都是随机分配的不同组合。
通过调研家平台能够轻松搞定联合实验,那么其他一些类型的实验设计就更不在话下了!比较常见的实验设计是将一些简单类型的实验刺激材料(文字、图片、音频、视频等)嵌入到问卷题目中,并随机显示给受访者,以观察不同的实验刺激材料对受访者答题结果的影响。
我们以2013年美国健康与养老调查(HRS)中的一道题为例演示如何在调研家平台实现这一实验设计。这道题目考查受访者主观认为的吸烟、运动和糖尿病这三种情况对人的寿命的影响,他们被随机分配到这三种情况中的一种。原题如下:
【实验刺激1】
B1.现在想象两个和你完全一样的人,一个从年轻时起就经常吸烟,另一个从未吸烟。你认为不吸烟的人会活得更久、差不多一样久,还是活得更短?
1.活得更久
2.活得差不多一样久
3.活得更短
【实验刺激2】
B2.现在想象两个和你完全一样的人,一个从年轻时起就经常锻炼,另一个从不锻炼。你认为锻炼的人会活得更久、差不多一样久,还是活得更短?
1.活得更久
2.活得差不多一样久
3.活得更短
【实验刺激3】
B3.现在想象两个和你完全一样的人,一个从年轻时起就有糖尿病,另一个没有。你认为没有糖尿病的人会活得更久、差不多一样久,还是活得更短?
1.活得更久
2.活得差不多一样久
3.活得更短
在调研家平台,只需依次录入这3道题目,然后在“逻辑”设置页面“问题随机”设置面板中,设置随机显示这3道题目中的1道,便轻松地完成了这一实验设计。每个受访者会被随机分配回答其中的1道题目(可点击文末链接体验答题效果)。
在上一个例子中,我们也可以设置给受访者随机分配三道题目中的任意两道。那么,换一种情形,如果我们需要的不是随机分配任意两道题目,而是捆绑在一起的两道题目呢?比如说,上文中的B1、B2、B3三道题目,我们需要随机分配给受访者要么B1题,要么B2+B3题,应该如何实现这一类的随机实验设计呢?
也难不倒调研家平台!我们接下来以2020年中国家庭追踪调查(CFPS)中的一组题目为例进行演示。在这组题目中,研究者采用了两种不同的提问方式来测量受访者的宗教信仰,以此评估不同的提问方式对于受访者宗教信仰情况的影响。每个受访者被随机分配其中一种提问方式,具体如下:
【提问方式1】
M1. 您是否相信佛或菩萨?1.是 2.否
M2. 您是否相信神仙?1.是 2.否
M3. 您是否相信真主安拉?1.是 2.否
M4. 您是否相信天主?1.是 2.否
M5. 您是否相信耶稣基督?1.是 2.否
【提问方式2】
您是否信仰以下宗教?
N1. 佛教 1.是 2.否
N2. 道教 1.是 2.否
N3. 伊斯兰教 1.是 2.否
N4. 天主教 1.是 2.否
N5. 基督教 1.是 2.否
在这个例子中,每个受访者需要随机分配10道题目中的5道题目,并且需要成组地进行随机分配,而不是任意地随机分配其中5道。在调研家平台,将上述两组题目分别录入两个不同的题组:
然后,在“逻辑”设置页面“题组随机”设置面板中,设置随机显示这两组题目中的1组,这个实验设计同样轻松地完成了。每个受访者会被随机分配到其中的1组题目(可点击文末链接体验答题效果)。同样,我们也可以设置给受访者随机分配多组题目。
在上面宗教信仰的例子中,如果我们想让每组中的5个题目随机进行排序,以减少提问顺序对受访者填答可能产生的影响,应该如何实现呢?
依然难不倒调研家平台!同样,在“逻辑”设置页面“问题随机”设置面板中,设置随机显示全部5道题目并且按照随机顺序进行排序即可。
我们来看一下受访者的答题效果吧,每个受访者看到的题目顺序各不相同:
除了题目随机排序外,有些研究者可能还希望对选项进行随机排序。过往的研究表明,在以视觉呈现的访问模式下(如网络调查、纸笔调查),受访者经常会选择排列靠前的选项,而忽略排列靠后的选项,这种现象也被称为首因效应。研究者希望通过对选项进行随机排序,在统计层面上解决这一效应产生的影响。
我们以1984年综合社会调查(GSS)中一道经典的用于验证首因效应的实验题为例,来演示如何在调研家平台实现选项的随机排序。题目如下:
以下品质中,您认为哪三项是一个孩子最需要具备的?
1.有礼貌
2.努力获取成功
3.诚实
4.整洁干净
5.有良好的判断力
6.有自制力
7.男孩像男孩或女孩像女孩
8.与其他孩子相处融洽
9.听父母的话
10.有责任心
11.体贴他人
12.有好奇心
13.勤奋
在GSS中,研究者设计这道题目随机按正向顺序或反向顺序显示选项。在调研家平台,录入题目后,在题目右侧的设置面板中,选择按照“随机翻转”的方式进行选项随机排序即可实现这一效果:
我们也可以选择按照“随机排序”的方式对选项进行随机排序。在这种设置下,选项不是按照正反两种顺序随机排序,而是按照任意顺序进行排序,答题效果如下:
以上便是通过调研家平台实施调查实验的一些具体的例子(点击右侧→链接体验本文全部示例的答题效果)。欢迎使用调研家平台进行实验设计,多种实验功能限时免费使用,助力研究者实现多样化的调查实验,还不快来体验!!
你也可以同步通过调研家社区为你的调查实验收集数据,调研家社区拥有超过100万真人高质量样本,并承诺交付100%有效数据,同时,数据质量达到国际权威期刊认可,已覆盖社会学、心理学、公共卫生、新闻传播等多个领域,如需专业、高效的调查实验数据收集,欢迎进入调研家官网点击【立即咨询】留下您的联系方式。
扫码关注调研家公众号,随时随地获取调研家观点
关注公众号
调研家将为您提供
一对一专业服务,根据您的项目情况,为您定制专属解决方案
Copyright © 2023 SurveyPlus 瀚一数据科技(深圳)有限公司 粤ICP备18114013号 粤公网安备44030502004015号