关于开放性问题的讨论，过往大多局限于和封闭式问题的比较。然而，在实际应用中，人们对于开放性问题的疑问远不止于此。比如，在网络调查流行的大背景下，以往在面访模式中提问的开放性问题是否同样适用于网络调查模式呢？相比面访模式，网络调查模式收集的开放性问题的数据质量会更低吗？

今天我们将分享Antoun和Presser在2024年Public Opinion Quarterly发表的一篇文章，希望可以一定程度上回应研究者的上述问题。

研究背景：网络调查适合提问开放性问题吗？

长期以来，人们一直觉得受访者自填的模式不适合提问开放性问题。比如有些研究者认为，通过写的方式来表达观点比通过口头形式表达观点更难；而且，由于没有访员的询问和引导，受访者写下来的答案经常难以解读，或者有时候他们根本不愿意写下答案。

然而，这些观点大多形成于纸笔访问的年代。在网络调查中，人们发现了一些新的证据。虽然网络调查与纸笔访问同为受访者自填的模式，但是人们通过敲击键盘写下答案比通过纸笔写下答案要容易得多，他们因此更愿意输出文字。而且，网络调查模式同样可以模拟面访中访员的追问技巧。那么这些是否意味着，网络调查模式有可能获得更高质量的开放性问题的答案呢？

研究设计：如何评估开放性问题的数据质量？

带着上述问题，Antoun和Presser展开了研究。他们围绕开放性问题答案的内容、答案的文明程度、答案的建构效度三个维度，比较了开放性问题在网络调查和面访这两种模式下的表现差异。

两位研究者使用的数据来自于2016年美国国家选举调查（American National Election Studies，ANES）。该调查在2016年包含了两个独立的概率抽样样本，其中一个采用了面访模式，另一个采用了网络调查模式。两种调查模式下的受访者均需参与两轮访问，一轮访问发生在2016年美国大选前，另一轮访问发生在2016年美国大选后。最终共有1180名和3090名受访者分别参与了第一轮的面访和网络调查，其中分别有90%和84%的受访者继续参与了第二轮追访。

两位研究者选取了调查中的三组开放性问题进行分析，具体如下：

第一组：国家重要问题

• 您觉得我们国家面临的最重要的问题是什么？如果您觉得重要的问题不止一个，请简要描述其中的一个问题。
• 您还能想到我们国家面临的其它重要问题吗？

第二组：总统候选人偏好

• 希拉里·克林顿有什么特别之处会让您想给她投支持票吗？如果有，是什么呢？
• 希拉里·克林顿有什么特别之处会让您想给她投反对票吗？如果有，是什么呢？
• 唐纳德·特朗普有什么特别之处会让您想给他投支持票吗？如果有，是什么呢？
• 唐纳德·特朗普有什么特别之处会让您想给他投支持票吗？如果有，是什么呢？

第三组：政党偏好

• 民主党有令您喜欢的特别之处吗？如果有，是什么呢？
• 民主党有令您不喜欢的特别之处吗？如果有，是什么呢？
• 共和党有令您喜欢的特别之处吗？如果有，是什么呢？
• 共和党有令您不喜欢的特别之处吗？如果有，是什么呢？

下面我们来看看他们的研究发现吧！
 

结论1：网络调查的填答量更少，但实质内差异不大

Antoun和Presser首先比较了两种调查模式下的缺失值比例。在“国家重要问题”这组题中，两种调查模式的缺失值是一样多的。在“总统候选人偏好”和“政党偏好”两组题中，网络调查模式比面访模式的缺失值更多，即网络调查模式中有更多的受访者选择不回答这些题目。这可能与这两组题以封闭式的提问方式引出问题有关，一旦有了说“不”的机会，网络调查的受访者比面访的受访者更可能选择不回答。

两位研究者同时比较了两种调查模式下受访者的答题字数。数据结果显示，网络调查模式下三组题的答题字数均显著少于面访模式（见下图）。尽管上文提到通过键盘在线答题比通过纸笔答题更容易，但打字毕竟比说话更耗费时间，这可能是造成这一结果的原因。

然而，通过对开放性文本内容的进一步分析，两位研究者发现，尽管网络调查模式下受访者的答案更短，他们答案所体现出来的实质性内容和面访模式却是高度相似的。比如在“国家重要问题”一题中，每一类问题所占的比例在两种调查模式中的差异均不超过3%（见下图）。这意味着网络调查的受访者的填答更短可能只是因为受访者在自填时比向访员口头表述时更简洁集中。

结论2：网络调查回答的文明程度和面访相当

我们经常在社交媒体或网络环境中看到用语不文明甚至网络暴力的情况，Antoun和Presser在他们的研究中也表达了同样的疑虑：由于没有访员在场的社交压力，网络调查模式中的受访者在谈到自己不喜欢的人或者事时会不会更加不文明呢？相比之下，面访模式中的受访者为了维持人与人之间交往的礼貌，是不是更愿意遵守社交用语的规范呢？不过，事实并非如此。在Antoun和Presser的研究中，大概有27.5%的受访者在谈到克林顿和特朗普这两位总统候选人时使用了不文明语言。然而，网络调查模式和面访模式中使用不文明语言的受访者比例并没有差异。

结论3：网络调查回答的建构效度更高

Antoun和Presser接下来比较了面访和网络调查两种模式下获得的答案的建构效度（Construct Validity）。他们根据受访者在第一轮访问中填答的“总统候选人偏好”四道题目的答案生成了一个候选人评价测量指数，用以预测受访者在第二轮访问中填答的实际的投票选择（是投给了克林顿或特朗普）。他们的研究结果发现，网络调查模式在预测投票选择时的有效性更高。相比面访模式中的受访者，网络调查模式中的受访者的候选人评价测量指数与他们之后实际的投票结果的一致性更强：当他们的这一指数更偏向克林顿时，他们之后实际上也确实更可能投票给克林顿，或者当他们的这一指数更偏向特朗普时，他们之后实际上也确实更可能投票给特朗普。这一结果可能与网络调查中的受访者有更多自由思考的时间有关，他们不仅可以经过深思熟虑后再进行回答，还可以随时回顾和修正自己的答案；另一方面，这也可能是因为面访中的受访者迫于访员不断追问的压力，而提供了一些并不重要相关的信息。
 

小结

Antoun和Presser的研究结果挑战了开放性问题不适用于自填问卷的传统观点。开放性问题在数据收集上的难度确实较大，但至少网络调查不用比面访更担心开放性问题的使用。尽管面访模式在信息收集的量上稍有优势，但在其他方面（如预测效度）并未体现出显著的优越性。相反，网络调查在不受访员影响的情况下，一定程度上也许能更准确地反映受访者的核心关切。Antoun和Presser研究的局限性在于他们所使用的数据来源于两个独立样本，这两个样本在实际调查实施的过程中多多少少会存在一些差异，这可能会对研究结论产生一定干扰。此外，两位研究者仅研究了特定类型的开放性问题，这些结论放到其他的开放性问题上是否同样适用还有待更多的研究验证。
 

【参考文献】

Antoun, Christopher, and Stanley Presser. 2024. “Open Questions Self-Administered on the Web versus Interviewer-Administered in Person: The 2016 American National Election Study Mode Comparison.” Public Opinion Quarterly 88: 249-267. 
 

©图片来源网络