信度和效度是衡量测量工具科学性和合理性的重要指标。无论是学术调研还是商业市场调研,理解信效度对于提升研究结果的科学性和可信性都至关重要。那么,信效度具体是什么?我们通常都关心哪些类型的信效度呢?今天我们的文章就来介绍一下这两个问题。
信度(reliability)用于衡量测量工具或方法的稳定性,即在相同条件下重复测量时,能否获得一致的结果。例如,如果一份问卷在不同时间点对同一组人测量结果差异很大,则说明其信度较低。效度(validity)关注测量工具或方法能否准确地测量目标概念,即是否测量了研究者真正想要研究的问题。比如,一份旨在评估用户满意度的问卷,却更多地测量了用户的购买频率,这就是效度不足的表现。
人们通常以打靶图来描述信度和效度这两个概念。如果我们将不同次打靶的结果视为多次测量的结果,将靶心视为测量的目标,那么不同次打靶落点位置的一致性反映了信度,而落点与靶心的距离则反映了效度。
社会科学研究中经常需要测量一些抽象的概念,比如自尊心,幸福感,同理心等,其中有些抽象的概念可能还需要通过多维度的指标来进行综合测量。为了测量这些概念而使用到的测量工具(通常指量表)并不能随意设计,必须同时保证信度和效度两个要素。
测量工具的信度受很多因素影响,不同的因素对应不同的信度类型。具体来说,如果我们关心测量工具多次测量的结果是否一致(比如一套心理量表测量是否稳定),我们需要使用同一工具对同一群体在不同的时间点进行至少两次测量,并对两次测量结果进行相关性分析,这种方法所计算的相关系数就是重测信度(test-retest reliability)。
另一种常见类型的信度系数是内在一致性信度(internal consistency reliability), 它主要关注测量工具内部多个题目之间的一致性,人们通常通过Cronbach’s alpha这一统计量来检验这一相关性。Cronbach’s alpha的数值一般在0~1之间,数值越大,代表测量工具中各个试题之间的内在一致性越高。
效度评估的出发点是测量目标的理论框架、维度、它与其他变量之间的关系如何、它能预测什么行为等。明确了测量目标的理论框架,研究者可以从不同角度来评估测量结果与测量目标的符合程度。以下是几种典型的效度类型:
内容效度关注测量内容是否覆盖了目标概念的所有方面。一个测试或调查的测量内容必须覆盖目标测量主体的所有相关部分,才能产生有效的结果。如果测量中缺少了某些方面,研究结论就会出现偏差。
比如说,如果研究者设计了一份问卷来测量受访者的认知能力,但是只包含了数学题,而忽视了其他的认知维度(如语言能力、推理能力等),那么这份问卷的内容效度是比较低的,因为它无法全面反映认知能力这一目标概念。
建构效度关注测量工具能否准确地测量研究者所要测量的目标概念。研究中的一些抽象的、无法直接观察到的概念或特征,比如智力、焦虑、幸福感等,可以通过观察其他与之相关的指标特征(indicator)来测量。建构效度就是确保我们用以测量的这些指标特征能够真正地反映我们想要测量的概念。
以抑郁为例,现实中并没有一种可以被直接测量的叫做“抑郁”的客观实体,但是基于心理学的研究和理论,我们可以通过一些相关的症状和指征来测量抑郁,比如说缺乏自信、缺少精力等。如果我们设计一份问卷来测量抑郁,我们需要确保这份问卷真正测量了抑郁这一概念,而不是受访者的情绪、自尊、焦虑或者其他一些不相关的概念。
效标效度评估一项测量在多大程度上能够预测特定的结果,或者多大程度上能够与外部公认的“标准”测量方法产生一致的结果。检测效标效度的关键是找到一个被广泛认可有效的、经过验证的、通常被称之为“金标准”的效标变量,如果测量结果与这个效标变量的相关性高,就证明它有好的效标效度。
举例来说,一个公司开发了一份性格测试,用来筛选优秀的销售人员。如果过往的很多研究都证实了一个人的性格与销售业绩高度相关,而该公司的这套性格测试的结果正好能够准确地预测求职者在入职后的销售业绩,那么可以说该公司的这套性格测试具有良好的效标效度。
有些读者看到这里可能会问,我们平时经常还会听到统计效度、内部效度和外部效度,这些效度又都是什么呢?我们在上文描述的都是测量层面的效度,这些则都是统计推断层面的效度。
统计效度衡量的是研究结果在统计意义上的可靠性和有效性。统计效度问题指由于数据分析技术或统计方法的使用不当,如样本量不足、统计模型选择错误等,而导致的数据结论不可靠的问题。
比如说,调查的样本量不足,统计效力不够,导致自变量与因变量之间的相关关系无法被准确地检测到,如果我们因此得出自变量与因变量之间没有关系的结论,那么这个结论就是缺乏统计效度的。
内部效度考察的是一项研究能否准确地测量因变量与自变量之间的因果关系,而不会被其他无关的外部因素或随机误差所影响。
比如说,如果我们想研究饮食对体重的影响,但没有控制受访者的运动量,如果研究结果表明某种饮食和体重变化相关,那么这个结论可能是缺乏内部效度的,因为受访者体重的变化可能与运动量相关,而不是饮食本身导致的。
外部效度评估的是研究结论能否推广到其他情境或更大范围的人群,它关注的是研究结论在样本以外的总体中是否适用。
举例来说,某一项研究想了解大学生社团活动参与度与学习成绩的关系,但只调查了一所大学的学生,那么这项研究所得出的结论的外部效度可能是不够的,它只能反映这一所大学学生的情况,而不能推广到其他的大学生。
以上便是《信效度解读:信度、效度的概念与类型》的全部内容啦,后续调研家会持续更新信效度相关文章,包括信效度的评估方法、信效度的常见问题等,欢迎大家关注调研家。
©图片来源于网络
「调研家SurveyPlus」是一款面向专业市场研究、学术研究、社会调查人士和机构的在线问卷调研平台,可实现复杂的逻辑跳转、随机实验、质量控制、追踪访问等硬核问卷设计功能,支持多渠道发送及实时数据分析。
同时,「调研家SurveyPlus」提供样本服务,通过精准定位目标人群,快速完成数据回收,并严格把控数据质量,助力您高效完成调研项目。
扫码关注调研家公众号,随时随地获取调研家观点
关注公众号
调研家将为您提供
一对一专业服务,根据您的项目情况,为您定制专属解决方案
Copyright © 2023 SurveyPlus 瀚一数据科技(深圳)有限公司 粤ICP备18114013号
粤公网安备44030502004015号