复核谁回答了您的活动问卷
问卷收回了不少回答,您想知道这些回答在多大程度上能代表所有出席的人。
简要回答
把回答者与出席者对照,只使用您手上已有的事实,例如报名类别、出席的场次或地区。如果两组看起来不同,就说明这对结论可能意味着什么,并把局限写在结果旁边。
回答数量多并不能消除偏差。真正说明分数可信程度的,是缺了哪些人。
值得检查的几类偏差
| 类型 | 在活动中的表现 | 要看什么 |
|---|---|---|
| 未回应 | 安静的代表和提早离场的人不作答。 | 按报名类别和场次看回应率。 |
| 自我选择 | 观点强烈的人,无论好坏,最愿意作答。 | 分数分布和评论语气。 |
| 时间 | 晚一周发出,触达的人更少,记忆也更模糊。 | 按发送日和提醒次数看回答。 |
| 可及性与语言 | 有些群体不容易使用链接或语言,参见语言等值。 | 按语言和渠道看回应。 |
| 题目顺序和措辞 | 前面的题目会影响后面的答案。 | 题目顺序和带引导性的措辞。 |
复核顺序
- 按记录能数出来的类别列出出席者,例如会员或非会员、讲者、赞助方代表、现场或线上。
- 按同样的类别统计回答,不要为此额外索取个人信息。
- 把两组数字并排放,找出在回答者中明显比在出席者中少的群体。
- 阅读已回应群体的评论,注意哪些人的看法可能缺失。
- 每项发现写一句说明局限的话,再决定是否还能收集其他证据来填补空白。
把局限写在发现旁边
“多数受访者认为议程有用”这样的话,如果不说明是谁回答的,就不完整。要补上多少人回答、来自哪些群体,以及对其余的人您无法说什么。
除非有问卷方法经验的人认可做法,否则不要加权、外推,或给全体听众报出看似精确的百分比。
如何听到缺席群体的声音
- 对代表不足的群体做简短、有针对性的跟进,并说明目的。
- 与没填表的人做几次简短交谈,或抽取一部分开放评论并编码。
- 使用并非自我申报的证据,例如后续场次的出席或再次报名,并如实标注。
- 在报告中明确写出这个群体没有被听到。
复核之后怎么用
把这些局限带入报告和改进优先级,避免小群体提出的问题推动它无法支撑的决定。
把复核表与问卷文件一起存档,让明年的团队能改善回应的构成。
实例演示 · 虚构示例
讲者回答最多的研讨会
机构与数字均为虚构,用来展示复核的写法。
虚构成人教育顾问协会举办一天的研讨会,有160位报名参加者,收到48份问卷回答。秘书处按群体把出席记录与回答作对照。
讲者和委员会成员占了48份中的12份,而他们在出席者中只占很小比例。在下午场之前离场的代表几乎没有回答。因此报告按群体给出回答数量,把分数描述为留到最后的人的看法,并加上一项行动:下次在报名时向提早离场者问一个简短问题。
| 群体 | 出席 | 回答 | 备注 |
|---|---|---|---|
| 会员 | 92 | 20 | 回答比例低于其出席占比 |
| 非会员 | 36 | 10 | 群体较小,需谨慎解读 |
| 讲者与委员会 | 32 | 18 | 在回答中占比过高 |
可直接使用
回应偏差复核工作表
每个能从记录中统计的群体填一行,使用您自己活动的真实数字。
- 出席总数与回答总数,以及问卷开放的日期范围:
- 问卷是否以多种语言或渠道发出?各自的回应数:
- 哪个群体缺失或人数极少:
- 提早离场者或最后一天的场次是否覆盖较少?
- 一句话说明结论代表谁、不代表谁:
- 为填补最大空白将收集的额外证据:
| 群体 | 出席 | 回答 | 占比偏高还是偏低? | 可能意味着什么 | 写入报告的局限说明 |
|---|---|---|---|---|---|
自己处理,还是寻求外部协助?
以下情况,团队通常可以自行处理
- 您持有按群体划分的报名数据,可以与回答对照。
- 结果用于内部学习,而不是向资助方或董事会提供证明。
- 听众规模小,您认识大部分参加者。
以下情况,外部策划协助更有价值
- 结论将提交董事会或资助方,需要清楚说明局限。
- 回答很少或明显偏向某一群体,而委员会仍想据此行动。
- 多个团队分别持有出席数据和问卷数据的不同部分。
想把回应复核纳入计划?
如果团队希望在问卷开放前就把出席分组、回应检查和局限说明谈妥,活动蓝图(Event Blueprint)可以写明问卷范围、谁持有哪些数据,以及局限如何报告。结果的解读仍由您的委员会负责。您可以先用活动反馈问卷生成器起草题目和衡量项目对应表。
主办方常见问题
回应率多少才够?
没有哪个数字能让问卷自动可靠。关键在于谁回答了、谁缺席。报告人数和群体,并清楚写明局限。
可以加权使结果与出席情况一致吗?
加权要求每个群体都有足够的回答,并且处理要谨慎。使用前请咨询有问卷方法经验的人,并清楚标注加权后的数字。
回应偏斜时要放弃这份问卷吗?
通常不必。把它报告为回答者的看法,写明谁缺席,避免对全体听众下结论。它仍可能指出值得跟进的问题。
相关资源
内容记录: 草稿。根据所引用资料撰写,并经自动规则检查;尚未经过独立审阅。