你真的会提问吗?小心这7种问卷设计常犯的错误
发布时间:2023/08/08 00:00 浏览:1115
作者:Qualtrics
来源:
调查问题错误1:诱导性词汇/问题Survey Question Mistake #1: Failing to Avoid Leading Words / Questions
细微的措辞差异会产生很大的结果差异。
例如,不确切的词语和想法可能会在你的调查中造成一定程度的混乱与歧义。“可能(could)”、“应该(should)”和“有可能(might)”听起来都差不多,但对一个问题的同意程度可能会产生20%的差异。
除此之外,例如“强制(force)”和“禁止(prohibit)”等语气强烈的词语,代表控制或行动,可能会对你的结果造成偏差。
例如:
政府应该强制(force)您交更多的税。
这个态度量表问题(agreement scale question)让增税听起来更加糟糕。
当调查问题读起来更像是规范性陈述,而不是寻求客观反馈的问题时,任何衡量反馈的能力都会变得困难。
例如:
您如何评价传奇外野手乔·迪马吉奥的职业生涯?
这个调查问题告诉你,乔·迪马吉奥是一位传奇外野手。
该类型的词语会误导受访者。
用“棒球”替代“传奇”如何?
例如:
您如何评价棒球外野手乔·迪马吉奥的职业生涯?
像这样的评分量表问题从一开始就能得到更准确的答案。
调查问题错误2:未能给出相互排斥的选项Survey Question Mistake #2: Failing to Give Mutually Exclusive Choices
多选题的选项应该是相互排斥的,以便受访者能够做出明确的选择。不要给受访者制造歧义。
回看你的调查问卷,并找出受访者可能会因太多正确答案、或没有单一的正确答案可供选择而陷入困境。
例如:
您的年龄是多少?
· 0–10
· 10–20
· 20–30
· 30–40
· 40+
如果你是10岁、20岁、30岁,你应该选哪个选项呢?
诸如此类的调查问题会让受访者泄气、也会让你的结果无效。
例如:
您拥有什么类型的车辆?
· 货车
· 越野车
· 轿车
这个问题有着同样的错误。
如果受访者有一辆卡车、混合动力车、敞篷车、跨界车、摩托车或根本没有车辆,该怎么办?
调查问题错误3:不直接提问Survey Question Mistake #3: Not Asking Direct Questions
如果问题含糊不清,不能传达你的意图,则会限制结果的有用性。
要确保受访者知道你在问什么。
例如:
对于改进汤姆番茄汁,您有什么建议?
这个问题可能是为了获得关于改善口味的建议,但受访者可能会提供关于罐头或瓶子的类型和质地、关于混合果汁的建议,甚至是关于使用番茄汁作为调酒的软饮料或在食谱中使用的建议。
例如:
您喜欢做什么来娱乐?
结果发现受访者喜欢玩拼字游戏,但这并不是研究人员想要的答案。
但这很可能是收到的回答。
该问题中,不清楚研究人员询问的是电影还是其他形式的付费娱乐,受访者就可能会从多个方面回答这个问题。
调查问题错误4:忘记添加“不愿回答”选项Survey Question Mistake #4: Forgetting to Add a “Prefer Not to Answer” Option
有时,受访者可能不想让你收集到某些类型的信息,或者可能不想向你提供所请求的信息类型。
有关收入、职业、财务、家庭生活、个人卫生以及个人、政治或宗教信仰的问题可能太具冒犯性,会被受访者拒绝回答。
激励措施和保密保证可以使获取私人信息变得容易一些。
虽然目前的调研并不认为PNA(Prefer Not to Answer不愿回答)选项的设立会提高数据质量或回复率,但有许多受访者欣赏这种保密选项。
此外,不同的文化群体也可能有不同的回答。
最近的一项研究发现,美国受访者会跳过敏感问题,而亚洲受访者经常完全中断调查。
例如:
您属于哪个民族?
您的年龄是多少?
您在上次选举中投票了吗?
您的宗教信仰是什么?
您的政治信仰是什么?
您的家庭年收入是多少?
只有在绝对必要的情况下,才应提出这类问题。
此外,它们应始终包括一个无回答的选项。(例如:“不想回答”)。
调查问题错误5:没有涵盖所有可能的答案选项Survey Question Mistake #5: Failing to Cover All Possible Answer Choices
你是否涵盖了所有选项?
如果不确定,请使用“其他(请详细说明)”作为选项进行预测试。
如果超过10%的受访者(在预测试或其他情况下)选择了“其他”,那么你可能遗漏了一个答案选项。
回看测试受访者提供的“其他”中的文本,并将提到频率最高的新选项添加到列表中。
例如:
您显示您每3个月光临一次乔的快餐店。您为什么不经常去乔家吃饭呢?
我家附近没有这家店。
我不喜欢这家店里食物的味道。
从没听说过这家店。
这个问题不包括比如食物的健康程度、价格/价值或一些“其他”原因的其他选项。
超过10%的受访者可能难以回答这个问题。
调查问题错误6:没有谨慎地使用非平衡评级量表Survey Question Mistake #6: Not Using Unbalanced Scales Carefully
非平衡评级量表可能适用于某些情况,而在另一些情况下则会助长偏见。
例如,一家医院可能会使用“极好——非常好——好——一般”的评级量表。
其中“一般”是最低的客户满意度等级,因为他们认为“一般”是绝对不可接受的,需要改正。
关键是要正确解读你对量表的分析。
如果“一般”是评级量表中的最低级,那么略好于“一般”的结果可能并不是一个“好”结果。
此外,量表等级点应表示量表上的“等距点”。
也就是说,从一个等级点到下一个等级点,它们应该具有相同的概念距离(conceptual distance)。
例如,研究员们已经证明了一些近乎等距的等级点:
非常不同意——不同意——中立——同意——非常同意等级量表。
将最低等级设置为可能的最差情况,将最高等级设置为可能的最佳情况,然后将(其他)等级点的标签均匀分布在中间。
例如:
您如何看待疯狂贾斯汀的汽车修理?
挺好的
很好的
极好的
好的不可思议
所见过的最好的
这个问题的等级中心是“极好的”,最低等级是“挺好的”。这个问题无法收集到受访者的真实意见。
调查问题错误7:没有一次只问一个问题Survey Question Mistake #7: Not Asking Only One Question at a Time
经常有同时问多个问题的诱惑。
这可能会给受访者造成困难,影响他们的回答。
回看每个问题,确保它只问了一个明确的问题。
例如:
对您来说,最快、最经济的互联网服务是什么?
这个问题其实问了两个问题。最快的往往不是最经济的。
例如:
这个周末您出门吃饭或者看一场电影的可能性有多大?
即使“晚餐和电影”是一个常见术语,这也同样是两个问题。
最好将多个活动分成不同的问题,或给受访者以下选项:
晚餐和电影
只有晚餐
只有电影
两者都不