全球调研准则和指导原则
ESOMAR/WAPOR关于民意测验和发布调研的指导原则
世界民意及市场调研协会ESOMAR在130多个国家拥有约4900多名成员,是鼓励、推动和提升市场研究的重要组织。可从www.esomar.org的网址上获取准则和指导原则
世界舆论调研协会是由50多个国家的500多名学术和商业专业人士组成的一个的专业社团,协会通过会议、出版物和个人联系分享舆论调研领域的信息。网址:www.wapor.org。
© 2014 ESOMAR和WAPOR版权所有,2014年8月发布。
本指南以英文起草,英文版本(可在 www.esomar.org和www.wapor.org上获得)是最终版本。在确定适当归属权的情况下,可以复制、分发和传输文本,并且文本应包含以下通知:“©2014 ESOMAR和WAPOR版权所有”
本标准中文版由CMRA标准工作委员会IPSOS翻译
ESOMAR
|
WAPOR
|
Atlas Arena,
|
UNL Gallup Research Center
|
Azië building - 5th floor
|
University of Nebraska-Lincoln
|
Hoogoorddreef 5
|
201 North 13th Street
|
1101 BA Amsterdam
|
Lincoln, NE 68588-0242
|
The Netherlands
|
USA
|
Tel: +31 20 664 2141
|
Telephone: 1 402 472 7720
|
Fax: +31 20 589 7885
|
Fax: +1 402 472 7727
|
Professional.standards@esomar.org
|
|
目录
1 引言和范围
2 定义
3 调研领域的特殊挑战
4 与参与者的关系
4.1 诚实
4.2 专业责任和透明度
4.3 隐私和资料保护
5 与公众的关系
5.1 维护公众信心
5.2 针对发布结果的要求
5.3 可提供的更多信息
5.4 二次报告
6 与客户及其他调研报告的关系
6.1 责任
6.2 合同协议
6.3 档案
7 调研方法的质量和透明度
8 针对特定类型的民意测验和发布调研的附加指导原则
8.1 选举前和投票意向民意测验
8.2 投票后民意测验
8.3 在危机时期的民意测验
8.4 针对资料采集特定模式的要求
9 项目团队
1 引言和范围
舆论是塑造和改造社会的关键力量。许多国家定期进行民意测验和调研,不仅是为了衡量对政党和候选人的支持,还为了了解公众对广泛的社会和政治问题的意见。调研结果通常会在印刷物、在线和广播媒体上发布。
采用适当的方式开展、发布民意测验并进行调研,运用科学的统计手段,为公众,政界人士,媒体等有关群体提供准确、客观的公众行为、态度及其意图。他们为广大公众提供了机会,使其可以发声并收到有关同胞意见的反馈。他们还通过向决策者提供关于公众想法的公正的、无偏见的信息来帮助指导政策。尽管一些民意测验是由政治团体或个人委托来帮助制定策略的,但很多民意测验的目的是了解公众消费。
人们对政治、社会等问题的态度、信念和行为的研究是整个市场和社会研究领域的一部分,但通常它们所涉及的问题也会引发公众更大的兴趣。因此,这些调研结果广为发表并引发广泛争论,而且有时可能以挑衅或政治方式提出这些调研结果。开展民意测验的人对科学界、客户和其他研究用户、受访者和公众负有特殊责任。这一责任不仅意味着使用适当的样本、方法和工具,而且还要向公众提供所需的信息,以确保透明、公正地报告综合文件所支持的结果。
民意测验应接受与其他形式的市场和社会研究完全相同的专业和道德要求,在ICC/ESOMAR市场和社会研究国际准则中列出了调研人员和调研用户所必须遵守的此等要求。该准则规定了专业和道德行为的最低标准。
ESOMAR和WAPOR认识到,在收集和报告民意测验和调研信息方面存在一些特殊问题,因此将这一指导方针作为适用于国际调研的自律框架的一部分。它突出了调研人员以专业和道德的方式开展民意测验的责任,并在报告调研时提供足够的透明度,以便公众能够判断结果的质量。两者都有助于确保公众对民意测验和公开调研的信心。
本指导原则:
• 规定了舆论调研人员必须遵循的道德准则;
• 强调参与者有权享有的权利及安全保障;
• 在结果公布时突出显示要提供的关键信息,以保持透明度;
• 指定多项标准来指导将与委托调研的人员达成的协议,以确保采用公正的方式呈现所公布的调研结果;重点说明在设计和开展此类调研时应用的核心方法论原则;
强调民意测验的一些特定形式所带来的一些其他问题。所有的市场调研、社会调查和民意测试都涉及收集和进一步处理个人资料,这类行为在很多国家都受到法律的监管。此外,某些国家对选举前民意测验结果的执行和发布进行监管。虽然ESOMAR和WAPOR收集有关这些限制要求的信息,但调研人员必须确认哪些要求是最新的,因为本指导原则不能取代法律专家和自律机构的建议。
在本文件中,“必须”一词用于标识强制性要求。在描述调研人员为遵守ICC/ESOMAR准则和WAPOR职业道德准则而有义务遵循的原则或做法时,我们使用“必须”一词。描述实施时使用“应该”一词。这个用法的意思是承认调研人员可以根据他们的调研的设计,选择以不同的方式实施某个原则或做法。
2 定义
在本指导准则中,下列定义适用:
民意测验和意见调查包括所有使用应用社会科学的统计和分析方法和技术而获得的有关个人或组织的政策、选举和其他偏好以及行为的所有收集、汇总和解释性系统化信息,以获得洞察力并支持决策。与所有的市场调研一样,在民意测验中,未经明确同意,不会在受访者提供信息后透露受访者的身份,或者试图在采访后影响受访者的意见。
调研人员被定义为在民意测验或调研项目中执行工作或担任顾问的个人、机构或组织。
调研客户是指要求、委托、赞助或者订阅民意测验或者调研项目的全部或者部分的个人或组织。这可能包括媒体组织或政治团体,以及那些在综合调研中购买内容的人。
受访者是指为了民意测验或研究项目目的而被要求提供信息和/或作为收集信息的对象的任何个人或组织。
采访是指为与受访者进行任何形式的联系,以便为意见调研目的而收集信息。
选举前民意测验是在选举之前的任何时间进行的民意测验,包括有关投票意向的问题。
调研报告是指以表格形式或以分析形式提供投票资料,以用于新闻媒体、在线或其他公开发行中的公共消费。
投票后民意测验是为了衡量人们如何投票,通常在投票站外进行。
采访小组定义为潜在调研参与者资料库,这些参与者声明如果被选中,他们将在未来收到资料收集请求后愿意给予合作。
3 调研领域的特殊挑战
民意测验可以用来衡量特定人口或群体的意见,例如一个国家的选民(对于大多数政治民意测验)或家长或工会成员的意见。民意测验可能涉及复杂、敏感的问题,即哪些受访者具有不同程度的知识和兴趣,并且他们的观点可能是半成形的、不 一致的,还可能会有变化。
• 不得将科学民意测验与电话投票或其他自选调研混淆,包括那些对采访特定网站的任何人可能开放的调查,这些调查会吸引那些对调查主题充满激情、但不构成代表性的样本群体。
• 选举前的民意测验只占已发表调研的很少的一部分。不过,它们是抽样理论和调查研究的一个公开程度很高的测试。民意测验一向因准确而著称,但偶尔会有出错的民意测验被广泛的媒体报道,这对民意测验、调研以及舆论调查的形象产生了非常不利的影响。
• 投票后民意测验(在选民离开投票站时采访)更可能被看作是预测民意测验,对这类民意测验的结果的分析经常被用来解释为什么选举结果会这样。
• 收集代表性投票资料的方法因国而异。在有些地方,只有采取面对面的采访方式才比较合适;而在其他地方,民意测验是通过电话或网络进行的,作为民意测验的一种方法,其可行性在很大程度上取决于能否通过电话或互联网获取代表性样本(详见第8节)。
• 调研人员必须特别注意确保调研结果以准确、公正的方式报道,客户和记者在此方面也扮演着关键角色。公布的资料或调研报告通常是对投票结果的唯一披露,也是对市场调研的总体情况的唯一披露。为了很好地报道民意测验结果,记者需要对民意测验和方法有足够的了解,以理解为何有些投票结果需要谨慎处理:因为时间安排、样本量小、回应率低,问题措辞或覆盖范围存在偏差。ESOMAR和WAPOR认真对待这一领域的公共教育需求,并致力于帮助教育记者正确使用民意测验 。
调研人员有责任确保客户与公众对态度、信仰的衡量标准与行为的衡量标准不同这一特殊挑战有合理的理解。
因此,关键信息必须与民意测验或调研报告一起发布,以确保专业、透明的报告方式,使受众有机会判断所提供的证据,并决定是否同意调研所得出的结论。
4 与参与者的关系
4.1 诚实
必须将市场调研、社会研究和民意测验与非研究活动明确区分开来(参见ICC/ESOMAR国际准则第1d条)。这意味着:
• 诸如政治上的电话营销活动,以及其主要目的是获取个人可识别信息以供编制或更新名单、为销售、广告、筹款或其他促销方式获取姓名的活动,不得将其作为民意测验。
• 在进行民意测验或调研的过程中,调研人员不得试图出售(变向推销)任何东西或筹集资金(假调研真筹款)。
• 调研人员不得从事伪装成政治民意测验的负面竞选活动,例如推动投票(其目的是说服大量选民并影响选举结果)。调研活动不得对测验结果进行评估。
4.2 专业责任和透明度
受访者的合作是完全自愿的,在要求受访者合作时不能误导受访者(参见ICC/ESOMAR国际准则第3a条)。这意味着:
• 访问员不得为了确保受访者或其他人的合作而作出自己知道或认为不正确的陈述或承诺 — 例如就采访的可能长度说谎。
• 调研人员必须采取一切合理的预防措施,确保受访者不会因参与民意测验或研究项目(ICC / ESOMAR国际准则第3b条)而被伤害或受到任何不利影响。
• 调研人员应确保其在适当的时间联系潜在受访者。
• 调研人员必须及时表明自己的身份,明确说明调研目的,使受访者可以轻松确认自己的身份并感受到调研人员的诚意。考虑到调研主题可能会很敏感,这一点尤为重要。(ICC/ESOMAR国际准则第4b条)。
4.3隐私和资料保护
调研人员必须尊重资料保护和隐私原则(参见ICC / ESOMAR国际准则第7条)。在世界某些地区,特别是民主不健全的国家,保护受访者以及其提供信息的保密性的意义显得更为重要。在这些地方,受访者可能会特别担心不正当披露的影响。
• 受访者的权利延伸到研究的所有阶段,包括资料收集,在需要采取适当措施的情况下,确保受访者理解和行使以下权利:不参与、随时退出调研采访,要求不得将他们的个人资料提供给他人,并删除或纠正调研人员所持有的关于受访者的不正确的个人资料。
• 只能为用于特定的调研而收集和使用个人信息。调研人员必须确保被调研者的个人身份不被客户/调研用户所知,并且除非在以下情况中向客户/调研用户提供受访者的可识别个人信息(除非国家法规要求更严格的监管):
• 受访者已经明确表达了此意愿和/或
• 受访者已经明确表示同意,并且
• 基于这样的理解,即不会因为其提供信息而直接将其作为商业或政治活动的宣传对象。
• 调研人员必须确保采取适当的安全措施,防止未经授权采访、操纵和披露个人资料,包括任何可能的第三方的此等行为。
5 与公众的关系
5.1 维护公众信心
调研人员的行事方式不得让公众对此行业产生不信任或者对此行业失去信心(参见ICC/ESOMAR国际准则第1条)。民意测验取决于公众参与的意愿以及公众对民意测验和公开调研的准确性和可靠性抱有信心。这意味着调研人员必须:
• 使用适当的方法,在采样方式、用于加权的变量,问题措辞和民意测验的时间这类信息上保持透明度。
• 遵循专业的披露标准,如本文件所示。
• 对不同调研进行合法比较。
• 不要超出民意测验所依据的适当科学原则的限制来发表声明,如就样本规模太小无法确保统计可靠性的分组发表声明。
5.2 关于发布调研结果的要求
大多数民意测验与其他市场调研不同之处在于,经常进行民意测验的目的是用于发布。调研人员在印刷、电视、网络或其他媒体上公布结果时,必须提供有关投票方式的信息(参见ICC/ESOMAR国际准则第11条),详情如下。
披露要求很重要,因为随着民意测验数量和种类的增加,决策者、记者和公众需要区分专业和非专业民意测验,以在评估公众态度时将其作为适当的信息使用。由于所有的调研都变得日益复杂和多样化,近年来民意测验的难度也越来越大,调研人员需要提供更高水平的披露方法。这些信息中有些可能过于详细,无法在报纸或广播中发表,但可以通过网站链接轻松提供。
当民意测验结果在媒体上发表时,研究者必须注意确保他们的解释和陈述与资料完全一致。在所有报告和分析中都必须注意投票设计、执行情况和结果的局限性和弱点。必须在调研报告中或在网上或以其他形式发布以下信息:
• 进行投票表决的组织及其发起人,为投票付费的组织或个人的姓名。如果将内部竞选民意测验公开,则必须指出,这些资料最初是为某个政治实体收集的。
• 被有效代表的群体范围(即受访者)、投票样本是否包括所有成年人或只包括合资格或可能的选民、投票的地理范围(国家、省份、州、选区、城市)以及某些群体是否被排除在设计范围之外(例如,没有固定电话或互联网接入设施的人员)。
• 实际样本量(报告的结果中包括的已完成采访的次数)和地理覆盖范围。对于面对面采访,必须包括采样单位的数量。
• 现场工作日期。
• 使用的采样方法。对于配额样本和其他非概率样本,提供选择样本时所依据的特征。对于概率样本,必须根据要求提供附加信息(包括回复率),如5.3节所示。应提供的进一步信息。
• 调研方式(如面对面、电话采访、互联网采访小组,混合模式)。
• 是否使用加权来调整结果以及用于权重的一般人口统计或行为特征。例如,如果对受访者分布进行调整,以反映已知的人口普查特征或以前选举中已知的投票分布情况,或者对不加权重的调研结果进行调整,则应在调研结果公布中予以说明。应该描述一般的权重变量,但专有算法和具体的权重变量不需要公开。
• 提供的答案是“不知道”的受访者百分比(对于投票意向研究,是指声称自己不会进行投票的人)。必须始终提供这些信息,否则可能会对结果的解释产生重大影响。在比较不同调研的结果时,必须注明这些百分比中的任何变化(小的变化除外)。如果提供“不知道”这一答案的比例是5%或50%,则对于特定调研结果的解释会有很多种。对于投票意图研究,同样的考虑也适用于“不投票”这一答案。
• 询问相关问题。为了避免模棱两可,除非这是一个受众已经熟悉的标准问题,例如关于政府或政府领导的支持率,或者是所引用的之前发表的报告中提供的问题,否则应该给出问题的实际措辞。
• 在决定应发布哪些问题措辞时的指导原则是,消除歧义和误解。如果问题的实际措辞对解释调研结果至关重要,以及问题的形式或其背景可能会影响到所报告的答案时,尤其是在政治或社会敏感的问题上(如对堕胎的态度),这一点尤其重要。
• 当然,在提供表格资料的情况下,必须包括完整的问题措辞。在网站上,必须提供完整的问题措辞,并至少一并提供加权样本的答案 这些答案应该包括“不知道和不回复”。
• 如果断定其他问题可能影响受访者理解某个问题,则应提供关于该问题及其背景的一般指示。
• 如果问题构成更广泛或“综合性”调研的一部分,则必须向任何询问者明确说明这一点,包括在调研问卷中提供关于问题的一般指示。
显然,这类信息最容易在纸质或在线发表的民意测验报告中提供。对于视频和音频报告,可以通过将此类信息包含在民意测验的在线版本或随附的新闻稿中来满足要求。不过,所有的视频和音频报告都必须包括关于民意测验的行为和赞助、采访时间和采访方法的信息。
在准备出版物(印刷品、网上或任何其他媒体)时,与媒体有关的调研的记者和其他用户通常遵循自己的实践和道德准则,其中许多准则要求充分披露投票信息2。本指导原则并不是要以任何方式取代这些准则,而是为了支持这些准则。
印刷出版物适用的措辞形式之一是:
投票方法:在线
采访人数:2222名成年人
采访日期:2014年3月5日到2014年3月7日
执行方:XYZ Research for the Guardian
|
另一种选择是使用这种“资料框”:
本次调研由ABC Research代表News Inc.进行,采用2014年3月1日至5日在全国102个地点接受调研的1111名成年人的全国配额样本进行加权,以反映人口普查特征,如性别、地区和教育层次。
|
另一个示例:
由QRS兴趣小组赞助的XYZ Research所开展的调研。这是一项针对1234名18岁及以上的成年人进行的全国性调研,2014年2月25日至28日期间通过电话采访进行调研,使用随机拨号和家庭内的配额选择,然后加权为国家投票模式。
|
如果一篇文章总结了多个调研的结果,或者提供每个调研的关键信息过于复杂,则可能没有必要在公布的调研报告本身中提供详细信息。如果连续报告一个特定的调研(例如在连续几期报纸中),则可能没有必要在每个问题上重复所有的技术细节。
不过,在更复杂的情况下应提供关键信息:民意测验的执行和赞助、采访时间和采访方法。
5.3 可提供的更多信息
在所有情况下,公平和翔实的报告的基本原则的要求是:清楚了解询问者如何以及在哪里获得额外的细节。调研公司和媒体应在发布调研结果后24小时内在网站上公布所有必要的公共民意测验详情,媒体应提供网站地址或在媒体自身网站上提供详细信息。
在有些国家,作为良好做法的一部分,市场和意见研究协会准则可能要求更详细的披露。
调研公司和媒体必须准备提供必要的技术信息,以根据要求评估公布的调研结果的有效性(参见ICC/ESOMAR国际准则第11条)。这些技术信息可能包括关于以下各项的更详细的描述:组织所采用的抽样和一般加权程序、所有的准则、已公布的所有人口统计资料和其他资料的加权和未加权基础,以及实现的回复率(使用AAPOR标准定义中的一个定义:案例代码的最终处置和调研的结果率)以及任何已知的不回复偏差。
除此以外,调研公司没有义务提供进一步的信息——尽管调研人员通常会准备与询问者更详细地讨论他们的调研方法。
5.4 二次报告
许多公开的民意测验和调研都是由原始客户以外的个人和媒体报道的。通常情况下,调研机构对原始客户以外的人员作出的二次报告或民意测验结果的后续使用不负任何责任。但是,调研机构应该随时准备立即发布必要的评论或信息,以便纠正那些引起它注意的误报或误用结果的事件。
6 与客户及其他调研报告的关系
6.1 责任
为避免可能的误解,调研机构必须在进行调研之前向客户说明(参见ICC/ESOMAR国际准则第12条):
• 调研组织本身受到“准则”要求的约束。
• 客户随后在更广泛的范围公布研究结果符合本指南的要求。
调研人员必须明确区分所提问题直接产生的结果与基于这些结果的任何评论/解释(参见ICC/ ESOMAR国际法第11a条)之间的差别。
如果调研结果由客户公布,则客户应当就调研结果的形式和内容向调研人员咨询。调研人员和客户都有责任确保公布的结果不会产生误导(参见ICC/ESOMAR国际准则第11b条)。这意味着,例如:
• 必须避免基于非重大差异和关系的误导性意见,以确保读者不会感到困惑。
• 需要特别注意确保所使用的图形或图表不会给当前调研结果或趋势带来误导印象。
• 公众必须能够根据调研结果清楚区分调研结果与任何编辑或其他意见的差别。
当一个机构针对已发表的调研进行实地调查,却没有参与分析,则应该注意结果是如何描述的。在调研报告中的包含该机构的名称时,尤其要引起注意。不过,如果没有提及其名称或其无法控制结果的报告方式,则该机构不承担任何责任。
调研人员必须随时准备提供必要的技术信息,以评估任何调研结果的有效性(参见ICC/ESOMAR国际准则第11c条)。此外,除非资料得到充分的支持,否则调研人员不得将其名称与市场调研项目结论的传播联系起来(见“ICC/ ESOMAR国际准则”第11d条)。
这意味着调研人员必须保留在下列情况下发表全部研究(而不仅仅是技术规范)的权利:
• 出版物的简化版歪曲了对结果的分析;
• 出版物的不可预见和删节的版本;
• 出版物不符合事先协议。
如果客户发布来自原本不打算发布的调研资料,则将按照原本已委托发布此等资料的原则来执行本指导准则。
6.2 合同协议
强烈建议调研机构及其客户之间签订确保遵守ICC/ESOMAR准则(见ESOMAR关于调研人员和客户的相互权利和责任的指导准则)的合同,例如:在合同中包括“准则”要求。例如,一些合同规定,调研机构有权在调研的基础上审查出版物的副本。如果调研机构保留调研结果的版权,这也可以帮助减少会误导他人对调研结果进行二次报告的一些问题。
除了其他要求之外,建议此类合同应该包括:
• 澄清一点:如为不同的当事方,合同对作为调研发起人的客户和委托调研的媒体都具有约束力。
• 调研人员对已公布的结果(包括数字和图表)的某种程度的控制。
某些合同还规定,如果委托发布的调研结果没有公布,调研机构本身可以随后(在规定的时间之后)公布调研结果;或者调研人员可以自由地为另一个客户/调研用户重复此调研。
6.3 档案
在某些国家,日益普遍的做法是从民意测验的资料组中提取适当的档案,供学术调研人员和其他人进行后续的二次调研。如果可能出现这种情况,则鼓励调研人员在确保从资料组中删除了所有可识别的受访者特征后,将其资料文件归档。
7 调研方法的质量和透明度
定量科学调研的两个主要特点是,根据明确的统计抽样标准选择受访者以确保代表性,而不是自我选择,并且以一种平衡的方式提出问题。
因此,调研人员必须:
• 明确是否使用概率或配额或其他非概率样本。
• 应要求,允许客户安排检查资料收集和资料准备的质量(参见ICC/ESOMAR国际准则第4条)。
• 为客户和调研用户提供适合客户的调研项目的技术细节,确保项目的设计、执行、报告和记录的准确、透明和客观。
• 注意实地考察的时间、访问员的培训、样本选择的数量、方法以及结果的权重。
以下部分包括开展最明显类型的民意测验的方法和实践考虑,以及资料收集的各种方式。
8 针对特定类型的民意测验和发布调研的附加指导原则
8.1 选举前和投票意向民意测验
在选举之前进行的民意测验受到高度关注,部分原因在于很多人认为投票预测可能会影响人们投票的方式。支持这一信念的证据很有限,有些研究发现投票预测的影响很小3,而其他研究则发现在某些情况下,投票预测具有中等程度的影响。3
客观调研结果只是社会和政治问题上的众多输入因素之一。其他输入因素包括事件、政治广告,以及个人或组织以消极或意识形态方式表达意见的信息。无论选举前投票的影响如何,公众都有权获得各种信息,帮助他们做出合理的投票选择;民意测验向选民提供非常有效的信息。
关于选举中的当事人和候选人的投票份额的估计,选举前的民意测验应该是准确的,尤其是在举办时间接近选举时间时。不过,本质上,不应将它们视为预测。相反,它们是对民意测验进行时的舆论的反映。调研人员必须认识到,新的事件和信息可能会改变偏好,并且必须说明是否有证据表明,有利于某党派或候选人的受访者可能不愿意表明自己的真实偏好或不愿意参与民意测验。人们确实会改变主意,有些人甚至在投票前几秒改变主意,“未决定”的选民可能对选取结果产生决定性影响。
虽然所有的民意测验都要求很高的技术标准,但选举前民意测验需要特别注意采访时间(在选举前多久时间进行民意测验)、将被用于报告结果的样本(所有成年人、有资格投票的人、那些被认为最有可能投票的人),以及如何确定选民。
作为举行选举前民意测验的最佳做法,调研人员应该:
• 遵循对适当规模的样本和调研质量以及特别影响选举前民意测验的技术考虑因素的要求。例如,这样的民意测验必须有一个足够大的样本来得出关于选民的结论,而选民可能只占总成人人口的百分之一(有些情况下,有效的样本量可能会减少一半)。有必要披露关键投票偏好调研结果所依据的实际样本量。
• 衡量关键变量,如投票的可能性,以及可能的情况下,选择党派的原因或对竞选问题或竞选其他方面的态度。这样的民意测验如果不仅仅局限于衡量投票意图,而且还探讨党派选择的理由和对重要选举运动问题的看法,则将具有更大的政治和社会价值。
• 检查人口统计资料的代表性,如有必要,应用权重来正确代表选民。确保所报告的人口概况是有资格投票的选民的人口概况,而不是商业市场调研中通常使用的所有成年人概况。
• 尝试在整个选举活动中保持调研方法中关键要素的一致性。这尤其适用于抽样方法、问题措辞和投票意向问题的定位。它不适用于样本量的多少或组成;在接近选举日时间举办的民意测验可能依靠“可能的选民”样本,而不是所有符合条件的选民。不过,如果民意测验后来转到对“有可能”的选民进行抽样调研,则必须清楚注意并区分这一调整。
• 在综合调研中,确保政治问题不受上述问题主题的影响。这可能意味着在民意测验开始时提出这样的问题。不应该将可能影响投票意愿衡量的政治问题放在投票问题之前。虽然必须始终包含本准则第5节中指定的细节,但是,不得过分强调提供“未决定”、“不知道”或以其他方式不回答表决问题的百分比的重要性。这些数字应该在所有选举前的民意测验中发布,随同提供表示不会投票的人数百分比。
调研人员必须采取一切可能的技术措施,确保民意测验,特别是在竞选活动的最后几天公布的民意测验提供可靠和客观的信息。在有些国家,当选举民意测验是面对面进行时,受访者是否愿意泄露自己的偏好这一点可能是个问题。如果是这样,最好是要求受访者将自己的选择写在纸上,然后放在一个“无记名投票箱”里,就像实际的选举投票箱一样。
许多国家对公布选举前民意测验的时间点距离选举的时间长度设定了限制。调研人员需要了解这些限制。
8.2 投票后民意测验
选举投票后民意测验选举投票后民意测验主要是在选举日进行的,当选民离开投票站时,采访选民他们是如何投票的以及为何这样投票。这类民意测验可能受制于关于受访者通道(访问员所站的位置与投票站之间的距离)和结果发布的法律。
选举投票后民意测验的功能与选举前民意测验有所不同。由于结果制定和传播的速度,以及采访已经投票的人的这一事实,选举投票后民意测验确实预测了选举结果。它们还描述了党派、候选人和问题的选民支持模式。它们还支持广泛的学术研究工作。
8.2.1 受访者保护
• 调研人员必须在选举投票后民意测验中保护受访者的身份,不得在选民级别记录上维护标识信息(如姓名、地址或其他ID),也不得允许资料集支持对受访者的身份进行推断性披露。调研人员可以通过不公开小范围的地理细节(如投票的具体地点)来限制进行推断这一可能性。由于出访调研采访是在公共场所进行的,访问员必须特别注意为受访者保密。要求选民用笔填写纸质表格,然后将报个放在一个箱子中,整个过程没有访问员介入,或者让选民在手持设备上私下完成调研,这比口头调研要好得多。
8.2.2 研究设计
进行民意测验的人员必须遵循以下原则:
• 他们必须公正行事。投票后民意测验旨在收集选民的资料并报告关于选举结果的信息。它们不是党派宣传的工具。
• 使用透明、公开和有据可查的方法。可以在进行投票后民意测验之前通过公开描述的方法,并遵守本指导准则规定的最低限度披露标准来实现这些目标。还建议,当投票后民意测验用于分析时,资料集(没有个人标识符)以及相应的调研文件应存放在公共档案库和/或网站,以供查阅。
• 采用的研究设计应适合产生准确可靠结果并遵循公认的程序和技术标准。
• 遵循普遍接受的良好调研实践。在通过邮寄或互联网进行投票的地方,投票后民意测验可以在选举日当天进行,也可以在事件发生前的几天通过电话或在线等方式进行。如果不允许在投票站进行采访或这样做很危险,则可以在选举日在住宅或其他正常进行投票的场所进行采访。在这些情况下,必须特别注意确保受访者确实是选民。
8.2.3 公布结果
• 在投票站关闭后,应尽快报告用于预测的投票后民意测验。传播结果时存在任何拖延都会引发有关这一工作的合法性的问题,特别是在估计选举结果方面。如果分析是投票后民意测验的唯一目的,则迅速发布结果并不重要。
• 在一些国家,选举法禁止在投票站关闭之前公布投票后民意测验资料。一般来说,在竞选中的所有投票地点关闭之前,不得公布基于投票后民意测验的选举结果。
• 在一系列投票结束时间的全国性选举中,这可能意味着,在较小投票单位地点的所有投票站都关闭后,可以报告与较小投票单位(例如美国个别州)选举结果有关的投票后民意测验,而无需等待当天的所有投票站都关闭之后。在投票站关闭之前,可以公布除投票行为以外的其他描述性信息,除非当地法律或行为守则禁止这样做。
• 除了本指导准则第5节公布的要求外,由于时间安排,必须通过一般媒体向公众和其他有关方面发布投票后民意测验结果,同时令此结果可供所有人获取。尽量提前公开尽可能多的获取方法是一个很好的做法。
8.2.4 随附信息
必须在投票后民意测验报告和选举预测中包含以下信息,应通过本指导准则第5节所要求的类似方式提供这些信息:
• 进行和分析投票后民意测验的公司的名称及其赞助商;
• 投票后民意测验的发起人是否与政党,候选人,政治组织或政府机构有联系;
• 采访次数;
• 投票站或抽样点的数目及如何选取它们;
• 抽样框架和样本的地理分布和覆盖范围;
• 可能影响民意测验精度、针对资料采集的任何法律限制(例如与访问员投票站之间的最短距离);
• 采访是在整个选举日进行还是在当天的部分时间进行,以及在选举日之前已经投票的人是否被包含在内;
• 访问员是否是常驻外勤人员的一部分还是临时为此雇用的;
• 如何保证受访者匿名(如纸质问卷);
• 面试时间表或问卷和指示;
• 哪些结果是基于样本的一部分,而不是整个样本;
• 关于调研结果的精确度的描述,包括抽样误差的估计值;
• 监督和确认程序(如果有的话);
• 用于加权的人口统计和行为特征;
• 回复率(使用AAPOR标准定义:案例代码的最终处置和调研的结果率中的某个定义)以及关于投票问题的无回答项目和任何已知的无回复偏差;
• 对以下各项的一般性描述:估算如何进行、所使用的变量类型以及是否对不回复进行了调整,调整是否具有已知的设计效果。
8.3 在危机时期的民意测验
舆论调研经常在危机时期进行,调研人员必须对受访者的顾虑和回答具体问题的能力保持敏感。他们还必须注意,是否有任何地方的采访可能会因为危机而成为存在问题的采访。这可能包括受自然灾害影响的地区以及那些曾经是军事行动、恐怖袭击或其他形式暴力的地点。在这种情况下,确保调研参与者不受伤害是特别重要的。
8.4 针对资料采集特定模式的要求
8.4.1 面对面采访
面对面的采访(也称为亲自采访),即访问员面见受访者,这可能是调研资料采集的一种最古老的形式。如今,通过纸笔采访(PAPI)完成此项工作,问卷采用纸面形式,或越来越多地通过计算机辅助个人采访(CAPI) 完成此项工作— 其中问卷存储在笔记本电脑上。它用于固定电话和互联网可用性受限的地方,这对于收集高质量的资料非常重要,也适用于复杂、长期和困难的问卷调查。
由于面对面的采访既费时又费钱,通常用电话采访(CATI)和在线采访来取代它。不过,面对面采访有其优势,因为回应率通常高于电话采访或在线采访,尽管所有类型采访的回复率都在下降。
调研人员必须确保:
• 访问员在如何选择受访者并获得他们的信任方面接受过专门的培训。
• 访问员向受访者保证,他们的参与是自愿的,将对他们的个人资料和答案保密。
• 调研员采取恰当的行动,了解调查问卷,是受访者答案的中立传达人。
• 访问员受到充分的监督,能力欠缺或不诚实的访问员将被访问小组中移除。
调研人员需要清楚:
• 访问员效应 – 访问员、采访期间访问员的行为方式、甚至他们的相貌和性别都会给受访者给出的答案产生影响。
• 在紧张的选举局面或就敏感话题进行采访可能影响受访者准确回答的意愿,在分析和报告结果时必须考虑到这一可能性。
• 如果采访涉及某种类型的配额选择,或者样本是从名单中抽取的,则必须在民意测验报告中披露此信息以及采样点数(PSU)及其地理分散度。
• 如果面对面采访是在某些地方收集资料的唯一有效方法,但是对全国大部分地区的采访受限,则“全国性”民意测验结果可能只包括大都市地区的采访;如果是这样的话,必须明确指出民意测验的覆盖范围。
8.4.2 电话采访
电话采访是发达国家进行民意测验最流行的方法,原则上可以通过集中、监督下的采访提供高质量、非集群的随机样本。它允许实地调研的快速周转,并可能与受访者有多次联系。在可通过电话获取信息的地方,这种方法非常有用,它使得随机拨打电话成为电话采样的主要方法。
随机样本也可以从现有的名单,如登记选民或所有居民的名单中获取。不过,最近的一些事态发展,以及一些地方性的问题,可能使得电话采样变得很难。在一些国家,许多家庭从未有过固定电话。在其他国家,人们只使用移动设备。
• 在许多国家,越来越多的家庭不能从公共登记册中抽样,因为它们没有被列入名单。不过,在抽取一个样本后,研究人员必须披露任何没有覆盖到的情况。
• 在很大比例的成年人只有通过手机才能联系的地方,希望获得有代表性的样本的研究人员应该在他们的抽样框架中包括手机采访。手机采访的具体比例以及固定电话和手机的样本组合取决于不同国家的固定电话和手机的具体比例。例如,在美国,一些公司通过手机开展一半以上的民意测验采访。在手机覆盖率非常高的国家,手机和无手机之间的人口统计差异很小,有可能只覆盖有手机号码的人群就可以获得代表性样本。
• 在这种情况下,整合手机需要调研人员遵循ESOMAR针对通过手机进行的市场调研的指导准则。这包括考虑受访者的安全等问题。
• 由于很多原因,拥有电话者通常与投票意图相关,不能通过电话联系的人更有可能在选举中支持本方而不是另一方。 如果电话拥有量不高或者可能产生不具代表性的样本,则不应将这种采访方法用于选举前的民意测验,也不应使用其他采访方式收集的资料作为这种方法的补充。
• 如果将电话样本用于民意测验,则必须采取方法,以纠正特定政党支持者的代表数量被低估的情况。仅仅进行人口统计调整可能不足以解决问题。
8.4.3 在线民意测验
在线调研现在普遍用于舆论和选举民意测验,并且提供了与传统民意测验方法具有类似准确度的估计;但人们对这些方法仍然存在争议。争议的焦点是是否具备代表性这一问题 —即一种经常基于被选中参加采访小组的受访者的方法是有代表性的—特别是当传统民意测验必须依赖概率抽样时。与面对面采访和电话采访不同,关于在线采样,没有商定的采样框架。
与电话投票一样,作为进行选举前民意测验的一种方法,网上投票的可行性在很大程度上取决于通过互联网获取代表性样本的能力,或者建立一个复制样本的能力,它反映了最初的志愿者与非代表性小组访问的群体。鉴于互联网的覆盖面越来越广,在许多国家可以这样做,如果注意到应包括那些无法在家使用互联网,而是在工作或其他地方连接互联网的人。ESOMAR的28个问题可帮助在线采样的买家包含额外的指导准则,包括关于在线采样和使用采访小组的要求。
大多数在线民意测验使用预先招募的受访者进行。针对小组成员招募的方法包括常规概率抽样和非概率性志愿者小组。通常,针对特定调研的样本涉及第二阶段的选择,以确定邀请哪些小组成员参与。最后,与几乎所有调研的典型情况一样,对所得到的样本进行加权处理,以更好地代表目标人群。
涉及在线调研的争议主要涉及人口覆盖面(谁能够参与调研)和使用非概率方法进行采访小组选择。欧洲和北美的互联网接入迅速增长,对大多数(但不是全部)人口群体而言,互联网接入已经越来越不成为问题了。当今的大多数民意测验涉及大量的自我选择,即使最初使用随机选择来选取受访者(由于不回复),尽管对于不以抽样框架开始的方法,这个问题通常更为严重。
• 与其他类型的民意测验一样,网上投票发表的所有调研报告都必须包括基本的调研方法信息,如调研发起人、采访次数、样本来源和筛选标准,采访方式以及实地期限。
• 需要额外的信息,以便读者可以评估民意测验的可靠性和有效性。这些信息更具技术性,应在调研机构的网站或出版物上提供。必须在要求时提供这些信息。这些信息包括:
• 是否从一个小组(或多个小组)选择了受访者、小组名称以及是使用概率还是非概率方法创建了小组。如果小组是概率样本,则应提供累积回复率(为研究而反映招募、人员流失和小组内部的回复率)。对于非概率样本,应提供参与率(提供了可用回复的小组成员数除以请求成员参加的初始个人邀请总数)。
• 小组成员的选择方法用于特定研究。这通常涉及某种形式的分层或配额,旨在代表目标人群。应列出用于定义分层、配额或其他选择方法(如匹配和倾向评分组)的变量。
• 在大多数情况下,将对最终的样本加权。要披露的最重要的信息是使用哪些变量来形成权重。如果使用单元加权或倾斜(“边缘加权”),则应将未加权的样本分布包含在表格中。对于更复杂的方法(如倾向评分加权或匹配),应根据要求提供更详细的方法报告。
这些披露旨在提供关于使用特定小组进行特定民意测验的程序的信息,但不包括小组招聘的细节(除了识别小组来源)。欲了解更多详情,请参阅ESOMAR的28个问题,以帮助在线样本的买家。
8.4.4 混合模式
在单个民意测验中使用多种模式正变得常见,特别是作为确保主要投票方法可能难以触及的群体的覆盖率的方式时。例如,面对面采访可以补充电话渗透率相对较低的国家的电话采访。一些调研机构为受访者提供了希望如何接受采访的选择。
• 使用多种模式的价值是它们所提供的代表性;不过,调研人员必须始终意识到发生模式效应的可能性,因为不同的模式可能会产生不同的答案。
• 在使用混合模式发布民意测验结果时,研究人员必须提供每种模式下的采访次数,并提供与每种采访模式相关的信息。
9 项目团队
• Kathy Frankovic(主席),CBS News前调研总监 ;YouGov顾问兼ESOMAR专业标准委员会成员
• Miroslawa Grabowska,华沙大学教授兼公众舆论研究中心主任(CBOS)
• Richard Hilmer,Infratest Dimap总经理
• Kathy Joe,ESOMAR国际标准与公共事务部总监
• Christophe Jourdain,IFOP国际总经理
• Nick Moon,GfK NOP社会研究总经理兼英国投票委员会秘书
• Alejandro Moreno,墨西哥国立科技研究所(ITAM)教授;《改革报》民意测验部门主任和WAPOR主席
• Adam Phillips,ESOMAR专业标准和法律事务部委员会主席
• Doug Rivers,斯坦福大学教授兼YouGov America创始人
1英国民意测验委员会记者指南http://www.britishpollingcouncil.org/questions.html(基于ESOMAR的工作);英国民意测验委员会研讨会;AAPOR/Poynter培训模块;全国公共民意测验委员会:关于民意测验结果记者应询问的20个问题
3Wolfgang Donsbach,“谁害怕选举民意测验? 关于选举前民意测验自由的规范性和经验性争议”,信息基金会,ESOMAR,2001年;Catherine Marsh,“回到从众效应:民意测验对公众舆论的影响”,《英国政治学杂志》第15期(1985),第51-74页
文档下载: ESOMAR-WAPOR-Guideline-on-Opinion-Polls-and-Published-Surveys-August-2014
|