统计学

黄晗
Spring 2019

第二章 数据的搜集

  • 数据的来源

  • 调查数据

  • 实验数据

  • 数据的误差

学习目标

  • 数据的来源
  • 搜集数据的调查方法
  • 问卷设计
  • 搜集数据的实验方法
  • 数据的误差
  • 数据的质量要求

2.1 数据的来源

  • 数据的间接来源

  • 数据的直接来源

2.1.1 数据的间接来源

  • 系统外部的数据

    • 统计年鉴、研究报告、专业期刊、专业数据库、行业协会
  • 系统内部的数据

    • 组织内部的数据可以包括:业务资料、统计报表、财务会计核算材料等
  • 优势

    • 搜集相对容易,采集成本低;
    • 作用广泛,搜集二手资料在研究中应优先考虑。

2.1.1 数据的间接来源

二手数据的评估

  • 数据是谁搜集的?

  • 为什么目的而搜集的?

  • 数据是怎样搜集的?

  • 什么时候搜集的?

  • 数据搜集的范围是什么?

  • 是什么类型的数据?

2.1.2 数据的直接来源

调查数据

  • 通过调查方法获得的数据
  • 通常是对社会现象而言
  • 通常取自有限总体

实验数据

  • 通过实验方法得到的数据
  • 通常在自然科学中使用
  • 也被广泛运用到社会科学中
    • 如心理学、教育学、社会学、经济学、管理学等

2.2 调查数据

  • 概率抽样与非概率抽样

  • 搜集数据的基本方法

2.2.1 概率抽样和非概率抽样

概率抽样

  • 按一定的概率以随机原则抽取样本
  • 抽取样本时使每个单位都有一定的机会被抽中
  • 每个单位被抽中的概率是已知的,或是可以计算出来的
  • 当用样本对总体目标量进行估计时,要考虑到每个样本单位被抽中的概率

类型

可以分为简单随机抽样、分层抽样、整群抽样、系统抽样、多阶段抽样

2.2.1 概率抽样和非概率抽样

简单随机抽样

从总体N个单位中随机地抽取n个单位作为样本,每个单位入抽样本的概率是相等的。是最基本的抽样方法,是其它抽样方法的基础。

特点

  • 简单、直观,在抽样框完整时,可直接从中抽取样本
  • 用样本统计量对目标量进行估计比较方便

局限性

  • N很大时,不易构造抽样框
  • 抽出的单位很分散,给实施调查增加了困难
  • 没有利用其它辅助信息以提高估计的效率

2.2.1 概率抽样和非概率抽样

分层抽样

将抽样单位按某种特征或某种规则划分为不同的层,然后从不同的层中独立、随机地抽取样本。

优点

  • 保证样本的结构与总体的结构比较相近,从而提高估计的精度
  • 组织实施调查方便
  • 既可以对总体参数进行估计,也可以对各层的目标量进行估计

2.2.1 概率抽样和非概率抽样

整群抽样

将总体中若干个单位合并为组(群),抽样时直接抽取群,然后对中选群中的所有单位全部实施调查。

特点

  • 抽样时只需群的抽样框,可简化工作量
  • 调查的地点相对集中,节省调查费用,方便调查的实施
  • 缺点是估计的精度较差

2.2.1 概率抽样和非概率抽样

系统抽样

将总体中的所有单位(抽样单位)按一定顺序排列,在规定的范围内随机地抽取一个单位作为初始单位,然后按事先规定好的规则确定其它样本单位。例如:

先从数字1到k之间随机抽取一个数字r作为初始单位,以后依次取r+k,r+2k……等单位

  • 优点:操作简便,可提高估计的精度
  • 缺点:对估计量方差的估计比较困难

2.2.1 概率抽样和非概率抽样

多阶段抽样

先抽取群,但并不是调查群内的所有单位,而是再进行一步抽样,从选中的群中抽取出若干个单位进行调查。

二阶抽样中群是初级抽样单位,第二阶段抽取的是最终抽样单位。将该方法推广,使抽样的阶段数增多,就称为多阶段抽样。

特点

  • 具有整群抽样的优点,保证样本相对集中,节约调查费用
  • 需要包含所有低阶段抽样单位的抽样框;同时由于实行了再抽样,使调查单位在更广泛的范围内展开
  • 在大规模的抽样调查中,是经常被采用的方法

2.2.1 概率抽样和非概率抽样

非概率抽样

  • 相对于概率抽样而言
  • 抽取样本时不是依据随机原则,而是根据研究目的对数据的要求,采用某种方式从总体中抽出部分单位对其实施调查
  • 有方便抽样、判断抽样、自愿样本、滚雪球抽样、配额抽样等方式

2.2.1 概率抽样和非概率抽样

方便抽样

调查过程中由调查员依据方便的原则,自行确定入抽样本的单位。

  • 调查员在街头、公园、商店等公共场所进行拦截调查
  • 厂家在出售产品柜台前对路过顾客进行的调查

特征

  • 优点:容易实施,调查的成本低
  • 缺点:样本单位的确定带有随意性,样本无法代表有明确定义的总体,调查结果不宜推断总体

2.2.1 概率抽样和非概率抽样

判断抽样

研究人员根据经验、判断和对研究对象的了解,有目的选择一些单位作为样本

  • 有重点抽样,典型抽样,代表抽样等方式

特征

  • 判断抽样是主观的,样本选择的好坏取决于调研者的判断、经验、专业程度和创造性
  • 抽样成本比较低,容易操作
  • 样本是人为确定的,没有依据随机的原则,调查结果不能用于推断总体

2.2.1 概率抽样和非概率抽样

自愿样本

被调查者自愿参加,成为样本中的一分子,向调查人员提供有关信息 - 例如,参与报刊上和互联网上刊登的调查问卷活动,向某类节目拨打热线电话等,都属于自愿样本

特征

  • 自愿样本与抽样的随机性无关
  • 样本是有偏的
  • 不能依据样本的信息推断总体

2.2.1 概率抽样和非概率抽样

滚雪球抽样

先选择一组调查单位,对其实施调查之后,再请他们提供另外一些属于研究总体的调查对象,调查人员根据所提供的线索,进行此后的调查。这个过程持续下去,就会形成滚雪球效应。

特征

  • 适合于对稀少群体和特定群体研究
  • 优点:容易找到那些属于特定群体的被调查者,调查的成本也比较低

2.2.1 概率抽样和非概率抽样

配额抽样

先将总体中的所有单位按一定的标志(变量)分为若干类,然后在每个类中采用方便抽样或判断抽样的方式选取样本单位

特征

  • 操作简单,可以保证总体中不同类别的单位都能包括在所抽的样本之中,使得样本的结构和总体的结构类似
  • 抽取具体样本单位时,不是依据随机原则,属于非概率抽样

2.2.1 概率抽样和非概率抽样

概率抽样与非概率抽样的比较

概率抽样

  • 依据随机原则抽选样本
  • 样本统计量的理论分布存在
  • 可根据调查的结果推断总体

非概率抽样

  • 不是依据随机原则抽选样本
  • 样本统计量的分布是不确定的
  • 无法使用样本的结果推断总体

2.2.2 搜集数据的基本方法

  • 自填式
  • 面访式
  • 电话式
  • 观察式
  • 网络

2.2.2 搜集数据的基本方法

自填式问卷调查

没有调查员协助的情况下由被调查者自己完成调查问卷

  • 问卷递送方法有:调查员分发、邮寄、网络、媒体
  • 要求调查问卷结构严谨,有清楚的说明

弱点

  • 问卷的返回率比较低
  • 不适合结构复杂的问卷
  • 调查周期比较长
  • 数据搜集过程中出现的问题难于及时采取调改措施

问卷的艺术

Fisher教授说他做过一次问卷调查,发问卷给某学院历年来千余毕业生,了解毕业后去向及其薪酬状况。问卷前有一栏是Sex(性别),教授出于疏忽,少写了几个字,就留有Sex_____在那里。他说他后来考虑到了,觉得应该加个选项“Male(男)”和“Female(女)”在那里,但是问卷已经被秘书全部寄走,只好随它去。他想问题也不会太大。受调查者都大学都毕业了,不会性别都搞错吧。

你想想看,一千份问卷刷地撒出去,总归砸着几个大白痴,几个神经病,几个捣蛋鬼的。结果问卷回来,Sex_____这一栏答案有很多意外。

问卷的艺术

约有20多个同学填写“straight”(异性恋)、“gay”(男同性恋)、“Lesbian”(女同性恋),bisexual(双性恋)…

十几个同学填写0或者1。教授十分纳闷,这到底什么意思?到底0代表男性还是1代表男性?这可能是编程人员填的,还好只是1和0这种二进制。

还有几个同学填写“其它”。什么叫“其它”?难道还有第三性?

2.2.2 搜集数据的基本方法

面访式问卷调查

调查员与被调查者面对面提问、被调查者回答的一种调查方式

优点

  • 可提高调查的回答率
  • 可提高调查数据的质量
  • 能调节数据搜集所花费的时间

弱点

  • 调查的成本较高
  • 调查过程的质量控制有一定难度

2.2.2 搜集数据的基本方法

电话式问卷调查

通过电话向被调查者实施调查

特点

  • 速度快,能在短时间内完成调查
  • 适合于样本单位十分分散的情况

局限

  • 如果被调查者没有电话,调查将无法实施
  • 访问的时间不能太长
  • 使用的问卷需要简单
  • 被访者不愿意接受调查时,难以说服

2.2.2 搜集数据的基本方法

观察式调查

就调查对象的行动和意识,调查人员边观察边记录以收集所需信息

特征

  • 调查人员不是强行介入
  • 能够在被调查者不察觉的情况下获得资料
  • 如交通流量的调查

2.2.2 搜集数据的基本方法

网络调查问卷

通过网络问卷的方式进行调查。

特征

  • 实施方便
  • 统计方便
  • 调查过程的质量控制有一定的难度

2.3 实验数据

  • 实验组和对照组
  • 实验中的若干问题
  • 实验中的统计
  • 实验法案例

2.3.1 实验组和对照组

  • 将研究对象分为两组:实验组和对照组
  • 实验组和随机组的产生应遵循随机原则,而且应该匹配
    • 匹配指对实验单位的背景材料进行分析比较,将情况类似的每对单位分别随机地分配到实验组和对照组

2.3.2 实验中的若干问题

人的意愿

研究的对象是人的时候,在划分实验组和对照组时的随机原则将面临挑战。

心理问题

人们对被研究非常敏感,这使得他们更加注意自我,从而走到事物的另一个极端。

道德问题

当某种实验涉及道德问题时,人们会处于进退两难的尴尬境地。

2.3.3 实验中的统计

  • 实验设计本身就是一个统计问题
  • 确定进行实验所需要的单位的个数,以保证实验可以达到统计显著的结果
  • 将统计的思想融入到实验设计中,使实验设计符合统计分析的标准
  • 对实验数据进行分析时,统计可以提供最恰当的分析方法

「实验案例」斯坦福监狱实验

kyebBd.md.jpg

「实验案例」斯坦福监狱实验

斯坦福监狱实验(英语:Stanford prison experiment)是1971年由美国心理学家菲利普·津巴多领导的研究小组于斯坦福大学心理学系大楼地下室的模拟监狱内,进行的一项关于人类对囚禁的反应以及囚禁对监狱中权威和被监管者行为影响的心理学研究。充当看守和囚犯的都是斯坦福大学的在校大学生志愿者,实验资助者是美国海军研究办公室。

囚犯和看守很快适应了自己的角色,一步步地超过了预设的界限,通向危险和造成心理伤害的情形。三分之一的看守被评价为显示出“真正的”虐待狂倾向,而许多囚犯在情感上受到创伤,有两人不得不提前退出实验。最后,津巴多因为这个课题中日益泛滥的反社会行为受到警告,提前终止了整个实验。这种性格的变化被他称为“路西法效应”,上帝最宠爱的天使路西法后来堕落成了魔鬼撒旦。

「实验案例」斯坦福监狱实验

斯坦福监狱实验经常被拿来与米尔格拉姆实验比较,米尔格拉姆实验是于1961年在耶鲁大学,由津巴多中学时代的好友斯坦利·米尔格拉姆开展的。

有报道声称这是一场骗局,扮演囚犯的伯克利毕业生 Douglas Korpi 实际上是假装精神崩溃。

「实验案例」斯坦福监狱实验

实验内容

研究小组在当地报纸上征集志愿者参与监狱生活的研究,为期两周,志愿者每天能得到15美元的报酬(相当于现在的89美元)。有70名应征者被招到斯坦福大学面试,接受一系列心理测试。这70个男人都与美国大学生年纪相约。其中24名被认为非常健康、正常的人被选中。他们绝大部分都来自中产阶级。

从24人中间随机抽出一半,让他们饰演监狱的看守,余下的一半饰演囚犯。志愿者们都说他们更愿意饰演囚犯,部分是因为他们无法想像自己毕业后会去做看守,但他们可以想像自己是在坐牢,并以为可以从这一经历中学到一些东西。志愿者们还被告知,如果被分派去饰演囚犯,他们可能会被剥夺公民权利,并且只能得到最低限度的饮食和医学护理。那些将饰演囚犯的人被告知在某个周日等在家里。在那一天,令他们感到吃惊的是,他们被真的警察“逮捕”了,随后被带到斯坦福大学心理学系地下室的模拟监狱。

「实验案例」斯坦福监狱实验

第一天,大家还相安无事,但“囚犯”第二天便发起了一场暴动,撕掉囚服上的编号、拒绝服从命令、取笑看守。津巴多要求看守们采取措施控制住局面,他们照着做了。他们采取的措施包括强迫囚犯做俯卧撑、脱光他们的衣服,拿走他们的饭菜、枕头、毯子和床、让他们空着手清洗马桶。最后局面完全失控。

在第五天,当津巴多的同事克莉丝汀(后来成为他的妻子)受邀来到实验场所观察,并质疑这项实验的道德性。在第六天,津巴多停止了实验。

「实验案例」斯坦福监狱实验

结论

个人的性情并不像我们想像得那般重要,善恶之间并非不可逾越,环境的压力会让好人做出可怕的事情。“在实验开始的时候,两组人之间没有任何区别,不到两个星期之后,他们之间已经变得没有共同之处了。”尤其显著的是,囚犯们怀疑分组并不是随机的,他们认为看守的个子比他们高;其实两组人的平均身高是一样的。

津巴多试图用他的实验解释很多问题,包括飞行事故、人在面对恶行时的无动于衷、护士对病人的不当处置以及自杀式袭击者和恐怖分子的行为。由于对自己角色的认识,护士会过度服从医生的安排,哪怕明知医生开出的剂量远远大于规定的剂量;有四分之一的飞行事故的起因都是由于副机长过于服从机长的错误判断。

「实验案例」斯坦福监狱实验

有一个问题是,当津巴多说好人变成了坏人时,那些“坏人”并不认为自己成了坏人,他们要么认为受害者罪有应得,要么认为自己只是采用了恶的手段来实现其正当的目的,用目的的合理性为自己采取的手段辩护——虐囚的士兵是为了获取反恐所需的情报,恐怖分子是为了民族解放,在他们的同仁眼里他们也是道德英雄。这根本上是不同的善之间的冲突,而不是善和恶之间的冲突,已经超出了心理学的范畴。

「实验案例」斯坦福监狱实验

相关影视作品

《死亡实验》是2001年以小说《黑盒》改编的德国电影,该小说则是基于斯坦福大学监狱实验写成。2010年被改编为《叛狱风云》。2015年由Kyle Patrick Alvarez执导的同名电影《斯坦福监狱实验》(The Stanford Prison Experiment)详实重现当时实验的过程。

2.4 数据的误差

抽样误差

  • 由于抽样的随机性所带来的误差
  • 所有样本可能的结果与总体真值之间的平均性差异
  • 影响抽样误差的大小的因素
  • 样本量的大小
  • 总体的变异性

2.4 数据的误差

非抽样误差

  • 相对抽样误差而言
  • 除抽样误差之外的,由于其他原因造成的样本观察结果与总体真值之间的差异
  • 存在于所有的调查之中
    • 概率抽样,非概率抽样,全面性调查
  • 有抽样框误差、回答误差、无回答误差、调查员误差、测量误差

2.4 数据的误差

误差的控制

抽样误差可计算和控制

非抽样误差的控制

  • 调查员的挑选
  • 调查员的培训
  • 督导员的调查专业水平
  • 调查过程控制
  • 调查结果进行检验、评估
  • 现场调查人员进行奖惩的制度

The End