张昱城 (教授 博导)

1 定量研究设计

1.1 我们将探讨的问题

什么是定量研究设计(research design)?研究可以随意做吗?

为什么研究需要”设计”?设计的目的是什么?

1.2 社科研究中的实证主义(Positivism)

1.2.1 好奇心-人与其他动物的本质区别之一

1.2.2 人类思辨发展的三种形式 (Comte, 1844)

第一种:神学

  • 相信超自然力量的存在;借助神灵和上帝来解释外部世界。

第二种:形而上学(Metaphysics)

  • “形而上者谓之道,形而下者谓之器。”-易传·系辞

  • 哲学:介于神学和科学之间的学问-罗素

  • 完全放弃神秘主义,探寻世界的本质和事物发生发展的”根本原因”;追求绝对知识,一通百通。

第三种:实证主义

  • 了解具体现象之间存在的关系,不追求直接发现”绝对真理”和”终极解释”。

  • 客观规律是现实存在的,可以被观测的,可以被数量化表达的,可以被理解的。

  • 社会科学的研究对象既有客观性,也有主观性。理论和研究对象存在”双向因果关系”。

1.2.3 相关性≠因果关系

1.2.4 如何验证因果关系?

  • 实验研究”在其他条件不变的情况下,人工调整自变量水平,观察因变量的变化。

  • 问卷调查研究:探讨深层机制,从理论上排除其他解释;多次收集因变量和自变量数据,控制外生变量。

1.3 实证研究设计的过程

1.3.1 效度与信度研究设计的双核心

效度:“所做的”尽可能和”想做的”一致。

信度:一般指测量工具是否可靠,测量中发生的随机误差是否控制在可接受的范围内。

1.3.2 研究设计的一般过程

1.4 研究方法的选择

实验研究,问卷调查,准实验研究,二手数据,质化研究,案例研究。

1.4.1 三类常见研究方法

直接干预类

  • 实验研究:将参与者进行随机分组,在控制各种干扰因素的情况下,通过实验活动操纵自变量的变化,观测因变量的变化,通过统计分析,推断因变量与自变量的关系。

  • 准实验研究:将某些特定条件下自然发生的现象视为实验过程,观测因变量的变化,通过统计分析,推断因变量与自变量的关系。

基于观察类数据

  • 问卷调查:不直接操纵研究对象,选取有代表性的大样本,采用高信度和效度的调查问卷测量关键变量(包括自变量,因变量,调节变量,中介变量等),并对关键干扰因素进行测量并进行统计控制,通过统计分析,推断因变量与自变量的关系。

  • 二手数据:对于无法直接进行操控和问卷调查的数据,从其他途径间接获取数据,如国家普查数据,国家统计数据,上市公司财务数据,科研机构定期发布的大样本调查数据等等。

质化研究

  • 当现有理论不完善,不能对现象进行清晰的定义,不能支持清晰的理论假设时,就需要进行质化研究。常用方法是扎根理论、案例研究等。研究目的是明确对某一现象的定义,并建构针对该现象的理论。可以视为一种归纳研究。

    • 案例研究

      • 与教学案例有显著差异!案例研究追求理论化和严谨性。要求可复制!

      • 探索性案例研究,描述性案例研究,因果性案例研究。

      • 追求高效度和信度!

  • 这种研究不好做!!!

1.4.2 研究方法选择的原则

是否可以达到三个目的?

  • 能有效回答研究问题

  • 可以主动操作研究中的各类变异

  • 保证研究的信效度

有哪些方法可供选择?

  • 以往的类似研究采用了哪些研究方法

  • 这些方法有何优劣

对我来说,哪些方法是可行的?

  • 数据源和相应的数据分析方法

1.5 实证研究设计的要点

1.5.1 研究中哪些变异/变量?

系统变异:自变量可以清晰地解释因变量的变异(研究目的)

外生变异:自变量之外的变量可以解释的因变量的变异

误差变异:研究模型外的产生影响的随机因素

公式

  • 单预测因子:Y = α + (β1X) + [βaC]+ ε

  • 多预测因子:Y = α +(β1X +…+ βnX) + [βaC +…+ βnC] + ε

1.5.2 从变异的角度提升研究设计质量

三种策略:最大化系统变异;控制外生变异;最小化误差变异

1.5.2.1 最大化系统变异

根据变量是否可以在短时间内被认为改变(可以被操作),变量可以分为可变变量与属性变量

  • 可变变量:可以通过实验进行操作,可以在短时间发生较大变化的变量,如情绪。

  • 属性变量:难以改变,在短时间内不会发生变化的变量,如人格。

  • 问卷调查中,越能使自变量的方差最大化,才越有机会支持假设。如果调查对象之间自变量水平变化很小,也就很难观察到自变量的影响。

    • 样本类型(同质类VS异质类)及大小

    • 测量的方式

1.5.2.2 控制外生变异

外生变量定义:能够影响因变量的变化,却不是我们的研究对象!

第一步,根据以往的研究,明确哪些变量可能会显著影响当前的因变量。

第二步,选择控制方法。

  • 方法1-模型控制:直接纳入外生变量到模型中

  • 方法2-抽样控制

    • 排除法。在问卷调查中,通过样本选择(如选择单一产业抽样),让样本中外生变量的变异最小化!

    • 随机分配。在实验中,把实验参与者随机分配到实验组和控制组,让外生因素互相抵消。

    • 配对法。在准实验研究中,寻找大体情况类似,但关键变量显著不同的样本。

  • 方法3-统计控制:将外生变异作为回归方程中的自变量,通常称为控制变量!

    • 控制变量的角色

      • 理想的控制变量:既影响自变量,又影响因变量(排除外生性)

      • 只影响自变量:会提高自变量对因变量的预测力。

      • 只影响因变量:不会影响因变量的预测力,但会降低整个模型的拟合度,降低自变量对因变量预测的标准误差,人为提高发现显著结果的概率!

      • 当控制变量是个中介变量:回归结果不再是X和Y之间的关系,而是控制解释中介变量后X和Y之间的关系

    • 控制前应区分控制变量的角色(Spector and Brannick, 2011)

    • 应避免过度控制和控制不当

1.5.2.3 最小化误差变异

误差变异:随机因素导致的变异,通常指测量误差,如问卷信度低、参与者填写问卷时的一时疏忽、情绪波动、环境变化等。

目的:尽可能是系统变异显现。

  • 如果自变量真的可以影响因变量,那么误差项比例越小,就越容易发现因变量的显著影响!

  • 剩余变异(residual)=外生变异+误差变异(error)

  • F比率决定显著性, F比率越大越显著

    • 计算方式:模型的均方除以剩余均方

    • F=MSM/MSR=(SSM/DFM)÷(SSR/DFR)

    • SST=SSM+SSR

1.6 实证研究的评价标准

1.6.1 实证研究的评价标准:概念效度

理论化过程中:精确定义并明确内部结构

在把理论概念操作化过程中:测量的内容和概念定义的一致性程度。

  • 根据已有的文献,明确定义概念及其维度

  • 选择发表在高水平期刊的量表,尽量不要随意删减量表的题项。

  • 如要删减题项,必须提供理论依据,并收集数据进行验证,以保证删减后的量表具有足够的信度和效度。

1.6.2 实证研究的评价标准:统计结论效度

统计推断:通过抽样检验,对变量之间的关系进行泛化的推论。

两类错误

  • 一类错误(假阳),如:同一时间点,用同一方法,向同一对象获取所有数据会导致共同方法误差(Common method variance),显著提升一类错误概率!(Podsakoff, 2003,2012)

  • 二类错误(假阴),如:样本太小,导致统计力弱

提高统计结论效度:采用多种方法降低共同方法误差

  • 采用实验法,主动操作自变量

  • 在问卷调查中,因变量和自变量分两次测量

  • 在问卷调查中,因变量和自变量来自不同数据源

  • 在问卷调查中,采用纵向研究设计

1.6.3 实证研究的评价标准:内部效度

内生性:因果推论准确度(一致度),在多大程度上能排除其他解释

  • 若理论上认为x导致y,数据则仅仅支持x与y相关,是否有可能y导致x?

  • 是否有可能是其他外生变量导致y的变化?

如何提升内部效度?

  • 变量:如,测量并控制控制混肴变量的影响

  • 方法:如,采用实验法

  • 统计:如,工具变量

1.6.4 实证研究的评价标准:外部效度

外部效度:研究结果推广到其他群体、对象和情境时可重复程度(可重复性危机)。基于特定情境的研究,能否得出普遍的结论?

提高外部效度:采用多种操作或测量方式。比如实验与问卷调查相结合。实验参与者一般实现学生,调查对象一般是在职员工。这种方式可以整体提高整个研究的内部效度和外部效度。

Shadish等(2002)提出的在实验中提高外部效度五项原则

  • 表面相似性(surface similarity):在开展一项研究前,研究者应该评估某一具体操作与泛化目标原 型特征之间的相似性。

  • 排除不相关性(ruling out irrelevancies):在研究中剔除 那些不会影响研究结论泛化的因素。

  • 鉴别(making discriminations):识别影响 研究结论泛化的关键因素,努力将其纳入研究设计。

  • 插补和外推(interpolation and extrapolation):在采样的范围内选择那些没有被调查的样本,同时需要在采样 范围之外进行探索因果关系可能发生的变化。

  • 因果解释(causal explanation):针对影响因果推论关键的因、果和其间的中介机制进行理论化思考加工,并进行实证检验

1.7 总结

管理研究中的实证主义:知识是”有根据的论断”。

研究设计:承认研究方法的局限性,努力提高其可靠性。

2 实证研究中的实验研究与问卷研究

2.1 实验研究

2.1.1 实验研究概览

研究的目的:发现现象之间存在的因果关系。

  • 自变量与因变量之间存在相关性

  • 自变量先于因变量发生

  • 排除存在其他关系的可能性

两个相关的变量之间可能有几种关系?

什么是实验研究?

  • 在尽可能控制所有其他条件保持一致的情况下,只改变自变量,观察因变量是否发生显著变化。

  • 实验研究可以大幅提升研究的内部效度。

  • 效度:“所做的”和”想做的”有多一致。

  • 内部效度:在一个研究中因果关系推论的可信度。该研究在多大程度上能排除其他解释。

2.1.2 要点1. 对自变量的操作(Manipulation)

自变量存在 vs自变量不存在,例如:预习 vs 不预习

两种同类自变量的影响:自变量水平高 vs自变量水平低

  • 提前5天预习 vs 上课前1天预习

  • 前提:除了提前量,其他条件完全相同

2.1.3 要点2. 组内设计 vs 组间设计

组内设计:同一组实验对象,先后给予不同水平的自变量的刺激,观察因变量的变化。

  • 优点:可以很大程度排除个体差异的影响

  • 缺点:记忆无法抹去。实验对象了解了实验内容,会对后续的操作产生干扰

组间设计:不同组别的实验对象,分别给与不同水平自变量的刺激。

2.1.4 要点3. 实验组和控制组

控制组:不施加某种自变量的刺激。

实验组:施加不同水平的自变量刺激。有可能是多组。

分组原则:随机分组,从而排除个体差异的影响。将实验对象随机分配到控制组或不同的实验组。这样可以尽可能排除其他可预见或不可预见因素的系统性影响。例如,哪些因素影响听课注意力?

  • 以往的学习成绩

  • 学习兴趣

  • 自控力

  • 个性特征

  • 身体状况

  • 心情

  • 不可知因素

2.1.5 要点4. 单因素设计 vs 多因素设计(调节效应)

单因素:只考察一个自变量对因变量的影响。自变量有几个水平,就分几个组,再加一个控制组。

多因素设计:考察多种因素是否存在交互效应(调节效应)。分组数量是不同因素水平数量的乘积(如2x2,3x2,5x6)

PREVIEW NO_PREVIEW
HIGH SELF-CONTROL group 1 group 2
LOW SELF-CONTROL group 3 group 4

2.1.6 检验中介模型

中介测量设计(Measurement-of-mediation design):通过实验操作自变量,然后测量中介变量和因变量。

  • 缺点:中介变量并没有被操作,不能支持中介变量和因变量的因果关系。

  • 解决方案:引入工具变量模型可检验中介和因变量的因果关系

因果链设计(Experimental-causal-chain design)

  • 第一步,用实验验证自变量对中介变量的影响

  • 第二步,用另一个实验验证中介变量对因变量的影响。

  • 缺点:不能从统计上验证中介关系,只能从理论上推定因果链条。

过程调节设计(Moderation-of-process design)

设法操控中介变量出现或不出现,例如:服用安慰剂

2.1.7 总结:实验研究(实验室)

优势:较高的内部效度

劣势:较低的外部效度

内部效度是外部效度的必要不充分条件。

如何解决:实验研究+问卷调查,如:Wang, L., et al. (2018). “Does anger expression help or harm leader effectiveness? The role of competence-based versus integrity-based violations and abusive supervision.” Academy of Management Journal 61(3): 1050-1072.

2.2 问卷调查

2.2.1 概况

通过调查问卷收集样本信息,对总体进行量化描述

  • 目的1:描述某些态度或行为,如:民意调查,网络投票

  • 目的2:进行假设检验,如:以样本状态推断总体状态

应用前提

  • 参与者会认真地阅读和回答问卷中的所有问题

  • 参与者有足够的能力理解问卷中的问题

  • 参与者会提供真实而坦诚的答案

2.2.2 问卷设计

2.2.2.1 问卷设计的目的

为什么需要”设计:不好的问卷会降低问卷质量

  • 一份词不达意或语句唐突的问卷:会使答卷者对研究人员失去信任,从而草草了事

  • 一份冗长的问卷:会使答卷者疲惫厌倦,其结果或是留空页不做回答,或是在某一类问题中圈下同样的答案,以求迅速完成问卷。

了解量表设计的过程和关键点:可以帮助我们更好的理解和有效运用已有的量表。少数人可能需要自己开发量表。

2.2.2.2 问卷设计的要点

问卷设计常需考虑的要点

  • 问卷的大致内容

  • 问卷中的语言表述

  • 问题的类型

  • 测量的尺度

  • 问卷的形式

大致内容

  • 变量列表
  • 变量维度

  • 变量关系

  • 变量顺序布局

语言

  • 文字简洁,避免被调查者不理解

  • 避免歧义或者含义不清:“我经常。。。”

  • 避免双重意义:“我的领导工作方式粗暴,大家都不喜欢他(她)”。

  • 谨慎提出需要回忆的问题:您过去三年/三个月缺勤了多少钱

  • 降低回答者满足社会期望的动机

问题设计

  • 尽量避免开放性问题:不能直接量化。如:“好的领导应该有哪些特点?”

  • 使用封闭式问题:如果部分调查对象很有可能没有经历或无法理解某些,可以包含”不清楚”选项。需要谨慎。

  • 谨慎使用反向问题

    • 虽然可以考察认真程度,但增加被调查者的认知负担

    • 还会导致信度降低

    • 若使用了反向计分,一定要在软件里操作

    • 例如:“我经常为自己设立目标,却很少全力以赴。”

测量尺度

  • 列名尺度(Nominal scale)

    • 测量分类变量,如性别,职位,学历等。

    • 年龄可以分类测量吗?最好不要!

    • 转变为虚拟变量进行回归(dummy variable)

  • 排序尺度(Ordinal scale)

    • 用于描述性统计,如比赛第一名,第二名,第三名
  • 等距尺度(Interval scale)

    • 标尺之间距离相等;没有绝对零点。如Likert量表。

    • 可加减,不可以进行比率运算。工作满意度是4,不等于2的两。

  • 比率尺度(Ratio scale)

    • 等距标尺;有绝对零点。可以进行比率运算。

Data_Type Meaning Arithmetic Example
Nominal Uses names/labels to distinguish different categories Not allowed A player’s position on the field
Ordinal Same as nominal, but categories have a logical order Not allowed Grades in a tryout training course (D, C, B, or A)
Interval Equal intervals represent equal differences in the measured attribute Addition/subtraction allowed The age difference between 26 and 28 equals the difference between 33 and 35
Ratio Same as interval, but has a meaningful zero indicating the complete absence of the construct All arithmetic allowed Team scores: 20 points in Q1 is twice 10 points in Q1; 0 points means the team has not scored yet

测量顺序:方便作答;尽量不让被调查者猜测到调查目的。

  • 变量分类:分类变量,连续变量

  • 打乱自变量、中介变量和因变量顺序。但不建议将所有题项全部打乱。

  • 避免问卷填写的学习效应,如先问了工资,上下级关系等问题,最后问离职倾向就会让员工思考自己是否想离职,影响其判断

  • 问题内容从易到难,从不敏感到敏感。个人信息放在最后。

问卷封面:引起兴趣,引起关注

  • 有关问卷的研究目的

  • 答卷的具体要求(如要求回答每一问题)

  • 研究人员对答卷者的承诺(如对数据的保密,研究结果出来以后是否与答卷者分享)

  • 对答卷者的感激

  • 研究人员的联系方式

  • 范例:


尊敬的先生、女士:

对工作的全身心投入,不仅有利于提升绩效,更有利于提高您的幸福感。为了探求影响工作投入的因素,帮助您及所在的团队寻找工作中的快乐并提升绩效,我们设计了这份问卷。所有问题均没有正确答案,请根据您的真实感受填写。所有数据都将保密并仅用于学术研究。感谢您的参与!

XXX大学

博士 XXX


2.2.3 数据收集

样本选择

抽样方式

  • 方便抽样
  • 样本代表性:到底是抽取同质化样本,还是应该尽可能抽取异质化样本

    • 战略管理:单一产业取样

    • 客观条件

    • 尽可能让自变量的变异最大化,同时控制外生变异

样本量

  • 通常做法:参考该领域以往的研究

  • 精确做法:计算统计力

应答率:拒绝应答与愿意应答的人可能存在显著差异,过低的应答率降低统计效力

  • 买礼物

  • 提供报告

答案的多样性:过分集中的答案导致变异过小,影响统计效力。

填答质量

  • 研究有意义的问题,并让参与者了解这些意义

  • 研究者尽可能亲自发放和回收问卷

顺从保证(Groves, 1992)

  • 互惠性

  • 一致性

  • 社会趋同

  • 权威性

  • 稀缺性

  • 喜好性

对效度的影响

  • 降低共同方法误差

    • 多时间点数据:在不同时间点收集自变量,中介变量,调节变量,因变量以及控制变量。

    • 多来源数据:结果变量来自于领导,同事,下属或客观数据。

  • 采用纵向研究设计:多次重复采集所有变量

  • 采用专门的统计方法,如一人评价多人,需要进行多层回归

2.2.4 问卷的跨文化情景使用

普遍性-以中国为例:Liang, Liu, and Farh(2017)综述了 2006—2015年在 11本主要OB/HRM期刊,406 篇文章使 用了中国样本,而用问卷调查法搜集数据的文章占到了这一总数的57.4%(233/ 406)

原因

  • 可以节省开发新量表所需要付出的时间和研究成本

  • 使用相同的测量工具保障了研究结果在不同情境下的可比性

益处

  • 较高的测量质量

  • 认可度高

时间局限性

跨文化测量对等性

  • 概念上的适用性

  • 文化上的适用性

  • 样本上的适用性

沿用现有量表时的注意事项

  • 量表选择

    • 使用量表开发文章(并使用的中国样本)的量表

    • 使用量表开发文章的量表

    • 使用已经发表在顶级期刊,并使用中国样本的量表

    • 使用已经发表在顶级期刊

  • 不要随意删改题项。

    • 如果要删改,理论上应该有合理性,统计上应该满足相应的信度效度要求。测量一个潜变量的题项一般不得少于三个
  • 问卷的双向翻译

2.3 总结

做理论上的”科学家”

做方法上的”工程师”

3 线性回归分析基础

这一章利用一项研究数据来介绍OLS回归分析的原理,包括估计过程,模型的拟合度,线性回归结果的解释,以及统计推断的基本原理。

3.1 相关和预测

研究问题:人们对于政府在减轻全球性危机潜在影响中的角色的看法,与他们对这种危机的情绪反应之间的相关程度有多大?

为了回答这个问题,利用美国815名居民(417名女性,398名男性)的调查数据来进行分析(数据集名为GLBWARM)。

  • YGOVACT):多大程度上支持美国政府缓解全球气候变化威胁的各项政策或行动。由 5个问题构成;回答选项(1=“强烈反对”;7=“强烈支持”)。

  • XNEGEMOT):参与者对气候变化前景的负面情绪反应。回 答想到全球变暖时感受到的关切、担忧和恐慌;回答选项(1=“根本不”;6=“很多”)。

图1 关于气候变化的负面情绪(X)与支持缓解气候变化的政府行动(Y)之间关系的散点图

图1呈现了一种趋势,即那些对于气候变化表现出相对强烈负面情绪的人,也相对更支持政府采取行动来帮助缓解气候变化。

接下来量化关联:皮尔逊相关系数r(Person’s r)

图2 SPSS输出显示对气候变化的负面情绪(X)和对政府行动的支持(Y)的皮尔逊相关

## Pearson's r and 95% confidence intervals:
## ─────────────────────────────────────────
##            r       [95% CI]     p       N
## ─────────────────────────────────────────
## Y-X2    0.04 [-0.03,  0.11]  .220     815
## Y-X1    0.58 [ 0.53,  0.62] <.001 *** 815
## Y-X3   -0.42 [-0.47, -0.36] <.001 *** 815
## Y-X5   -0.10 [-0.16, -0.03]  .006 **  815
## Y-X4   -0.10 [-0.17, -0.03]  .005 **  815
## Y-X6   -0.36 [-0.42, -0.30] <.001 *** 815
## X2-X1   0.13 [ 0.06,  0.19] <.001 *** 815
## X2-X3  -0.03 [-0.10,  0.04]  .402     815
## X2-X5   0.04 [-0.03,  0.11]  .227     815
## X2-X4   0.07 [ 0.01,  0.14]  .034 *   815
## X2-X6  -0.04 [-0.10,  0.03]  .308     815
## X1-X3  -0.35 [-0.41, -0.29] <.001 *** 815
## X1-X5  -0.06 [-0.13,  0.01]  .105     815
## X1-X4  -0.12 [-0.18, -0.05] <.001 *** 815
## X1-X6  -0.32 [-0.38, -0.26] <.001 *** 815
## X3-X5   0.21 [ 0.15,  0.28] <.001 *** 815
## X3-X4   0.13 [ 0.06,  0.20] <.001 *** 815
## X3-X6   0.62 [ 0.58,  0.66] <.001 *** 815
## X5-X4   0.17 [ 0.10,  0.23] <.001 *** 815
## X5-X6   0.15 [ 0.09,  0.22] <.001 *** 815
## X4-X6   0.11 [ 0.04,  0.18]  .002 **  815
## ─────────────────────────────────────────

如图2显示: r=0.578,表明研究中对气候变化的负面情绪相对较强的人也相对更支持政府的行动。

*解读r三种符号的:

  • 显著+:r的符号对应了X和Y之间线性关系的方向,如果X相对较高的值与Y相对较高的值对应,相对较低的X值倾向于与Y相对较低的值对应,那么皮尔逊系数r是正的;

  • 显著-:如果X相对较高的值趋向于与Y相对较低的值对应,相对较低的X趋向于与相对较高的Y对应,则皮尔逊系数,为负。

  • 不显著:当X和Y的值的配对没有明显的顺序,或者当关联更加非线性时,皮尔逊系数r将接近于零(因为皮尔逊系数r是线性关联的度量,而不是任何关联类型的度量)

*解读r:提供了一个估计值,即对于一个个案,已知它的X值距离样本均值多少个标准差,它的Y值距离样本均值的多少个标准差。即 \[ \ \hat { Z }_{Y_i}=r_{XY}Z_{X_i} \]

  • 实例1:一个人的负面情绪(X1)处于均值之上0.5个标准差(Zx=0.5),那么可以估算出他对政府行动的支持度离均值Zx=0.578*0.5=0.289个标准差。Z y的符号为正,意味着这个人在样本均值之上(比平均水平更加支持)。

  • 实例2:负面情绪在均值之下2个标准差的人(Zx=-2),被估算出对政府行为支持度离均值Zy=0.578*(-2)=-1.156个标准差。在 这种情况下,Zy为负,意思是估计出这个人对政府行动的支持度是低于样本均值的(即支持度低于平均水平)

相关和预测是密切相关的概念。如果两个变量是相互关联的,那么就应该能够使用一个变量上配对的XY的值的信息,以某种精确度来估计对应的另一个变量的值,如果想要从解释的角度出发提供更多的解释信息就要用更加复杂的建模方法。

3.2 X与Y皆是连续变量的简单线性回归模型

线性回归模型是通过利用输入和输出之间的关联信息将一个或多个输入变量(预测变量、自变量、解释变量或前因变量)连接到输出变量(结果变量、准则变量或因变量)的方程。

进行线性回归分析时的目标:估计回归模型的各种参数,使产生的方程从一个或多个前因变量得到结果变量的估计值(parameters)。

3.2.0.0.0.0.0.0.0.1 *解读公式

  • 简单线性回归模型是:

\[ Y_j=\underbrace{i_Y+b X_j}_{\hat Y}+e_j \]

  • 变量:YjXj分别表示个案j的结果和前因变量的度量

  • 系数:b是前因变量X的回归系数

  • 截距:iY是回归常数

  • 残差:ej是从个案jX值估计样本jY值产生的误差,也被称为残差。

  • 估计回归模型的过程称为YX上的回归。

回归的原理:通过最小二乘法使得残差最小(公式推导:罗胜强和姜嬿,2014,7.1.3),过程如下:

  • 寻找最好的估计:以上方程有无穷多对i和b的值,可以用来生成Y的估计值。一 个普通最小二乘(OLS)回归过程是找到一个最好的估计,该估计产生的回归常数和系数这两个值的特别之处在于,它最小化了残差平方和 (Sum of squares for residual: SSresidual):\[ \ SS_{residual}=\sum_{j=1}^{n}(Y_j-\hat Y_j)^2=\sum e_j^2 \]

  • 最差的估计:SSresidual的最大值则是仅使用均值作为预测变量的模型(即只含有截距而不加入任何预测变量,在R中该模型为lm(y~1)),即为其总平方和(Total sum of squares:SST)

\[ \ SS_{total}=\sum_{j=1}^{n}(Y_j-\bar Y_j)^2 \]

  • 找出已解释部分:总平方和减去残差平方和的部分,即为其回归平方和 (Sum of squares for regresion: SSregresion):

\[ \ SS_{regression}= SS_{total}- SS_{residual}\\ \sum_{j=1}^{n}(\hat Y_j-\bar Y_j)^2=\sum_{j=1}^{n}(Y_j-\bar Y_j)^2-\sum_{j=1}^{n}(Y_j-\hat Y_j)^2 \]

3.2.0.0.0.0.0.0.0.2 图2.3 以对气候变化的负面情绪估计对政府缓解气候变化行动支持度的简单回归分析R Studio结果

使用以下R语言命令生成的气候变化负面情绪(X)估计对政府减缓气候变化行动的支持(Y)的简单回归代码是:

## 
## General Linear Model (OLS Regression)
## 
## Model Fit:
## F(1, 813) = 407.34, p = 1e-73 ***
## R² = 0.33379 (Adjusted R² = 0.33297)
## 
## Unstandardized Coefficients:
## Outcome Variable: Y
## N = 815
## ──────────────────────────────────────────────────────────────
##                  b    S.E.      t     p      [95% CI of b] VIF
## ──────────────────────────────────────────────────────────────
## (Intercept)  2.757 (0.099) 27.948 <.001 *** [2.564, 2.951]    
## X1           0.514 (0.025) 20.183 <.001 *** [0.464, 0.564]    
## ──────────────────────────────────────────────────────────────
## Standardized Coefficients (β):
## Outcome Variable: Y
## N = 815
## ────────────────────────────────────────────────────────────────────
##         β    S.E.      t     p      [95% CI of β] r(partial) r(part)
## ────────────────────────────────────────────────────────────────────
## X1  0.578 (0.029) 20.183 <.001 *** [0.522, 0.634]      0.578   0.578
## ────────────────────────────────────────────────────────────────────

因此,最佳拟合OLS回归模型是:

\[ \hat{Y}_j=2.757+0.514 X_j \]

这个简单回归方程可以用二维平面图上的一条直线形式表示出来。

图4 关于气候变化负面情绪(X)对政府行动的支持度(Y)的估计的最小二乘回归方程(虚线)图示

## Error in UseMethod("ggplot_build"): no applicable method for 'ggplot_build' applied to an object of class "c('gg', 'ggplot', 'ggPredict')"

3.2.1 常数和回归系数的解释

3.2.1.0.0.0.0.0.0.1 *解读结果

  • 解读回归系数:对应着直线斜率,因此回归系数有时被称为回归斜率。它量化了1个单位X的不同估计值的Y的差异。数学上b被定义为:

\[ b=[\hat{Y}_j|(X=x)]-[\hat{Y}_j|(X=x-1)] \]

    • 例子,两个个案在气候变化负面情绪上1个单位的差异可以估计他们在政府行动的支持度上相差b=0.514个单位。
  • 截距:在概念上等同于直线方程中的y轴截距。它 表示当X=0时Y的估计值。

    • 例子:在气候变化模型中,iY=2.757,这是对负面情绪测量分数为0的人对政府行动支持度的估计值。虽然这有明确的数学意义,但实际上,这毫无意义,因为负面情绪的范围界定在1到6之间。通常,回归常数没有实质性的解释,但有时它又具有一定意义。它取决于X是如何测量以及X=0时是否具有任何实质意义(调节做中心化处理的原因)。

3.2.2 标准化回归模型

标准化回归模型:通常是在模型预估之前将所有的变量首先进行标准化,即通过使用距离样本均值几个标准差来表述每个测量值。

\[ \hat{Z}_{Y_j}=\tilde{b} Z_{X_j} \]

这里ZYZX是标准化版本的XYb~X的标准化回归系数。

3.2.2.0.0.0.0.0.0.1 *解读结果

  • 系数:标准化回归系数可以解释为两个个案在X上相差1个标准差,估计它们在Y上相差多少个标准差。因 此,两个在气候变化负面情绪上有1个标准差区别的人,估计在政府行动支持度方面相差b=0.578个标准差。进 行OLS回归的大多数统计软件包会在输出部分提供标准化回归模型。例 如,在本例中,标准化回归系数可以在”标准化系数”一栏下找到。

  • 截距:标准化回归模型并不包含截距(因为标准化后,截距项一般为0)。

  • 理论含义:系数为正意味着对气候变化有更多负面情绪的人估计会更加强烈地支持政府减轻气候变化的行动。

  • 标准化回归系数与X和Y与的皮尔逊相关系数:几乎完全相等。这 在只有一个前因变量的任何同归模型中是成立的,但并不能推广到具有多个前因变量的模。

3.2.3 二分前因变量的简单线性回归

在线性回归方程中,前因变量可以是定量维度或二分变量,比如性别(男性/女性)。

为了更好的说明,使用一个线性回归分析来估计男性和女性(X)在政府行动支持度(Y)上的差异;男(编码1,51.2%的参与者)或女(编码0,48.8%的参与者,即为X4的均值)。

3.2.3.0.0.0.0.0.0.1 图2.5 基于参与者性别(X)的政府应对减缓全球变暖采取行动的支持度(Y)的简单回归分析的R Studio输出图示

## 
## General Linear Model (OLS Regression)
## 
## Model Fit:
## F(1, 813) = 7.98, p = 0.005 ** 
## R² = 0.00973 (Adjusted R² = 0.00851)
## 
## Unstandardized Coefficients:
## Outcome Variable: Y
## N = 815
## ─────────────────────────────────────────────────────────────────
##                   b    S.E.      t     p        [95% CI of b] VIF
## ─────────────────────────────────────────────────────────────────
## (Intercept)   4.718 (0.066) 71.122 <.001 *** [ 4.588,  4.848]    
## X4           -0.268 (0.095) -2.826  .005 **  [-0.455, -0.082]    
## ─────────────────────────────────────────────────────────────────
## 
## Standardized Coefficients (β):
## Outcome Variable: Y
## N = 815
## ───────────────────────────────────────────────────────────────────────
##          β    S.E.      t     p        [95% CI of β] r(partial) r(part)
## ───────────────────────────────────────────────────────────────────────
## X4  -0.099 (0.035) -2.826  .005 **  [-0.167, -0.030]     -0.099  -0.099
## ───────────────────────────────────────────────────────────────────────

因此,得到:

\[ \hat{Y}_j=4.718-0.268 X_j \]

3.2.3.0.0.0.0.0.0.2 *解读结果:

  • 截距(0组值):当X=0时,回归常数iY仍然是Y的估计值。这 种情况下,女性被编码为X=0,所以Y=4.718。这 是女性对政府行为支持度的估计值,它对应于女性的样本均值:iY=Y女性=4.718。

  • 回归系数(与0组相比的差值):即两个在X上相差1个单位的个案在Y的估计值上的差异,而负号告诉我们,个案在X上值越大估计出的Y值越低。这 与之前报告的均值是一致的。男 性在编码时比女性编码高一个单位值,而普遍呈现比女性对政府行为支持度更低。再 者,要注意到均值之间的差值正好是这个度量的0.268个单位(即Y男性-Y女性=4.450-4.718=-0.268)。因 此回归系数量化了两组均值之间的差异。

通过带入理解该结果:对于女性X=0,根据模型估计女性的均值为y=4.718-0.268*0=4.718,对于男性,X=1,估计男性的均值为Y=4.718-0.268*1=4.450。

## [1] 4.718
## [1] 4.45
## 
## Independent-Samples t-test
## 
## Hypothesis: two-sided (μ2 - μ1 ≠ 0)
## 
## Descriptives:
## ──────────────────────────────────────
##  Variable Factor Level   N Mean (S.D.)
## ──────────────────────────────────────
##         Y     X4     0 417 4.72 (1.16)
##         Y     X4     1 398 4.45 (1.53)
## ──────────────────────────────────────
## 
## Levene’s test for homogeneity of variance:
## ───────────────────────────────────────────
##                Levene’s F df1 df2     p    
## ───────────────────────────────────────────
## Y: X4 (1 - 0)       27.09   1 813 <.001 ***
## ───────────────────────────────────────────
## Note: H0 = equal variance (homoscedasticity).
## If significant (violation of the assumption),
## then you should better set `var.equal=FALSE`.
## 
## Results of t-test:
## ─────────────────────────────────────────────────────────────────────────────────────
##                    t  df     p      Difference [95% CI]   Cohen’s d [95% CI]     BF10
## ─────────────────────────────────────────────────────────────────────────────────────
## Y: X4 (1 - 0)  -2.83 813  .005 **  -0.27 [-0.45, -0.08] -0.20 [-0.34, -0.06] 3.89e+00
## ─────────────────────────────────────────────────────────────────────────────────────

3.3 相关的替代性解释

相关并不意味着因果关系:如果变量XY是相关的,这并不意味着X会导致Y,或者Y导致X,最终能否推断因果甚至不是一件统计上的事。相 反,它关乎一个人的研究设计,他所使用的数据收集程序,以及理论的合理性,这将更加直接地影响一个因果论断是否成立以及可信程度,而不仅仅是相关关系的统计系数的大小或方向。

使用回归的逻辑(控制变量):多层回归为研究者提供了一种借助于数学化辅助的反事实推理方法,即在同归模型中,在另一个前因变量没有差异的情况下估计X和Y之间的相关程度。它 通过将人(或者任意分析的单位)在这些变量上的”数学上等同”来实现这一点。这 种等同过程也称为从X和Y的相关中”分离”出其他变量,或”统计性地控制”那些变量。这 些其他的变量在线性模型的术语中被称为协变量,但在实践中,它们和X一样,只是Y的山归模型中的前因变量

回归与因果的关系

  • 回归不能告诉我们的:人们永远都不知道在前因变量或结果变量之间观察到的相关是否是因果关系,或者是否要归因于模型中尚未进行统计学控制的其他一些变量
  • 回归可以告诉我们的:当知道在保持其他东西都不变的情况下,我们所关心的关系仍然存在,至少可以消除一些替代性解释。最终,若想在数据缺失的情况下得到更为明确的因果解释,所能做的就是尝试控制那些引起批评者质疑的协变量

3.4 多层线性回归

  • 定义:回归模型中包括多个前因变量,允许研究者同时检验对一个结果变量有多个影响的作用。多 层回归模型的另一个重要的好处是,它从统计上排除某些替代性解释,提供了部分相关的各种测量方法,即,它量化了一个前因和一个结果之间的关联关系的组成部分,这与模型中的其他前因变量相比是唯一的。

  • 一般而言,一个具有k个前因变量的多层线性回归模型采用以下形式:

\[ Y_j=i_Y+b_1 X_{1 j}+b_2 X_{2 j}+\ldots+b_k X_{k j}+e_j \]

其中Xij是个案j的前因变量i的值,bi是前因变量Xi的回归系数,其他所有项定义如前。

举例:使用对气候变化的负面情绪(X1)、对气候变化的积极情绪(X2)、政治意识形态(X3)、性别(X4)和年龄(X5)同时对政府行为的支持度(Y)进行回归。

3.4.0.0.0.0.0.0.0.1 图2.6 关于用对气候变化的负面情绪(X1)和积极情绪(X2)、政治意识形态(X3)、性别(X4)和年龄(X5)来估计对减轻全球气候变化的政府行动支持度(Y)的多层回归分析R Studio输出结果

## 
## General Linear Model (OLS Regression)
## 
## Model Fit:
## F(5, 809) = 102.72, p = 7e-84 ***
## R² = 0.38832 (Adjusted R² = 0.38454)
## 
## Unstandardized Coefficients:
## Outcome Variable: Y
## N = 815
## ───────────────────────────────────────────────────────────────────
##                   b    S.E.      t     p        [95% CI of b]   VIF
## ───────────────────────────────────────────────────────────────────
## (Intercept)   4.064 (0.205) 19.791 <.001 *** [ 3.661,  4.467]      
## X1            0.441 (0.026) 16.676 <.001 *** [ 0.389,  0.493] 1.166
## X2           -0.027 (0.028) -0.951  .342     [-0.082,  0.028] 1.026
## X3           -0.218 (0.027) -8.071 <.001 *** [-0.271, -0.165] 1.194
## X4           -0.010 (0.077) -0.131  .896     [-0.161,  0.141] 1.053
## X5           -0.001 (0.002) -0.552  .581     [-0.006,  0.003] 1.071
## ───────────────────────────────────────────────────────────────────
## 
## Standardized Coefficients (β):
## Outcome Variable: Y
## N = 815
## ───────────────────────────────────────────────────────────────────────
##          β    S.E.      t     p        [95% CI of β] r(partial) r(part)
## ───────────────────────────────────────────────────────────────────────
## X1   0.495 (0.030) 16.676 <.001 *** [ 0.437,  0.554]      0.506   0.459
## X2  -0.027 (0.028) -0.951  .342     [-0.081,  0.028]     -0.033  -0.026
## X3  -0.243 (0.030) -8.071 <.001 *** [-0.302, -0.184]     -0.273  -0.222
## X4  -0.004 (0.028) -0.131  .896     [-0.059,  0.052]     -0.005  -0.004
## X5  -0.016 (0.028) -0.552  .581     [-0.072,  0.040]     -0.019  -0.015
## ───────────────────────────────────────────────────────────────────────
## ──────────────────────────────────────────────
##              Estimate    S.E.      t     p    
## ──────────────────────────────────────────────
## (Intercept)     0.000 (0.027)  0.000 1.000    
## scale(X1)       0.495 (0.030) 16.676 <.001 ***
## scale(X2)      -0.027 (0.028) -0.951  .342    
## scale(X3)      -0.243 (0.030) -8.071 <.001 ***
## scale(X4)      -0.004 (0.028) -0.131  .896    
## scale(X5)      -0.016 (0.028) -0.552  .581    
## ──────────────────────────────────────────────
## ──────────────────────────
##               2.5 % 97.5 %
## ──────────────────────────
## (Intercept)   3.661  4.467
## X1            0.389  0.493
## X2           -0.082  0.028
## X3           -0.271 -0.165
## X4           -0.161  0.141
## X5           -0.006  0.003
## ──────────────────────────

由此得到:

\[ \hat{Y}=4.064+0.441 X_1-0.027 X_2-0.218 X_3-0.010 X_4-0.001 X_5 \]

3.4.1 常数和偏回归系数的解释

3.4.1.0.0.0.0.0.0.1 *解读结果

  • 解读非标准化多层回归的结果:
    • 截距:多层回归模型中的回归常数是模型中某一案的所有前因变量的测量值为0时的值。在 这个例子中,iy=4.064,但是这个估计值Y根本没有什么实质意义,因为0值超过了情绪测量量表(积极的和负面的情绪下限是1)、意识形态(1-7)以及年龄的刻度范围。

    • 回归系数:如果其他回归系数是固定的,那么在Xk上相差1个单位的两个个案,Y的估计值将有bk个单位的差异。本 例中,从多层回归分析中,两个有着同样对气候变化的积极情绪(X2)、政治意识形态(X3)、性别(X4)和年龄(X5),但在负面情绪中相差1个单位的个体,他们对政府行动的支持度有0.441个单位差异。数 学上将其定为:

\[ b_i=[\hat{Y}_j|(X_{is}=x); X]-[\hat{Y}_j|(X_{it}=x-1; X)] \]

  • 解读标准化后结果:

    • 截距:是0

    • 回归系数:两个个案Y值的标准差的估计差异,这两个个案在变量X,上有1个标准差的不同,但在模型中其他前因变量上都相等。本 例中,b1=0.495,所以我们可以说两个人在负面情绪变量(X1)上相差1个标准差,但在积极情绪、意识形态、性别和年龄上得分都相同,他们在政府行动支持度上的估计值相差0.495个标准差,即负面情绪越强烈的人对政府行动的支持度越大

    • 手动计公式:

\[ \tilde b_i=b_i (\frac{SD_X}{SD_Y}) \]

## [1] "0.495"
  • 解读部分标准化后结果(前因变量为分类变量):不应计算标准化后结果(如,性别),当模型中分类变量和连续变量共存时,只选择连续变量进行标准化,而不是选择将所有变量标准化。这 必须在模型估计之前完成。一 旦这么做了并且生成模型,就需要解释非标准化的回归系数而不是标准化的回归系数。对 于那些之前进行了手动标准化的前因变量,非标准系数会变成标准化形式。

    • 本例中:但现在b4=-0.007有个合理的解释。我们可以说,当模型中所有其他变量保持不变时,男性和女性对政府行动的支持度相差0.007个标准差。负号表示男性对政府行动的支持度不及女性
## 
## General Linear Model (OLS Regression)
## 
## Model Fit:
## F(5, 809) = 102.72, p = 7e-84 ***
## R² = 0.38832 (Adjusted R² = 0.38454)
## 
## Unstandardized Coefficients:
## Outcome Variable: scale(Y)
## N = 815
## ───────────────────────────────────────────────────────────────────
##                   b    S.E.      t     p        [95% CI of b]   VIF
## ───────────────────────────────────────────────────────────────────
## (Intercept)   0.004 (0.039)  0.093  .926     [-0.073,  0.080]      
## scale(X1)     0.495 (0.030) 16.676 <.001 *** [ 0.437,  0.554] 1.166
## scale(X2)    -0.027 (0.028) -0.951  .342     [-0.081,  0.028] 1.026
## scale(X3)    -0.243 (0.030) -8.071 <.001 *** [-0.302, -0.184] 1.194
## X4           -0.007 (0.056) -0.131  .896     [-0.118,  0.103] 1.053
## scale(X5)    -0.016 (0.028) -0.552  .581     [-0.072,  0.040] 1.071
## ───────────────────────────────────────────────────────────────────
## 
## Standardized Coefficients (β):
## Outcome Variable: scale(Y)
## N = 815
## ──────────────────────────────────────────────────────────────────────────────
##                 β    S.E.      t     p        [95% CI of β] r(partial) r(part)
## ──────────────────────────────────────────────────────────────────────────────
## scale(X1)   0.495 (0.030) 16.676 <.001 *** [ 0.437,  0.554]      0.506   0.459
## scale(X2)  -0.027 (0.028) -0.951  .342     [-0.081,  0.028]     -0.033  -0.026
## scale(X3)  -0.243 (0.030) -8.071 <.001 *** [-0.302, -0.184]     -0.273  -0.222
## X4         -0.004 (0.028) -0.131  .896     [-0.059,  0.052]     -0.005  -0.004
## scale(X5)  -0.016 (0.028) -0.552  .581     [-0.072,  0.040]     -0.019  -0.015
## ──────────────────────────────────────────────────────────────────────────────

3.5 模型拟合度的4种度量

4个指标可以衡量模型拟合:每一个指标对的都是对前一个指标的改进,使得拟合指数更好理解

  • 最直观指标SSresidual的缺陷:尽管SSresidual是最直观的衡量模型拟合度,但是其严重受到样本量的影响,随着n增大,SSresidual也增大。两 种变形

  • 修正样本量的MSresidual(Mean square of residual):当SSresidual除以自由度后,其受样本量影响的缺点即可被解决,自由度为样本量-预测变量数-1(n-k-1)其公式为:

\[ M S_{residual }=\frac{S S_{\text {residual }}}{n-k-1} \]

  • 可解读的SEE(standard error of estimate):MSresidual的问题是不可解读,将其开平方后的估计标准误SEE可以解释为Y与^Y平均差异数,忽略符号不计,它也近似等于残差的标准差。在本例中,估计标准误为1.067(见图2.6)。当忽略误差的符号时,它几乎就是Y与平均相差多少。因为估计标准误只是SS的变形,它也是按最小二乘法则进行最小化

\[ SSE=\sqrt {M S_{residual }} \]

  • 最常用的R2通常被解释为模型可解释的Y值的变化的比例:R可以被看作YY(估计值)之间的皮尔逊相关。这 一诠释清楚地说明了RR2如何被看作模型拟合度的一种指标。在 一个好的拟合模型中,模型估计出的Y值与数据中n个个案的实际观测值Y之间的相关性应该很大。如 果这种相关性小,那么很难认为这个模型在解释Y值的个体差异方面做的特别好。

    • R2的最大优势:前三种方法由于无法排除测量使用量尺不同带来的影响,导致其结果很难比较。只 要样本量不是很小,都可以直接比较基于不同样本大小的两个模型的R2

    • *解读R2:在气候变化模型中,R2=0.388。那 么负面情绪和积极情绪、年龄、性别和政治意识形态共同解释了人们对政府行动支持度的0.388×100%=38.8%的变化。

\[ R^2=1-\frac{S S_{\text {residual }}}{S S_{\text {total }}}=\frac{S S_{\text {regresion }}}{S S_{\text {total }}} \]

## ───────────────────────────────────────────────────────────────────────
##          n     k ss_total A.SS_residual B.MS_residual C.SSE D.R_squared
## ───────────────────────────────────────────────────────────────────────
## 1  815.000 5.000 1506.542       921.523         1.139 1.067       0.388
## ───────────────────────────────────────────────────────────────────────

3.6 统计推断

假设情况

  • 前提:GLBWARM数据文件中的815个人代表了地球上的人口普查。如 果地球上没有其他人了,那么GLBWARM数据集就是全体人口的数据集。

  • 针对总体的估计:如果我们要从负面情绪、积极情绪、政治意识形态、性别和年龄等因素来估计对减轻气候变化影响的政府行动支持度,那么可以得到这个将残差平方和降到最低的总体回归模型。模 型里T表示回归系数的”真值”或总体值。

\[ \hat{Y}={ }_T i_Y+{ }_T b_1 X_1+{ }_T b_2 X_2+{ }_T b_3 X_3+{ }_T b_4 X_4+{ }_T b_5 X_5 \]

基于样本推断总体:现在假设,不是人口普查,我们只研究了815个居民中的50人,而且是从815个居民的人口中随机抽取了这50个居民。用 这50个样本,用五个前因变量对政府行动支持度进行回归。

  • 图2.7

    • 抽样方式:从GLBWARM数据的815个人中随机抽取50人

    • b1:图7描述了重复10000次该过程得到的b1值的直方图。

      • b1的范围:注意到Tb1的10000个估计值变化很大,从0.02的低点到0.85的高点,大部分估计值在0.30~0.60。这 就是抽样方差

      • b1的估计:研究者们希望这个估计值b1接近真正的值,但不可能确切地知道它有多接近,因为我们只观察了基于可用数据的真值的单个样本估计值。从 815人中抽取出的不同随机样本会产生不同的Tb1估计值,因为只要当样本量小于总体时,b1就取决于抽样方差。

3.6.0.0.0.0.0.0.0.1 图2.7 在样本量为50的样本中Tb1进行10000次估计的直方图(Hayes 2013, p51)

3.6.1 检验一个零假设

  • 在回归中,最通常检验的零假设是,总体中的XiY不是线性相关。符号上可以表示为:

\[ \begin{array}{ll} H_0: & { }_T b_i=0 \\ H_a: & { }_T b_i \neq 0 \end{array} \]

为了在零假设和备择假设之间做出判断,必须推导出XiY之间相关的概率,这个概率就是所得结果中的p值。如 果p值不大于检验中的显著性水平(一般来说,显著性水平或α-level为0.05),那么拒绝零假设而选择备择假设。

3.6.2 区间估计

另一种推断方法是区间估计,也称为构建Tbi的置信区间。

点估计:在任何单一样本中,bi是我们对Tbi值的最佳猜测,它是一个Tbi的点估计。然 而,bi几乎肯定不等于Tbi

置 信区间将这种不确定性确认为:Tbi可能处于一个由特定的置信度所决定的范围之内。

通常使用95%置信区间,c%置信区间的公式是:

\[ b_1-t_c \%{s e}_{b_1} \leq{ }_T b_1 \leq b_1+t_{c \%} s e_{b_1} \]

*解读本例的区间结果:

\[ 0.441-1.92*0.026 \leq{ }_T b_1 \leq 0.441+1.92*0.026 \]

3.6.3 关于一组前因变量的假设检验

多重回归也可用于检验模型中包含一组前因变量的假设。例 如,把情绪视作一组(即积极情绪和负面情绪),都是对气候变化的情绪反应,控制常量、意识形态、性别和年龄,来看一下情绪与政府行动支持度的相关的问题。

在我们的回归模型中,负面情绪和积极情绪分别为X1X2,这个问题可以用以下的零假设和备择假设来描述:

\[ H_0:{ }_T b_1 \text { and }{ }_T b_2=0 \] \[ H_a:{ }_T b_1 \text { or }{ }_T b_2 \text { or both } \neq 0 \]

通过将多重相关系数的平方差值转换成F比,并找到对应于这个F值的p值。

\[ F\left(m, d f_{\text {residual }_2}\right)=\frac{d f_{\text {residual }_2}\left(R_2^2-R_1^2\right)}{m\left(1-R_2^2\right)}=139.632, p<.001 \]

*解读F值

  • 拒绝零假设角度:控制政治意识形态(X3)、性别(X4)和年龄(X5)为常量后,对气候变化的情绪反应(X1和X2)与对政府行动的支持度(Y)有关

  • 模型拟合角度:该检验也可以解释为检验模型2中包含m个其余变量的这个模型是否优于排除它们的模塑(模型1)。在 这个例子中,我们可以得出结论,包括积极情绪和负面情绪的模型(5个预测变量的模型)比不包括这两个变量的模型(3个预测变量的模型)拟合度更好(即,对Y的估计更为准确)

## 
## Model Summary
## 
## ─────────────────────────────────────
##              (1) Y        (2) Y      
## ─────────────────────────────────────
## (Intercept)    6.169 ***    4.064 ***
##               (0.166)      (0.205)   
## X3            -0.371 ***   -0.218 ***
##               (0.029)      (0.027)   
## X4            -0.118       -0.010    
##               (0.088)      (0.077)   
## X5            -0.000       -0.001    
##               (0.003)      (0.002)   
## X1                          0.441 ***
##                            (0.026)   
## X2                         -0.027    
##                            (0.028)   
## ─────────────────────────────────────
## R^2            0.177        0.388    
## Adj. R^2       0.174        0.385    
## Num. obs.    815          815        
## ─────────────────────────────────────
## Note. * p < .05, ** p < .01, *** p < .001.
##  Significance test for multiple predictors (X1 and X2) based on F-value
## ──────────────────────────────────────────
##        Model DF_Residual R_Squared F_Value
## ──────────────────────────────────────────
## 1  Model 3Xs     811.000     0.177        
## 2  Model 5Xs     809.000     0.388 139.822
## ──────────────────────────────────────────

SPSS等回归模型常做:拟合模型与空模型(仅含截距项不含有任何预测变量)比较,在图2.6中,F(5, 809)=102.717,p < 0.0005,所以可以拒绝零假设。

3.7 多分类前因变量

类别大于2的分类变量:为了在回归模型中包含一个拥有g组的多分类前因变量,它必须用多种编码系统中的一种来表示g-1个变量。一 个通用的组编码系统是指示符编码(indicator coding),也称为虚拟编码(dummy coding)。本 例中类别为3.

3.7.0.0.0.0.0.0.0.1 表2.1 g个类别的指示符

## ─────────────────────
##        X6    d1    d2
## ─────────────────────
## 1   2.000 1.000 0.000
## 2   2.000 1.000 0.000
## 3   2.000 1.000 0.000
## 4   1.000 0.000 0.000
## 5   1.000 0.000 0.000
## 6   3.000 0.000 1.000
## 7   1.000 0.000 0.000
## 8   1.000 0.000 0.000
## 9   2.000 1.000 0.000
## 10  2.000 1.000 0.000
## ─────────────────────

在GLBWARM数据中,PARTYID的变量,用于编码一个人是否被定义为民主党(d1)、独立党(d2)或共和党(d3。以 下这个编码构建了两个指示符,一个是民主党,一个是共和党,而独立党(d2)作为参照类别,所以估计模型为:

\[ \hat{Y}=b_0+b_1 D_1+b_2 D_2 \]

3.7.0.0.0.0.0.0.0.2 图8 民主党(d1)、独立党(d2)和共和党人(d3)在他们对减轻全球气候变化影响的政府行动支持(Y)的多分类前因变量回归分析R Studio输出结果

## 
## General Linear Model (OLS Regression)
## 
## Model Fit:
## F(2, 812) = 61.24, p = 2e-25 ***
## R² = 0.13107 (Adjusted R² = 0.12893)
## 
## Unstandardized Coefficients:
## Outcome Variable: Y
## N = 815
## ────────────────────────────────────────────────────────────────────
##                   b    S.E.       t     p        [95% CI of b]   VIF
## ────────────────────────────────────────────────────────────────────
## (Intercept)   5.064 (0.067)  75.569 <.001 *** [ 4.933,  5.196]      
## d1           -0.459 (0.114)  -4.042 <.001 *** [-0.682, -0.236] 1.173
## d2           -1.139 (0.103) -11.065 <.001 *** [-1.341, -0.937] 1.173
## ────────────────────────────────────────────────────────────────────
## 
## Standardized Coefficients (β):
## Outcome Variable: Y
## N = 815
## ────────────────────────────────────────────────────────────────────────
##          β    S.E.       t     p        [95% CI of β] r(partial) r(part)
## ────────────────────────────────────────────────────────────────────────
## d1  -0.143 (0.035)  -4.042 <.001 *** [-0.213, -0.074]     -0.140  -0.132
## d2  -0.392 (0.035) -11.065 <.001 *** [-0.462, -0.323]     -0.362  -0.362
## ────────────────────────────────────────────────────────────────────────
## 
## General Linear Model (OLS Regression)
## 
## Model Fit:
## F(2, 812) = 61.24, p = 2e-25 ***
## R² = 0.13107 (Adjusted R² = 0.12893)
## 
## Unstandardized Coefficients:
## Outcome Variable: Y
## N = 815
## ──────────────────────────────────────────────────────────────────
##                   b    S.E.       t     p        [95% CI of b] VIF
## ──────────────────────────────────────────────────────────────────
## (Intercept)   5.064 (0.067)  75.569 <.001 *** [ 4.933,  5.196]    
## factor(X6)2  -0.459 (0.114)  -4.042 <.001 *** [-0.682, -0.236]    
## factor(X6)3  -1.139 (0.103) -11.065 <.001 *** [-1.341, -0.937]    
## ──────────────────────────────────────────────────────────────────
## 
## Standardized Coefficients (β):
## Outcome Variable: Y
## N = 815
## ─────────────────────────────────────────────────────────────────────────────────
##                   β    S.E.       t     p        [95% CI of β] r(partial) r(part)
## ─────────────────────────────────────────────────────────────────────────────────
## factor(X6)2  -0.143 (0.035)  -4.042 <.001 *** [-0.213, -0.074]     -0.140  -0.132
## factor(X6)3  -0.392 (0.035) -11.065 <.001 *** [-0.462, -0.323]     -0.362  -0.362
## ─────────────────────────────────────────────────────────────────────────────────

回归方程的结果是:

\[ \hat{Y}=4.605+0.459 D_1-0.680 D_2 \]

3.7.0.0.0.0.0.0.0.3 *解读结果:

  • 截距:在该方程中,b0=4.605对应于参照组的Y,在该示例中为独立党人。我 们能够拒绝零假设,并得出结论:民主党、独立党和共和党人在他们对减轻全球气候变化影响的政府行动支持度平均值上存在差异。

  • 回归系数

    • D1的回归系数为b1=0.459,这是民主党人和独立党人在对政府行动支持度方面的平均差异(5.064-4.605=0.459)。

    • D2的回归系数b2= -0.680,是共和党人和独立党人在政府行动支持度上的平均差异(3.925-4.605=-0.680)。

    • 拟合指标:对于该模型,R2=0.131,模型拟合度检验(参见第2.6节)得到F(2,812)=61.243,p<0.0005。这 相当于来自三个均值的单因素方差分析得到的F比。

  • 可得结论:民主党、独立党和共和党人在他们对减轻全球气候变化影响的政府行动支持度平均值上存在差异。

3.8 解释和统计推断的假设

统计模型是我们用来辅助理解我们的数据的工具,它们给予我们的仅仅是接近于现实的见解。问 题不在于我们是否违背假设,而是当我们解释结果并对其进行推断时,这么做有多大程度会让我们误入歧途。

线性

  • 当使用OLS回归模型来模拟您所感兴趣的结果变量Y时,您必须假设模型中的变量之间的关系本质上是线性(linear)的,或者至少近似线性。线性假设很重要,因为如果违背了,就会危及回归系数的解释意义。

残差正态

  • 残差正态(normality)假设表明,以Y(估计值)为条件的结果变量Y的估计值的误差呈正态分布。
  • 请注意,正态假设与Y自身的分布或回归模型中Y的赁测值的分布尤关,回归分析不考虑这些分布的形状。
  • 除非样本量相当小,否则只有最严重的违反正态假设的回归分析才会大大影响统计推断的有效性。
  • 在某些情况下,非正态可能影响抽样方差,从而降低假设检验的功效。

方差齐性

  • 方差齐性(homoscedasticity)的假设,它表示Y的估计误差是以Y(估计值)为条件同等变化的。当不满足这个条件时,估计误差被认为是方差异质性的。
  • 当不满足这个条件时,估计误差被认为是方差异质性的。方差异质性会影响推断的有效性,降低假设检验的统计功效,影响回归系数置信区间的准确性。
  • 不过,轻微地违反方差齐性假设不会有太大影响。
  • 方差异质性会通过其对回归系数的标准误差的影响从而对推断产生影响,因此,如果该假设违背,可使用在回归分析中不必假定方差齐性的推断方法,例如异方差稳健性和协方差估计器。

独立性

  • OLS回归也假定估计误差在统计学上是独立的(independent)。如果估计误差是独立的,这意味着对所有成对(ij)的观测值,个案iY的估计误差的信息不会被用于估计个案jY估计值的误差。
  • 像方差异质性一样,非独立性影响到回归系数标准误差估计的准确性,因为OLS标准误差估计最假设估计误差是独立的。

回答”何时”(when)或”对谁”(whom)的问题属于调节作用分析的范畴,关于“如何”这一类的问题才属于中介作用的范畴,这也是本章的重点。

3.9 总结

RrMp2.3 Main effect with continous X: Main.conX

RrMp2.5 Main effect with binary X (X=0/1): Main.X01

RrMp2.6 Regression with multipe Xs (both raw and standerdized results and 95%CI): Main.5Xs