1. 首页
  2. 自学中心
  3. 理论
  4. 数据分析

结构方程模型(Structural Equation Model, SEM)

Curran-Bauer Analytics的3日线上工作坊(by Daniel J. Bauer & Patrick J. Curran) 的笔记+补充,欢迎纠错提意见!

他们的正版链接的视频和ppt失效了,我上传了了ppt(链接:pan.baidu.com/s/1DQGDRP提取码:c4k3 ),但是找不到视频了。

全文包括:

  1. SEM简介:功能、优点、缺点
  2. 分析软件简介
  3. 统计知识回顾:矩阵标量向量、多元回归分析、估计方法
  4. SEM的六大步骤
  5. 路径追踪规则(Path tracing rules)

一、SEM简介

强大的功能:

融合了因子分析(Factor Analysis)、方差分析(如ANOVA, ANCOVA, MANOVA, MANCOVA)、多重回归(multiple regression)等:

  1. 可以分析有多个因变量的模型(multiple dependent variables)
  2. 可以分析复杂的中介模型(complex mediating mechanisms)
  3. 可以估算潜在变量以解释测量误差(estimate latent variables)
  4. 可以估算二分变量(binary) /序级变量(ordinal)的潜在因子
  5. 可以测试跨组的模型不变性(test invariance of models across groups)
  6. 可以建模重复测量的数据的发展轨迹(growth trajectories of repeated measures)

不胜枚举的优点们:

  1. 可以一次性完成对一个复杂模型的分析,而不用将模型拆分
  2. 适用于各种数据(不同分布的数据-非正态分布,不同类型的数据-非连续数据)
  3. 对长期数据,可以测试个体的稳定性

以及不足:

  1. 建了个太太太复杂的模型,以致于啥都说明不了(比如把各种变量一股脑塞进模型,偏离了理论)—— 所以在建模specification/re-specification时,一定要明确自己在做什么,让模型保持精简。
  2. 难以判断模型是否正好拟合(fit)数据 —— 要依据理论再参考一些fit index,将模型不断优化,在过度适合和适合不足中找到平衡点。
  3. 可能有不同模型恰好一样地拟合数据
  4. 没有明确参考标准来确定合适的样本大小——……样本量越大越好
  5. 和其他分析一样,SEM无法修正由于取样或测量导致的误差——好好设计和实施实验让数据质量高一些
  6. 哲学盲点:SEM使用”证据的缺失(absent of evidence)作为支持假设模型的证据 —— 没有证据证明其存在可以证明其不存吗?(例一:研制新药,如果没有证据显示新药有疗效,是不是就能说明新药没有疗效了呢?例二:寻找某物种,如果找不到这个物种的生物,是不是就说明该物种已经灭绝了饿呢?)

二、应用软件

常用软件:Amos(绘制路径图,简易模型分析,想发表文章的话还是用后两个分析吧)、Mplus(代码简洁好上手)、R(一般用lavaan package,还有别的包可以用比如semTools有一些补充功能比如求测量不变性 measurementInvariance(),semplot/lavaanplot可以用来绘图,还有openMX、sem等)。

除此以外,还有Python(学好编程啥问题都能解决)、LISREL(输入input是矩阵而非原数据!Coursera上有港中文大学Kit Tai Hau 侯傑泰教授的免费公开课程“Structural Equation Model and its Applications | 结构方程模型及其应用 (普通话/粤语))、EQS(多变量分析软件)、SPSS(也得自己码代码syntax,点点点鼠标是点不出来这些比较高级的功能的)。

三、统计知识回顾

矩阵代数(Matrix Algebra)

标量(scalars):实数,只有大小,没有方向。

结构方程模型(Structural Equation Model, SEM)

*a是一个标量,b也是一个标量。

矩阵(matrix):双序排列的标量,行(rows)+列(columns)。

结构方程模型(Structural Equation Model, SEM)

*表示矩阵的字母一般大写、加粗。

矩阵排序:下标前面的数字代表行i,后面的数字代表列j,记作aij。

结构方程模型(Structural Equation Model, SEM)

矩阵转置(Transpose):把矩阵A(r×c)的行和列互相交换,得到矩阵A’(c×r)。

结构方程模型(Structural Equation Model, SEM)

对称矩阵(Symmetric Matrices):A = A’。

对角矩阵(diagonal matrix):特殊的对称矩阵,主对角线之外的元素皆为0的矩阵。

单位矩阵(Identity Matrix):特殊的对角矩阵,主对角线为1,主对角线之外的元素皆为0的矩阵。

向量(Vector):仅有一列/一行的矩阵。

 

结构方程模型(Structural Equation Model, SEM)

 

*代表向量的字母一般小写加粗。

矩阵的加减乘除(我省略了)

但要注意的是,

  • 计算标量时,ab=ba,计算矩阵时,ab ≠ ba因为乘法要考虑顺序。
  • 实际上没有矩阵除法,通过乘以逆矩阵(A-1)完成。

行列式(Determinant)

  • 矩阵S的行列式记作|S|
  • 仅正方形的矩阵可以求行列式,比如相关性、协变量矩阵。
  • 行列式为0的矩阵不可逆(inverted),这样的矩阵是非正定矩阵(non-positive definite, NPD),而SEM计算中通常需要求逆矩阵,所以行列式为0的矩阵为导致运行错误(例如“psi matrix is not positive definite” )

多元回归分析(Multiple Regression)

  • 回归分析(regression)可以看作是SEM的一种形式。
  • 广泛应用于社会、行为、健康科学中的强大、灵活的分析方法。
  • 因变量需要时正态分布的连续数据,对自变量没要求。
  • 可以分析交互作用、中介作用等。

估计方法

最小二乘估计(Least Squares Estimation, LSE)

选择可以最小化残差的平方和(sum of squared residuals)的参数

最大似然估计(Maximum Likelihood Estimation, MLE)

频率学派(Frequentist)的点估计法,根据样本数据不断尝试,选出能最优描述实际概率分布(likelihood)的参数。

最大后验估计(Maximum A Posteriori Estimate, MAP)

提到了频率学派,就插入一下贝叶斯学派(Bayesian)的最大后验估计MAP。MAP融合了预估计量的先验分布信息(Prior distribution),对未观测点做估计,可以看作是正则化(regularized)的最大似然估计。

四、SEM操作步骤

1. Specification 明确模型

自变量(independent variable)是什么?因变量(dependent variable)是什么?有没有调节变量(mediator)?有没有中介变量(moderator)?变量间是什么关系(relationship)?

1.1 路径图(path diagram)

  • 绘图比较好用易上手的软件:Amos (分析基于SPSS,要获得分析结果的话要同时下载SPSS)(Amos全名其实就是Analysis of moment structures)
  • 绘制正确的话,路径图完全可以表达(等同于)构建的方程式/模型
  • 优点:可视化模型隐含的矩阵结构(model-implied moment structure) 【moment指的是变量组(sets of variables)的均值(mean)、方差(variances)、 协方差(covariances),就是均值矩阵/(协)方差矩阵】。

路径图中图形的含义

  • 长方形/正方形:测量变量(measured variable)
  • 圆形:未测量变量(unmeasured variable), 如残差(residuals)、潜在变量(latent variables)
  • 单向直线箭头:回归方程的参数(regression coefficient)/因子分析的因子负荷(factor loadings)
  • 双向曲线箭头:方差(variance)/协方差(covariance)
  • 三角形:均值(mean)/截距(intercept)的常数(constant)。在分析模型时,统计软件会自动将一行常数设置成1。
结构方程模型(Structural Equation Model, SEM)

1.2 矩阵结构(Moment Structures)

  • 总体矩阵(Population moments) 记作Σ和μ
  • 样本矩阵(sample moments)记作S和 m
  • 总体隐含矩阵(Population model implied moments)记作Σ (θ) 和μ (θ)
  • 样本隐含矩阵(Sample model implied moments)记作 Σ (θ hat)和μ (θ hat)

如下图,以总体矩阵为例:对于单个因变量和q个自变量的回归模型,有一个总体的协方差矩阵Σ和总体均值向量μ。

结构方程模型(Structural Equation Model, SEM)

2. Identification模型的辨识性

就像每个人都有个身份证号一样,一个模型需要具有辨识度。模型辨识度指的在有足够的已知信息来推断未知参数的程度。

Model identification refers to the extent to which there is sufficient known information to infer unknown values

  • 过度识别(Over-identified):模型包含了冗余信息,需要修改 ——未知参数个数<独立方程式个数(方程式有解,但没有唯一精确解)。

许多路径分析和几乎所有SEM模型存在这个问题。

  • 正好识别(Just-identified):观察到的信息 = 所需估计的参数数量 ——未知参数个数=独立方程式个数(方程式有唯一精确解)。

所有多元回归模型都是恰好识别。

  • 识别不足(Under-identified):观察到有用信息不足——未知参数个数>独立方程式个数(方程无解)。

大问题!无法得到有效结果,下面讲到的路径追踪规则(path tracing rules)对解决这个问题有用。

3. Estimate 模型参数估计

从样本数据中得到系数的过程。

3.1 最常用的是上述ML(最大似然法maximum likelihood),其具有3个特点:

a.无偏的:虽然每次都有抽样误差(sampling error), 但无限次重复实验后,样本估值的平均值将等于总体的真实值

unbiased: if we were to repeat our study an infinite number of times, the mean of the sample estimates would equal the population value

b.一致性:当样本量无限接近于总人群量时,样本估值也无限接近群体值

consistent: as the sample size approaches infinity, the sample estimate approaches the population value

c.有效性:参数估值的误差最小

efficient: no other estimator has a smaller sampling error for the parameter estimate

3.2 两种方式:

a. 充分统计最大似然值估计(Sufficient-statistic maximum likelihood estimation,SSML)仅仅基于观测到的协方差矩阵和均值向量,前提是有完整数据 (complete-case data)和正态分布的因变量(normally distributed DVs)

b. 完全信息最大似然值估计(Full information maximum likelihood estimator,FIML) 基于任何从个体观察到的数据。允许部分缺失的数据(partially missing data)和用于处理非正态分布(non-normal distribution)和嵌套数据结构( nested data structures)的替代方法

*对于完整的正态分布的数据,SSML 和FIML 一样。

3.3 优点:

  • 适用于各种模型
  • 无偏、一致、最大化有效性。
  • 估值渐近正态分布(Estimates are asymptotically normally distributed),为推理测试(inference test)提供依据
  • 可以通过卡方检验比较不同模型的相对拟合度的优劣
  • FIML适用于有缺失值和非正态分布的数据。

3.4 步骤

  1. 初始值(start value):选择参数估计的初始值
  2. 迭代(iteration):计算似然值,更新参数估计值
  3. 收敛(converge):不断计算似然值,直到前后两个似然值之间的差异足够小为止
  4. 从最后一步保留拟合值(Fit statistics)、参数估值(parameter estimates)和标准误差(standard errors )

*如果模型太复杂有可能出现模型不收敛“failed to converge”的问题。

4. Evaluation 模型评估

模型拟合程度如何?根据模型拟合指数作判断(Model fit index)

5. Potential re-specification可能需要模型再明确

如果模型不够好,怎么修改?参考理论,根据修正指数(Modification indices)调整模型。

6. Interpretation 解读

哪个结果显著?结果是否有意义?

通常关注点在:

  • 原始的参数估值(Raw parameter estimates)
  • 标准化的参数估值(Standardized parameter estimates)
  • 决定系数R2 , (explained variance in outcomes),即模型可解释的变异量

五、路径追踪规则(Path Tracing Rules):

Sewall Wright在 19世纪20年代和30年代发明。

1.一旦开始用了单项箭头,就不能再往回/用双向箭头了4 前进了不能再后退, 但可以先后退再前进

Rule 1: if you begin a trace forward from a variable using a singleheaded arrow, you can proceed forward any number of times; but once you start forward you may not move backwards or span a double-headed arrow

结构方程模型(Structural Equation Model, SEM)
图片来源 p67 《結構方程模式理論與實務:圖解AMOS取向》作者: 李茂能

2.每一条路径,最多仅可涉及一个未分析到的相关系数(仅能通过双箭头部分一次)

Rule 2: If you begin a trace backward from a variable using a single headed arrow, you can proceed backward any number of times; upon reaching a variable, you can do one of two things:
a. span a double-headed arrow and stop
b. span a double-headed arrow and proceed the trace forward

结构方程模型(Structural Equation Model, SEM)
图片来源 p68 《結構方程模式理論與實務:圖解AMOS取向》作者: 李茂能

3.一个变量只能被经过一次,无回路(no loop)

Rule 3: for each trace you can only pass through a variable once ; no loops are allowed

结构方程模型(Structural Equation Model, SEM)
图片来源 p67 《結構方程模式理論與實務:圖解AMOS取向》作者: 李茂能

本文来自zhihu,观点不代表一起大数据-技术文章心得立场,如若转载,请注明出处:https://zhuanlan.zhihu.com/p/138837728

联系我们

在线咨询:点击这里给我发消息

邮件:23683716@qq.com

跳至工具栏