常用的三种检验方法及应用场景
- 卡方检验： 两个分类变量之间的相关性。
- T检验： 一个二分类和一个连续变量间的相关性。
- F/方差检验： 一个多分类和一个连续变量间的相关性。
卡方检验的内容
- 属于非参数检验
是在总体分布未知或知之甚少的情况下，利用样本数据对总体分布形态等进行推断的方法。由于非参数检验方法在推断过程中不涉及有关总体分布的参数，因而得名为“非参数”检验。
常见的非参检验方法
1.卡方检验: 检验所有类别是否包含相同频率或与用户指定比例一致 例:判断每周7天时间，用户在ARP上的使用时长是否符合某个比例分布(如10%、10%10%、10%、10%、25%、25%)
2.二项式检验: 检验二分类变量(0,1)两个类别的观察频率与指定概率参数的二项式分布下的期望频率是否一致
例:当您掷出一枚硬币，正面朝上的概率为1/2。根据这一假设，将硬币抛掷 40次，并记录结果(正面朝上和反面朝上的情况)。从二项式检验中，您可能发现，3/4的抛掷都是正面朝上，并且观测的显著水平很小(00027)。这些结果表明，正面朝上的概率不可能等于 1/2;硬币可能是有偏倚的。 工作中的例子:检测系统或设备的故障率是否正常(产品是否合格)
- 3.K-S检验:将变量的观察累积分布函数与指定的理论分布进行比较，该理论分布可以是正态分布、均匀分布、泊松分布或指数分布。
例:某某学校的学生身高是否是正态分布。 工作中的需要:许多参数检验(t检验、方差检验)都需要变量服从正态分布，该方法则是用来判断变量是否能使用参数检验的前提。
- 4.游程检验:检验某一变量的两个值的出现顺序是否随机。游程是相似的观察值的一个序列。游程太多或太少的样本不是随机样本。
例:某路口车辆发生事故是否为随机事件。
5.独立样本非参数检验:朴检验两组人群在总体中的分布是否相同 例:互联网行业的男女收入分布是否“样 工作中的案例:某APP男女的使用行为特征是否相同。
6.配对样本非参数检验:检验同一组人群在不同时间上的分布是否相同。
例:经过半年培训，全班学生成绩是否有明显提升。 工作中的案例:经过某项促销活动，人们的消费频次和消费金额是否发生明显提升。
交叉分析中的卡方检验
主要是用在两个分类变量之间的相关性检验。 例:考察不同性别的受访者购买牛奶的主要场所是是否存在差异?
交叉分析中的卡方检验过程
- 第一步:提出原假设，认为两个变量之间没有相关性
- 第二步:计算卡方值
- 第三步:根据卡方值和自由度(行数“9)*(列数-1)，计算对应的概率p值。
- 第四步:根据p值判断原假设是否成立，p<0.05，原假设不成立，反之成立，进而得到研究结论。
T检验常用场景
- 包括单样本T检验、独立样本t检验、配对样本t检验，都是用来通过样本均值对总体均值的推断检验。
- 适用于小样本的检验方法，当样本较小时(50以下)，服从t分布;样本量较大时近似服从正态分布。
单样本均值T检验
- 样本中某个变量的平均数与特定总体的已知平均数相比，是否存在显著差异。
- 例：
- 周岁儿童的平均身高是否为75厘米，与全国周岁儿童平均身高80厘米相比。
- 居民平均存款金额是否为2000元?抽取样本的平均存款金额为1890元。
- 数据要求:小样本时来自的总体服从正态分布，如果大样本或者是数据收集的时候没有特殊性，可以忽略正态分布的假设。
单样本均值T检验过程
- 提出零假设:总体均值与检验值之间不存在显著差异(样本均值所引起的差异是抽 样误差引起的)
- 选择检验统计量 假设总体分布服从正态分布，都差已知时，构造Z统计量;差未知时，构造t统计量
- 计算检验统计量观测值和概率P值
- 给出显著性水平，并作出决策 如果该P值太小，是小概率事件(小于等于a水准)，则我们坏疑所做的原假设不成立，从而拒绝H0。反之，我们就不能拒绝H0。
独立样本均值T检验
- 根据两独立样本的数据，对两总体均值是否有显著差异进行推断
- 例： 教育行业，男女之间的工资收入是否存在差异?
- 数据要求:样本来自的总体服从正态分布
- 两样本必须相互独立，即:抽取其中一批样本对抽取另一批样本没有任何影响，两组样本的个案数可以不相等
- 要求两样本是大样本，小样本则必须来自正态总体
独立样本均值t检验过程
- 提出原假设:两样本的总体均值没有显著差异
- 进行方差齐性检验:在两样本的总体均值方差未知的情况下计算t值 方差相等时， 方差不等时，
- 根据t值对应的P值，得出结论
方差齐性检验(excel:ftest)
- 是用来检验不同组的总体方差是否相等。
- 在一些统计推断的过程，要求进行比较的两组或多组数据的方差相等，即要求方差齐性如均值比较、方差分析。
- 方差齐性检验的方法 Hartley检验、Cochran检验、Bartlett检验和Levene检验，前三者对样本数据有正态分布的要求，但是Levene检验则没有这种要求，也是最常用的一种方法。
配对样本均值t检验
- 是指对同一样本进行两次测试所获得的两组数据，或对两个完全相同的样本在不同条件下进行测试所得的两组数据。6.0.6 例:某种减肥茶是否有效、营销前后销售额的变化
- 数据要求:
- 两样本数据必须两两配对，即:样本个数相同，个案顺序相同，如减肥茶效果、不同广告形式对销售额的影响。
- 两总体服从正态分布(小样本情况下)，样本容量>30的情况下，且数据收集是随机的，可以认为服从正态分布。
- 步骤:先求出每对观测值的差，再将差值与总体均数0比较的t检验
F检验/方差检验/ANOVA
- 对3个以上的组之间的平均值的差进行比较，从统计学意义上判断是否有显著差异，用来揭示作用于一个连续变量与一个或多个分类变量称为因素)的主效应和交互效应
- 需在两个前提成立下才能使用:
- 1.变量各总体服从正态分布(数据进行方差检验前需检验分布情况)。
- 2.变量各总体方差相同(数据进行方差检验前需做方差齐性检验)。通常是针对自变量是分类变量，因变量是连续变量进行的检验。
- 计算原理:
- 第一步，计算组内、组间、随机因素的数据差异程度;
- 第二步，计算组间数据差异程度占观测变量因变量户数据总差异的比例，与组内差>异、随机因素的差异占比之间的大小关系。
方差检验常用场景
单因素方差检验
- 一个或多个因变量，自变量只有一个(分类变量)
- 检验一个因变量在一个分类自变量两组、三组或多组类别间的差异
多因素方差检验
- 一个因变量，自变量有多个(既有分类变量也有连续变量)
- 分析一个因变量在两个或多个自变量所形成的组间的差异，其中一个自变量可看作处理变量
重复方差检验
一个因变量，在多个时刻重复测量多次，自变量可以有也可以没有
方差检验常用术语
协变量(Covariates) 指对因变量可能有影响，需要在分析时对其作用加以控制的连续性变量，实际上，可以简单的把因素和协变量分别理解为分类自变量和连续性自变量。当模型中存在协变量时 ，一般是通过找出它与因变量的回归关系来控制其影响。
交互作用(Interaction) 如果一个因素的效应大小在另一个因素不同水平下明显不同，则称为两因素间存在交互作用。当存在交互作用时，单纯研究某个因素的作用是没有意义的，必须分另一个因素的不同水平研究该因素的作用大小。
单因素方差检验
- 检验某一个因素(自变量)的改变是否会给因变量带来显著影响
- 考察不同学历是否对工资有显著影考察不同的推销策略是否对销售额产生显著影响
- 考察不同肥料对某农作物亩产量是否有显著差异
方差检验总结
- 前提: 假定在控制因素的不同水平下总体服从方差相等的正态分布(需要进行方差齐性)
- 检验控制因素(自变量)的不同水平下，各总体的分布是否存在显著差异，进而判断控制因素是否对因变量产生了显著影响
- H0: 在控制因素的不同水平下，各总体均值无显著差异，即不同水平下的控制因素的影响不显著
多因素方差检验
- 检验若干个因素(崩变量)的改变是否会给因变量带来显著影响
- 例:哪些因素影响GMAT成绩?
- 得克萨斯州的一所大学提出了三种GMAT辅导课程:即3小时复习、1天课程和10周强>化班，他们需要了解这三种辅导方式如何影响GMAT成绩。另外，通常考生来自三类院校，即商学院、工学院、艺术科学院。因此，了解不同类型学校毕业的考生GMAT成绩是否有差异也是一个让人感兴趣的话题。最后，是否一类学校的考生适应一种辅导课程，而另一类学校的考生适合其他课程?
- 他们在三类学校中每一个随机抽取6个学生，随机指派两名到一门辅导课程中，最后他们的GMAT成绩结果进行展示。
