
Part1 描述统计
描述是通过图表或数学方法对数据进行整理和分析,估计和描述数据分布、数字特征和随机变量之间关系的方法。描述分为三个部分:集中趋势分析、偏离中心趋势分析和相关性分析。
集中趋势分析:集中度趋势分析主要依靠均值、中值、众数等统计指标来表达数据的集中度趋势。比如,被试的平均分是多少?是正分布还是负分布?
离中趋势分析:偏差趋势分析主要依靠全距、四分位差、均差、方差(协方差:一种用于衡量两个随机变量之间关系的统计量)和标准差等统计指标来研究数据的偏差趋势。比如我们想知道两个班的语文成绩,哪个班的分散度更大,可以用四分差或者百分点来比较。
相关分析:相关分析探究数据在统计上是否相关。这种关系既包括两个数据之间的单一相关性3354,例如年龄和个人领域空间之间的关系,也包括多个数据之间的多重相关性3354,例如年龄、抑郁症发病率和个人领域空间之间的关系。包括大b和小b之间的线性相关,或者复相关(a=y-b * x);可以是变量A和B之间的正相关同时增大,也可以是变量A增大时变量B之间的负相关减小,还包括两个变量共同变化的紧密程度,即相关系数,3354。事实上,关联关系中唯一不研究的数据关系是数据协同变化——的内在基础,即因果关系。获取相关系数有什么用?简而言之,有了相关系数,我们就可以根据回归方程对A变量到B变量进行估计,这就是回归分析。因此,相关性分析是一种完整的统计研究方法,贯穿于假设、数据研究、数据分析、数据研究的始终。
例如,我们想知道监狱场景可以做哪些改变,以减少囚犯的暴力倾向。我们需要将不同的细胞色调、细胞绿化程度、细胞群体密度、户外时间、探视时间进行排列组合,然后让每个细胞进行一次实验性处理,再用因子分析找出与犯人暴力倾向相关系数最高的因子。假设这个因素就是细胞群体密度,我们将被试随机分成十几个不同群体密度的细胞生活,然后得到群体密度和暴力倾向两组变量(即我们讨论的A、B变量)。然后,我们把人口密度放入X轴,暴力倾向放入Y轴,得到了一个有价值的图表。当一个典狱长想知道一个牢房扩大到N人/牢房能减少多少暴力倾向的时候。我们可以将目前的人口密度和重建后的人口密度带入相应的回归方程,计算出扩张前后的预期暴力倾向。两个数据的差异就是典狱长想知道的结果。
Part2 推论统计
推断统计学是统计学乃至精神统计学中相对年轻的一部分。它基于统计结果来证明或否定一个命题。具体来说,通过分析样本之间的差异及其分布,可以估计样本与总体之间的差异,同一样本在测试前后的得分,以及样本与样本之间、总体与总体之间是否存在显著差异。比如我们想研究教育背景是否会影响人的智力测试成绩。你可以找到100个24岁的大学毕业生,100个24岁的初中毕业生。收集一些他们的智力测试结果。运用推断统计学对数据进行处理,最终会得出这样的结论:“研究发现,大学毕业生的分数显著高于初中毕业生,两者在0.01的水平上存在显著差异,说明大学毕业生的某些智力测验成绩优于初中毕业生。”
其中,如果用EXCEL找描述性统计。方法是:工具-插件-勾选“分析工具库”,然后关闭并重新打开Excel,工具菜单会出现“数据分析”。描述是“数据分析”中的子菜单。做的时候记得正确输入方块。最好直接点击。
Part3 正态性检验
很多统计方法要求数值服从或近似服从正态分布,所以之前需要进行正态性检验。常用方法:K-数量检验、P-P图、Q-Q图、W检验和非参数检验的动态差分法。
Part4 假设检验
参数检验
参数检验是对一些主要参数(如均值、百分比、方差、相关系数等)的检验。)在已知总体分布的条件下(一个要求总体服从正态分布)。
u:检验:使用条件:当样本含量N较大时,样本值符合正态分布。
T检验:使用条件:当样本含量N较小时,样本值符合正态分布。
单样本T检验:推断该样本的总体平均值是否不同于已知的总体平均值0(通常是理论值或标准值);
配对样本t检验:当总均值未知且两个样本可以配对时,同一对中的两个样本在各种可能影响治疗效果的情况下相似;
两个独立样本t检验:当找不到两个各方面都非常相似的样本进行配对比较时使用。
非参数检验
非参数检验不考虑总体分布是否已知,往往不是针对总体参数,而是检验总体的一些一股假设(如总体分布的位置是否相同,总体分布是否正态)。
适用情况:序列数据,其分布通常是未知的。
虽然是连续数据,但总体分布模式未知或非正态;
虽然分布是正态的,数据是连续的,但是样本量极小,比如不到10个;
/li>
主要方法包括:卡方检验、秩和检验、二项检验、游程检验、K-量检验等。
Part5 信度分析
信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种:重测信度法、复本信度法、折半信度法、信度系数法。
方法
分类
Part6 列联表分析
列联表是观测数据按两个或更多属性(定性变量)分类时所列出的频数表。
简介
一般,若总体中的个体可按两个属性A、B分类,A有r个等级A1,A2,…,Ar,B有c个等级B1,B2,…,Bc,从总体中抽取大小为n的样本,设其中有nij个个体的属性属于等级Ai和Bj,nij称为频数,将rc个nij排列为一个r行c列的二维列联表,简称rc表。若所考虑的属性多于两个,也可按类似的方式作出列联表,称为多维列联表。
列联表又称交互分类表,所谓交互分类,是指同时依据两个变量的值,将所研究的个案分类。交互分类的目的是将两变量分组,然后比较各组的分布状况,以寻找变量间的关系。
用于分析离散变量或定型变量之间是否存在相关。
列联表分析的基本问题是,判明所考察的各属性之间有无关联,即是否独立。如在前例中,问题是:一个人是否色盲与其性别是否有关?在r表中,若以pi、pj和pij分别表示总体中的个体属于等级Ai,属于等级Bj和同时属于Ai、Bj的概率(pi,pj称边缘概率,pij称格概率),“A、B两属性无关联”的假设可以表述为H0:pij=pipj,(i=1,2,…,r;j=1,2,…,),未知参数pij、pi、pj的最大似然估计(见点估计)分别为行和及列和(统称边缘和)。
n为样本大小。根据K.皮尔森(1904)的拟合优度检验或似然比检验(见假设检验),当h0成立,且一切pi>0和pj>0时,统计量的渐近分布是自由度为(r-1)(-1) 的Ⅹ分布,式中Eij=(ninj)/n称为期望频数。当n足够大,且表中各格的Eij都不太小时,可以据此对h0作检验:若Ⅹ值足够大,就拒绝假设h0,即认为A与B有关联。在前面的色觉问题中,曾按此检验,判定出性别与色觉之间存在某种关联。
需要注意
若样本大小n不是很大,则上述基于渐近分布的方法就不适用。对此,在四格表情形,R.A.费希尔(1935)提出了一种适用于所有n的精确检验法。其思想是在固定各边缘和的条件下,根据超几何分布(见概率分布),可以计算观测频数出现任意一种特定排列的条件概率。把实际出现的观测频数排列,以及比它呈现更多关联迹象的所有可能排列的条件概率都算出来并相加,若所得结果小于给定的显著性水平,则判定所考虑的两个属性存在关联,从而拒绝h0。
对于二维表,可进行卡方检验,对于三维表,可作Mentel-Hanszel分层分析。
列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。
Part7 相关分析
研究现象之间是否存在某种依存关系,对具体有依存关系的现象探讨相关方向及相关程度。
Part8 方差分析
使用条件:各样本须是相互独立的随机样本;各样本来自正态分布总体;各总体方差相等。
分类
Part9 回归分析
分类
Part11 判别分析
判别分析:根据已掌握的一批分类明确的样品建立判别函数,使产生错判的事例最少,进而对给定的一个新样品,判断它来自哪个总体。
与聚类分析区别
分类
Part12 主成分分析
主成分分析(Principal Component Analysis,PCA), 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。
在实际课题中,为了全面分析问题,往往提出很多与此有关的变量(或因素),因为每个变量都在不同程度上反映这个课题的某些信息。
主成分分析首先是由K.皮尔森(Karl Pearson)对非随机变量引入的,尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。
将彼此梠关的一组指标变适转化为彼此独立的一组新的指标变量,并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息。
原理
在用统计分析方法研究多变量的课题时,变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形,变量之间是有一定的相关关系的,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量,将重复的变量(关系紧密的变量)删去多余,建立尽可能少的新变量,使得这些新变量是两两不相关的,而且这些新变量在反映课题的信息方面尽可能保持原有的信息。
设法将原来变量重新组合成一组新的互相无关的几个综合变量,同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析,也是数学上用来降维的一种方法。
缺点
Part13 因子分析
一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法。
与主成分分析比较
用途
Part14 时间序列分析
动态数据处理的统计方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题;时间序列通常由4种要素组成:趋势、季节变动、循环波动和不规则波动。
主要方法
移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型。
时间序列是指同一变量按事件发生的先后顺序排列起来的一组观察值或记录值。构成时间序列的要素有两个:其一是时间,其二是与时间相对应的变量水平。实际数据的时间序列能够展示研究对象在一定时期内的发展变化趋势与规律,因而可以从时间序列中找出变量变化的特征、趋势以及发展规律,从而对变量的未来变化进行有效地预测。
时间序列的变动形态一般分为四种:长期趋势变动,季节变动,循环变动,不规则变动。
时间序列预测法的应用
特点
假定事物的过去趋势会延伸到未来;预测所依据的数据具有不规则性;撇开了市场发展之间的因果关系。
Part15 生存分析
用来研究生存时间的分布规律以及生存时间和相关因索之间关系的一种统计分析方法
包含内容
方法
Part16 典型相关分析
相关分析一般分析两个变量之间的关系,而典型相关分析是分析两组变量(如3个学术能力指标与5个在校成绩表现指标)之间相关性的一种统计分析方法。
典型相关分析的基本思想和主成分分析的基本思想相似,它将一组变量与另一组变量之间单变量的多重线性相关性研究转化为对少数几对综合变量之间的简单线性相关性的研究,并且这少数几对变量所包含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息。
Part17 R0C分析
R0C曲线是根据一系列不同的二分类方式(分界值或决定阈).以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制的曲线。
用途
Part18 其他分析方法
多重响应分析、距离分祈、项目分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。
决策树分析与随机森林
尽管有剪枝等等方法,一棵树的生成肯定还是不如多棵树,因此就有了随机森林,解决决策树泛化能力弱的缺点。(可以理解成三个臭皮匠顶过诸葛亮)
优点:决策树易于理解和实现,人们在在学习过程中不需要使用者了解很多的背景知识,这同时是它的能够直接体现数据的特点,只要通过解释后都有能力去理解决策树所表达的意义。
对于决策树,数据的准备往往是简单或者是不必要的,而且能够同时处理数据型和常规型属性,在相对短的时间内能够对大型数据源做出可行且效果良好的结果。易于通过静态测试来对模型进行评测,可以测定模型可信度;如果给定一个观察的模型,那么根据所产生的决策树很容易推出相应的逻辑表达式。
缺点:对连续性的字段比较难预测;对有时间顺序的数据,需要很多预处理的工作;当类别太多时,错误可能就会增加的比较快;一般的算法分类的时候,只是根据一个字段来分类。
还木有评论哦,快来抢沙发吧~