From 2d5c4b5c2e07f38c6c89ef0e98ab05d2ae508626 Mon Sep 17 00:00:00 2001 From: jackfrued Date: Thu, 7 Oct 2021 23:34:48 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0README.md=E6=96=87=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...02\346\225\260\344\274\260\350\256\241.md" | 39 +++++++++++-- ...02\346\225\260\344\274\260\350\256\241.md" | 25 --------- ...73\345\222\214\351\231\215\347\273\264.md" | 2 + README.md | 56 +++++++++---------- 4 files changed, 62 insertions(+), 60 deletions(-) rename "Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220.md" => "Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220\345\222\214\345\217\202\346\225\260\344\274\260\350\256\241.md" (75%) delete mode 100644 "Day66-80/79.\345\217\202\346\225\260\344\274\260\350\256\241.md" create mode 100644 "Day66-80/79.\350\201\232\347\261\273\345\222\214\351\231\215\347\273\264.md" diff --git "a/Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220.md" "b/Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220\345\222\214\345\217\202\346\225\260\344\274\260\350\256\241.md" similarity index 75% rename from "Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220.md" rename to "Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220\345\222\214\345\217\202\346\225\260\344\274\260\350\256\241.md" index 36634d2..d47ef18 100644 --- "a/Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220.md" +++ "b/Day66-80/78.\346\226\271\345\267\256\345\210\206\346\236\220\345\222\214\345\217\202\346\225\260\344\274\260\350\256\241.md" @@ -1,6 +1,8 @@ -## 方差分析 +## 方差分析和参数估计 -### 基本概念 +### 方差分析 + +#### 基本概念 在产品运营中，我们会遇到各种需要评估运营效果的场景，包括促活的活动是否起到作用、A/B 测试的策略有无成效等等。具体例如，产品升级前的平均 DAU 是 155 万，产品升级后的平均 DAU 是 157 万，那么如何判断 DAU 提升的 2 万是正常的波动，还是升级带来的效果呢？对比同一组数据在实施某些策略前后的数据变化，判断数据波动是不是某一因素导致的，这种方法我们称之为方差分析。方差分析通常缩写为 ANOVA（Analysis of Variance），也叫“F 检验”，用于两个及两个以上分组样本的差异性检验。简单的说，**分析差异的显著性是否明显的方法就是方差分析**。 @@ -28,7 +30,7 @@ 综上所述，如果上面三个分组的用户购买率平均值不在中线（整体购买率）左右，而是有明显的偏高或偏低，并且该组内的每个转化率都紧紧围绕在该组购买率平均值的附近（即组内方差很小）。那么我们就可以断定：该组的购买率与整体不一致，是该组对应优惠金额的影响造成的。 -### 定量分析 +#### 定量分析 如果要进行定量分析，可以使用 F 检验值和 F crit 临界值这两个指标。F 检验值用来精确表达这几组差异大小的，F crit临界值是一个判断基线： @@ -41,7 +43,7 @@ 上图是用 Excel 得出的 A、B、C 三组的方差分析结果，如图所示 F < F crit，所以从定量分析角度，可以判定优惠金额不会对购买率产生影响。 -### 实施方法 +#### 实施方法 实施方差分析可以分为以下三步走： @@ -66,7 +68,7 @@ > **练习**：打开“方差分析练习.xlsx”文件，完成练习1。 -### 多因素方差分析 +#### 多因素方差分析 上面的案例是针对一种策略来分析效果。我们把这种形式的方差分析叫作单因素方差分析，实际工作中，我们可能需要研究多种策略（例如运营中的渠道、活动、客群等）对结果的影响，我们称之为多因素方差分析。例如我们会在多个运营渠道上安排多种运营活动，评价各个渠道的转化率。此时，影响转化率的因素有渠道和活动两个因素，我们可以使用“无重复双因素方差分析”来检查数据。 @@ -74,7 +76,7 @@ -### 应用场景 +#### 应用场景 工作中遇到以下两类场景就可以使用方差分析： @@ -83,3 +85,28 @@ +### 参数估计 + +在产品运营的工作中，数据分析常会遭遇诸多非常让人困扰的情况，例如：产品运营面对的数据量动辄百万级、千万级，带来的就是分析速度急剧下降，跑个数等一两天时间已经是很理想情况；另外，在很多场景下，我们都只能拿到部分数据（样本），而无法获取全量数据（总体）。在这种情况下我们就必须通过分析非常小量样本的特征，再用这些特征去评估海量总体数据的特征，可以称之为**样本检验**。 + +**推断型统计的核心就是用样本推测总体**。在实际生产环境中，可能无法获得所有的数据，或者即便获取了所有的数据，但是没有足够的资源来分析所有的数据，在这种情况下，我们都需要用非常小量的样本特征去评估总体数据的特征，这其中的一项工作就是参数估计。 + +参数估计应用的场景非常的多，例如： + +1. 在产品侧，我们可以用参数估计的方式评估A/B测试的效果。 +2. 在运营侧，我们可以用参数估计的方式优化活动配置和推荐策略。 +3. 在市场侧，我们可以用参数估计的方式制定广告投放策略。 + +#### 实施步骤 + +1. 确定分析的置信水平 + +2. 确定估计的参数类型 + +3. 计算参数估计的区间 + + - 数值型指标：$ A = z \times 样本标准差 / \sqrt{样本数量} $，其中 $ z $ 的值可以通过查表得到，如果置信水平选择95%，那么 $ z $ 的值就是1.96。大部分运营指标都是数值型指标，例如DAU、ARPU、转化率等。 + - 占比型指标：$ A = z \times \sqrt{占比 \times (1 - 占比) / 样本数量} $，$ z $ 值同上。占比型指标如性别占比、渠道占比、品类占比等。 + + 最终得到的估计区间就是：$ [样本均值 - A, 样本均值 + A] $。 + diff --git "a/Day66-80/79.\345\217\202\346\225\260\344\274\260\350\256\241.md" "b/Day66-80/79.\345\217\202\346\225\260\344\274\260\350\256\241.md" deleted file mode 100644 index 7044d63..0000000 --- "a/Day66-80/79.\345\217\202\346\225\260\344\274\260\350\256\241.md" +++ /dev/null @@ -1,25 +0,0 @@ -## 参数估计 - -在产品运营的工作中，数据分析常会遭遇诸多非常让人困扰的情况，例如：产品运营面对的数据量动辄百万级、千万级，带来的就是分析速度急剧下降，跑个数等一两天时间已经是很理想情况；另外，在很多场景下，我们都只能拿到部分数据（样本），而无法获取全量数据（总体）。在这种情况下我们就必须通过分析非常小量样本的特征，再用这些特征去评估海量总体数据的特征，可以称之为**样本检验**。 - -**推断型统计的核心就是用样本推测总体**。在实际生产环境中，可能无法获得所有的数据，或者即便获取了所有的数据，但是没有足够的资源来分析所有的数据，在这种情况下，我们都需要用非常小量的样本特征去评估总体数据的特征，这其中的一项工作就是参数估计。 - -参数估计应用的场景非常的多，例如： - -1. 在产品侧，我们可以用参数估计的方式评估A/B测试的效果。 -2. 在运营侧，我们可以用参数估计的方式优化活动配置和推荐策略。 -3. 在市场侧，我们可以用参数估计的方式制定广告投放策略。 - -### 实施步骤 - -1. 确定分析的置信水平 - -2. 确定估计的参数类型 - -3. 计算参数估计的区间 - - - 数值型指标：$ A = z \times 样本标准差 / \sqrt{样本数量} $，其中 $ z $ 的值可以通过查表得到，如果置信水平选择95%，那么 $ z $ 的值就是1.96。大部分运营指标都是数值型指标，例如DAU、ARPU、转化率等。 - - 占比型指标：$ A = z \times \sqrt{占比 \times (1 - 占比) / 样本数量} $，$ z $ 值同上。占比型指标如性别占比、渠道占比、品类占比等。 - - 最终得到的估计区间就是：$ [样本均值 - A, 样本均值 + A] $。 - diff --git "a/Day66-80/79.\350\201\232\347\261\273\345\222\214\351\231\215\347\273\264.md" "b/Day66-80/79.\350\201\232\347\261\273\345\222\214\351\231\215\347\273\264.md" new file mode 100644 index 0000000..44f9d2d --- /dev/null +++ "b/Day66-80/79.\350\201\232\347\261\273\345\222\214\351\231\215\347\273\264.md" @@ -0,0 +1,2 @@ +### 聚类和降维 + diff --git a/README.md b/README.md index 32c5bb6..c71f4d6 100644 --- a/README.md +++ b/README.md @@ -348,61 +348,59 @@ Python在以下领域都有用武之地。 - JavaScript逆向工程 - 使用Selenium获取动态内容 -### Day66~70 - [数据分析](./Day66-70) +### Day66~80 - [数据分析](./Day66-80) -#### Day66 - [数据分析概述](./Day66-70/66.数据分析概述.md) +#### Day66 - [数据分析概述](./Day66-80/66.数据分析概述.md) -#### Day67 - [NumPy的应用](./Day66-70/67.NumPy的应用.md) +#### Day67 - [环境准备](./Day66-80/67.环境准备.md) -#### Day68 - [Pandas的应用](./Day66-70/68.Pandas的应用.md) +#### Day68 - [NumPy的应用-1](./Day66-80/68.NumPy的应用-1.md) -#### Day69 - [数据可视化](./Day66-70/69.数据可视化.md) +#### Day69 - [NumPy的应用-2](./Day66-80/69.NumPy的应用-2.md) -#### Day70 - [数据分析项目实战](./Day66-70/70.数据分析项目实战.md) +#### Day70 - [Pandas的应用-1](./Day66-80/70.Pandas的应用-1.md) -### Day71~85 - [机器学习和深度学习](./Day71-85) +#### Day71 - [Pandas的应用-2](./Day66-80/71.Pandas的应用-2.md) -#### Day71 - [机器学习基础](./Day71-85/71.机器学习基础.md) +#### Day72 - [Pandas的应用-3](./Day66-80/72.Pandas的应用-3.md) -#### Day72 - [k最近邻分类](./Day71-85/72.k最近邻分类.md) +#### Day73 - [Pandas的应用-4](./Day66-80/73.Pandas的应用-4.md) -#### Day73 - [决策树](./Day71-85/73.决策树.md) +#### Day74 - [Pandas的应用-5](./Day66-80/74.Pandas的应用-5.md) -#### Day74 - [贝叶斯分类](./Day71-85/74.贝叶斯分类.md) +#### Day75 - [数据可视化](./Day66-80/75.数据可视化.md) -#### Day75 - [支持向量机](./Day71-85/75.支持向量机.md) +#### Day76 - [概率基础](./Day66-80/76.概率基础.md) -#### Day76 - [K-均值聚类](./Day71-85/76.K-均值聚类.md) +#### Day77 - [相关和回归](./Day66-80/77.相关和回归.md) -#### Day77 - [回归分析](./Day71-85/77.回归分析.md) +#### Day78 - [方差分析和参数估计](./Day66-80/78.方差分析和参数估计.md) -#### Day78 - [深度学习入门](./Day71-85/78.深度学习入门.md) +#### Day79 - [聚类和降维](./Day66-80/79.聚类和降维.md) -#### Day79 - [Tensorflow概述](./Day71-85/79.Tensorflow概述.md) +#### Day80 - [数据分析方法论](./Day66-80/80.数据分析方法论.md) -#### Day80 - [Tensorflow实战](./Day71-85/79.Tensorflow实战.md) +### Day81~90 - [机器学习和深度学习](./Day81-90) -#### Day81 - [Kaggle项目实战](./Day71-85/81.Kaggle项目实战.md) +#### Day81 - [机器学习基础](./Day81-90/81.机器学习基础.md) -#### Day82 - [天池大数据项目实战](./Day71-85/82.天池大数据项目实战.md) +#### Day82 - [k最近邻分类](./Day81-90/82.k最近邻分类.md) -#### Day83 - [推荐系统实战-1](./Day71-85/83.推荐系统实战-1.md) +#### Day83 - [决策树](./Day81-90/83.决策树.md) -#### Day84 - [推荐系统实战-2](./Day71-85/84.推荐系统实战-2.md) +#### Day84 - [贝叶斯分类](./Day81-90/84.贝叶斯分类.md) -#### Day85 - [推荐系统实战-3](./Day71-85/85.推荐系统实战-3.md) +#### Day85 - [支持向量机](./Day81-90/85.支持向量机.md) -### Day86~90 - [大数据分析概述](./Day86-90) +#### Day86 - [K-均值聚类](./Day81-90/86.K-均值聚类.md) -#### Day86 - [大数据概述](./Day86-90/86.大数据概述.md) +#### Day87 - [回归分析](./Day81-90/87.回归分析.md) -#### Day87 - [Hive查询](./Day86-90/87.Hive查询.md) +#### Day88 - [深度学习入门](./Day81-90/88.深度学习入门.md) -#### Day88 - [PySpark和离线数据处理](./Day86-90/87.PySpark和离线数据处理.md) +#### Day89 - [Tensorflow概述](./Day81-90/89.Tensorflow概述.md) -#### Day89 - [Flink和流式数据处理](./Day86-90/89.Flink和流式数据处理.md) - -#### Day90 - [大数据分析项目实战](./Day86-90/90.大数据分析项目实战.md) +#### Day90 - [Tensorflow实战](./Day81-90/90.Tensorflow实战.md) ### Day91~100 - [团队项目开发](./Day91-100) -- GitLab