README.md 28.3 KB
Newer Older
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
1
## Python - 100天从新手到大师
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
2

3
> **作者**:骆昊
4
>
5 6 7
> **说明**:从项目上线到获得8w+星标以来,一直收到反馈说基础部分(前15天的内容)对新手来说是比较困难的,建议有配套视频进行讲解。最近把基础部分的内容重新创建了一个名为[“Python-Core-50-Courses”](<https://github.com/jackfrued/Python-Core-50-Courses>)的项目,**用更为简单通俗的方式重写了这部分内容并附带了视频讲解**,初学者可以关注下这个新项目。国内用户如果访问GitHub比较慢的话,也可以关注我的知乎号[Python-Jack](https://www.zhihu.com/people/jackfrued)上的[“从零开始学Python”](<https://zhuanlan.zhihu.com/c_1216656665569013760>)专栏,专栏会持续更新,还有大家比较期待的“数据分析”的内容也即将上线,**欢迎大家关注我在知乎的专栏、文章和回答**。
>
> 创作不易,感谢大家的打赏支持,这些钱基本不会用于购买咖啡,而是通过腾讯公益、美团公益、水滴筹等平台捐赠给需要帮助的人([点击](./更新日志.md)了解捐赠情况)。需要加入QQ交流群的可以扫描下面的二维码,交流群会为大家提供**学习资源**和**问题解答**,还会持续为大家带来**免费的线上Python体验课和行业公开课**,敬请关注。
8

J
jackfrued 已提交
9
![](./res/python-qq-group.png)
J
jackfrued 已提交
10

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
11 12
### Python应用领域和就业形势分析

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
13
简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
14

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
15
 - 学习曲线低,非专业人士也能上手
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
16
 - 开源系统,拥有强大的生态圈
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
17
 - 解释型语言,完美的平台可移植性
18
 - 支持面向对象和函数式编程
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
19
 - 能够通过调用C/C++代码扩展功能
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
20 21 22 23 24 25 26 27 28 29
 - 代码规范程度高,可读性强

目前几个比较流行的领域,Python都有用武之地。

 - 云基础设施 - Python / Java / Go
 - DevOps - Python / Shell / Ruby / Go
 - 网络爬虫 - Python / PHP / C++
 - 数据分析挖掘 - Python / R / Scala / Matlab
 - 机器学习 - Python / R / Java / Lisp

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
30
作为一名Python开发者,主要的就业领域包括:
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
31

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
32 33
- Python服务器后台开发 / 游戏服务器开发 / 数据接口开发工程师
- Python自动化运维工程师
34
- Python数据分析 / 数据可视化 / 大数据工程师
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
35 36
- Python爬虫工程师
- Python聊天机器人开发 / 图像识别和视觉算法 / 深度学习工程师
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
37

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
38 39
下图显示了主要城市Python招聘需求量及薪资待遇排行榜(截止到2018年5月)。

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
40
![Python招聘需求及薪资待遇Top 10](./res/python-top-10.png)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
41

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
42
![](./res/python-bj-salary.png)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
43

44
![](./res/python-salary-chengdu.png)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
45

46
给初学者的几个建议:
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
47

J
jackfrued 已提交
48 49 50 51 52
- Make English as your working language. (让英语成为你的工作语言)
- Practice makes perfect. (熟能生巧)
- All experience comes from mistakes. (所有的经验都源于你犯过的错误)
- Don't be one of the leeches. (不要当伸手党)
- Either outstanding or out. (要么出众,要么出局)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
53

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
54
### Day01~15 - [Python语言基础](./Day01-15)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
55

J
jackfrued 已提交
56
#### Day01 - [初识Python](./Day01-15/01.初识Python.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
57 58 59

- Python简介 - Python的历史 / Python的优缺点 / Python的应用领域
- 搭建编程环境 - Windows环境 / Linux环境 / MacOS环境
J
jackfrued 已提交
60
- 从终端运行Python程序 - Hello, world / print函数 / 运行程序
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
61 62 63
- 使用IDLE - 交互式环境(REPL) / 编写多行代码 / 运行程序 / 退出IDLE
- 注释 - 注释的作用 / 单行注释 / 多行注释

J
jackfrued 已提交
64
#### Day02 - [语言元素](./Day01-15/02.语言元素.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
65 66 67 68 69 70 71

- 程序和进制 - 指令和程序 / 冯诺依曼机 / 二进制和十进制 / 八进制和十六进制
- 变量和类型 - 变量的命名 / 变量的使用 / input函数 / 检查变量类型 / 类型转换
- 数字和字符串 - 整数 / 浮点数 / 复数 / 字符串 / 字符串基本操作 / 字符编码
- 运算符 - 数学运算符 / 赋值运算符 / 比较运算符 / 逻辑运算符 / 身份运算符 / 运算符的优先级
- 应用案例 - 华氏温度转换成摄氏温度 / 输入圆的半径计算周长和面积 / 输入年份判断是否是闰年

J
jackfrued 已提交
72
#### Day03 - [分支结构](./Day01-15/03.分支结构.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
73 74 75 76 77

- 分支结构的应用场景 - 条件 / 缩进 / 代码块 / 流程图
- if语句 - 简单的if / if-else结构 / if-elif-else结构 / 嵌套的if
- 应用案例 - 用户身份验证 / 英制单位与公制单位互换 / 掷骰子决定做什么 / 百分制成绩转等级制 / 分段函数求值 / 输入三条边的长度如果能构成三角形就计算周长和面积

J
jackfrued 已提交
78
#### Day04 - [循环结构](./Day01-15/04.循环结构.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
79 80 81

- 循环结构的应用场景 - 条件 / 缩进 / 代码块 / 流程图
- while循环 - 基本结构 / break语句 / continue语句
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
82 83
- for循环 - 基本结构 / range类型 / 循环中的分支结构 / 嵌套的循环 / 提前结束程序 
- 应用案例 - 1~100求和 / 判断素数 / 猜数字游戏 / 打印九九表 / 打印三角形图案 / 猴子吃桃 / 百钱百鸡
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
84

J
jackfrued 已提交
85
#### Day05 - [构造程序逻辑](./Day01-15/05.构造程序逻辑.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
86

J
jackfrued 已提交
87 88
- 经典案例:水仙花数 / 百钱百鸡 / Craps赌博游戏
- 练习题目:斐波那契数列 / 完美数 / 素数
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
89

J
jackfrued 已提交
90
#### Day06 - [函数和模块的使用](./Day01-15/06.函数和模块的使用.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
91

骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
92 93 94
- 函数的作用 - 代码的坏味道 / 用函数封装功能模块
- 定义函数 - def语句 / 函数名 / 参数列表 / return语句 / 调用自定义函数
- 调用函数 - Python内置函数 /  导入模块和函数
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
95 96
- 函数的参数 - 默认参数 / 可变参数 / 关键字参数 / 命名关键字参数
- 函数的返回值 - 没有返回值  / 返回单个值 / 返回多个值
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
97 98 99
- 作用域问题 - 局部作用域 / 嵌套作用域 / 全局作用域 / 内置作用域 / 和作用域相关的关键字
- 用模块管理函数 - 模块的概念 / 用自定义模块管理函数 / 命名冲突的时候会怎样(同一个模块和不同的模块)

J
jackfrued 已提交
100
#### Day07 - [字符串和常用数据结构](./Day01-15/07.字符串和常用数据结构.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
101 102

- 字符串的使用 - 计算长度 / 下标运算 / 切片 / 常用方法
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
103 104 105 106 107 108 109 110
- 列表基本用法 - 定义列表 / 用下表访问元素 / 下标越界 / 添加元素 / 删除元素 / 修改元素 / 切片 / 循环遍历
- 列表常用操作 - 连接 / 复制(复制元素和复制数组) / 长度 / 排序 / 倒转 / 查找
- 生成列表 - 使用range创建数字列表 / 生成表达式 / 生成器
- 元组的使用 - 定义元组 / 使用元组中的值 / 修改元组变量 / 元组和列表转换
- 集合基本用法 - 集合和列表的区别 /  创建集合 / 添加元素 / 删除元素 /  清空
- 集合常用操作 - 交集 / 并集 / 差集 / 对称差 / 子集 / 超集
- 字典的基本用法 - 字典的特点 / 创建字典 / 添加元素 / 删除元素 / 取值 / 清空
- 字典常用操作 - keys()方法 / values()方法 / items()方法 / setdefault()方法
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
111 112
- 基础练习 - 跑马灯效果 / 列表找最大元素 / 统计考试成绩的平均分 / Fibonacci数列 / 杨辉三角
- 综合案例 - 双色球选号 / 井字棋
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
113

J
jackfrued 已提交
114
#### Day08 - [面向对象编程基础](./Day01-15/08.面向对象编程基础.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
115 116 117 118 119

- 类和对象 - 什么是类 / 什么是对象 / 面向对象其他相关概念
- 定义类 - 基本结构 / 属性和方法 / 构造器 / 析构器 / \_\_str\_\_方法
- 使用对象 - 创建对象 / 给对象发消息
- 面向对象的四大支柱 - 抽象 / 封装 / 继承 / 多态
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
120 121
- 基础练习 - 定义学生类 / 定义时钟类 / 定义图形类 / 定义汽车类

J
jackfrued 已提交
122
#### Day09 - [面向对象进阶](./Day01-15/09.面向对象进阶.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
123 124 125 126 127

- 属性 - 类属性 / 实例属性 / 属性访问器 / 属性修改器 / 属性删除器 / 使用\_\_slots\_\_
- 类中的方法 - 实例方法 / 类方法 / 静态方法
- 运算符重载 - \_\_add\_\_ / \_\_sub\_\_ / \_\_or\_\_ /\_\_getitem\_\_ / \_\_setitem\_\_ / \_\_len\_\_ / \_\_repr\_\_ / \_\_gt\_\_ / \_\_lt\_\_ / \_\_le\_\_ / \_\_ge\_\_ / \_\_eq\_\_ / \_\_ne\_\_ / \_\_contains\_\_ 
- 类(的对象)之间的关系 - 关联 / 继承 / 依赖
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
128
- 继承和多态 - 什么是继承 / 继承的语法 / 调用父类方法 / 方法重写 / 类型判定 / 多重继承 / 菱形继承(钻石继承)和C3算法
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
129 130
- 综合案例 - 工资结算系统 / 图书自动折扣系统 / 自定义分数类

J
jackfrued 已提交
131
#### Day10 - [图形用户界面和游戏开发](./Day01-15/10.图形用户界面和游戏开发.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
132

J
jackfrued 已提交
133
- 使用tkinter开发GUI程序
134 135 136
- 使用pygame三方库开发游戏应用
- “大球吃小球”游戏

J
jackfrued 已提交
137
#### Day11 - [文件和异常](./Day01-15/11.文件和异常.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
138 139 140 141 142 143

- 读文件 - 读取整个文件 / 逐行读取 / 文件路径
- 写文件 - 覆盖写入 / 追加写入 / 文本文件 / 二进制文件
- 异常处理 - 异常机制的重要性 / try-except代码块 / else代码块 / finally代码块 / 内置异常类型 / 异常栈 / raise语句
- 数据持久化 - CSV文件概述 / csv模块的应用 / JSON数据格式 / json模块的应用

J
jackfrued 已提交
144
#### Day12 - [字符串和正则表达式](./Day01-15/12.字符串和正则表达式.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
145

J
jackfrued 已提交
146 147 148
- 字符串高级操作 - 转义字符 / 原始字符串 / 多行字符串 / in和 not in运算符 / is开头的方法 / join和split方法 / strip相关方法 / pyperclip模块 / 不变字符串和可变字符串 / StringIO的使用
- 正则表达式入门 - 正则表达式的作用 / 元字符 / 转义 / 量词 / 分组 / 零宽断言 /贪婪匹配与惰性匹配懒惰 / 使用re模块实现正则表达式操作(匹配、搜索、替换、捕获)
- 使用正则表达式 - re模块 / compile函数 / group和groups方法 / match方法 / search方法 / findall和finditer方法 / sub和subn方法 / split方法
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
149 150
- 应用案例 - 使用正则表达式验证输入的字符串

J
jackfrued 已提交
151
#### Day13 - [进程和线程](./Day01-15/13.进程和线程.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
152 153 154

- 进程和线程的概念 - 什么是进程 / 什么是线程 / 多线程的应用场景
- 使用进程 - fork函数 / multiprocessing模块 / 进程池 / 进程间通信
155
- 使用线程 - thread模块 / threading模块 / Thread类 / Lock类 / Condition类 / 线程池
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
156

J
jackfrued 已提交
157
#### Day14 - [网络编程入门和网络应用开发](./Day01-15/14.网络编程入门和网络应用开发.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
158 159

- 计算机网络基础 - 计算机网络发展史 / “TCP-IP”模型 / IP地址 / 端口 / 协议 / 其他相关概念
J
jackfrued 已提交
160 161
- 网络应用模式 - “客户端-服务器”模式 / “浏览器-服务器”模式
- 基于HTTP协议访问网络资源 - 网络API概述 / 访问URL / requests模块 / 解析JSON格式数据
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
162 163
- Python网络编程 - 套接字的概念 / socket模块 /  socket函数 / 创建TCP服务器 / 创建TCP客户端 / 创建UDP服务器 / 创建UDP客户端 / SocketServer模块
- 电子邮件 - SMTP协议 / POP3协议 / IMAP协议 / smtplib模块 / poplib模块 / imaplib模块
J
jackfrued 已提交
164
- 短信服务 - 调用短信服务网关
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
165

J
jackfrued 已提交
166
#### Day15 - [图像和文档处理](./Day01-15/15.图像和办公文档处理.md)
167

J
jackfrued 已提交
168 169 170 171
- 用Pillow处理图片 - 图片读写 / 图片合成 / 几何变换 / 色彩转换 / 滤镜效果
- 读写Word文档 - 文本内容的处理 / 段落 / 页眉和页脚 / 样式的处理
- 读写Excel文件 - xlrd模块 / xlwt模块
- 生成PDF文件 - pypdf2模块 / reportlab模块
172

J
jackfrued 已提交
173
### Day16~Day20 - [Python语言进阶 ](./Day16-20/16-20.Python语言进阶.md)
174

175
- 常用数据结构
J
jackfrued 已提交
176 177 178 179
- 函数的高级用法 - “一等公民” / 高阶函数 / Lambda函数 / 作用域和闭包 / 装饰器
- 面向对象高级知识 - “三大支柱” / 类与类之间的关系 / 垃圾回收 / 魔术属性和方法 / 混入 / 元类 / 面向对象设计原则 / GoF设计模式
- 迭代器和生成器 - 相关魔术方法 / 创建生成器的两种方式 / 
- 并发和异步编程 - 多线程 / 多进程 / 异步IO / async和await
180

J
jackfrued 已提交
181
### Day21~30 - [Web前端入门](./Day21-30/21-30.Web前端概述.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
182 183 184 185 186

- 用HTML标签承载页面内容
- 用CSS渲染页面
- 用JavaScript处理交互式行为
- jQuery入门和提高
187
- Vue.js入门
188
- Element的使用
J
jackfrued 已提交
189
- Bootstrap的使用
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
190

J
jackfrued 已提交
191
### Day31~35 - [玩转Linux操作系统](./Day31-35/31-35.玩转Linux操作系统.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
192 193 194 195 196 197 198 199 200 201 202

- 操作系统发展史和Linux概述
- Linux基础命令
- Linux中的实用程序
- Linux的文件系统
- Vim编辑器的应用
- 环境变量和Shell编程
- 软件的安装和服务的配置
- 网络访问和管理
- 其他相关内容

203
### Day36~40 - [数据库基础和进阶](./Day36-40)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
204

J
jackfrued 已提交
205
- [关系型数据库MySQL](./Day36-40/36-38.关系型数据库MySQL.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
206 207 208
  - 关系型数据库概述
  - MySQL的安装和使用
  - SQL的使用
J
jackfrued 已提交
209 210 211 212 213 214 215
    - DDL - 数据定义语言 - create / drop / alter
    - DML - 数据操作语言 - insert / delete / update / select
    - DCL - 数据控制语言 - grant / revoke
  - 相关知识
    - 范式理论 - 设计二维表的指导思想
    - 数据完整性
    - 数据一致性
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
216
  - 在Python中操作MySQL
J
jackfrued 已提交
217
- [NoSQL入门](./Day36-40/39-40.NoSQL入门.md)
218 219 220
  - NoSQL概述
  - Redis概述
  - Mongo概述
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
221

J
jackfrued 已提交
222
### Day41~55 - [实战Django](./Day41-55)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
223

J
jackfrued 已提交
224
#### Day41 - [Django快速上手](./Day41-55/41.Django快速上手.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
225

J
jackfrued 已提交
226 227
- Web应用工作机制
- HTTP请求和响应
J
jackfrued 已提交
228 229 230
- Django框架概述
- 5分钟快速上手

J
jackfrued 已提交
231
#### Day42 - [深入模型](./Day41-55/42.深入模型.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
232

J
jackfrued 已提交
233 234
- 关系型数据库配置
- 使用ORM完成对模型的CRUD操作
J
jackfrued 已提交
235
- 管理后台的使用
J
jackfrued 已提交
236 237 238
- Django模型最佳实践
- 模型定义参考

J
jackfrued 已提交
239
#### Day43 - [静态资源和Ajax请求](./Day41-55/43.静态资源和Ajax请求.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
240

J
jackfrued 已提交
241
- 加载静态资源
J
jackfrued 已提交
242 243
- Ajax概述
- 用Ajax实现投票功能
244

J
jackfrued 已提交
245
#### Day44 - [Cookie和Session](./Day41-55/44.Cookie和Session.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
246

247 248 249
- 实现用户跟踪
- cookie和session的关系
- Django框架对session的支持
250
- 视图函数中的cookie读写操作
251

J
jackfrued 已提交
252
#### Day45 - [报表和日志](./Day41-55/45.制作报表.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
253

254 255 256 257 258
- 通过HttpResponse修改响应头
- 使用StreamingHttpResponse处理大文件
- 使用xlwt生成Excel报表
- 使用reportlab生成PDF报表
- 使用ECharts生成前端图表
J
jackfrued 已提交
259 260 261 262 263 264

#### Day46 - [日志和调试工具栏](./Day41-55/46.日志和调试工具栏.md)

- 配置日志
- 配置Django-Debug-Toolbar
- 优化ORM代码
J
jackfrued 已提交
265 266 267 268 269 270 271

#### Day47 - [中间件的应用](./Day41-55/47.中间件的应用.md)

- 什么是中间件
- Django框架内置的中间件
- 自定义中间件及其应用场景

272
#### Day48 - [前后端分离开发入门](./Day41-55/48.前后端分离开发入门.md)
273 274 275

- 返回JSON格式的数据
- 用Vue.js渲染页面
276

J
jackfrued 已提交
277
#### Day49 - [RESTful架构和DRF入门](./Day41-55/49.RESTful架构和DRF入门.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
278

J
jackfrued 已提交
279
#### Day50 - [RESTful架构和DRF进阶](./Day41-55/50.RESTful架构和DRF进阶.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
280

J
jackfrued 已提交
281
#### Day51 - [使用缓存](./Day41-55/51.使用缓存.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
282

283 284 285 286 287 288 289
- 网站优化第一定律

- 在Django项目中使用Redis提供缓存服务
- 在视图函数中读写缓存
- 使用装饰器实现页面缓存
- 为数据接口提供缓存服务

J
jackfrued 已提交
290
#### Day52 - [文件上传](./Day41-55/52.文件上传.md)
J
jackfrued 已提交
291 292 293

- 文件上传表单控件和图片文件预览
- 服务器端如何处理上传的文件
294

J
jackfrued 已提交
295
#### Day53 - [异步任务和定时任务](./Day41-55/53.异步任务和定时任务.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
296

297 298 299 300 301
- 网站优化第二定律
- 配置消息队列服务
- 在项目中使用celery实现任务异步化
- 在项目中使用celery实现定时任务

J
jackfrued 已提交
302 303 304
#### Day54 - [单元测试](./Day41-55/54.单元测试.md)

#### Day55 - [项目上线](./Day41-55/55.项目上线.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
305

306 307 308 309 310 311
- Python中的单元测试
- Django框架对单元测试的支持
- 使用版本控制系统
- 配置和使用uWSGI
- 动静分离和Nginx配置
- 配置HTTPS
J
jackfrued 已提交
312
- 配置域名解析
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
313

J
jackfrued 已提交
314
### Day56~60 - [用FastAPI开发数据接口](./Day56-60/56-60.用FastAPI开发数据接口.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
315

J
jackfrued 已提交
316
- 
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
317

J
jackfrued 已提交
318
- 项目实战:车辆违章查询系统的开发和虚拟化部署
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
319

J
jackfrued 已提交
320 321
### Day61~65 - [实战Tornado](./Day61-65)

J
jackfrued 已提交
322
#### Day61 - [预备知识](./Day61-65/61.预备知识.md)
J
jackfrued 已提交
323

J
jackfrued 已提交
324 325
- 并发编程
- I/O模式和事件驱动
J
jackfrued 已提交
326

J
jackfrued 已提交
327
#### Day62 - [Tornado入门](./Day61-65/62.Tornado入门.md)
J
jackfrued 已提交
328

J
jackfrued 已提交
329 330 331 332 333
- Tornado概述
- 5分钟上手Tornado
- 路由解析
- 请求处理器

J
jackfrued 已提交
334
#### Day63 - [Tornado中的异步化](./Day61-65/63.Tornado中的异步化.md)
J
jackfrued 已提交
335 336 337

- aiomysql和aioredis的使用

J
jackfrued 已提交
338
#### Day64 - [WebSocket的应用](./Day61-65/64.WebSocket的应用.md)
J
jackfrued 已提交
339 340 341 342 343 344

- WebSocket简介
- WebSocket服务器端编程
- WebSocket客户端编程
- 项目:Web聊天室

J
jackfrued 已提交
345
#### Day65 - [项目实战](./Day61-65/65.项目实战.md)
J
jackfrued 已提交
346 347 348 349 350

- 前后端分离开发和接口文档的撰写
- 使用Vue.js实现前端渲染
- 使用ECharts实现报表功能
- 使用WebSocket实现推送服务
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
351

352
### Day66~75 - [爬虫开发](./Day66-75)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
353

J
jackfrued 已提交
354
#### Day66 - [网络爬虫和相关工具](./Day66-75/66.网络爬虫和相关工具.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
355

J
jackfrued 已提交
356 357 358 359 360
- 网络爬虫的概念及其应用领域
- 网络爬虫的合法性探讨
- 开发网络爬虫的相关工具
- 一个爬虫程序的构成

J
jackfrued 已提交
361
#### Day67 - [数据采集和解析](./Day66-75/67.数据采集和解析.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
362

J
jackfrued 已提交
363 364 365
- 数据采集的标准和三方库
- 页面解析的三种方式:正则表达式解析 / XPath解析 / CSS选择器解析

J
jackfrued 已提交
366
#### Day68 - [存储数据](./Day66-75/68.存储数据.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
367

J
jackfrued 已提交
368 369 370
- 如何存储海量数据
- 实现数据的缓存

J
jackfrued 已提交
371
#### Day69 - [并发下载](./Day66-75/69.并发下载.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
372

J
jackfrued 已提交
373 374 375 376 377
- 多线程和多进程
- 异步I/O和协程
- async和await关键字的使用
- 三方库aiohttp的应用

J
jackfrued 已提交
378
#### Day70 - [解析动态内容](./Day66-75/70.解析动态内容.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
379

J
jackfrued 已提交
380 381 382
- JavaScript逆向工程
- 使用Selenium获取动态内容

J
jackfrued 已提交
383
#### Day71 - [表单交互和验证码处理](./Day66-75/71.表单交互和验证码处理.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
384

J
jackfrued 已提交
385 386 387 388
- 自动提交表单
- Cookie池的应用
- 验证码处理

J
jackfrued 已提交
389
#### Day72 - [Scrapy入门](./Day66-75/72.Scrapy入门.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
390

J
jackfrued 已提交
391 392 393
- Scrapy爬虫框架概述
- 安装和使用Scrapy

J
jackfrued 已提交
394
#### Day73 - [Scrapy高级应用](./Day66-75/73.Scrapy高级应用.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
395

J
jackfrued 已提交
396 397 398 399 400
- Spider的用法
- 中间件的应用:下载中间件 / 蜘蛛中间件
- Scrapy对接Selenium抓取动态内容
- Scrapy部署到Docker

J
jackfrued 已提交
401
#### Day74 - [Scrapy分布式实现](./Day66-75/74.Scrapy分布式实现.md)
402

J
jackfrued 已提交
403 404 405 406
- 分布式爬虫的原理
- Scrapy分布式实现
- 使用Scrapyd实现分布式部署

J
jackfrued 已提交
407
#### Day75 - [爬虫项目实战](./Day66-75/75.爬虫项目实战.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
408

J
jackfrued 已提交
409 410 411 412
- 爬取招聘网站数据
- 爬取房地产行业数据
- 爬取二手车交易平台数据

J
jackfrued 已提交
413 414 415
### Day76~90 - [数据分析和机器学习](./Day76-90)

> **温馨提示**:数据分析和机器学习的内容在code文件夹中,是用jupyter notebook书写的代码和笔记,需要先启动jupyter notebook再打开对应的文件进行学习。2020年会持续补充相关文档,希望大家持续关注。
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
416

J
jackfrued 已提交
417
#### Day76 - [机器学习基础](./Day76-90/76.机器学习基础.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
418

J
jackfrued 已提交
419
#### Day77 - [Pandas的应用](./Day76-90/77.Pandas的应用.md)
420

J
jackfrued 已提交
421
#### Day78 - [NumPy和SciPy的应用](./Day76-90/78.NumPy和SciPy的应用)
422

J
jackfrued 已提交
423
#### Day79 - [Matplotlib和数据可视化](./Day76-90/79.Matplotlib和数据可视化)
424

J
jackfrued 已提交
425
#### Day80 - [k最近邻(KNN)分类](./Day76-90/80.k最近邻分类.md)
426

J
jackfrued 已提交
427
#### Day81 - [决策树](./Day76-90/81.决策树.md)
428

J
jackfrued 已提交
429
#### Day82 - [贝叶斯分类](./Day76-90/82.贝叶斯分类.md)
430

J
jackfrued 已提交
431
#### Day83 - [支持向量机(SVM)](./Day76-90/83.支持向量机.md)
432

J
jackfrued 已提交
433
#### Day84 - [K-均值聚类](./Day76-90/84.K-均值聚类.md)
434

J
jackfrued 已提交
435
#### Day85 - [回归分析](./Day76-90/85.回归分析.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
436

J
jackfrued 已提交
437
#### Day86 - [大数据分析入门](./Day76-90/86.大数据分析入门.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
438

J
jackfrued 已提交
439
#### Day87 - [大数据分析进阶](./Day76-90/87.大数据分析进阶.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
440

J
jackfrued 已提交
441
#### Day88 - [Tensorflow入门](./Day76-90/88.Tensorflow入门.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
442

J
jackfrued 已提交
443
#### Day89 - [Tensorflow实战](./Day76-90/89.Tensorflow实战.md)
444

J
jackfrued 已提交
445
#### Day90 - [推荐系统实战](./Day76-90/90.推荐系统实战.md)
446 447

### Day91~100 - [团队项目开发](./Day91-100)
448

J
jackfrued 已提交
449
#### 第91天:[团队项目开发的问题和解决方案](./Day91-100/91.团队项目开发的问题和解决方案.md)
450 451 452 453 454

1. 软件过程模型
   - 经典过程模型(瀑布模型)
     - 可行性分析(研究做还是不做),输出《可行性分析报告》。
     - 需求分析(研究做什么),输出《需求规格说明书》和产品界面原型图。
J
jackfrued 已提交
455
     - 概要设计和详细设计,输出概念模型图(ER图)、物理模型图、类图、时序图等。
456 457
     - 编码 / 测试。
     - 上线 / 维护。
J
jackfrued 已提交
458 459

     瀑布模型最大的缺点是无法拥抱需求变化,整套流程结束后才能看到产品,团队士气低落。
460 461 462 463 464
   - 敏捷开发(Scrum)- 产品所有者、Scrum Master、研发人员 - Sprint
     - 产品的Backlog(用户故事、产品原型)。
     - 计划会议(评估和预算)。
     - 日常开发(站立会议、番茄工作法、结对编程、测试先行、代码重构……)。
     - 修复bug(问题描述、重现步骤、测试人员、被指派人)。
J
jackfrued 已提交
465 466 467
     - 发布版本。
     - 评审会议(Showcase,用户需要参与)。
     - 回顾会议(对当前迭代周期做一个总结)。
468 469 470 471 472 473 474 475

     > 补充:敏捷软件开发宣言
     >
     > - **个体和互动** 高于 流程和工具
     > - **工作的软件** 高于 详尽的文档
     > - **客户合作** 高于 合同谈判
     > - **响应变化** 高于 遵循计划

476
     ![](./res/agile-scrum-sprint-cycle.png)
477

478 479 480 481 482 483
     > 角色:产品所有者(决定做什么,能对需求拍板的人)、团队负责人(解决各种问题,专注如何更好的工作,屏蔽外部对开发团队的影响)、开发团队(项目执行人员,具体指开发人员和测试人员)。

     > 准备工作:商业案例和资金、合同、憧憬、初始产品需求、初始发布计划、入股、组建团队。

     >  敏捷团队通常人数为8-10人。

J
jackfrued 已提交
484
     >  工作量估算:将开发任务量化,包括原型、Logo设计、UI设计、前端开发等,尽量把每个工作分解到最小任务量,最小任务量标准为工作时间不能超过两天,然后估算总体项目时间。把每个任务都贴在看板上面,看板上分三部分:to do(待完成)、in progress(进行中)和done(已完成)。
485

486
2. 项目团队组建
487

488 489
   - 团队的构成和角色

J
jackfrued 已提交
490
     > 说明:谢谢**付祥英**女士帮助我绘制了下面这张精美的公司组织架构图。
491

492 493 494 495 496 497
     ![company_architecture](./res/company_architecture.png)

   - 编程规范和代码审查(flake8、pylint)

     ![](./res/pylint.png)

498
   - Python中的一些“惯例”(请参考[《Python惯例-如何编写Pythonic的代码》](Python惯例.md)
499 500 501 502 503 504 505

   - 影响代码可读性的原因:

     - 代码注释太少或者没有注释
     - 代码破坏了语言的最佳实践
     - 反模式编程(意大利面代码、复制-黏贴编程、自负编程、……)

506 507
3. 团队开发工具介绍
   - 版本控制:Git、Mercury
508 509 510
   - 缺陷管理:[Gitlab](https://about.gitlab.com/)[Redmine](http://www.redmine.org.cn/)
   - 敏捷闭环工具:[禅道](https://www.zentao.net/)[JIRA](https://www.atlassian.com/software/jira/features)
   - 持续集成:[Jenkins](https://jenkins.io/)[Travis-CI](https://travis-ci.org/)
511

J
jackfrued 已提交
512
   请参考[《团队项目开发的问题和解决方案》](Day91-100/91.团队项目开发的问题和解决方案.md)
513

514
##### 项目选题和理解业务
515 516 517 518

1. 选题范围设定

   - CMS(用户端):新闻聚合网站、问答/分享社区、影评/书评网站等。
519
   - MIS(用户端+管理端):KMS、KPI考核系统、HRS、CRM系统、供应链系统、仓储管理系统等。
520

521
   - App后台(管理端+数据接口):二手交易类、报刊杂志类、小众电商类、新闻资讯类、旅游类、社交类、阅读类等。
522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540
   - 其他类型:自身行业背景和工作经验、业务容易理解和把控。

2. 需求理解、模块划分和任务分配

   - 需求理解:头脑风暴和竞品分析。
   - 模块划分:画思维导图(XMind),每个模块是一个枝节点,每个具体的功能是一个叶节点(用动词表述),需要确保每个叶节点无法再生出新节点,确定每个叶子节点的重要性、优先级和工作量。
   - 任务分配:由项目负责人根据上面的指标为每个团队成员分配任务。

   ![](./res/requirements_by_xmind.png)

3. 制定项目进度表(每日更新)

   | 模块 | 功能     | 人员   | 状态     | 完成 | 工时 | 计划开始 | 实际开始 | 计划结束 | 实际结束 | 备注             |
   | ---- | -------- | ------ | -------- | ---- | ---- | -------- | -------- | -------- | -------- | ---------------- |
   | 评论 | 添加评论 | 王大锤 | 正在进行 | 50%  | 4    | 2018/8/7 |          | 2018/8/7 |          |                  |
   |      | 删除评论 | 王大锤 | 等待     | 0%   | 2    | 2018/8/7 |          | 2018/8/7 |          |                  |
   |      | 查看评论 | 白元芳 | 正在进行 | 20%  | 4    | 2018/8/7 |          | 2018/8/7 |          | 需要进行代码审查 |
   |      | 评论投票 | 白元芳 | 等待     | 0%   | 4    | 2018/8/8 |          | 2018/8/8 |          |                  |

J
jackfrued 已提交
541
4. OOAD和数据库设计
J
jackfrued 已提交
542

J
jackfrued 已提交
543
  - UML(统一建模语言)的类图
544

J
jackfrued 已提交
545
    ![uml](./res/uml-class-diagram.png)
546

J
jackfrued 已提交
547
  - 通过模型创建表(正向工程)
548

J
jackfrued 已提交
549 550 551 552
    ```Shell
    python manage.py makemigrations app
    python manage.py migrate
    ```
553

J
jackfrued 已提交
554
  - 使用PowerDesigner绘制物理模型图。
555

J
jackfrued 已提交
556
    ![](./res/power-designer-pdm.png)
557

J
jackfrued 已提交
558
  - 通过数据表创建模型(反向工程)
559

J
jackfrued 已提交
560 561 562
    ```Shell
    python manage.py inspectdb > app/models.py
    ```
563

J
jackfrued 已提交
564
#### 第92天:[Docker容器详解](./Day91-100/92.Docker容器详解.md)
565

J
jackfrued 已提交
566 567 568 569 570
1. Docker简介
2. 安装Docker
3. 使用Docker创建容器(Nginx、MySQL、Redis、Gitlab、Jenkins)
4. 构建Docker镜像(Dockerfile的编写和相关指令)
5. 容器编排(Docker-compose)
J
jackfrued 已提交
571
6. 集群管理(Kubernetes)
572

J
jackfrued 已提交
573
#### 第93天:[MySQL性能优化](./Day91-100/93.MySQL性能优化.md)
574

J
jackfrued 已提交
575
#### 第94天:[网络API接口设计](./Day91-100/94.网络API接口设计.md)
576

J
jackfrued 已提交
577
#### 第95天:[使用Django开发商业项目](./Day91-100/95.使用Django开发商业项	目.md)
578

579
##### 项目开发中的公共问题
580

581 582
1. 数据库的配置(多数据库、主从复制、数据库路由)
2. 缓存的配置(分区缓存、键设置、超时设置、主从复制、故障恢复(哨兵))
583
3. 日志的配置
584
4. 分析和调试(Django-Debug-ToolBar)
585
5. 好用的Python模块(日期计算、图像处理、数据加密、三方API)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
586

587
##### REST API设计
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
588

589
1. RESTful架构
590 591 592
   - [理解RESTful架构](http://www.ruanyifeng.com/blog/2011/09/restful.html)
   - [RESTful API设计指南](http://www.ruanyifeng.com/blog/2014/05/restful_api.html)
   - [RESTful API最佳实践](http://www.ruanyifeng.com/blog/2018/10/restful-api-best-practices.html)
J
jackfrued 已提交
593
2. API接口文档的撰写
594
   - [RAP2](http://rap2.taobao.org/)
595 596
   - [YAPI](http://yapi.demo.qunar.com/)
3. [django-REST-framework](https://www.django-rest-framework.org/)的应用
597

598
##### 项目中的重点难点剖析
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
599

600 601
1. 使用缓存缓解数据库压力 - Redis
2. 使用消息队列做解耦合和削峰 - Celery + RabbitMQ
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
602

J
jackfrued 已提交
603
#### 第96天:[软件测试和自动化测试](Day91-100/96.软件测试和自动化测试.md)
604 605

##### 单元测试
606

607
1. 测试的种类
608 609
2. 编写单元测试(unittest、pytest、nose2、tox、ddt、……)
3. 测试覆盖率(coverage)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
610

611
##### 项目部署
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
612

613 614 615 616 617 618
1. 部署前的准备工作
   - 关键设置(SECRET_KEY / DEBUG / ALLOWED_HOSTS / 缓存 / 数据库)
   - HTTPS / CSRF_COOKIE_SECUR  / SESSION_COOKIE_SECURE  
   - 日志相关配置
2. Linux常用命令回顾
3. Linux常用服务的安装和配置
619 620 621 622 623 624
4. uWSGI/Gunicorn和Nginx的使用
   - Gunicorn和uWSGI的比较
     - 对于不需要大量定制化的简单应用程序,Gunicorn是一个不错的选择,uWSGI的学习曲线比Gunicorn要陡峭得多,Gunicorn的默认参数就已经能够适应大多数应用程序。
     - uWSGI支持异构部署。
     - 由于Nginx本身支持uWSGI,在线上一般都将Nginx和uWSGI捆绑在一起部署,而且uWSGI属于功能齐全且高度定制的WSGI中间件。
     - 在性能上,Gunicorn和uWSGI其实表现相当。
J
jackfrued 已提交
625
5. 使用虚拟化技术(Docker)部署测试环境和生产环境
626

627
##### 性能测试
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
628

629 630 631
1. AB的使用
2. SQLslap的使用
3. sysbench的使用
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
632

633
##### 自动化测试
634

635 636
1. 使用Shell和Python进行自动化测试
2. 使用Selenium实现自动化测试
637 638 639
   - Selenium IDE
   - Selenium WebDriver
   - Selenium Remote Control
640
3. 测试工具Robot Framework介绍
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
641

J
jackfrued 已提交
642 643 644
#### 第97天:[电商网站技术要点剖析](./Day91-100/97.电商网站技术要点剖析.md)

#### 第98天:[项目部署上线和性能调优](./Day91-100/98.项目部署上线和性能调优.md)
骆昊的技术专栏's avatar
骆昊的技术专栏 已提交
645

J
jackfrued 已提交
646
1. MySQL数据库调优
647 648 649 650 651 652 653
2. Web服务器性能优化
   - Nginx负载均衡配置
   - Keepalived实现高可用
3. 代码性能调优
   - 多线程
   - 异步化
4. 静态资源访问优化
J
jackfrued 已提交
654 655 656 657 658
   - 云存储
   - CDN

#### 第99天:[面试中的公共问题](./Day91-100/99.面试中的公共问题.md)

J
jackfrued 已提交
659
#### 第100天:[Python面试题集](./Day91-100/100.Python面试题集.md)
J
jackfrued 已提交
660