第8章 程序设计方法学
8.1 实例13: 体育竞技分析
8.1.1自顶向上和自低向上的设置方法
自顶向下（设计）： 解决复杂问题的有效方法
将一个总问题表达为若干个小问题组成的形式
使用同样方法进一步分解小问题
直至，小问题可以用计算机简单明了的解决
自底向上(执行)--逐步组建复杂系统的有效测试方法
分单元测试，逐步组装
按照自顶向下相反的路径操作
直至，系统各部分以组装的思路都经过测试和验证
8.1.2体育竞技问题分析
问题分析--体育竞技分析
需求：毫厘是多少？如何科学分析体育竞技比赛？
输入：球员的水平
输出：可预测的比赛成绩
计算思维：抽象 + 自动化
模拟：抽象比赛过程 + 自动化执行N场比赛
当N越大时，比赛结果分析会越科学
比赛规则
双人击球比赛：A & B，回合制，5局3胜 ；开始时一方先发球，直至判分，接下来胜者发球 ；球员只能在发球局得分，15分胜一局
8.1.3"体育竞技分析"实例讲解
步骤1：打印程序的介绍性信息 - printInfo()
步骤2：获得程序运行参数：proA, proB, n - getInputs()
步骤3：利用球员A和B的能力值，模拟n局比赛 -simNGames()
步骤4：输出球员A和B获胜比赛的场次及概率 - printSummary(）
第一阶段：程序总体框架及步骤
def main():
printIntro()
probA, probB, n = getInputs() //输入函数
winsA, winsB = simNGames(n, probA, probB) //比赛函数
printSummary(winsA, winsB)
介绍性内容，提高用户体验：
def printIntro():
print("这个程序模拟两个选手A和B的某种竞技比赛")
print("程序运行需要A和B的能力值(以0到1之间的小数表示)")
def getInputs():
a = eval(input("请输入选手A的能力值(0-1): "))
b = eval(input("请输入选手B的能力值(0-1): "))
n = eval(input("模拟比赛的场次: "))
return a, b, n
def printSummary(winsA, winsB):
n = winsA + winsB
print("竞技分析开始，共模拟{}场比赛".format(n))
print("选手A获胜{}场比赛，占比{:0.1%}".format(winsA, winsA/n))
print("选手B获胜{}场比赛，占比{:0.1%}".format(winsB, winsB/n))
第二阶段：步骤3 模拟N局比赛
def simNGames(n, probA, probB):
winsA, winsB = 0, 0
for i in range(n):
scoreA, scoreB = simOneGame(probA, probB)
if scoreA > scoreB:
winsA += 1
else:
winsB += 1
return winsA, winsB
第三阶段 根据分数判断局的结束
def simOneGame(probA, probB):
scoreA, scoreB = 0, 0
serving = "A" #发球方
while not gameOver(scoreA, scoreB):
if serving == "A": #发球时才能得分
if random() < probA:
scoreA += 1
else:
serving="B" #输这另一方发球
else:
if random() < probB:
scoreB += 1
else:
serving="A"
return scoreA, scoreB
def gameOver(a,b):
return a==15 or b==15
8.1.4 总结
理解自顶向下的设计思维：分而治之
理解自底向上的执行思维：模块化集成
自顶向下是“系统”思维的简化
8.2 Python程序设计思维
8.2.1计算思维与程序设计
第3种人类思维特征
逻辑思维：推理和演绎，数学为代表，A->B B->C A->C
实证思维：实验和验证，物理为代表，引力波<-实验
计算思维：设计和构造，计算机为代表，汉诺塔递归 （抽象和自动化）。抽象问题的计算过程，利用计算机自动化求解，计算思维是基于计算机的思维方式。
8.2.2计算生态与Python语言
python计算生态
开源思想深入演化和发展，形成了计算生态
计算生态以开源项目为组织形式，充分利 用“共识原则”和“社会利他”组织人员，在竞争发展、相互依存和迅速更迭中完成信息技术的更新换代，
形成了技术的自我演化路径。
没有顶层设计、以功能为单位、具备三个特点：竞争发展 、相互依存 、 迅速更迭
计算生态的价值：-创新：跟随创新、集成创新、原始创新
加速科技类应用创新的重要支撑
发展科技产品商业价值的重要模式
国家科技体系安全和稳固的基础
计算生态的运用：--刀耕火种 -> 站在巨人的肩膀上
编程的起点不是算法而是系统
编程如同搭积木，利用计算生态为主要模式
编程的目标是快速解决问题
8.2.3用户体验与软件产品
1）用户体验 （实现功能 -> 关注体验）
用户体验指用户对产品建立的主观感受和认识
关心功能实现，更要关心用户体验，才能做出好产品
编程只是手段，不是目的，程序最终为人类服务
2）提高用户体验的方法
方法1：进度展示
如果程序需要计算时间，可能产生等待，请增加进度展示
如果程序有若干步骤，需要提示用户，请增加进度展示
如果程序可能存在大量次数的循环，请增加进度展示
方法2：异常处理
当获得用户输入，对合规性需要检查，需要异常处理
当读写文件时，对结果进行判断，需要异常处理
当进行输入输出时，对运算结果进行判断，需要异常处理
其他类方法
打印输出：特定位置，输出程序运行的过程信息
日志文件：对程序异常及用户使用进行定期记录
帮助信息：给用户多种方式提供帮助信息
软件程序 -> 软件产品；用户体验是程序到产品的关键环节
8.2.4基本的程序设计模式
I：Input 输入，程序的输入
P：Process 处理，程序的主要逻辑
O：Output 输出，程序的输出
确定IPO：明确计算部分及功能边界
编写程序：将计算求解的设计变成现实
调试程序：确保程序按照正确逻辑能够正确运行
1）自顶向下-（分而治之）
通过函数或对象封装将程序划分为模块及模块间的表达，具体包括：主程序、子程序和子程序间关系
分而治之：一种分而治之、分层抽象、体系化的设计思想
2）自底向上--（模块化设计）
紧耦合：两个部分之间交流很多，无法独立存在
松耦合：两个部分之间交流较少，可以独立存在
模块内部紧耦合、模块之间松耦合
3）配置化设计
引擎+配置：程序执行和配置分离，将可选参数配置化
将程序开发变成配置文件编写，扩展功能而不修改程序
关键在于接口设计，清晰明了、灵活可扩展
8.2.5应用开发的四个步骤
从应用需求到软件产品
1 产品定义：对应用需求充分理解和明确定义产品定义，而不仅是功能定义，要考虑商业模式
2 系统架构：以系统方式思考产品的技术实现 系统架构，关注数据流、模块化、体系架构
3 设计与实现：结合架构完成关键设计及系统实现 结合可扩展性、灵活性等进行设计优化
4 用户体验：从用户角度思考应用效果 用户至上，体验优先，以用户为中心
8.3 Python第三方库安装
8.3.1看见更大的Python世界
python第三方库社区网站： https://pypi.org/
8.3.2第三方库的pip安装方法
方法1(主要方法): 使用pip命令
适合Windows、Mac和Linux等操作系统 ；获取第三方库的方式，目前的主要方式 ；适合99%以上情况，需要联网安装
D:\>pip install <第三方库名> ---安装指定的第三方
D:\>pip install –U <第三方库名> - --使用-U标签更新已安装的指定第三方库
D:\>pip uninstall <第三方库名> - 卸载指定的第三方库
D:\>pip download <第三方库名> - 下载但不安装指定的第三方库
D:\>pip show <第三方库名> - 列出某个指定第三方库的详细信息
D:\>pip search <关键词> - 根据关键词在名称和介绍中搜索第三方库
D:\>pip list - 列出当前系统已经安装的第三方库
方法2: 集成安装方法
集成安装：结合特定Python开发工具的批量安装
方法3: 文件安装方法
某些第三方库pip下载后，需要编译再安装 ；如果操作系统没有编译环境，则能下载但不能安装
可以直接下载编译后的版本用于安装吗？
能，通过Archived: Python Extension Packages for Windows - Christoph Gohlke (uci.edu)可找到编译后的版本安装。
实例：安装wordcloud
步骤1：在UCI页面上搜索wordcloud
步骤2：下载对应版本的文件
步骤3：使用pip install <文件名>安装
8.4 模块7: os库的基本使用
os库提供通用的、基本的操作系统交互功能
基本介绍：os库是Python标准库，包含几百个函数 ；常用路径操作、进程管理、环境参数等几类
路径操作：os.path子库，处理文件路径及信息
进程管理：启动系统中其他程序
环境参数：获得系统软硬件信息等环境参数
1）路径操作
os.path子库以path为入口，用于操作和处理文件路径
import os.path or import os.path as op 导入包
2）进程管理
os.system(command)
执行程序或命令command ;在Windows系统中，返回值为cmd的调用返回信息
import os
os.system("C:\\Windows\\System32\\calc.exe")
3）环境参数
获取或改变系统环境信息
8.5 实例14: 第三方库自动安装脚本
问题分析：第三方库自动安装脚本
需求：批量安装第三方库需要人工干预，能否自动安装？ - 自动执行pip逐一根据安装需求安装
如何自动执行一个程序？例如：pip？
常见的库介绍：
代码
import os
libs = {"numpy","matplotlib","pillow","sklearn","requests",\
"jieba","beautifulsoup4","wheel","networkx","sympy",\
"pyinstaller","django","flask","werobot","pyqt5",\
"pandas","pyopengl","pypdf2","docopt","pygame"}
try:
for lib in libs:
os.system("pip install " + lib)
print("Successful")
except: print("Failed Somehow")
第9章 Python计算生态概览
9.1 从数据处理到人工智能
从数据处理到人工智能：
数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能
数据表示：采用合适方式用程序表达数据
数据清理：数据归一化、数据转换、异常值处理
数据统计：数据的概要理解，数量、分布、中位数等
数据可视化：直观展示数据内涵的方式
数据挖掘：从数据分析获得知识，产生数据外的价值
人工智能：数据/语言/图像/视觉等方面深度分析与决策
9.1.1Python库之数据分析
1）Numpy: 表达N维数组的最基础库
Python接口使用，C语言实现，计算速度优异
Python数据分析及科学计算的基础库，支撑Pandas等
提供直接的矩阵运算、广播函数、线性代数等功能
2） Pandas: Python数据分析高层次应用库
提供了简单易用的数据结构和数据分析工具
理解数据类型与索引的关系，操作索引即操作数据
Python最主要的数据分析功能库，基于Numpy开发
Series = 索引 + 一维数据
DataFrame = 行列索引 + 二维数据
3）SciPy: 数学、科学和工程计算功能库
提供了一批数学算法及工程数据运算功能
类似Matlab，可用于如傅里叶变换、信号处理等应用
Python最主要的科学计算功能库，基于Numpy开发
9.1.2Python库之数据可视化
1）Matplotlib: 高质量的二维数据可视化功能库
提供了超过100种数据可视化展示效果
通过matplotlib.pyplot子库调用各可视化效果
Python最主要的数据可视化功能库，基于Numpy开发
2）Seaborn: 统计类数据可视化功能库
提供了一批高层次的统计类数据可视化展示效果
主要展示数据间分布、分类和线性关系等内容
基于Matplotlib开发，支持Numpy和Pandas
3） Mayavi：三维科学数据可视化功能库
提供了一批简单易用的3D科学计算数据可视化展示效果
目前版本是Mayavi2，三维可视化最主要的第三方库
支持Numpy、TVTK、Traits、Envisage等第三方库
9.1.3Python库之文本处理
1）PyPDF2：用来处理pdf文件的工具集
提供了一批处理PDF文件的计算功能
支持获取信息、分隔/整合文件、加密解密等
完全Python语言实现，不需要额外依赖，功能稳定
案例:
from PyPDF2 import PdfFileReader, PdfFileMerger
merger = PdfFileMerger()
input1 = open("document1.pdf", "rb")
input2 = open("document2.pdf", "rb")
merger.append(fileobj = input1, pages = (0,3))
merger.merge(position = 2, fileobj = input2, pages = (0,1))
output = open("document-output.pdf", "wb")
merger.write(output)
2）NLTK：自然语言文本处理第三方库
提供了一批简单易用的自然语言文本处理功能
支持语言文本分类、标记、语法句法、语义分析等
最优秀的Python自然语言处理库
案例：
from nltk.corpus import treebank
t = treebank.parsed_sents('wsj_0001.mrg')[0]
t.draw()
3）Python-docx：创建或更新Microsoft Word文件的第三方库
提供创建或更新.doc .docx等文件的计算功能
增加并配置段落、图片、表格、文字等，功能全面
from docx import Document
document = Document()
document.add_heading('Document Title', 0)
p = document.add_paragraph('A plain paragraph having some ')
document.add_page_break()
document.save('demo.docx')
9.1.4Python库之机器学习
1)Scikit-learn：机器学习方法工具集
提供一批统一化的机器学习方法功能接口
提供聚类、分类、回归、强化学习等计算功能
机器学习最基本且最优秀的Python第三方库
2)TensorFlow：AlphaGo背后的机器学习计算框架
谷歌公司推动的开源机器学习框架
将数据流图作为基础，图节点代表运算，边代表张量
应用机器学习方法的一种方式，支撑谷歌人工智能应用
import tensorflow as tf
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
res = sess.run(result)
print('result:', res)
3)MXNet：基于神经网络的深度学习计算框架
提供可扩展的神经网络及深度学习计算功能
可用于自动驾驶、机器翻译、语音识别等众多领域
Python最重要的深度学习计算框架
9.2 实例15: 霍兰德人格分析雷达图
雷达图 Radar Chart——是多特性直观展示的重要方式
问题分析：
1)什么是霍兰德人格分析?
霍兰德认为：人格兴趣与职业之间应有一种内在的对应关系
人格分类：研究型、艺术型、社会型、企业型、传统型、现实性
职业：工程师、实验员、艺术家、推销员、记事员、社会工作者
2)霍兰德人格分析雷达图
需求：雷达图方式验证霍兰德人格分析
输入：各职业人群结合兴趣的调研数据
输出：雷达
通用雷达图绘制：matplotlib库
专业的多维数据表示：numpy库
#HollandRadarDraw
import kwargs as kwargs
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.family']='SimHei'
matplotlib.rcParams['font.sans-serif']='SimHei'
radar_labels = np.array(['研究型(I)','艺术型(A)','社会型(S)','企业型(E)','常规型(C)','现实型(R)']) #雷达标签
nAttr = 6
data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],
[0.85, 0.35, 0.30, 0.40, 0.40, 0.30],
[0.43, 0.89, 0.30, 0.28, 0.22, 0.30],
[0.30, 0.25, 0.48, 0.85, 0.45, 0.40],
[0.20, 0.38, 0.87, 0.45, 0.32, 0.28],
[0.34, 0.31, 0.38, 0.40, 0.92, 0.28]]) #数据值
data_labels = ('艺术家', '实验员', '工程师', '推销员', '社会工作者','记事员')
angles = np.linspace(0, 2*np.pi, nAttr, endpoint=False)
data = np.concatenate((data, [data[0]]))
angles = np.concatenate((angles, [angles[0]]))
radar_labels = np.concatenate((radar_labels, [radar_labels[0]]))
fig = plt.figure(facecolor="white")
plt.subplot(111, polar=True)
#plt.plot(angles,data,'bo-',color='gray', linewidth=1, alpha=0.2)
plt.plot(angles,data,'o-', linewidth=1.5, alpha=0.2)
plt.fill(angles,data, alpha=0.25)
plt.thetagrids(angles*180/np.pi, radar_labels)
plt.figtext(0.52, 0.95, '霍兰德人格分析', ha='center', size=20)
legend = plt.legend(data_labels, loc=(0.94, 0.80), labelspacing=0.1)
plt.setp(legend.get_texts(), fontsize='large')
plt.grid(True)
plt.savefig('holland_radar.jpg')
plt.show()
9.3 从Web解析到网络空间
9.3.1Python库之网络爬虫
Requests: 最友好的网络爬虫功能库
提供了简单易用的类HTTP协议网络爬虫功能
支持连接池、SSL、Cookies、HTTP(S)代理等
Python最主要的页面级网络爬虫功能库
Scrapy: 优秀的网络爬虫框架
提供了构建网络爬虫系统的框架功能，功能半成品
支持批量和定时网页爬取、提供数据处理流程等
Python最主要且最专业的网络爬虫框架
pyspider: 强大的Web页面爬取系统
提供了完整的网页爬取系统构建功能
支持数据库后端、消息队列、优先级、分布式架构等
Python重要的网络爬虫类第三方库
9.3.2Python库之Web信息提取
Beautiful Soup: HTML和XML的解析库
提供了解析HTML和XML等Web信息的功能
又名beautifulsoup4或bs4，可以加载多种解析引擎
常与网络爬虫库搭配使用，如Scrapy、requests等
Re: 正则表达式解析和处理功能库
提供了定义和解析正则表达式的一批通用功能
可用于各类场景，包括定点的Web信息提取
Python最主要的标准库之一，无需安装
Python-Goose: 提取文章类型Web页面的功能库
提供了对Web页面中文章信息/视频等元数据的提取功能
针对特定类型Web页面，应用覆盖面较广
Python最主要的Web信息提取库
from goose import Goose
url='http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html'
g = Goose({'use_meta_language': False, 'target_language':'es'})
article = g.extract(url=url)
article.cleaned_text[:150]
9.3.3Python库之Web网站开发
Django: 最流行的Web应用框架
提供了构建Web系统的基本应用框架
MTV模式：模型(model)、模板(Template)、视图(Views)
Python最重要的Web应用框架，略微复杂的应用框架
Pyramid: 规模适中的Web应用框架
提供了简单方便构建Web系统的应用框架
不大不小，规模适中，适合快速构建并适度扩展类应用
Python产品级Web应用框架，起步简单可扩展性好
Flask: Web应用开发微框架
提供了最简单构建Web系统的应用框架
特点是：简单、规模小、快速
Django > Pyramid > Flask
9.3.4Python库之网络应用开发
WeRoBot: 微信公众号开发框架
提供了解析微信服务器消息及反馈消息的功能
建立微信机器人的重要技术手段
aip: 百度AI开放平台接口
提供了访问百度AI服务的Python功能接口
语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
Python百度AI应用的最主要方式
MyQR: 二维码生成第三方库
提供了生成二维码的系列功能
基本二维码、艺术二维码和动态二维码
9.4 从人机交互到艺术设计
9.4.1 Python库之图形用户界面
PyQt5: Qt开发框架的Python接口
提供了创建Qt5程序的Python API接口
Qt是非常成熟的跨平台桌面应用开发系统，完备GUI
推荐的Python GUI开发第三方库
wxPython: 跨平台GUI开发框架
提供了专用于Python的跨平台GUI开发框架
理解数据类型与索引的关系，操作索引即操作数据
Python最主要的数据分析功能库，基于Numpy开发
PyGObject: 使用GTK+开发GUI的功能库
提供了整合GTK+、WebKitGTK+等库的功能
GTK+：跨平台的一种用户图形界面GUI框架
实例：Anaconda采用该库构建GUI
9.4.2Python库之游戏开发
PyGame: 简单的游戏开发功能库
提供了基于SDL的简单游戏开发功能及实现引擎
理解游戏对外部输入的响应机制及角色构建和交互机制
Python游戏入门最主要的第三方库
Panda3D: 开源、跨平台的3D渲染和游戏开发库
一个3D游戏引擎，提供Python和C++两种接口
支持很多先进特性：法线贴图、光泽贴图、卡通渲染等
由迪士尼和卡尼基梅隆大学共同开发
cocos2d: 构建2D游戏和图形界面交互式应用的框架
提供了基于OpenGL的游戏开发图形渲染功能
支持GPU加速，采用树形结构分层管理游戏对象类型
适用于2D专业级游戏开发
9.4.3Python库之虚拟现实
VR Zero: 在树莓派上开发VR应用的Python库
提供大量与VR开发相关的功能
针对树莓派的VR开发库，支持设备小型化，配置简单化
非常适合初学者实践VR开发及应用
pyovr: Oculus Rift的Python开发接口
针对Oculus VR设备的Python开发库
基于成熟的VR设备，提供全套文档，工业级应用设备
Python+虚拟现实领域探索的一种思路
Vizard: 基于Python的通用VR开发引擎
专业的企业级虚拟现实开发引擎
提供详细的官方文档
支持多种主流的VR硬件设备，具有一定通用性
9.4.4Python库之图形艺术
Quads: 迭代的艺术
对图片进行四分迭代，形成像素风
可以生成动图或静图图像
简单易用，具有很高展示度
ascii_art: ASCII艺术库
将普通图片转为ASCII艺术风格
输出可以是纯文本或彩色文本
可采用图片格式输出
9.5 实例16: 玫瑰花绘制
import turtle as t
# 定义一个曲线绘制函数
def DegreeCurve(n, r, d=1):
for i in range(n):
t.left(d)
t.circle(r, abs(d))
# 初始位置设定
s = 0.2 # size
t.setup(450*5*s, 750*5*s)
t.pencolor("black")
t.fillcolor("red")
t.speed(100)
t.penup()
t.goto(0, 900*s)
t.pendown()
# 绘制花朵形状
t.begin_fill()
t.circle(200*s,30)
DegreeCurve(60, 50*s)
t.circle(200*s,30)
DegreeCurve(4, 100*s)
t.circle(200*s,50)
DegreeCurve(50, 50*s)
t.circle(350*s,65)
DegreeCurve(40, 70*s)
t.circle(150*s,50)
DegreeCurve(20, 50*s, -1)
t.circle(400*s,60)
DegreeCurve(18, 50*s)
t.fd(250*s)
t.right(150)
t.circle(-500*s,12)
t.left(140)
t.circle(550*s,110)
t.left(27)
t.circle(650*s,100)
t.left(130)
t.circle(-300*s,20)
t.right(123)
t.circle(220*s,57)
t.end_fill()
# 绘制花枝形状
t.left(120)
t.fd(280*s)
t.left(115)
t.circle(300*s,33)
t.left(180)
t.circle(-300*s,33)
DegreeCurve(70, 225*s, -1)
t.circle(350*s,104)
t.left(90)
t.circle(200*s,105)
t.circle(-500*s,63)
t.penup()
t.goto(170*s,-30*s)
t.pendown()
t.left(160)
DegreeCurve(20, 2500*s)
DegreeCurve(220, 250*s, -1)
# 绘制一个绿色叶子
t.fillcolor('green')
t.penup()
t.goto(670*s,-180*s)
t.pendown()
t.right(140)
t.begin_fill()
t.circle(300*s,120)
t.left(60)
t.circle(300*s,120)
t.end_fill()
t.penup()
t.goto(180*s,-550*s)
t.pendown()
t.right(85)
t.circle(600*s,40)
# 绘制另一个绿色叶子
t.penup()
t.goto(-150*s,-1000*s)
t.pendown()
t.begin_fill()
t.rt(120)
t.circle(300*s,115)
t.left(75)
t.circle(300*s,100)
t.end_fill()
t.penup()
t.goto(430*s,-1070*s)
t.pendown()
t.right(30)
t.circle(-600*s,35)
t.done()