使用 PyCaret 和 Streamlit 构建和部署 ML 应用
最后更新于
这有帮助吗？
最后更新于
这有帮助吗？
通过本教程的学习，你将能够构建一个功能齐全的 Web 应用，使用训练好的机器学习模型生成在线预测（逐个）和批量预测（通过上传 csv 文件）。最终的应用界面如下
什么是部署？为什么我们要部署机器学习模型？
使用 PyCaret 开发机器学习 Pipeline 并训练模型。
使用 Streamlit 开源框架构建一个简单的 Web 应用。
在“Heroku”上部署 Web 应用并查看模型的运行效果。
本教程将涵盖整个工作流程，从训练机器学习模型并在 Python 中开发 Pipeline，到使用 streamlit 开发一个简单的 Web 应用，最后在 Heroku 云平台上部署该应用。
过去，我们已经涵盖了使用 docker 进行容器化以及在 Azure、GCP 和 AWS 等云平台上的部署。如果你有兴趣了解更多信息，可以阅读以下文章
部署机器学习模型是指将模型投入生产的过程，以便 Web 应用、企业软件和 API 可以使用训练好的模型并生成新的数据点预测。
在线预测场景适用于你希望逐个数据点生成预测的情况。例如，你可以使用预测立即决定某个特定交易是否可能是欺诈性的。
批量预测在你希望一次性为一组观测数据生成预测时很有用。例如，如果你想决定哪些客户作为产品广告活动的定位对象，你可以获取所有客户的预测得分，对这些得分进行排序以确定哪些客户最有可能购买，然后可能定位最有可能购买的前 5% 客户。
在本教程中，我们将构建一个可以同时进行在线预测和批量预测（通过上传包含新数据点的 csv 文件）的应用。
一家保险公司希望通过更好地预测患者住院时的费用来改善其现金流预测，预测基于人口统计学信息和基本的患者健康风险指标。
构建一个支持在线（逐个）预测和批量预测的 Web 应用，使用训练好的机器学习模型和 Pipeline。
使用 PyCaret 训练、验证并开发机器学习 Pipeline。
构建一个具有两种功能的前端 Web 应用：（i）在线预测和（ii）批量预测。
在 Heroku 上部署 Web 应用。部署后，它将公开可用，并通过 Web URL 进行访问。
在本教程中，我们进行了两次实验。第一次实验使用了 PyCaret 的默认预处理设置。第二次实验包含一些额外的预处理任务，例如缩放和归一化、自动特征工程以及将连续数据分箱。查看第二次实验的 setup 代码
奇迹只发生在那几行代码中。注意，在实验 2 中，转换后的数据集有 62 个用于训练的特征，这些特征仅来源于原始数据集中的 6 个特征。所有新特征都是 PyCaret 中转换和自动特征工程的结果。
PyCaret 模型训练示例代码
注意转换和自动特征工程的影响。R2 提高了 10%，且仅花费了很少的精力。我们可以比较两次实验的线性回归模型的残差图，观察转换和特征工程对模型**异方差性**的影响。
机器学习是一个迭代过程。迭代次数和所使用的技术取决于任务的关键程度以及预测错误可能带来的影响。在医院重症监护室实时预测患者预后的机器学习模型的严重性和影响，远大于一个用于预测客户流失的模型。
在本教程中，我们只进行了两次迭代，并将使用第二次实验的线性回归模型进行部署。然而，在此阶段，模型仍然只是 Notebook / IDE 中的一个对象。要将其保存为一个文件，以便传输给其他应用并被其使用，请执行以下代码
当你在 PyCaret 中保存模型时，会基于 **setup()** 函数中定义的配置创建整个转换 Pipeline。所有相互依赖关系都会自动协调。查看存储在 ‘deployment_28042020’ 变量中的 Pipeline 和模型
我们已经完成了训练和模型选择。最终的机器学习 Pipeline 和线性回归模型现已保存为一个 pickle 文件（deployment_28042020.pkl），该文件将用于 Web 应用中，生成新数据点的预测。
现在我们的机器学习 Pipeline 和模型已经准备就绪，我们将开始构建一个前端 Web 应用，该应用可以对新数据点生成预测。该应用将支持“在线”预测和通过 csv 文件上传进行“批量”预测。让我们将应用代码分解为三个主要部分
本节导入库，加载训练好的模型，并创建一个基本布局：顶部是徽标，下面是 jpg 图片，侧边栏有一个下拉菜单用于切换“在线”和“批量”预测。
本节处理应用的第一项功能，即在线（逐个）预测。我们使用 streamlit 组件，如数字输入框、文本输入框、下拉菜单和复选框，来收集用于训练模型的数据点，例如年龄、性别、BMI、子女数、吸烟者、地区。
这部分处理第二项功能，即批量预测。我们使用了 streamlit 的file_uploader 组件来上传 csv 文件，然后调用 PyCaret 原生的 **predict_model()** 函数生成预测结果，并使用 streamlit 的 write() 函数显示。
如果你还记得上面的任务 1，我们最终确定了一个线性回归模型，该模型使用从 6 个原始特征中提取的 62 个特征进行训练。然而，我们的 Web 应用前端有一个输入表单，只收集了这六个特征：年龄、性别、BMI、子女数、吸烟者、地区。
如何将新数据点的 6 个特征转换为用于训练模型的 62 个特征呢？我们无需为此担心，因为 PyCaret 通过协调转换 Pipeline 来自动处理这个问题。当你调用 PyCaret 训练的模型上的 predict 函数时，所有转换都会在生成预测之前自动（按顺序）应用。
**测试应用** 在将应用发布到 Heroku 之前，最后一步是在本地测试 Web 应用。打开 Anaconda Prompt，导航到你的项目文件夹，并执行以下代码
现在模型已经训练完成，机器学习 Pipeline 已准备就绪，并且应用已在本地机器上测试通过，我们就可以开始在 Heroku 上进行部署了。将应用源代码上传到 Heroku 有几种方法。最简单的方法是将 GitHub 仓库链接到你的 Heroku 账户。
到现在为止，你已经熟悉了仓库中的所有文件，除了三个文件：‘requirements.txt’、‘setup.sh’ 和 ‘Procfile’。让我们看看它们是什么
**requirements.txt** 文件是一个文本文件，包含执行应用所需的 python 包名称。如果这些包未安装在应用运行的环境中，应用将失败。
setup.sh 是一个为 bash 编写的脚本。它包含用 Bash 语言编写的指令，并且像 requirements.txt 一样，**它用于为我们的 streamlit 应用在云上运行创建必要的环境。
Procfile 只是一行代码，它向 Web 服务器提供启动指令，指示在应用触发时应该执行哪个文件。在本例中，‘Procfile’ 用于执行 **setup.sh**，这将为 streamlit 应用创建必要的环境，而第二部分“streamlit run app.py”则用于执行应用（这与你在本地计算机上执行 streamlit 应用的方式类似）。
将所有文件上传到 GitHub 仓库后，我们现在就可以开始在 Heroku 上进行部署了。按照以下步骤操作
步骤 1 — 在 heroku.com 上注册并点击“创建新应用”
步骤 2 — 输入应用名称和区域
步骤 3 — 连接到你的 GitHub 仓库
步骤 4 — 部署分支
步骤 5 — 等待 10 分钟，然后 BOOM
截至首次发布 1.0.0，PyCaret 提供了以下可用模块。点击下面的链接查看文档和 Python 中的工作示例。
Notebook 中的 PyCaret 入门教程
在我们的关于在云中部署机器学习 Pipeline 的文章中，我们演示了如何在 PyCaret 中开发机器学习 Pipeline，使用 Docker 容器化 Flask 应用，并使用 AWS Fargate 进行无服务器部署。如果你之前没有听说过 PyCaret，可以阅读这篇来了解更多信息。
在本教程中，我们将使用 PyCaret 训练一个机器学习 Pipeline，并使用一个开源框架创建一个 Web 应用。这个 Web 应用将为业务用户提供一个简单的界面，用于使用训练好的机器学习 Pipeline 对新数据集生成预测。
是一个开源、低代码的 Python 机器学习库，用于训练和部署机器学习 Pipeline 和模型到生产环境。PyCaret 可以使用 pip 轻松安装。
是一个开源的 Python 库，可以轻松构建漂亮的定制 Web 应用，用于机器学习和数据科学。Streamlit 可以使用 pip 轻松安装。
是一个基于云的服务，用于托管、管理和控制代码。想象一下你在一个大型团队中工作，多人（有时甚至数百人）正在进行更改。PyCaret 本身就是一个开源项目的例子，数百名社区开发者不断贡献源代码。如果你之前没有使用过 GitHub，你可以注册免费账户。
是一个平台即服务（PaaS），支持基于托管容器系统的 Web 应用部署，并提供集成数据服务和强大的生态系统。简单来说，这允许你将应用从本地机器部署到云端，以便任何人都可以通过 Web URL 访问。在本教程中，我们选择 Heroku 进行部署，因为它在您注册新账户时提供免费资源时间。
通常构建机器学习模型是为了预测结果（二元值，例如用于的 1 或 0，用于的连续值，用于的标签等）。预测新数据点的方法主要有两种
()
训练和模型验证在集成开发环境 (IDE) 或 Notebook 中进行，无论是在本地机器还是云端。如果你之前没有使用过 PyCaret，了解更多关于 PyCaret 的信息，或者查看在我们的.
如果你想跟着操作，可以 fork 这个从 GitHub。如果你不知道如何 fork 仓库，请阅读官方 GitHub 教程。
应用已发布到 URL
我们收到了社区压倒性的支持和反馈。我们正在积极改进 PyCaret 并准备下一个版本。PyCaret 2.0.0 将会更强大更好。如果你想分享你的反馈并帮助我们进一步改进，你可以在网站上或在我们的或页面上留下评论。
关注我们的并订阅我们的频道，了解更多关于 PyCaret 的信息。
PyCaret 是一个开源项目。欢迎所有人贡献。如果你想贡献，请随意在上开展工作。dev-1.0.1 分支接受包含单元测试的拉取请求。
如果你喜欢 PyCaret，请在我们的上给我们一个 ⭐️。
Medium
