利用NVIDIA TAO和视觉AI模型，实现工业缺陷检测的变革

效率对于工业制造来说至关重要，即便是微小的提升也会带来显著的经济效益。美国质量协会的数据显示，“许多企业机构实际的质量相关成本高达销售收入的 15 - 20%，有些甚至高达总运营成本的 40%。”这些惊人的统计数据揭示了一个严峻的现实：工业应用中的缺陷不仅会危及产品质量，还会消耗很大一部分的企业收入。

但如果企业能够收回这些损失的利润，并将其重新投入到创新和扩张中，那又会怎样呢？这正是 AI 的“用武之地”。

本文将探讨如何使用 NVIDIA TAO 设计出能够精准定位工业应用缺陷，进而提高整体质量的自定义 AI 模型。

NVIDIA TAO 套件是基于 TensorFlow 和 PyTorch 构建的低代码 AI 工具套件。它通过抽象化 AI 模型和深度学习框架的复杂性，来简化并加速模型训练过程。借助 TAO 套件，开发者不仅可以使用预训练模型，还可以针对特定用例对其进行微调。

在本文中，我们使用一个名为 VisualChangeNet 的高级预训练模型进行变化检测，并使用 TAO 工具套件对其进行微调，使其能够检测 MVTec Anomaly 异常检测数据集中的缺陷。这个综合基准数据集由各种工业产品的正常和缺陷样本组成，专门用于机器视觉中的异常检测。

借助 TAO 套件，我们使用迁移学习训练了一个模型，该模型在 MVTec Anomaly 异常数据集的“瓶子”类别上达到了 99.67% 的总体准确率、92.3% 的 mIoU、95.8% 的 mF1、97.5 的 mPrecision 和 94.3% 的 mRecall。图 1 显示了使用这个训练有素的模型进行的缺陷掩码预测。

图 1. 通过将缺陷图像与黄金图像进行比较 来分段预测缺陷物体的缺陷掩码

第 1 步：设置先决条件

为了按照本文重新创建这些步骤，请执行以下操作。

按照《NGC 用户指南》中提供的步骤在 NGC 目录上注册账户并生成 API 密钥：https://docs.nvidia.com/ngc/gpu-cloud/ngc-user-guide/index.html#generating-api-key

按照《TAO 快速入门指南》设置 TAO 启动器。为 MVTec 数据集下载 VisualChangeNet Segmentation Jupyter Notebook。启动 Jupyter Notebook 并运行单元格，以便跟着本文进行操作。

*请注意：VisualChangeNet 模型只能在 5.1 及以上的版本中运行。

3.按照提示进入下载页面，下载并准备 MVTec 异常检测数据集，然后复制 15 个对象类中任何一个的下载链接：https://www.mvtec.com/company/research/datasets/mvtec-ad

将下载链接粘贴到 Jupyter Notebook 第 2.1 部分中的“FIXME”位置，然后运行该笔记本单元。本文主要介绍瓶子对象，但所有 15 个对象都能在该笔记本中使用。图 2 显示了数据集中的缺陷图像样本。

此处显示的性能仅为推理性能。流式传输视频数据的端到端性能可能会因硬件和软件的其他瓶颈而有所变化。

总结

在本文中，我们了解了如何使用 TAO 套件微调 VisualChangeNet 模型，并将其用于分割 MVTec 数据集中的缺陷，从而实现 99.67% 的总体准确率。

现在，您还可以使用 NVIDIA TAO 检测制造工作流程中的缺陷。

如要开始使用，请先：

从 NVIDIA NGC 目录下载 VisualChangeNet 模型。
按照《TAO 快速入门指南》设置 TAO 启动器：https://docs.nvidia.com/tao/tao-toolkit/text/tao_toolkit_quick_start_guide.html
从 GitHub 下载 VisualChangeNet Segmentation Notebook：https://github.com/NVIDIA/tao_tutorials/tree/main/notebooks/tao_launcher_starter_kit/visual_changenet
请通过 NVIDIA 文档进一步了解 NVIDIA TAO 工具套件：https://docs.nvidia.com/tao/tao-toolkit/text/overview.html#:~:text=NVIDIA%20TAO%20Toolkit%20is%20a,and%20the%20deep%20learning%20framework