TensorFlow Lite 指导

TensorFlow Lite是一套帮助开发人员在移动、嵌入式和物联网设备上运行TensorFlow模型的工具。它允许在设备上进行低延迟和小二进制大小的机器学习推断。

TensorFlow Lite由两个主要组件组成:

  • TensorFlow Lite解释器,它在许多不同的硬件类型上运行特别优化的模型,包括移动电话、嵌入式Linux设备和微控制器。
  • TensorFlow Lite转换器,它将TensorFlow模型转换成一种有效的形式供解释器使用,并且可以引入优化以改进二进制大小和性能。

终端设备的机器学习

TensorFlow Lite的设计使在终端设备上执行机器学习变得容易,而不是从服务器来回发送数据。对于开发人员来说,在设备上执行机器学习有助于改进:

延迟:没有到服务器的往返
隐私:没有数据需要离开设备
连接:不需要Internet连接
功耗:网络连接耗电
TensorFlow Lite可与各种设备一起工作,从微型微控制器到功能强大的移动电话。

让我们开始吧!要开始在移动设备上使用TensorFlow Lite

主要特点

解释器针对设备上的ML进行了优化,支持一组针对设备上应用程序进行优化的核心操作符,并且具有较小的二进制大小。
多种平台支持,包括Android和iOS设备、嵌入式Linux和微控制器,利用平台api加速推理。
多语言API,包括java、SWIFT、ObjuleC、C++和Python。
高性能,支持设备上的硬件加速、设备优化内核、预融合激活和偏差。
模型优化工具,包括量化,可以在不牺牲精度的情况下减小模型的大小并提高模型的性能。
高效的模型格式,使用为小尺寸和可移植性而优化的FlatBuffer。
可根据应用程序定制的通用机器学习任务的预先培训模型。
演示如何在支持的平台上部署机器学习模型的示例和教程。

开发工作流程

使用TensorFlow Lite的工作流包括以下步骤:

  • 选择模型

带上你自己的TensorFlow模型,在线找到一个模型,或者从我们预先训练好的模型中选择一个模型来加入或者重新训练。

  • 转换模型

如果使用自定义模型,请使用TensorFlow Lite转换器和几行Python将其转换为TensorFlow Lite格式。

  • 部署到您的设备

使用TensorFlow Lite解释器在设备上运行模型,使用多种语言的api。

  • 优化模型

使用我们的模型优化工具包来减少模型的大小并提高其效率,同时将对精度的影响降到最低。

技术限制

TensorFlow Lite计划为任何TensorFlow模型提供高性能的设备推断。但是,TensorFlow Lite解释器目前支持有限的TensorFlow操作符子集,这些操作符已针对设备上使用进行了优化。这意味着一些模型需要额外的步骤才能使用TensorFlow Lite。