TensorFlow Lite 指导
TensorFlow Lite是一套帮助开发人员在移动、嵌入式和物联网设备上运行TensorFlow模型的工具。它允许在设备上进行低延迟和小二进制大小的机器学习推断。
TensorFlow Lite由两个主要组件组成:
- TensorFlow Lite解释器,它在许多不同的硬件类型上运行特别优化的模型,包括移动电话、嵌入式Linux设备和微控制器。
- TensorFlow Lite转换器,它将TensorFlow模型转换成一种有效的形式供解释器使用,并且可以引入优化以改进二进制大小和性能。
终端设备的机器学习
TensorFlow Lite的设计使在终端设备上执行机器学习变得容易,而不是从服务器来回发送数据。对于开发人员来说,在设备上执行机器学习有助于改进:
延迟:没有到服务器的往返
隐私:没有数据需要离开设备
连接:不需要Internet连接
功耗:网络连接耗电
TensorFlow Lite可与各种设备一起工作,从微型微控制器到功能强大的移动电话。
让我们开始吧!要开始在移动设备上使用TensorFlow Lite
主要特点
解释器针对设备上的ML进行了优化,支持一组针对设备上应用程序进行优化的核心操作符,并且具有较小的二进制大小。
多种平台支持,包括Android和iOS设备、嵌入式Linux和微控制器,利用平台api加速推理。
多语言API,包括java、SWIFT、ObjuleC、C++和Python。
高性能,支持设备上的硬件加速、设备优化内核、预融合激活和偏差。
模型优化工具,包括量化,可以在不牺牲精度的情况下减小模型的大小并提高模型的性能。
高效的模型格式,使用为小尺寸和可移植性而优化的FlatBuffer。
可根据应用程序定制的通用机器学习任务的预先培训模型。
演示如何在支持的平台上部署机器学习模型的示例和教程。
开发工作流程
使用TensorFlow Lite的工作流包括以下步骤:
- 选择模型
带上你自己的TensorFlow模型,在线找到一个模型,或者从我们预先训练好的模型中选择一个模型来加入或者重新训练。
- 转换模型
如果使用自定义模型,请使用TensorFlow Lite转换器和几行Python将其转换为TensorFlow Lite格式。
- 部署到您的设备
使用TensorFlow Lite解释器在设备上运行模型,使用多种语言的api。
- 优化模型
使用我们的模型优化工具包来减少模型的大小并提高其效率,同时将对精度的影响降到最低。
技术限制
TensorFlow Lite计划为任何TensorFlow模型提供高性能的设备推断。但是,TensorFlow Lite解释器目前支持有限的TensorFlow操作符子集,这些操作符已针对设备上使用进行了优化。这意味着一些模型需要额外的步骤才能使用TensorFlow Lite。