tensorflow lite STM32移植 tensorflow lite arm_TensorFlow Lite

今年三月底,我们在 YouTube 上开通了 TensorFlow 视频频道,今天,我们为大家带来 TensorFlow 频道「Coding TensorFlow 系列」的中文演讲视频,这个系列将会带领大家一起做有关机器学习的编程,并使用 TensorFlow 实现 AI。

我们将于本周一、三、五更新「Coding TensorFlow 系列」的前三个中文视频,并将在 TensorFlow 微信公众号(ID: tensorflowers)首发,欢迎转发和关注!

第一期,Google 的工程师 Yizhen Fu 为你带来 TensorFlow Lite 的概述和模型转化简介,以及使用过程中会接触到的一些概念、术语和资源类型等:

 

TensorFlow Lite 介绍

首先我们要明确,TensorFlow Lite 的目标是移动和嵌入式设备,它赋予了这些设备在终端本地运行机器学习模型的能力,从而不再需要向云端服务器发送数据。这样一来,不但节省了网络流量、减少了时间开销,而且还充分帮助用户保护自己的隐私和敏感信息。

 

tensorflow lite STM32移植 tensorflow lite arm_tensorflow_02

Android 和 iOS 设备上,TensorFlow Lite 都提供了 C++ API 的支持,并且在 Android 平台还额外提供了 Java API 的支持。这样一来,开发者就能非常方便得使用这些 TensorFlow Lite API 进行设计和开发。不过,默认情况下 TensorFlow Lite 使用的是 CPU 来进行解算,如果你需要使用 Android 8.1 推出的硬件加速 API,则需要确保它运行在受支持的设备上。

模型相关的文件

正是由于 TensorFlow Lite 运行在客户端本地,开发者必须要在桌面设备上提前训练好一个模型。并且为了实现模型的导入,还需要认识一些其他类型的文件,比如:Graph Definition, Checkpoints 以及 Frozen Graph。各种类型的数据都需要使用 Protocol Buffers(简称 ProtoBuff)来定义数据结构,有了这些 ProtoBuff 代码,你就可以使用工具来生成对应的 C 和 Python 或者其它语言的代码,方便装载、保存和使用数据。

ProtoBuff 的相关内容,可以从这个网址得到:

https://developers.google.cn/protocol-buffers/

Graph Def

关于 Graph Def(Graph Definition)文件,有两种格式。拓展名为 .pb 的是二进制 binary 文件;而 .pbtxt 格式的则是更具可读性的文本文件。但是,实际使用中,二进制文件有着相当高的执行效率和内存优势。

Graph Def 是你训练的模型的核心,它定义了 node 的关系结构,方便由其他的进程来读取。比如下面这个 Graph Def 就定义了“矩阵A与矩阵B相乘得到矩阵C”的描述。

Checkpoint

Checkpoint 文件是来自 TensorFlow 图的序列化变量。这个文件当中没有图的结构,所以不会被解释。在训练学习的过程中,Checkpoint 文件记录了不同的 Iteration 中变量的取值。

Frozen Graph

用 Graph Def 和 Checkpoint 生成 Frozen Graph 的过程叫做“冷冻”。为什么称之为冷冻呢?我们知道,生成 Frozen Graph 所需要的量都是从 Checkpoint 当中得到的,那么这个变量转为常量的过程就被形象地称之为“冷冻”了。

TensorFlow Lite 模型

TensorFlow Lite 所用的模型是使用 TOCO 工具从 TensorFlow 模型转化而来的,来源就是经过冷冻生成的 Frozen Graph。假如你已经得到了一个“够用”的模型了,而且你也没有源代码或者数据来重新进行训练,那么就使用当前的模型吧,没有任何问题。但如果你有源代码和数据,直接使用 TOCO 工具进行模型转化将会是最好的选择。示例代码如下:

TensorFlow Lite 兼容的公开模型

视频中提到的兼容性指南的链接为:

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/g3doc/tf_ops_compatibility.md

在 TensorFlow Lite 中兼容的模型是 Inception v3 和 MobileNets,Inception v3 主要用于验证 ImageNet 数据集,这是一个被学界广泛认定为图片验证指标的数据集。MobileNets 则是转为移动设备而设计的模型,具有低能耗的特征,但相应的缺点就是准确度不如 Inception v3。

现在,开始试试看通过我们的 Codelabs 完成你的第一个 TensorFlow Lite 程序吧,链接:

第一部分,如何用 MobileNets 对图像分类:

https://codelabs.tensorflowers.cn/codelabs/tensorflow-for-poets/index.html

第二部分,如何将第一部分生成的模型构建成一个 APK:

https://codelabs.tensorflowers.cn/codelabs/tensorflow-for-poets-2/index.html

更多链接

我们将稍后在如下官方频道更新本系列视频:

谷歌开发者中文频道:

https://www.youtube.com/GoogleDevelopersChina

谷歌开发者 Youku 频道:

https://i.youku.com/GoogleDevelopers

Google 中国Bilibili频道:

https://space.bilibili.com/64169458/