1.需求及方案:

随着生活水平的提高,人们都希望能健康饮食,这就需要对食材有更加深入的了解。百度AI果蔬类食材识别,根据拍摄照片,识别图片中果蔬名称。本文结合百度AI果蔬类食材识别与百度百科,食物卡路里信息整合,为用户提供营养价值、搭配禁忌等方面信息,让大家可以更加健康的饮食。

2.平台接入

食材识别接入网址:https://console.bce.baidu.com/ai/#/ai/imagerecognition/overview/index

具体接入方式比较简单,可以参考我的另一个帖子,这里就不重复了:http://ai.baidu.com/forum/topic/show/943327

3.食材识别调用攻略(Python3)

3.1首先认证授权:

在开始调用任何API之前需要先进行认证授权,具体的说明请参考:

http://ai.baidu.com/docs#/Auth/top

具体Python3代码如下:

# -*- coding: utf-8 -*-
#!/usr/bin/env python

import urllib
import base64
import json
#client_id 为官网获取的AK, client_secret 为官网获取的SK
client_id =【百度云应用的AK】
client_secret =【百度云应用的SK】

#获取token
def get_token():
    host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + client_id + '&client_secret=' + client_secret
    request = urllib.request.Request(host)
    request.add_header('Content-Type', 'application/json; charset=UTF-8')
    response = urllib.request.urlopen(request)
    token_content = response.read()
    if token_content:
        token_info = json.loads(token_content)
        token_key = token_info['access_token']
    return token_key

3.2 接口调用: 详细说明请参考:https://ai.baidu.com/docs#/ImageClassify-API/f0fe4219

说明的比较清晰,这里就不重复了。

大家需要注意的是: API访问URL:https://aip.baidubce.com/rest/2.0/image-classify/v1/classify/ingredient 图片格式:Base64编码字符串,以图片文件形式请求时必填。(支持图片格式:jpg,bmp,png),图片大小不超过4M。最短边至少15px,最长边最大4096px。 注意:图片的base64编码是不包含图片头的

Python3调用代码如下:

#食材识别
#filename:图片名(本地存储包括路径)
def landmark(filename):
    request_url = "https://aip.baidubce.com/rest/2.0/image-classify/v1/classify/ingredient"
    
    # 二进制方式打开图片文件
    f = open(filename, 'rb')
    img = base64.b64encode(f.read())
    
    params = dict()
    params['image'] = img
    params['show'] = 'true'
    params = urllib.parse.urlencode(params).encode("utf-8")
    #params = json.dumps(params).encode('utf-8')
    
    access_token = get_token()
    request_url = request_url + "?access_token=" + access_token
    request = urllib.request.Request(url=request_url, data=params)
    request.add_header('Content-Type', 'application/x-www-form-urlencoded')
    response = urllib.request.urlopen(request)
    content = response.read()
    landmark=''
    if content:
        #print(content)
        content=content.decode('utf-8')
        #print(content)
        data = json.loads(content)
        #print(data)
        words_result=data['result']
        landmark=words_result['landmark']
        print ('食材:',landmark)
        
    return landmark

4.应用方案:

4.1 整体方案: 首先调用食材识别API对食材图片进行识别。 然后通过百度百科对食材的具体情况进行搜索,并搜集食物卡路里信息,将结果展示给客户。整体方案如下图所示:

食物图像识别论文 图片识别食物软件_bc

4.2 核心代码:

API调用:

# -*- coding: utf-8 -*-
#!/usr/bin/env python

import urllib
import base64
import json
#client_id 为官网获取的AK, client_secret 为官网获取的SK
client_id =【百度云应用的AK】
client_secret =【百度云应用的SK】

#获取token
def get_token():
    host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + client_id + '&client_secret=' + client_secret
    request = urllib.request.Request(host)
    request.add_header('Content-Type', 'application/json; charset=UTF-8')
    response = urllib.request.urlopen(request)
    token_content = response.read()
    if token_content:
        token_info = json.loads(token_content)
        token_key = token_info['access_token']
    return token_key

def ingredient(filename):
    request_url = " https://aip.baidubce.com/rest/2.0/image-classify/v1/classify/ingredient"
    
    # 二进制方式打开图片文件
    f = open(filename, 'rb')
    img = base64.b64encode(f.read())
    
    params = dict()
    params['image'] = img
    params['show'] = 'true'
    params = urllib.parse.urlencode(params).encode("utf-8")
    #params = json.dumps(params).encode('utf-8')
    
    access_token = get_token()
    request_url = request_url + "?access_token=" + access_token
    request = urllib.request.Request(url=request_url, data=params)
    request.add_header('Content-Type', 'application/x-www-form-urlencoded')
    response = urllib.request.urlopen(request)
    content = response.read()
    ingredient=''
    if content:
        #print(content)
        content=content.decode('utf-8')
        #print(content)
        data = json.loads(content)
        #print(data)
        words_result=data['result'][0]
        ingredient=words_result['name']
        print (ingredient)
        
    return ingredient

 

获取相关信息及整合:

from bs4 import BeautifulSoup
#通过百度百科获取食材的详细说明         
def get_baike_summary(itemname):
    url='https://baike.baidu.com/item/'+urllib.parse.quote(itemname)
    # 构建请求对象  
    headers = {  
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"  
    }  
    request = urllib.request.Request(url, headers=headers)  
    # 发送请求  
    response = urllib.request.urlopen(request)  
    # 读取文件  
    content = response.read().decode('utf8')
    # 先构建一个soup对象      
    soup = BeautifulSoup(content, "lxml")  
    #获取描述
    summary = soup.find("div", attrs={"class": "lemma-summary"}).get_text()
    print (summary)

#通过获取食物卡路里信息        
def get_food_cal(itemname):
    url='https://food.hiyd.com/food/search?kw='+urllib.parse.quote(itemname)
    # 构建请求对象  
    headers = {  
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"  
    }  
    request = urllib.request.Request(url, headers=headers)  
    # 发送请求  
    response = urllib.request.urlopen(request)  
    # 读取文件  
    content = response.read().decode('utf8')
    # 先构建一个soup对象      
    soup = BeautifulSoup(content, "lxml")  
    #获取描述
    summary = soup.find_all("div", attrs={"class": "cont"})
    i=0
    #只显示前5种
    for info in summary:
        if i<5:
            print (info.get_text())
        i=i+1

def get_ingredient_more(filename):
    result=ingredient(filename)
    if result!='非果蔬食材':
        get_baike_summary(result)
        get_food_cal(result)
        
get_ingredient_more('ingredient3.jpg')

 

4.3 效果测试

以下是几个测试食材图片及返回结果。

图片:

食物图像识别论文 图片识别食物软件_食物图像识别论文_02

返回结果:

西芹

西芹,伞形科植物,它既不是根菜,也不属于粘滑食物,它营养丰富,富含蛋白质、碳水化合物、矿物质及多种维生素等营养物质, 西芹从国外引入,已广泛栽培并深受百姓喜爱的,叶柄宽厚,单株叶片数多,重量大,可达1Kg以上。西芹和本芹(中国芹菜)具有相同的营养价值。

 

西芹, 又叫西洋芹菜、美芹 热量:12 大卡(100克可食部分)

腰果拌西芹 热量:127 大卡(100克)

白果炒西芹 热量:125 大卡(100克)

Waitrose 西芹 热量:11 大卡(100克)

西芹炒白果 热量:75 大卡(100克)

图片2:

食物图像识别论文 图片识别食物软件_json_03

返回结果:

芒果

芒果是杧果 [1] (中国植物志)的通俗名(拉丁学名:Mangifera indica L.),芒果是一种原产印度的漆树科常绿大乔木,叶革质,互生;花小,杂性,黄色或淡黄色,成顶生的圆锥花序。核果大,压扁,长5-10厘米,宽3-4.5厘米,成熟时黄色,味甜,果核坚硬。芒果为著名热带水果之一,芒果果实含有糖、蛋白质、粗纤维,芒果所含有的维生素A的前体胡萝卜素成分特别高,是所有水果中少见的。其次维生素C含量也不低。矿物质、蛋白质、脂肪、糖类等,也是其主要营养成分。可制果汁、果酱、罐头、腌渍、酸辣泡菜及芒果奶粉、蜜饯等。(概述图片参考资料来源 [1] )

芒果, 又叫庵罗果、檬果、蜜望子、香盖 热量:32 大卡(100克可食部分)

芒果王 芒果干 热量:367 大卡(100克)

芒果帮 芒果干 热量:365 大卡(100克)

安可 芒果干 热量:396 大卡(100克)

CEBU 芒果干 热量:381 大卡(100克)

 

整体效果非常不错。