一、前言
上一篇文章写道人脸识别客户端程序，当然要对应一个服务端程序，客户端才能正常运行，毕竟客户端程序需要与服务端程序进行交互他才能正常工作。通常人脸识别服务端程序需要和人脸识别的相关处理库在一起，这样他接收到相关的处理需求以后比如人脸识别的处理请求，需要调用本地的人脸识别库来处理，处理完成以后拿到结果，再组成协议的格式返回给客户端程序。
自定义人脸识别协议采用的是tcp通信协议，其实也可以改成http协议，这也是大部分厂家的做法，毕竟现在http post非常流行，通用性好，返回个json数据非常规范，本程序目前采用的tcp协议是为了兼容以前的旧的系统，毕竟之前的系统都是按照那个格式定义的，推翻重来那之前写过的很多设备的程序都需要更改，一个人肯定忙不过来，而且之前的程序也是经过大量的现场应用检验过的，非常稳定，一旦改动程序的话有需要很长时间的磨合测试。
自定义人脸识别协议功能：
- 离线使用，同时支持百度的离线包和嵌入式linux人脸识别静态库。
- 支持多个连接并发，自动排队处理，返回的时候带上唯一标识区分。
- 传入单张图片返回人脸区域。
- 传入单张图片返回人脸特征值。
- 传入单张图片或者多张图片返回是否是活体。
- 传入两张图片返回比对结果。
- 传入两个特征值返回比对结果。
- 传入单张图片添加人脸。
- 指定唯一标识符删除人脸。
- 传入单张照片返回相似度最大的人脸信息。
- 修改人脸服务的配置参数比如是否快速查找、人脸占比等。
二、功能特点
- 支持的功能包括人脸识别、人脸比对、人脸搜索、活体检测等。
- 在线版还支持身份证、驾驶证、行驶证、银行卡等识别。
- 在线版的协议支持百度、旷视，离线版的支持百度，可定制。
- 除了支持X86架构，还支持嵌入式linux比如contex-A9、树莓派等。
- 每个功能的执行除了返回结果还返回执行用时时间。
- 多线程处理，通过type控制当前处理类型。
- 支持单张图片检索相似度最高的图片。
- 支持指定目录图片用来生成人脸特征值文件。
- 可设置等待处理图片队列中的数量。
- 每次执行都有成功或者失败的信号返回。
- 人脸搜索的返回结果包含了原图+最大相似度图+相似度等。
- 人脸比对同时支持两张图片和两个特征值比对。
- 相关功能自定义一套协议用于客户端和服务端，可以通过TCP通信进行交互。
- 自定义人脸识别协议非常适用于中心一台服务器，现场若干设备请求的场景。
- 每个模块全部是独立的一个类，代码整洁、注释完善。
三、效果图
四、相关站点
- 国内站点：https://gitee.com/feiyangqingyun/QWidgetDemo
- 国际站点：https://github.com/feiyangqingyun/QWidgetDemo
- 个人主页：https://blog.51cto.com/u_15246509
- 体验地址：https://blog.51cto.com/u_15246509/2844991
五、核心代码
void FaceSdkSocket::checkData()
{
QMutexLocker locker(&mutex);
QDomDocument dom;
if (!DeviceFun::getReceiveXmlData(buffer, dom, "IFACE:", 10)) {
return;
}
//逐个取出节点判断数据
emit receiveData(clientIP, dom.toString());
QDomElement element = dom.documentElement();
if (element.tagName() == "FaceClient") {
QString deviceIP = element.attribute("DeviceIP");
QDomNode childNode = element.firstChild();
QString name = childNode.nodeName();
QString value = element.text();
//qDebug() << TIMEMS << name << value;
if (name == "DeviceHeart") {
sendOk();
emit receiveAnaly(deviceIP, "设备心跳");
} else if (name == "FindFace") {
element = childNode.toElement();
value = element.text();
if (value.length() == 0) {
return;
}
//用连接的描述符加上用户传入的描述符组合,方便接收处判断发送给那个连接
QString faceID = element.attribute("FaceID");
QString flag = QString("%1_%2").arg(this->socketDescriptor()).arg(faceID);
QImage image = DeviceFun::getImage(value);
checkImage(image);
emit receiveAnaly(deviceIP, "请求人脸区域");
//发送到人脸识别线程处理
FaceLocalBaiDu::Instance()->setType(0);
FaceLocalBaiDu::Instance()->append(flag, image);
FaceLocalArm::Instance()->setType(0);
FaceLocalArm::Instance()->append(flag, image);
} else if (name == "FindFeature") {
element = childNode.toElement();
value = element.text();
if (value.length() == 0) {
return;
}
//用连接的描述符加上用户传入的描述符组合,方便接收处判断发送给那个连接
QString faceID = element.attribute("FaceID");
QString flag = QString("%1_%2").arg(this->socketDescriptor()).arg(faceID);
QImage image = DeviceFun::getImage(value);
checkImage(image);
emit receiveAnaly(deviceIP, "请求人脸特征");
//发送到人脸识别线程处理
FaceLocalBaiDu::Instance()->setType(1);
FaceLocalBaiDu::Instance()->append(flag, image);
FaceLocalArm::Instance()->setType(1);
FaceLocalArm::Instance()->append(flag, image);
} else if (name == "FindLive") {
element = childNode.toElement();
value = element.text();
if (value.length() == 0) {
return;
}
//用连接的描述符加上用户传入的描述符组合,方便接收处判断发送给那个连接
QString faceID = element.attribute("FaceID");
QString flag = QString("%1_%2").arg(this->socketDescriptor()).arg(faceID);
QImage image = DeviceFun::getImage(value);
checkImage(image);
emit receiveAnaly(deviceIP, "请求活体检测");
//发送到人脸识别线程处理
FaceLocalBaiDu::Instance()->setType(5);
FaceLocalBaiDu::Instance()->append(flag, image);
} else if (name == "CompareByImage") {
//取出子节点
QDomNodeList nodeList = childNode.childNodes();
int nodeCount = nodeList.count();
if (nodeCount == 2) {
QString faceID1, faceID2;
QImage faceImage1, faceImage2;
for (int i = 0; i < nodeCount; i++) {
childNode = nodeList.at(i);
element = childNode.toElement();
name = childNode.nodeName();
value = element.text();
if (name == "FaceImage1") {
faceID1 = element.attribute("FaceID");
faceImage1 = DeviceFun::getImage(value);
} else if (name == "FaceImage2") {
faceID2 = element.attribute("FaceID");
faceImage2 = DeviceFun::getImage(value);
}
}
checkImage(faceImage1);
checkImage(faceImage2);
QString flag1 = QString("%1_%2").arg(this->socketDescriptor()).arg(faceID1);
QString flag2 = QString("%1_%2").arg(this->socketDescriptor()).arg(faceID2);
emit receiveAnaly(deviceIP, "请求人脸照片比对");
//发送到人脸识别线程处理
FaceLocalBaiDu::Instance()->setType(2);
FaceLocalBaiDu::Instance()->append(flag1 + "|" + flag2, faceImage1, faceImage2);
FaceLocalArm::Instance()->setType(2);
FaceLocalArm::Instance()->append(flag1 + "|" + flag2, faceImage1, faceImage2);
}
} else if (name == "CompareByFeature") {
element = childNode.toElement();
QString faceID = element.attribute("FaceID");
//取出子节点
QDomNodeList nodeList = childNode.childNodes();
int nodeCount = nodeList.count();
if (nodeCount == 2) {
QStringList faceFeature1, faceFeature2;
for (int i = 0; i < nodeCount; i++) {
childNode = nodeList.at(i);
element = childNode.toElement();
name = childNode.nodeName();
value = element.text();
if (name == "FaceFeature1") {
faceFeature1 = value.split("|");
} else if (name == "FaceFeature2") {
faceFeature2 = value.split("|");
}
}
emit receiveAnaly(deviceIP, "请求人脸特征比对");
//特征比对速度非常快,忽略不计,立即比对并将结果返回
int count1 = faceFeature1.count();
int count2 = faceFeature2.count();
if (count1 != 256 || count2 != 256) {
sendMsg("faceFeature count != 256");
return;
}
QList<float> feature1, feature2;
for (int i = 0; i < 256; i++) {
feature1 << faceFeature1.at(i).toFloat();
feature2 << faceFeature2.at(i).toFloat();
}
float result = FaceLocalBaiDu::Instance()->getFaceCompare(faceID, feature1, feature2);
sendFaceCompare(faceID, result, 1);
float result = FaceLocalArm::Instance()->getFaceCompare(faceID, feature1, feature2);
sendFaceCompare(faceID, result, 1);
}
} else if (name == "AppendFace") {
element = childNode.toElement();
value = element.text();
if (value.length() == 0) {
return;
}
//用连接的描述符加上用户传入的描述符组合,方便接收处判断发送给那个连接
QString faceID = element.attribute("FaceID");
QString flag = QString("%1_%2").arg(this->socketDescriptor()).arg(faceID);
QImage image = DeviceFun::getImage(value);
checkImage(image);
emit receiveAnaly(deviceIP, "添加人脸");
//发送到人脸识别线程处理
QString file = QString("%1/%2.txt").arg(FACEPATH).arg(faceID);
FaceLocalBaiDu::Instance()->appendFace(flag, image, file);
FaceLocalArm::Instance()->appendFace(flag, image, file);
} else if (name == "DeleteFace") {
element = childNode.toElement();
value = element.text();
if (value.length() == 0) {
return;
}
//用连接的描述符加上用户传入的描述符组合,方便接收处判断发送给那个连接
QString faceID = element.attribute("FaceID");
emit receiveAnaly(deviceIP, "删除人脸");
//发送到人脸识别线程处理
FaceLocalBaiDu::Instance()->deleteFace(faceID);
FaceLocalArm::Instance()->deleteFace(faceID);
sendOk();
} else if (name == "FindByImage") {
element = childNode.toElement();
value = element.text();
if (value.length() == 0) {
return;
}
//用连接的描述符加上用户传入的描述符组合,方便接收处判断发送给那个连接
QString faceID = element.attribute("FaceID");
QString flag = QString("%1_%2").arg(this->socketDescriptor()).arg(faceID);
QImage image = DeviceFun::getImage(value);
checkImage(image);
emit receiveAnaly(deviceIP, "根据图片查找人脸");
//发送到人脸识别线程处理
FaceLocalBaiDu::Instance()->setOneImg(flag, image);
FaceLocalArm::Instance()->setOneImg(flag, image);
} else if (name == "FindByFeature") {
element = childNode.toElement();
value = element.text();
if (value.length() == 0) {
return;
}
//用连接的描述符加上用户传入的描述符组合,方便接收处判断发送给那个连接
QString faceID = element.attribute("FaceID");
QStringList faceFeature = value.split("|");
emit receiveAnaly(deviceIP, "根据特征查找人脸");
int count = faceFeature.count();
if (count != 256) {
return;
}
QList<float> feature;
for (int i = 0; i < 256; i++) {
feature << faceFeature.at(i).toFloat();
}
//比对速度很快,立即比对并返回结果
QString targetName;
float result;
int msec;
FaceLocalBaiDu::Instance()->getFaceOne(faceID, feature, targetName, result, msec);
FaceLocalArm::Instance()->getFaceOne(faceID, feature, targetName, result, msec);
if (!targetName.isEmpty()) {
QString imageFile = QString("%1/%2").arg(FACEPATH).arg(targetName);
sendFaceCompareOne(faceID, QImage(), QImage(imageFile), targetName, result, msec);
}
} else if (name == "UpdateConfig") {
element = childNode.toElement();
emit receiveAnaly(deviceIP, "修改人脸配置");
bool findFast = (element.attribute("FindFast") == "true" ? true : false);
int facePercent = element.attribute("FacePercent").toInt();
FaceLocalBaiDu::Instance()->setFindFast(findFast);
FaceLocalBaiDu::Instance()->setPercent(facePercent);
FaceLocalArm::Instance()->setFindFast(findFast);
FaceLocalArm::Instance()->setPercent(facePercent);
//立即回复
sendFaceConfig(findFast, facePercent);
emit configChanged(findFast, facePercent);
}
}
}
void FaceSdkSocket::checkImage(const QImage &image)
{
//如果照片宽高过大则发出提示到客户端
if (image.width() >= 1280 || image.height() >= 720) {
sendMsg("Image Size Is Too Large");
}
}
void FaceSdkSocket::setClientIP(const QString &clientIP)
{
this->clientIP = clientIP;
}
QString FaceSdkSocket::getClientIP()
{
return this->clientIP;
}
void FaceSdkSocket::sendData(const QString &body)
{
//构建xml字符串
QStringList list;
list.append(QString("<FaceServer TargetIP=\"%1\" NowTime=\"%2\">").arg(clientIP).arg(DATETIME));
list.append(body);
list.append("</FaceServer>");
QString data = DeviceFun::getSendXmlData(list.join(""), "IFACE:");
this->write(data.toUtf8());
emit sendData(clientIP, data);
}
void FaceSdkSocket::sendOk()
{
sendData("");
emit sendAnaly(clientIP, "心跳应答");
}
void FaceSdkSocket::sendMsg(const QString &msg)
{
sendData(QString("<Msg>%1</Msg>").arg(msg));
emit sendAnaly(clientIP, "提示信息");
}
void FaceSdkSocket::sendFaceRect(const QString &faceID, const QString &faceRect, int msec)
{
QString data = QString("<FaceRect FaceID=\"%1\" TimeUsed=\"%3\">%2</FaceRect>")
.arg(faceID).arg(faceRect).arg(msec);
sendData(data);
emit sendAnaly(clientIP, "返回人脸区域");
}
void FaceSdkSocket::sendFaceFeature(const QString &faceID, const QString &faceFeature, int msec)
{
QString data = QString("<FaceFeature FaceID=\"%1\" TimeUsed=\"%3\">%2</FaceFeature>")
.arg(faceID).arg(faceFeature).arg(msec);
sendData(data);
emit sendAnaly(clientIP, "返回人脸特征");
}
void FaceSdkSocket::sendFaceCompare(const QString &faceID, float result, int msec)
{
QString data = QString("<FaceCompare FaceID=\"%1\" TimeUsed=\"%3\" Result=\"%2\" />")
.arg(faceID).arg(result).arg(msec);
sendData(data);
emit sendAnaly(clientIP, "返回人脸比对结果");
}
void FaceSdkSocket::sendFaceCompareOne(const QString &faceID, const QImage &sourceImage, const QImage &targetImage, const QString &targetName, float result, int msec)
{
QString data = QString("<FaceCompareOne FaceID=\"%1\" TimeUsed=\"%6\" Result=\"%2\" TargetName=\"%3\">%4|%5</FaceCompareOne>")
.arg(faceID).arg(result).arg(targetName).arg(DeviceFun::getImageData(sourceImage)).arg(DeviceFun::getImageData(targetImage)).arg(msec);
sendData(data);
emit sendAnaly(clientIP, "返回最相似人脸");
}
