OpenCV—python 手写数字字体识别（使用HOG特征）

原创

SongpingWang 2022-08-09 13:49:46 博主文章分类：OpenCV/python ©著作权

文章标签 git 训练分类器灰度图 文章分类 后端开发

©著作权归作者所有：来自51CTO博客作者SongpingWang的原创作品，请联系作者获取转载授权，否则将追究法律责任

文章目录

一、训练分类器
二、导入训练权重，使用图片检测

一、训练分类器

步骤如下：

计算数据库中每个样本的HOG特征。
使用每个样本的HOG特征以及相应的标签训练多类线性SVM。
将分类器保存在文件中

由于是灰度图（二值化图）不能用图像的直方图来作为图像特征，这里用到了HOG方向梯度直方图，可以说，正合适。

数据集下载地址：http://yann.lecun.com/exdb/mnist/
当然，你也可以在线下载

from sklearn.externals import joblib
from sklearn import datasets
from skimage.feature import hog
from sklearn.svm import LinearSVC
import numpy as np
import os
import struct



# 在线下载特征获取代码
dataset = datasets.fetch_mldata("MNIST Original")
features = np.array(dataset.data, 'int16') 
labels = np.array(dataset.target, 'int')


# 获取土图片HOG特征
list_hog_fd = []
for feature in features:
    fd = hog(feature.reshape((28, 28)), orientations=9, pixels_per_cell=(14, 14), cells_per_block=(1, 1), visualise=False)
    list_hog_fd.append(fd)
hog_features = np.array(list_hog_fd, 'float64')

# 创建clf对象
clf = LinearSVC() 
clf.fit(hog_features, labels) 
joblib.dump(clf, "digits_cls.pkl", compress=3)

离线下载数据集读取并训练

def load_mnist(path):            #读取数据函数
    #Load MNIST data from path
    labels_path = os.path.join(path, 'train-labels.idx1-ubyte')
    images_path = os.path.join(path, 'train-images.idx3-ubyte')

    with open(labels_path, 'rb') as lbpath:
        magic, n = struct.unpack('>II',lbpath.read(8))
        labels = np.fromfile(lbpath, dtype=np.uint8)

    with open(images_path, 'rb') as imgpath:
        magic, num, rows, cols = struct.unpack(">IIII",imgpath.read(16))
        images = np.fromfile(imgpath, dtype=np.uint8).reshape(len(labels), 784)
    return images, labels

features,labels = load_mnist("./")
print('Rows: %d, columns: %d' % (features.shape[0], labels.shape[0]))

list_hog_fd = [] 
for feature in features:
    fd = hog(feature.reshape((28, 28)),     # hog 特征
             orientations=9, 
             pixels_per_cell=(14, 14), 
             cells_per_block=(1, 1), 
             visualise=False)
    list_hog_fd.append(fd)
hog_features = np.array(list_hog_fd, 'float64')

clf = LinearSVC()                                # 定义分类器
clf.fit(hog_features, labels)                    # 训练
joblib.dump(clf, "digits_cls.pkl", compress=3)   # 模型保存

# 压缩：0到9的整数可选
# 压缩级别：0没有压缩。越高意味着更多的压缩，而且读取和写入越慢。使用3的值通常是一个很好的折衷。

二、导入训练权重，使用图片检测

import cv2
from sklearn.externals import joblib
from skimage.feature import hog
import numpy as np

clf = joblib.load("digits_cls.pkl")                 # 读取分类器
im = cv2.imread("./num.png")                        # 读取输入图片 
im_gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)      # 灰度图化
im_gray = cv2.GaussianBlur(im_gray, (5, 5), 0)      # 高斯模糊（去噪）

ret, im_th = cv2.threshold(im_gray, 90, 255, cv2.THRESH_BINARY_INV)              # 阈值：二值化
ctrs, hier = cv2.findContours(im_th, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 查询图像轮廓 
rects = [cv2.boundingRect(ctr) for ctr in ctrs]    # 框出目标

# 对查询的目标识别：计算HOG特征图并且使用SVM预测数字
for rect in rects:
    cv2.rectangle(im, (rect[0], rect[1]), (rect[0] + rect[2], rect[1] + rect[3]), (0, 255, 0), 3) 
    leng = int(rect[3] * 1.6)
    pt1 = int(rect[1] + rect[3] // 2 - leng // 2)
    pt2 = int(rect[0] + rect[2] // 2 - leng // 2)
    roi = im_th[pt1:pt1+leng, pt2:pt2+leng]
    
    # resize 图片
    roi = cv2.resize(roi, (28, 28), interpolation=cv2.INTER_AREA)
    roi = cv2.dilate(roi, (3, 3))
    
    # 计算 HOG features
    roi_hog_fd = hog(roi, orientations=9, pixels_per_cell=(14, 14), cells_per_block=(1, 1), visualise=False)
    nbr = clf.predict(np.array([roi_hog_fd], 'float64'))
    cv2.putText(im, str(int(nbr[0])), (rect[0], rect[1]),cv2.FONT_HERSHEY_DUPLEX, 2, (0, 255, 255), 3)
cv2.imshow("Resulting Image with Rectangular ROIs", im)
cv2.waitKey(0)
cv2.destroyAllWindows()