背景

使用opencv的读取一个usb摄像头时，从视频流中取出每一帧数据需要200ms。一般打开笔记本电脑自带的摄像头取出一帧数据需要20ms。经过分析，排除了分辨率和压缩格式的原因，因为另外一个同样压缩格式更高分辨率的相机同样只需要20ms。
分析opencv的源码，发现opencv默认使用的是FFmpeg的库，但opencv进行了封装，一些参数不能更改，具体的执行过程也不能看到。重新编译opnecv源码的方式太复杂，只能使用多媒体库进行视频的解码后传给opencv处理。

note：
一般商业用的摄像头，为了提高带宽利用率，在视频流传输是会使用压缩格式，比如MJPEG，H264等，在接收端进行解压后显示。而工业摄像头为了提高处理效率，一般会使用USB3.0，千兆网等通信方式传输原始像素格式，标准的RGB图片格式，接收端可以直接处理。

方法：

为了提高效率，使用FFmpeg库进行视频流的解码，转为AV_PIX_FMT_BGR24格式。

第一步：初始化

AVFormatContext	*pFormatCtx;
int				i, videoindex;
AVCodecContext	*pCodecCtx;
AVCodec			*pCodec;

av_register_all();
avformat_network_init();
avdevice_register_all();

show_dshow_device();
pFormatCtx = avformat_alloc_context();

//在windows平台下最好使用dshow方式
AVInputFormat *ifmt = av_find_input_format("dshow");
//Set own video device's name
//摄像头名称
if (avformat_open_input(&pFormatCtx, "video=HD USB Camera", ifmt, NULL) != 0)
{
	printf("Couldn't open input stream.\n");
	return -1;
}

第二步：有效性判断

if (avformat_find_stream_info(pFormatCtx, NULL)<0)
{
	printf("Couldn't find stream information.\n");
	return -1;
}

videoindex = -1;

for (i = 0; i<pFormatCtx->nb_streams; i++)
{
	if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
	{
		videoindex = i;
	}
}

if (videoindex == -1)
{
	printf("Couldn't find a video stream.\n");
	return -1;
}

pCodecCtx = pFormatCtx->streams[videoindex]->codec;
pCodec = avcodec_find_decoder(pCodecCtx->codec_id);

if (pCodec == NULL)
{
	printf("Codec not found.\n");
	return -1;
}

if (avcodec_open2(pCodecCtx, pCodec, NULL)<0)
{
	printf("Could not open codec.\n");
	return -1;
}

第三步：视频获取

AVFrame	*pFrame;
pFrame = av_frame_alloc();

int ret, got_picture;

AVPacket *packet = (AVPacket *)av_malloc(sizeof(AVPacket));

fprintf(stderr, "w= %d h= %d\n", pCodecCtx->width, pCodecCtx->height);

thread_exit = 1;
while (thread_exit)
{
	clock_t start = clock();
	while (1)
	{
		if (av_read_frame(pFormatCtx, packet)<0)
			thread_exit = 0;
		if (packet->stream_index == videoindex)
			break;
	}

	ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);

	Mat test;
	if (got_picture) {
		test = avframe_to_cvmat(pFrame);
		cout << "转换完毕" << endl;
	}

	Mat testshow;
	Size size(pCodecCtx->width / 2, pCodecCtx->height / 2);
	resize(test, testshow, size);

	namedWindow("PIC"); 
	imshow("PIC", testshow);

	waitKey(1);

	clock_t end = clock();
	double totaltime = (double)(end - start) / CLOCKS_PER_SEC;
	cout << "\n此程序的运行时间为" << totaltime << "秒！" << endl;
}

第四步：反初始化

avcodec_close(pCodecCtx);
avformat_close_input(&pFormatCtx);

AVFrame转Mat函数

Mat avframe_to_cvmat(AVFrame *frame)
{
	AVFrame dst;
	cv::Mat m;

	memset(&dst, 0, sizeof(dst));

	int w = frame->width, h = frame->height;
	m = cv::Mat(h, w, CV_8UC3);
	dst.data[0] = (uint8_t *)m.data;
	avpicture_fill((AVPicture *)&dst, dst.data[0], AV_PIX_FMT_BGR24, w, h);

	struct SwsContext *convert_ctx = NULL;
	//enum PixelFormat src_pixfmt = (enum PixelFormat)frame->format;
	AVPixelFormat src_pixfmt = (AVPixelFormat)frame->format;
	//enum PixelFormat dst_pixfmt = AV_PIX_FMT_BGR24;
	AVPixelFormat dst_pixfmt = AV_PIX_FMT_BGR24;
	convert_ctx = sws_getContext(w, h, src_pixfmt, w, h, dst_pixfmt,
		SWS_FAST_BILINEAR, NULL, NULL, NULL);
	sws_scale(convert_ctx, frame->data, frame->linesize, 0, h,
		dst.data, dst.linesize);
	sws_freeContext(convert_ctx);

	return m;
}

显示directshow设备函数

void show_dshow_device() {
	AVFormatContext *pFormatCtx = avformat_alloc_context();
	AVDictionary* options = NULL;
	av_dict_set(&options, "list_devices", "true", 0);
	AVInputFormat *iformat = av_find_input_format("dshow");
	printf("========Device Info=============\n");
	avformat_open_input(&pFormatCtx, "video=dummy", iformat, &options);
	printf("================================\n");
}

试验结果

通过这种方式，解码速度提高到30ms。

试验结果总结与思考

虽然解码速度提高了，但是还有一点延迟的小问题，猜测可能是程序从摄像头buffer读取图像速度跟不上相机在buffer中生成图像的速度，由于有些USB2.0摄像头无法调节帧率，容易想到的解决办法是每次读取2到3帧，然后只处理1帧。但这又引入一个新的问题，视频显示不流畅。最好的解决办法查询buffer图片数量的方式（不知道FFmpeg是否提供这种接口），比如当前查到有n帧，读取n次，取最后一次结果进行处理。