opencv在视频流上画框

转载

jowvid 2024-12-18 11:02:34

文章标签 opencv在视频流上画框 opencv 音视频人工智能 ide 文章分类 计算机视觉人工智能

图像视频的加载和显示

窗口创建和销毁

namedWindow() 创建命名窗口
imshow() 显示窗口
destroyAllwindws() 摧毁窗口
resizeWindow() 改变窗口大小
waitKey() 等待用户输入

# opencv名字叫做opencv但是导包的时候, 叫做cv2
import cv2

# 以把显示图片的方法封装成一个函数方便我们显示图片
def cv_show(name, img):
    cv2.imshow(name, img)
    key = cv2.waitKey(0)
    if key & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        cv2.waitKey(1)

# python函数编码规范, 单词首字母小写, 单词与单词之间用下滑线连接.wait_key

# 创建窗口
# cv2.WINDOW_AUTOSIZE不允许修改窗口大小
# cv2.namedWindow('window', cv2.WINDOW_AUTOSIZE)

# WINDOW_NORMAL可以让窗口大小变得可以调节
cv2.namedWindow('window', cv2.WINDOW_NORMAL)

# 更改窗口的大小
cv2.resizeWindow('window', 800, 600)

# 展示名字为window的窗口
cv2.imshow('window', 0)

# 等待按键
# waitKey会返回按键的ascii的值
# 0表示接受任意按键. 如果给其他的整数, 表示等待按键的时间. 单位是毫秒，超过时间没有发生按键操作窗口会自动关闭.
# 可以利用waitkey来销毁窗口, 不用每次都重启python.
key = cv2.waitKey(0)

# key是int型, 最少都是16位, 但是ascii码是8位. 
if key == ord('q'):
    print('准备销毁窗口')
    cv2.destroyAllWindows()
    cv2.waitKey(1) # 辅助关闭窗口

准备销毁窗口

# 怎么计算q的ascii码
# ord是python中计算ascii的值的函数
ord('q')

113

读取图片

imread(path, flag) : 使用imread可以读取图片, 默认读取的是彩色图片

import matplotlib.pyplot as plt

# 默认是按照彩色图片来读取的. 
cat = cv2.imread('./data/cat.jpeg')

# numpy的ndarray
cat

array([[[204, 203, 205],
        [205, 204, 206],
        [206, 205, 207],
        ...,
        [208, 208, 208],
        [208, 208, 208],
        [208, 208, 208]],

       [[204, 203, 205],
        [205, 204, 206],
        [206, 205, 207],
        ...,
        [208, 208, 208],
        [208, 208, 208],
        [208, 208, 208]],

       [[204, 203, 205],
        [204, 203, 205],
        [205, 204, 206],
        ...,
        [208, 208, 208],
        [208, 208, 208],
        [208, 208, 208]],

       ...,

       [[128, 129, 133],
        [133, 134, 138],
        [136, 137, 141],
        ...,
        [214, 214, 214],
        [214, 214, 214],
        [214, 214, 214]],

       [[124, 125, 129],
        [128, 129, 133],
        [130, 131, 135],
        ...,
        [214, 214, 214],
        [214, 214, 214],
        [214, 214, 214]],

       [[125, 126, 130],
        [129, 130, 134],
        [129, 130, 134],
        ...,
        [214, 214, 214],
        [214, 214, 214],
        [214, 214, 214]]], dtype=uint8)

cat.max() # 返回numpy中的最大值

255

# 发现matplotlib显示的图片和真实的图片颜色不一样. 因为opencv读进来的图片数据的通道不是默认的RGB
# 而是BGR, 所以一般opencv读进来的图片不用要别方式去展示比如matplotlib
# 用opencv自己的方式去展示就没有问题.
plt.imshow(cat)

opencv在视频流上画框_音视频

import cv2


cat = cv2.imread('./data/cat.jpeg')

cv2.imshow('cat', cat)

while True:
    key = cv2.waitKey(0)
    if key & 0xFF == ord('q'):
        print('准备销毁窗口')
        cv2.destroyAllWindows()
        cv2.waitKey(1)
        break

准备销毁窗口

# 必须执行外部文件
# table和空格混用的缩进问题. 执行之后, 会自动把外部函数导入.
%run utils.py

cv_show('cat', cat)

保存图片

imwrite(path, img): 使用imwrite保存图片

import cv2


# 创建窗口
cv2.namedWindow('img', cv2.WINDOW_NORMAL)
cv2.resizeWindow('img', 640, 480)

# 读取图片
img = cv2.imread('./data/cat.jpeg')

# 利用while循环优化退出逻辑
while True:
    cv2.imshow('img', img)
    key = cv2.waitKey(0)
    
    if key == ord('q'):
        break
    elif key == ord('s'):
        cv2.imwrite('./123.png', img) # 保存的地址
    else:
        print(key)
    
cv2.destroyAllWindows()
cv2.waitKey(1)

119
-1

视频采集

视频其实本质上就是由一幅一幅的图片组成的，一般是30帧, 表示一秒显示30张图片

ord('q')

113

利用摄像头

cv2.VideoCapture可以捕获摄像头, 用数字来表示不同的设备, 比如0, 1

# 打开摄像头
import  cv2

cv2.namedWindow('video', cv2.WINDOW_NORMAL)
cv2.resizeWindow('video', 640, 480)


# 如果打开失败, 不会报错. 
# cap = cv2.VideoCapture(1)
cap = cv2.VideoCapture(0)

# 循环读取摄像头的每一帧
while cap.isOpened():
    # 读一帧数据, 返回标记和这一帧数据. True表示读到了数据, False表示没读到数据. 
    ret, frame = cap.read()
    
    # 可以根据ret做个判断
    if not ret:
        # 没读到数据, 直接退出
        break
        
    # 显示数据
    cv2.imshow('video', frame)
    
    key = cv2.waitKey(10)
    if key & 0xFF == ord('q'):
        break
        
# 别忘了释放资源
cap.release()
cv2.destroyAllWindows()
cv2.waitKey(1)

-1

读取视频文件

cv2.VideoCapture(path)

# 打开视频
# 打开摄像头
import  cv2

cv2.namedWindow('video', cv2.WINDOW_NORMAL)
cv2.resizeWindow('video', 640, 480)


# 如果打开失败, 不会报错. 
# cap = cv2.VideoCapture(1)

# 打开视频, 输入视频的地址
cap = cv2.VideoCapture('./data/1.mp4')

# 循环读取摄像头的每一帧
while cap.isOpened():
    # 读一帧数据, 返回标记和这一帧数据. True表示读到了数据, False表示没读到数据. 
    ret, frame = cap.read()
    
    # 可以根据ret做个判断
    if not ret:
        # 没读到数据, 直接退出
        break
        
    # 显示数据
    cv2.imshow('video', frame)
    
    # 假如一个视频是30帧, 那么每张图之间要间隔多少毫秒
    # 只能是整数
    key = cv2.waitKey(1000 // 30)
    if key & 0xFF == ord('q'):
        break
        
# 别忘了释放资源
cap.release()
cv2.destroyAllWindows()
cv2.waitKey(1)

-1

视频录制

VideoWriter : 参数一为输出文件, 参数二为多媒体文件格式(VideoWriter_fourcc, 参数三为帧率, 参数四为分辨率.
write 编码并写入缓存
release 缓存内容写入磁盘, 并释放资源

cap = cv2.VideoCapture(0)
# mp4格式的视频
# fourcc = cv2.VideoWriter_fourcc(*'mp4v')

# avi格式的视频
fourcc = cv2.VideoWriter_fourcc(*'XVID')

# 创建videowriter
vw = cv2.VideoWriter('output.avi', fourcc, 30, (1280, 720))

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
        
    # 写每一帧数据
    vw.write(frame)
    cv2.imshow('frame', frame)
    
    if cv2.waitKey(1) == ord('q'):
        break
        
# 别忘了release
cap.release()
vw.release()
cv2.destroyAllWindows()
cv2.waitKey(1)

-1

opencv控制鼠标

OpenCV允许我们对窗口上的鼠标动作做出响应.

setMouseCallback(winname, callback, userdata) winname是窗口的名字, callback是回调函数, userdata是给回调函数的参数.
callback(event, x, y, flags, userdata)回调函数必须包含这5个参数.

event是事件(鼠标移动, 左键, 右键等),

鼠标事件:

EVENT_MOUSEMOVE 0 鼠标移动
EVENT_LBUTTONDOWN 1 按下鼠标左键
EVENT_RBUTTONDOWN 2 按下鼠标右键
EVENT_MBUTTONDOWN 3 按下鼠标中键
EVENT_LBUTTONUP 4 左键释放
EVENT_RBUTTONUP 5 右键释放
EVENT_MBUTTONUP 6 中键释放
EVENT_LBUTTONDBLCLK 7 左键双击
EVENT_RBUTTONDBLCLK 8 右键双击
EVENT_MBUTTONDBLCLK 9 中键双击
EVENT_MOUSEWHEEL 10 鼠标滚轮上下滚动
EVENT_MOUSEHWHEEL 11 鼠标左右滚动

x, y是点鼠标的坐标点,
flags主要用于组合键,

flags:

EVENT_FLAG_LBUTTON 1 按下左键
EVENT_FLAG_RBUTTON 2 按下右键
EVENT_FLAG_MBUTTON 4 按下中键
EVENT_FLAG_CRTLKEY 8 按下ctrl键
EVENT_FLAG_SHIFTKEY 16 按下shift键
EVENT_FLAG_ALTKEY 32 按下alt键

userdata就是上面的setMouseCallback的userdata

# opencv控制鼠标
import cv2
import numpy as np

# 函数名可以随便取, 但是参数必须是5个.
# event表示鼠标事件, x,y是鼠标的坐标
# flags鼠标的组合按键
def mouse_callback(event, x, y, flags, userdata):
    print(event, x, y, flags, userdata)
    # 按下鼠标右键退出
    if event == 2:
        cv2.destroyAllWindows()
        cv2.waitKey(1)
    
# mouse的复数是什么?
# 创建窗口
cv2.namedWindow('mouse', cv2.WINDOW_NORMAL)
# 宽度和高度
cv2.resizeWindow('mouse', 640, 360)

# 设置鼠标回调函数
cv2.setMouseCallback('mouse', mouse_callback, '123')

# 生成全黑的图片
img = np.zeros((360, 640, 3), np.uint8)
while True:
    cv2.imshow('mouse', img)
    key = cv2.waitKey(1)
    if key == ord('q'):
        break
        
cv2.destroyAllWindows()
cv2.waitKey(1)

0 355 250 0 123
0 355 250 0 123
2 355 250 2 123
-1

TrackBar控件

createTrackbar(trackbarname, winname, value, count, onChange)

创建TrackBar控件, value为trackbar的默认值, count为bar的最大值, 最小为0

getTrackbarPos(trackbarname, winname) 获取TrackBar当前值

# trackbar的使用
import cv2 
import numpy as np

# 创建窗口
cv2.namedWindow('trackbar', cv2.WINDOW_NORMAL)
cv2.resizeWindow('trackbar', 640, 480)

# 定义回调函数
def callback(value):
#     print(value)
    pass
    
# 创建3个trackbar
cv2.createTrackbar('R', 'trackbar', 0, 255, callback)
cv2.createTrackbar('G', 'trackbar', 0, 255, callback)
cv2.createTrackbar('B', 'trackbar', 0, 255, callback)

# 创建背景图片
img = np.zeros((480, 640, 3), np.uint8)

while True:
    # 获取当前trackbar的值
    r = cv2.getTrackbarPos('R', 'trackbar')
    g = cv2.getTrackbarPos('G', 'trackbar')
    b = cv2.getTrackbarPos('B', 'trackbar')
    
    # 用获取到的三个值修改背景图片颜色
    img[:] = [b, g, r]
    cv2.imshow('trackbar', img)
    key = cv2.waitKey(1)
    if key == ord('q'):
        break
        
cv2.destroyAllWindows()
cv2.waitKey(1)