2024年4月22日发(作者：)
OpenCV入门教程
作者：于仕琪
@
2012年8月
版权所有©于仕琪
本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可。
1
前 言
OpenCV是一个广受欢迎的开源计算机视觉库，它提供了很多函数，实现了
很多计算机视觉算法，算法从最基本的滤波到高级的物体检测皆有涵盖。很多
初学者希望快速掌握OpenCV的使用方法，但往往会遇到各种各样的困难。其
实仔细分析，造成这些困难的原因有两类：第一类是C/C++编程基础不过关；
第二类是不了解算法原理。解决这些困难无非提升编程能力，以及提升理论基
础知识。提升编程能力需要多练习编程，提升理论知识需要系统学习《数字图
像处理》、《计算机视觉》和《模式识别》等课程，所有这些都不能一蹴而就，
需要耐下心来认真修炼。
同时我们也需要认识到OpenCV只是一个算法库，能为我们搭建计算机视觉
应用提供“砖头”。我们并不需要完全精通了算法原理之后才去使用OpenCV，
只要了解了“砖头”的功能，就可以动手了。在实践中学习才是最高效的学习
方式。本小册子希望为初学者提供引导，使初学者快速了解OpenCV的基本数
据结构以及用法。
此外，如您发现有错误之处，欢迎来信指正。
于仕琪
深圳大学
插播广告：欢迎有能力、有激情以及对计算机视觉有兴趣的同学报考我的
研究生。欲了解详情可以访问深圳大学招生网 / 或者
给我发email。
2
目录
第1章
预备知识 ............................................................................................... 5
1.1
1.2
1.3
1.4
1.5
编程的流程........................................................................................ 5
什么叫编辑........................................................................................ 6
什么叫编译........................................................................................ 6
什么叫连接........................................................................................ 7
什么叫运行........................................................................................ 7
1.6
Visual C++是什么 .................................................................................. 8
1.7
1.8
头文件................................................................................................ 9
库文件.............................................................................................. 10
1.9
OpenCV是什么 ................................................................................... 11
1.10
1.11
什么是命令行参数.......................................................................... 12
常见编译错误.................................................................................. 13
1.11.1
找不到头文件 ......................................................................... 13
1.11.2
拼写错误 ................................................................................. 14
1.12
1.13
第2章
常见链接错误.................................................................................. 15
运行时错误...................................................................................... 17
OpenCV介绍 ................................................................................... 19
2.1
OpenCV的来源 ................................................................................... 19
2.2
OpenCV的协议 ................................................................................... 19
第3章
图像的基本操作 ................................................................................. 21
3.1
图像的表示...................................................................................... 21
3.2
Mat类 ................................................................................................. 23
3.3
创建Mat对象 ................................................................................. 24
3.3.1
构造函数方法 ........................................................................... 24
3.3.2
create()函数创建对象 ............................................................... 25
3.3.3
Matlab风格的创建对象方法 ................................................... 26
3
3.4
3.5
矩阵的基本元素表达...................................................................... 26
像素值的读写.................................................................................. 27
3.5.1
at()函数 ...................................................................................... 28
3.5.2
使用迭代器 ............................................................................... 29
3.5.3
通过数据指针 ........................................................................... 30
3.6
选取图像局部区域.......................................................................... 32
3.6.1
单行或单列选择 ....................................................................... 32
3.6.2
用Range选择多行或多列 ....................................................... 33
3.6.3
感兴趣区域 ............................................................................... 33
3.6.4
取对角线元素 ........................................................................... 34
3.7
Mat表达式 ......................................................................................... 34
3.8
Mat_类 ................................................................................................ 36
3.9
Mat类的内存管理 ............................................................................. 38
3.10
3.11
输出.................................................................................................. 40
Mat与IplImage和CvMat的转换 ................................................. 42
3.11.1
Mat转为IplImage和CvMat格式 .......................................... 42
3.11.2
IplImage和CvMat格式转为Mat ........................................... 42
第4章
数据获取与存储 ................................................................................. 44
4.1
读写图像文件.................................................................................. 44
4.1.1
读图像文件 ............................................................................... 44
4.1.2
写图像文件 ............................................................................... 45
4.2
读写视频.......................................................................................... 47
4.2.1
读视频 ....................................................................................... 47
4.2.2
写视频 ....................................................................................... 49
4
第1章 预备知识
OpenCV是一个功能强大的计算机视觉库，要用好它，除了要具有相关的计
算机视觉理论知识外，还需要具有一定的编程能力。本书作者通过对OpenCV中
文论坛中的大量问题观察，发现有很大比例的问题是因为用户对C/C++语言不熟
练，导致出错，或出错后不知如何解决。如果对C/C++语言不熟悉，那使用OpenCV
时会满头雾水瞎摸索，费心费力。
在这一章中，将介绍一些编程的基本概念，让读者对编程的流程有一个基本
了解。这样在出现错误时，可以快速确定错误的类型，并知道该如何解决。
1.1 编程的流程
一个编程的基本流程包括编辑、编译和连接三大步骤。其流程图如图 1.1所
示。
编辑 编辑
编译 编译
opencv_
连接
5
图 1.1 编程的基本流程
1.2 什么叫编辑
编辑（edit）代码即编写代码，是编程的第一步。你可以任意一个编辑器进
行代码的编写。你可以使用Windows自带的“记事本”来编写代码，也可以使用
Notepad++，或者Visual Studio提供的编辑器。
图 1.2 使用Windows自带的记事本编辑代码
虽然可以使用记事本软件编辑代码，但是记事本软件的功能非常有限。缺少
常用的语法高亮，自动缩进等功能。所以可以使用其他功能更丰富的编辑器，如
Notepad++（图 1.3）等。
图 1.3 使用Notepad++软件编辑代码
1.3 什么叫编译
编译（compile）是将用某种编程语言（如C++语言）写成的源代码，转换成
目标文件。目标文件包含着机器代码（可直接被计算机中央处理器执行）以及代
码在运行时使用的数据。编译器（compiler）是实现这一目的的软件。编译器有
很多，如在Windows下有微软公司的，在Linux下有gcc和g++。在命令行
6
下使用对源代码进行编译，如图 1.4所示。编译后，将得到目标
文件，如图 1.5所示。
图 1.4 在命令行下使用对进行编译
图 1.5 编译后，将新生成目标文件
1.4 什么叫连接
连接（link）是将多个目标文件，以及库文件生成可执行的文件（或静态库、
或动态库）的过程。连接器（linker）是实现这一目的的软件。常用的连接器有
Windows下的，Linux下的ld等。
在Windows下可以使用将前面生成的连接为可执行文件。
在命令行下效果如所图 1.6示。连接后，将生成可执行文件，如图 1.7所示。
图 1.6在命令行下使用对进行连接
图 1.7 连接后，将新生成可执行文件
1.5 什么叫运行
运行（run）较容易理解，我们在Windows资源管理器里用鼠标双击exe可
执行程序，可以使程序被载入CPU运行。我们也可以在命令行窗口中输入可执
7
行程序的文件名运行，如图 1.8所示。
图 1.8 在命令行窗口中运行，可以看到程序打印到标准输出的结果。
1.6 Visual C++是什么
通过前面的介绍，可以看到一个编程的流程：编辑->编译->连接->运行。更
具体来说，完成这个流程需要你：
1. 打开记事本软件，编辑代码，并保存；
2. 在命令行下运行编译器，对代码进行编译，生成目标文件；
3. 在命令行下运行连接器，将目标文件连接起来，生成可执行程序；
4. 在命令行下，或Windows资源管理器中运行程序，验证程序的正确性。
如果你的项目只有一个源代码文件，完成上面四个步骤尚可接受。但是如果
你的项目包括几十个甚至几百个源文件，如无其他软件辅助，只用上面四个非常
基本的步骤进行编程开发，会让人抓狂。
集成开发环境（Integrated Development Environment，简称IDE）可以帮助你
对项目进行管理。常用的IDE有微软公司的Visual Studio，里面包含Visual C++，
Visual C#等，其他的还有Eclipse、NetBeans、Delphi等。因此我们平时所说的VC
不是一种编程语言，也不是编译器，它只是一个IDE。
IDE一般包含编辑器。IDE自带的编辑器一般都针对编程语言进行了定制，
实现语法高亮、自动缩进、自动补全等方便的功能。IDE还提供丰富的菜单和按
钮工具，如图 1.9、图 1.10和图 1.11所示。
如果你点击IDE中的“生成（build）”按钮（图 1.11），或者点击菜单“生成
（build）”中的菜单项“生成项目（build project）”，那么IDE会去调用编译器
和连接器来生成可执行程序。如果你在调试状态下，还会去调用调试器
（debugger）。IDE会提升程序开发的效率，特别是调试程序的效率。
8
图 1.9 微软Visual Stdio集成开发环境
图 1.10 Visual Stdio中的编辑按钮
图 1.11 Visual Stdio中的生成程序按钮
1.7 头文件
在编程过程中，程序代码往往被拆成很多部分，每部分放在一个独立的源文
件中，而不是将所有的代码放在一个源文件中。考虑一个简单的小例子：程序中
有两个函数main()和foo()。main()函数位于，foo()函数位于，
main()函数中调用foo()函数。在编译阶段，由于编译是对单个文件进行编译，所
以编译时，编译器不知道是否存在foo()函数以及foo()调用是否正确，
因此需要头文件辅助。也就是说，在编译命令：
/c
运行时，编译器不知道foo的用法是否正确（因为foo在另一个文件
中），只有借助头文件中的函数声明来判断。对进行编译时，不会涉及
文件，只会涉及和foo.h（因为foo.h被include）文件。头文件
的作用如图 1.1所示。
9
1. foo()函数
这样用对
2. 函数声明是int
foo(int i, int j)，你的
调用看上去是对的。
foo.h
#include "foo.h"
int main()
{
int i=foo(3,4);
return i;
}
int foo(int i, int j);
#include "foo.h"
int foo(int i, int j)
{
……
}
图 1.12 对进行编译时，需要利用头文件中的foo()函数声明来确认中
对foo()的调用是正确的
1.8 库文件
库文件中包含一系列的子程序。例如在上一节的例子中，源文件中
实现了foo()函数，我们假设foo()函数是包含重要算法的函数，我们需要将foo()
函数提供给客户使用，但是不希望客户看到算法源代码。为了达到这一目的，我
们可以将编译程库文件（图 1.13），库文件是二进制的，在库文件中是
看不到原始的源代码的。库和可执行文件的区别是，库不是独立程序，他们是向
其他程序提供服务的代码。
当然使用库文件的好处不仅仅是对源代码进行保密，使用库文件还可以减少
重复编译的时间，增强程序的模块化。将库文件连接到程序中，有两种方式，一
种是静态连接库，另一种是动态连接库。如果希望了解更多关于库文件的知识，
请查阅相关资料，再次不详细分析它们之间的异同。
10
用户
开发者
编辑 编辑
编译 编译
连接
图 1.13 库是二进制的文件，里面包含一系列子程序（图有问题）
1.9 OpenCV是什么
OpenCV其实就是一堆C和C++语言的源代码文件，这些源代码文件中实现
了许多常用的计算机视觉算法。例如C接口函数cvCanny()实现了Canny边缘提
取算法。可以直接将这些源代码添加到我们自己的软件项目中，而不需要自己再
去写代码实现Canny算法，也就是不需要重复“造轮子”。
由于OpenCV中源代码文件巨多，根据算法的功能，将这些源文件分到多个
模块中：core、imgproc、highgui等。将每个模块中的源文件编译成一个库文件
（如opencv_、opencv_、opencv_等），用户在使用时，
仅将所需的库文件添加到自己的项目中，与自己的源文件一起连接成可执行程序
则可。
11
1.10 什么是命令行参数
C/C++语言中的main函数，经常带有参数argc，argv，如下：
int main(int argc, char** argv)
或者
int main(int argc, char* argv[])
在上面代码中，argc表示命令行输入参数的个数（以空白符分隔），argv中
存储了所有的命令行参数。假如你的程序是，如果在命令行运行该程序
（如图 1.14。首先应该在命令行下用 cd 命令进入到 文件所在目录），
运行命令为：
Shiqi Yu
那么，argc的值是 3，argv[0]是""，argv[1]是"Shiqi"，argv[2]是"Yu"。
图 1.14 使用命令行参数运行程序
下面的程序演示argc和argv的使用：
#include
int main(int argc, char ** argv)
{
int i;
for (i=0; i < argc; i++)
printf("Argument %d is %s.n", i, argv[i]);
return 0;
}
假如上述代码编译为，那么运行
a b c d e
12
将得到
Argument 0 is .
Argument 1 is a.
Argument 2 is b.
Argument 3 is c.
Argument 4 is d.
Argument 5 is e.
运行
将得到
Argument 0 is .
Argument 1 is .
1.11 常见编译错误
在编程中，经常会出现各种错误。出现错误后，不要闭眼抱头作痛苦状。出
现错误后，需要做的第一件事情是阅读出错信息。出错信息虽然看似凌乱，但是
能够提供很多有价值的信息，帮你解决问题。
1.11.1 找不到头文件
找不到头文件往往会提示如下错误：
(2): fatal error C1083: Cannot open include file:
'opencv2/': No such file or directory
找不到头文件一般有两个原因：一个是头文件的文件名拼写错误；或者未将
头文件所在路径添加到开发环境中。上例中的错误是文件名拼写错误，
opencv2/被错误地拼写为opencv2/。如果文件名拼写正
确，编译器还是找不到头文件，则需要将头文件所在路径添加到相应的变量中。
如在Visual Studio 2010中，需要在项目属性（Project Property）对话框中设置头
文件路径。具体位置在对话框“VC++ Directories”里面的“Include Directories”
中，如图 1.15所示。
13
图 1.15 头文件所在路径设置
1.11.2 拼写错误
在编程中，拼写错误也是一类常见错误。如图 1.16所示代码中，将imread
函数错误地拼成imreadd，编译器会提示错误：
(9): error C3861: 'imreadd': identifier not found
这句错误提示的意思是说无法找到imreadd标识符，因此我们需要仔细检查
imreadd找不到的原因。假如你真的有一个函数是imreadd，但是找不到，可能
的原因是声明imreadd的头文件未使用include语句包含到源文件中。
14
图 1.16 拼写错误，将imread拼成了imreadd，会造成编译时错误。
如果源代码不符合语法规则，则会造成编译错误。编译错误往往是由于编写
代码不仔细造成，比如拼写错误、漏了半个括号、漏了分号等。因此一旦遇到便
宜错误，你需要按照错误提示，定位到出错的位置，仔细检查语法是否符合规范。
1.12 常见链接错误
如果你的代码符合语法规则，则会通过编译过程。编译完所有源代码之后，
下一步是连接目标文件，以形成可执行文件。连接过程中最常见的错误如下（图
1.17）：
1> : error LNK2019: unresolved external symbol "class
cv::Mat __cdecl cv::imread(class std::basic_string std::char_traits (?imread@cv@@YA?AVMat@1@ABV?$basic_string@DU?$char_traits@D@std@@ V?$allocator@D@2@@std@@H@Z) referenced in function _main 这个错误信息里最关键的词是“unresolved external symbol”，更具体的意思 是在main函数中使用了imread函数，但是无法从外部找到imread。imread函 数是OpenCV的函数，不是用户自己实现的函数。头文件告诉编译器 有个imread函数可以用，编译通过；但是到了连接时，连接器却找不到imread 的具体实现，故出错。 15 图 1.17 连接错误，无法找到imread等函数的实现 要解决这一问题，需要将依赖的库文件添加到项目设置中。具体位置在对话 框“Linker - Input”里面的“Additional Dependencies”中，如图 1.18所示。 图 1.18 添加依赖的库文件 16 1.13 运行时错误 经过编译和连接过程，生成了可执行的文件（如exe文件）之后，在运行这 个可执行文件所产生的错误是运行时错误。比较常见的运行时错误是内存错误。 比如下面这段代码： #include #include using namespace cv; int main() { } Mat img = imread(""); Mat gray; cv::cvtColor(img, gray, CV_BGR2GRAY); return 0; printf("Hello, OpenCV!n"); 编译和连接过程无任何问题，但在运行时弹出如图 1.19所示对话框，并在 命令行窗口输出错误信息（图 1.20）。 图 1.19 运行时错误对话框 图 1.20 运行时错误的出错信息 17 错误信息中提示文件的第2834行有错，错误原因是条件 (scn==3||scn==4)不成立。很多OpenCV用户看到此错误信息一头雾水，不知如何 下手解决。根据程序源代码的意思，是将三通道的BGR图像img转为单通道的 图像gray。但是程序说img既不是3通道，也不是4通道。而根据imread函数 的文档，imread将图像作为彩色图像读入，条件(scn==3||scn==4)肯定成立。 这个程序的问题出现在当前目录下无文件，这样程序无法读到图像， 造成cvtColor函数出错。因此对于读入图像时，需要检查图像读入是否成功，以 免造成运行时错误。 在程序编写中，对于数组和指针等，要特别地小心。因为对于空指针以及数 组越界等问题，编译器无法在编译时给出错误提示。这类错误一旦在运行时发生， 排除起来非常困难。 18 第2章 OpenCV介绍 OpenCV的全称是Open Source Computer Vision Library，是一个开放源代码的 计算机视觉库。OpenCV是最初由英特尔公司发起并开发，以BSD许可证授权发 行，可以在商业和研究领域中免费使用，现在美国Willow Garage为OpenCV提 供主要的支持。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别 程序，目前在工业界以及科研领域广泛采用。 2.1 OpenCV的来源 OpenCV诞生于Intel。Intel最初希望提供一个计算机视觉库，使之能充分发 掘CPU的计算能力，当然更希望以此促进Intel的产品的销售。OpenCV最初的开 发工作是由Intel在俄罗斯的团队实现。这里面有两个关键人物，一个是Intel性 能团队（Intel’s Performance Library Team）的李信弘（Shinn Lee）先生，他是团队 的经理，负责IPP等库，给予OpenCV很大的支持。另一个关键人物是Vadim Pisarevsky，Vadim在Intel负责OpenCV的项目管理、代码集成、代码优化等工 作。在后期Intel支持渐少的时候，是Vadim Pisarevsky一直在维护着OpenCV。 2007年6月，受本书作者之邀，李信弘和Vadim Pisarevsky作为嘉宾参加了在北 1 ，京举行的“开放源代码计算机视觉库(OpenCV)研讨会”并做了非常有价值的报 告。 在2008年，一家美国公司，Willow Garage 2 ，开始大力支持OpenCV，Vadim Pisarevsky和Gary Bradski都加入了Willow Garage。Gary Bradski也是OpenCV开 发者中的元老级人物，他曾出版《Leaning OpenCV》一书，广受欢迎。 Willow Garage是一家机器人公司，致力于为个人机器人开发开放的硬件平 台和软件。现在已经开发了PR2机器人，并支持ROS、OpenCV、PCL等软件。ROS （Robot Operating System）是用于机器人的操作系统，是一个开放源代码的软件， OpenCV作为ROS的视觉模块嵌入。 自从获得Willow Garage支持后，OpenCV的更新速度明显加快。大量的新特 性被被加入OpenCV中，很多算法都是最近一两年的新的科研成果。OpenCV正 日益成为算法研究和产品开发不可缺少的工具。 2.2 OpenCV的协议 OpenCV采用BSD协议，这是一个非常宽松的协议。简而言之，用户可以修 1 2 研讨会网址：//OpenCV_Symposium Willow Garage公司网站： 19 改OpenCV的源代码，可以将OpenCV嵌入到自己的软件中，可以将包含OpenCV 的软件销售，可以用于商业产品，也可以用于科研领域。BSD协议并不具有“传 染性”，如果你的软件中使用了OpenCV，你不需要公开代码。你可以对OpenCV 做任何操作，协议对用户的唯一约束是要在软件的文档或者说明中注明使用了 OpenCV，并附上OpenCV的协议。 在这个宽松协议下，企业可以在OpenCV基础之上进行产品开发，而不需要 担心版权问题（当然你要注明使用了OpenCV，并附上OpenCV的协议）。科研领 域的研究者，可以使用OpenCV快速地实现系统原型。因此可以这样说，OpenCV 的协议保证了计算机视觉技术快速的传播，让更多的人从OpenCV受益。 20 第3章 图像的基本操作 3.1 图像的表示 在正式介绍之前，先简单介绍一下数字图像的基本概念。如图 3.1中所示 的图像，我们看到的是Lena的头像，但是计算机看来，这副图像只是一堆亮度 各异的点。一副尺寸为M × N 的图像可以用一个M × N 的矩阵来表示，矩 阵元素的值表示这个位置上的像素的亮度，一般来说像素值越大表示该点越 亮。如图 3.1中白色圆圈内的区域，进行放大并仔细查看，将会如图 3.2所 示。 图 3.1 Lena的照片 21 图 3.2 图 3.1中圆圈处的放大效果 一般来说，灰度图用2维矩阵表示，彩色（多通道）图像用3维矩阵（M × N × 3）表示。对于图像显示来说，目前大部分设备都是用无符号8 位整 数（类型为CV_8U）表示像素亮度。 图像数据在计算机内存中的存储顺序为以图像最左上点（也可能是最左下 点）开始，存储如表 3-1所示。 表 3-1 灰度图像的存储示意图 I 0 0 I 1 0 … I 0 1 I 1 1 … … … … … I 0 N-1 I 1 N-1 … I M-1 N-1 I M-1 0 I M-1 1 I ij 表示第i行j列的像素值。如果是多通道图像，比如RGB 图像，则每个 像素用三个字节表示。在OpenCV 中，RGB 图像的通道顺序为BGR ，存储如 表 3-2所示。 表 3-2 彩色RGB图像的存储示意图 B 00 B 10 G 00 G 10 R 00 R 10 B 01 B 11 G 01 G 11 R 01 R 11 … … 22 … … … … … … … 3.2 Mat类 早期的OpenCV中，使用IplImage和CvMat数据结构来表示图像。IplImage 和CvMat都是C语言的结构。使用这两个结构的问题是内存需要手动管理，开 发者必须清楚的知道何时需要申请内存，何时需要释放内存。这个开发者带来了 一定的负担，开发者应该将更多精力用于算法设计，因此在新版本的OpenCV中 引入了Mat类。 新加入的Mat类能够自动管理内存。使用Mat类，你不再需要花费大量精 力在内存管理上。而且你的代码会变得很简洁，代码行数会变少。但C++接口唯 一的不足是当前一些嵌入式开发系统可能只支持C语言，如果你的开发平台支持 C++，完全没有必要再用IplImage和CvMat。在新版本的OpenCV中，开发者依 然可以使用IplImage和CvMat，但是一些新增加的函数只提供了Mat接口。本书 中的例程也都将采用新的Mat类，不再介绍IplImage和CvMat。 Mat类的定义如下所示，关键的属性如下方代码所示： class CV_EXPORTS Mat { public: //一系列函数 ... /* flag参数中包含许多关于矩阵的信息，如： -Mat的标识 -数据是否连续 -深度 -通道数目 */ int flags; //矩阵的维数，取值应该大于或等于2 int dims; //矩阵的行数和列数，如果矩阵超过2维，这两个变量的值都为-1 int rows, cols; //指向数据的指针 uchar* data; //指向引用计数的指针 //如果数据是由用户分配的，则为NULL int* refcount; 23 //其他成员变量和成员函数 ... }; 3.3 创建Mat对象 Mat是一个非常优秀的图像类，它同时也是一个通用的矩阵类，可以用来创 建和操作多维矩阵。有多种方法创建一个Mat对象。 3.3.1 构造函数方法 Mat类提供了一系列构造函数，可以方便的根据需要创建Mat对象。下面是 一个使用构造函数创建对象的例子。 Mat M(3,2, CV_8UC3, Scalar(0,0,255)); cout << "M = " << endl << " " << M << endl; 第一行代码创建一个行数（高度）为3，列数（宽度）为2的图像，图像元 素是8位无符号整数类型，且有三个通道。图像的所有像素值被初始化为(0, 0, 255)。由于OpenCV中默认的颜色顺序为BGR，因此这是一个全红色的图像。 第二行代码是输出Mat类的实例M的所有像素值。Mat重定义了<<操作符， 使用这个操作符，可以方便地输出所有像素值，而不需要使用for循环逐个像素 输出。 该段代码的输出如图 3.3所示。 图 3.3 例程输出内容 常用的构造函数有： Mat::Mat() 无参数构造方法； Mat::Mat(int rows, int cols, int type) 创建行数为rows，列数为col，类型为type的图像； Mat::Mat(Size size, int type) 创建大小为size，类型为type的图像； Mat::Mat(int rows, int cols, int type, const Scalar& s) 24 创建行数为rows，列数为col，类型为type的图像，并将所有元素初始 化为值s； Mat::Mat(Size size, int type, const Scalar& s) 创建大小为size，类型为type的图像，并将所有元素初始化为值s； Mat::Mat(const Mat& m) 将m赋值给新创建的对象，此处不会对图像数据进行复制，m和新对象 共用图像数据； Mat::Mat(int rows, int cols, int type, void* data, size_t step=AUTO_STEP) 创建行数为rows，列数为col，类型为type的图像，此构造函数不创建 图像数据所需内存，而是直接使用data所指内存，图像的行步长由step 指定。 Mat::Mat(Size size, int type, void* data, size_t step=AUTO_STEP) 创建大小为size，类型为type的图像，此构造函数不创建图像数据所需 内存，而是直接使用data所指内存，图像的行步长由step指定。 Mat::Mat(const Mat& m, const Range& rowRange, const Range& colRange) 创建的新图像为m的一部分，具体的范围由rowRange和colRange指 定，此构造函数也不进行图像数据的复制操作，新图像与m共用图像数 据； Mat::Mat(const Mat& m, const Rect& roi) 创建的新图像为m的一部分，具体的范围roi指定，此构造函数也不进 行图像数据的复制操作，新图像与m共用图像数据。 这些构造函数中，很多都涉及到类型type。type可以是CV_8UC1，CV_16SC1，…， CV_64FC4等。里面的8U表示8位无符号整数，16S表示16位有符号整数，64F 表示64位浮点数（即double类型）；C后面的数表示通道数，例如C1表示一个 通道的图像，C4表示4个通道的图像，以此类推。 如果你需要更多的通道数，需要用宏CV_8UC(n)，例如： Mat M(3,2, CV_8UC(5));//创建行数为3，列数为2，通道数为5的图像 3.3.2 create()函数创建对象 除了在构造函数中可以创建图像，也可以使用Mat类的create()函数创建图 像。如果create()函数指定的参数与图像之前的参数相同，则不进行实质的内存 申请操作；如果参数不同，则减少原始数据内存的索引，并重新申请内存。使用 方法如下面例程所示： Mat M(2,2, CV_8UC3);//构造函数创建图像 (3,2, CV_8UC2);//释放内存重新创建图像 25 需要注意的时，使用create()函数无法设置图像像素的初始值。 3.3.3 Matlab风格的创建对象方法 OpenCV 2中提供了Matlab风格的函数，如zeros()，ones()和eyes()。这种方 法使得代码非常简洁，使用起来也非常方便。使用这些函数需要指定图像的大小 和类型，使用方法如下： Mat Z = Mat::zeros(2,3, CV_8UC1); cout << "Z = " << endl << " " << Z << endl; Mat O = Mat::ones(2, 3, CV_32F); cout << "O = " << endl << " " << O << endl; Mat E = Mat::eye(2, 3, CV_64F); cout << "E = " << endl << " " << E << endl; 该代码中，有些type参数如CV_32F未注明通道数目，这种情况下它表示单 通道。上面代码的输出结果如图 3.4所示。 图 3.4 Matlab风格的函数例程的输出结果 3.4 矩阵的基本元素表达 对于单通道图像，其元素类型一般为8U（即8位无符号整数），当然也可以 是16S、32F等；这些类型可以直接用uchar、short、float等C/C++语言中的基本 数据类型表达。 如果多通道图像，如RGB彩色图像，需要用三个通道来表示。在这种情况 下，如果依然将图像视作一个二维矩阵，那么矩阵的元素不再是基本的数据类型。 26 OpenCV中有模板类Vec，可以表示一个向量。OpenCV中使用Vec类预定义了一 些小向量，可以将之用于矩阵元素的表达。 typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec typedef Vec 例如8U类型的RGB彩色图像可以使用Vec3b，3通道float类型的矩阵可以 使用Vec3f。 对于Vec对象，可以使用[]符号如操作数组般读写其元素，如： Vec3b color; //用color变量描述一种RGB颜色 color[0]=255; //B分量 color[1]=0; //G分量 color[2]=0; //R分量 3.5 像素值的读写 很多时候，我们需要读取某个像素值，或者设置某个像素值；在更多的时候， 我们需要对整个图像里的所有像素进行遍历。OpenCV提供了多种方法来实现图 像的遍历。 27 3.5.1 at()函数 函数at()来实现读去矩阵中的某个像素，或者对某个像素进行赋值操作。下 面两行代码演示了at()函数的使用方法。 uchar value = 如果要对图像进行遍历，可以参考下面的例程。这个例程创建了两个图像， 分别是单通道的grayim以及3个通道的colorim，然后对两个图像的所有像素值 进行赋值，最后现实结果。 #include #include "opencv2/" using namespace std; using namespace cv; int main(int argc, char* argv[]) { Mat grayim(600, 800, CV_8UC1); Mat colorim(600, 800, CV_8UC3); //遍历所有像素，并设置像素值 for( int i = 0; i < ; ++i) for( int j = 0; j < ; ++j ) //遍历所有像素，并设置像素值 for( int i = 0; i < ; ++i) for( int j = 0; j < ; ++j ) { Vec3b pixel; pixel[0] = i%255; //Blue pixel[1] = j%255; //Green pixel[2] = 0; //Red } //显示结果 imshow("grayim", grayim); imshow("colorim", colorim); 28 waitKey(0); return 0; } 需要注意的是，如果要遍历图像，并不推荐使用at()函数。使用这个函数的 优点是代码的可读性高，但是效率并不是很高。 这段代码的运行结果如图 3.5所示。 图 3.5 使用at()函数遍历图像的例程的输出结果 3.5.2 使用迭代器 如果你熟悉C++的STL库，那一定了解迭代器（iterator）的使用。迭代器可 以方便地遍历所有元素。Mat也增加了迭代器的支持，以便于矩阵元素的遍历。 下面的例程功能跟上一节的例程类似，但是由于使用了迭代器，而不是使用行数 和列数来遍历，所以这儿没有了i和j变量，图像的像素值设置为一个随机数。 #include #include "opencv2/" using namespace std; using namespace cv; int main(int argc, char* argv[]) { Mat grayim(600, 800, CV_8UC1); Mat colorim(600, 800, CV_8UC3); //遍历所有像素，并设置像素值 MatIterator_ 29 for( grayit = *grayit = rand()%255; //遍历所有像素，并设置像素值 MatIterator_ for( { (*colorit)[0] = rand()%255; //Blue (*colorit)[1] = rand()%255; //Green (*colorit)[2] = rand()%255; //Red } //显示结果 imshow("grayim", grayim); imshow("colorim", colorim); waitKey(0); return 0; } colorit = 例程的输出结果如图 3.6所示。 图 3.6 使用迭代器遍历图像的例程的输出结果 3.5.3 通过数据指针 使用IplImage结构的时候，我们会经常使用数据指针来直接操作像素。通过 指针操作来访问像素是非常高效的，但是你务必十分地小心。C/C++中的指针操 作是不进行类型以及越界检查的，如果指针访问出错，程序运行时有时候可能看 30 上去一切正常，有时候却突然弹出“段错误”（segment fault）。 当程序规模较大，且逻辑复杂时，查找指针错误十分困难。对于不熟悉指针 的编程者来说，指针就如同噩梦。如果你对指针使用没有自信，则不建议直接通 过指针操作来访问像素。虽然at()函数和迭代器也不能保证对像素访问进行充分 的检查，但是总是比指针操作要可靠一些。 如果你非常注重程序的运行速度，那么遍历像素时，建议使用指针。下面的 例程演示如何使用指针来遍历图像中的所有像素。此例程实现的操作跟第3.5.1 节中的例程完全相同。例程代码如下： #include #include "opencv2/" using namespace std; using namespace cv; int main(int argc, char* argv[]) { Mat grayim(600, 800, CV_8UC1); Mat colorim(600, 800, CV_8UC3); //遍历所有像素，并设置像素值 for( int i = 0; i < ; ++i) { //获取第i行首像素指针 uchar * p = //对第i行的每个像素(byte)操作 for( int j = 0; j < ; ++j ) p[j] = (i+j)%255; } //遍历所有像素，并设置像素值 for( int i = 0; i < ; ++i) { //获取第i行首像素指针 Vec3b * p = for( int j = 0; j < ; ++j ) { p[j][0] = i%255; //Blue p[j][1] = j%255; //Green p[j][2] = 0; //Red } 31 } //显示结果 imshow("grayim", grayim); imshow("colorim", colorim); waitKey(0); return 0; } 例程的输出结果如图 3.7所示。 图 3.7 使用指针遍历图像的例程的输出结果 3.6 选取图像局部区域 Mat类提供了多种方便的方法来选择图像的局部区域。使用这些方法时需要 注意，这些方法并不进行内存的复制操作。如果将局部区域赋值给新的Mat对 象，新对象与原始对象共用相同的数据区域，不新申请内存，因此这些方法的执 行速度都比较快。 3.6.1 单行或单列选择 提取矩阵的一行或者一列可以使用函数row()或col()。函数的声明如下： Mat Mat::row(int i) const Mat Mat::col(int j) const 参数i和j分别是行标和列标。例如取出A矩阵的第i行可以使用如下代码： Mat line = (i); 例如取出A矩阵的第i行，将这一行的所有元素都乘以2，然后赋值给第j 32 行，可以这样写： (j) = (i)*2; 3.6.2 用Range选择多行或多列 Range是OpenCV中新增的类，该类有两个关键变量star和end。Range对 象可以用来表示矩阵的多个连续的行或者多个连续的列。其表示的范围为从start 到end，包含start，但不包含end。Range类的定义如下： class Range { public: ... int start, end; }; Range类还提供了一个静态方法all()，这个方法的作用如同Matlab中的“:”， 表示所有的行或者所有的列。 //创建一个单位阵 Mat A = Mat::eye(10, 10, CV_32S); //提取第1到3列（不包括3） Mat B = A(Range::all(), Range(1, 3)); //提取B的第5至9行（不包括9） //其实等价于 C = A(Range(5, 9), Range(1, 3)) Mat C = B(Range(5, 9), Range::all()); 3.6.3 感兴趣区域 从图像中提取感兴趣区域（Region of interest）有两种方法，一种是使用构造 函数，如下例所示： //创建宽度为320，高度为240的3通道图像 Mat img(Size(320,240),CV_8UC3); //roi是表示img中Rect(10,10,100,100)区域的对象 Mat roi(img, Rect(10,10,100,100)); 除了使用构造函数，还可以使用括号运算符，如下： Mat roi2 = img(Rect(10,10,100,100)); 当然也可以使用Range对象来定义感兴趣区域，如下： //使用括号运算符 Mat roi3 = img(Range(10,100),Range(10,100)); 33 //使用构造函数 Mat roi4(img, Range(10,100),Range(10,100)); 3.6.4 取对角线元素 矩阵的对角线元素可以使用Mat类的diag()函数获取，该函数的定义如下： Mat Mat::diag(int d) const 参数d=0时，表示取主对角线；当参数d>0是，表示取主对角线下方的次对 角线，如d=1时，表示取主对角线下方，且紧贴主多角线的元素；当参数d<0时， 表示取主对角线上方的次对角线。 如同row()和col()函数，diag()函数也不进行内存复制操作，其复杂度也是O(1)。 3.7 Mat表达式 利用C++中的运算符重载，OpenCV 2中引入了Mat运算表达式。这一新特 点使得使用C++进行编程时，就如同写Matlab脚本，代码变得简洁易懂，也便于 维护。 如果矩阵A和B大小相同，则可以使用如下表达式： C = A + B + 1; 其执行结果是A和B的对应元素相加，然后再加1，并将生成的矩阵赋给C 变量。 下面给出Mat表达式所支持的运算。下面的列表中使用A和B表示Mat类 型的对象，使用s表示Scalar对象，alpha表示double值。 加法，减法，取负：A+B，A-B，A+s，A-s，s+A，s-A，-A 缩放取值范围：A*alpha 矩阵对应元素的乘法和除法： (B)，A/B，alpha/A 矩阵乘法：A*B （注意此处是矩阵乘法，而不是矩阵对应元素相乘） 矩阵转置：A.t() 矩阵求逆和求伪逆：() 矩阵比较运算：A cmpop B，A cmpop alpha，alpha cmpop A。此处cmpop 可以是>，>=，==，!=，<=，<。如果条件成立，则结果矩阵（8U类型矩 阵）的对应元素被置为255；否则置0。 矩阵位逻辑运算：A logicop B，A logicop s，s logicop A，~A，此处logicop 可以是&，|和^。 34 矩阵对应元素的最大值和最小值：min(A, B)，min(A, alpha)，max(A, B)， max(A, alpha)。 矩阵中元素的绝对值：abs(A) 叉积和点积：(B)，(B) 下面例程展示了Mat表达式的使用方法，例程的输出结果如图 3.8所示。 #include #include "opencv2/" using namespace std; using namespace cv; int main(int argc, char* argv[]) { Mat A = Mat::eye(4,4,CV_32SC1); Mat B = A * 3 + 1; Mat C = (0) + (1); cout << "A = " << A << endl << endl; cout << "B = " << B << endl << endl; cout << "C = " << C << endl << endl; cout << "C .* diag(B) = " << ((0)) << endl; return 0; } 35 图 3.8 Mat表达式例程的输出结果 3.8 Mat_类 Mat_类是对Mat类的一个包装，其定义如下： template { public: //只定义了几个方法 //没有定义新的属性 }; 这是一个非常轻量级的包装，既然已经有Mat类，为何还要定义一个Mat_？ 下面我们看这段代码： Mat M(600, 800, CV_8UC1); for( int i = 0; i < ; ++i) { uchar * p = for( int j = 0; j < ; ++j ) { double d1 = (double) ((i+j)%255); double d2 = } } 在读取矩阵元素时，以及获取矩阵某行的地址时，需要指定数据类型。这样 首先需要不停地写“ 36 上面代码中的错误，用at()获取矩阵元素时错误的使用了double类型。这种错误 不是语法错误，因此在编译时编译器不会提醒。在程序运行时，at()函数获取到 的不是期望的(i,j)位置处的元素，数据已经越界，但是运行时也未必会报错。这样 的错误使得你的程序忽而看上去正常，忽而弹出“段错误”，特别是在代码规模 很大时，难以查错。 如果使用Mat_类，那么就可以在变量声明时确定元素的类型，访问元素时 不再需要指定元素类型，即使得代码简洁，又减少了出错的可能性。上面代码可 以用Mat_实现，实现代码如下面例程里的第二个双重for循环。 #include #include "opencv2/" #include using namespace std; using namespace cv; int main(int argc, char* argv[]) { Mat M(600, 800, CV_8UC1); for( int i = 0; i < ; ++i) { //获取指针时需要指定类型 uchar * p = for( int j = 0; j < ; ++j ) { double d1 = (double) ((i+j)%255); //用at()读写像素时，需要指定类型 //下面代码错误，应该使用at //但编译时不会提醒错误 //运行结果不正确，d2不等于d1 double d2 = } } //在变量声明时指定矩阵元素类型 Mat_ for( int i = 0; i < ; ++i) { //不需指定元素类型，语句简洁 37 uchar * p = (i); for( int j = 0; j < ; ++j ) { double d1 = (double) ((i+j)%255); //直接使用Matlab风格的矩阵元素读写，简洁 M1(i,j) = d1; double d2 = M1(i,j); } } return 0; } 3.9 Mat类的内存管理 使用Mat类，内存管理变得简单，不再像使用IplImage那样需要自己申请 和释放内存。虽然不了解Mat的内存管理机制，也无碍于Mat类的使用，但是 如果清楚了解Mat的内存管理，会更清楚一些函数到底操作了哪些数据。 Mat是一个类，由两个数据部分组成：矩阵头（包含矩阵尺寸，存储方法， 存储地址等信息）和一个指向存储所有像素值的矩阵的指针，如图 3.9所示。矩 阵头的尺寸是常数值，但矩阵本身的尺寸会依图像的不同而不同，通常比矩阵头 的尺寸大数个数量级。复制矩阵数据往往花费较多时间，因此除非有必要，不要 复制大的矩阵。 为了解决矩阵数据的传递，OpenCV使用了引用计数机制。其思路是让每个 Mat对象有自己的矩阵头信息，但多个Mat对象可以共享同一个矩阵数据。让矩 阵指针指向同一地址而实现这一目的。很多函数以及很多操作（如函数参数传值） 只复制矩阵头信息，而不复制矩阵数据。 前面提到过，有很多中方法创建Mat类。如果Mat类自己申请数据空间， 那么该类会多申请4个字节，多出的4个字节存储数据被引用的次数。引用次数 存储于数据空间的后面，refcount指向这个位置，如图 3.9所示。当计数等于0 时，则释放该空间。 38 … … int flags int dims int rows int cols uchar* data int* refcount … … … 矩阵数据 引用计数 图 3.9 Mat类中的数据存储示意图，refcount变量指向数据区后面，用4个字节（int类型） 存储引用数目。 关于多个矩阵对象共享同一矩阵数据，我们可以看这个例子： Mat A(100,100, CV_8UC1); Mat B = A; Mat C = A(Rect(50,50,30,30)); 上面代码中有三个Mat对象，分别是A，B和C。这三者共有同一矩阵数据， 其示意图如图 3.10所示。 39 矩阵头 矩阵数据 A B C 图 3.10 三个矩阵头共用共用同一矩阵数据 3.10 输出 从前面的例程中，可以看到Mat类重载了<<操作符，可以方便得使用流操作 来输出矩阵的内容。默认情况下输出的格式是类似Matlab中矩阵的输出格式。 除了默认格式，Mat也支持其他的输出格式。代码如下： 首先创建一个矩阵，并用随机数填充。填充的范围由randu()函数的第二个 参数和第三个参数确定，下面代码是介于0到255之间。 Mat R = Mat(3, 2, CV_8UC3); randu(R, Scalar::all(0), Scalar::all(255)); 默认格式输出的代码如下： cout << "R (default) = " << endl << R << endl << endl; 输出结果如图 3.11所示。 图 3.11 默认格式的矩阵输出 Python格式输出的代码如下： cout << "R (python) = " << endl << format(R,"python") << endl 40 << endl; 图 3.12 Python格式的矩阵输出 以逗号分割的输出的代码如下： cout << "R (csv) = " << endl << format(R,"csv" ) << endl << endl; 图 3.13以逗号分割格式的矩阵输出 numpy格式输出的代码如下： cout << "R (numpy) = " << endl << format(R,"numpy" ) << endl << endl; 图 3.14 numpy格式的矩阵输出 C语言格式输出的代码如下： cout << "R (c) = " << endl << format(R,"C" ) << endl << endl; 图 3.15 C语言格式的矩阵输出 除了Mat对象可以使用<<符号输出，其他的很多类型也支持<<输出。 二维点： Point2f P(5, 1); cout << "Point (2D) = " << P << endl << endl; 41 图 3.16 二维点的输出结果 三维点： Point3f P3f(2, 6, 7); cout << "Point (3D) = " << P3f << endl << endl; 图 3.17 三维点的输出结果 3.11 Mat与IplImage和CvMat的转换 在OpenCV 2中虽然引入了方便的Mat类，出于兼容性的考虑，OpenCV依 然是支持C语言接口的IplImage和CvMat结构。如果你要与以前的代码兼容， 将会涉及Mat与IplImage和CvMat的转换。 3.11.1 Mat转为IplImage和CvMat格式 假如你有一个以前写的函数，函数的定义为： void mycvOldFunc(IplImage * p, ...); 函数的参数需要IplImage类型的指针。Mat转为IplImage，可以用简单的等 号赋值操作来进行类型转换，这样实现： Mat img(Size(320, 240), CV_8UC3); ... IplImage iplimg = img; //转为IplImage结构 mycvOldFunc( & iplimg, ...);//对iplimg取地址 如果要转为CvMat类型，操作类似： CvMat cvimg = img; //转为CvMat结构 需要特别注意的是，类型转换后，IplImage和CvMat与Mat共用同一矩阵数 据，而IplImage和CvMat没有引用计数功能，如果上例中的img中数据被释放， iplimg和cvimg也就失去了数据。因此要牢记不可将Mat对象提前释放。 3.11.2 IplImage和CvMat格式转为Mat Mat类有两个构造函数，可以实现IplImage和CvMat到Mat的转换。这两 个函数都有一个参数copyData。如果copyData的值是false，那么Mat将与IplImage 或CvMat共用同一矩阵数据；如果值是true，Mat会新申请内存，然后将IplImage 或CvMat的数据复制到Mat的数据区。 42 如果共用数据，Mat也将不会使用引用计数来管理内存，需要开发者自己来 管理。本书建议做此转换是将参数置为true，这样内存管理变得简单。 Mat::Mat(const CvMat* m, bool copyData=false) Mat::Mat(const IplImage* img, bool copyData=false) 例子代码如下： IplImage * iplimg = cvLoadImage(""); Mat im(iplimg, true); 43 第4章 数据获取与存储 4.1 读写图像文件 将图像文件读入内存，可以使用imread()函数；将Mat对象以图像文件格式 写入内存，可以使用imwrite()函数。 4.1.1 读图像文件 imread()函数返回的是Mat对象，如果读取文件失败，则会返回一个空矩阵， 即Mat::data的值是NULL。执行imread()之后，需要检查文件是否成功读入，你 可以使用Mat::empty()函数进行检查。imread()函数的声明如下： Mat imread(const string& filename, int flags=1 ) 很明显参数filename是被读取或者保存的图像文件名；在imread()函数中， flag参数值有三种情况： flag>0，该函数返回3通道图像，如果磁盘上的图像文件是单通道的灰 度图像，则会被强制转为3通道； flag=0，该函数返回单通道图像，如果磁盘的图像文件是多通道图像，则 会被强制转为单通道； flag<0，则函数不对图像进行通道转换。 imread()函数支持多种文件格式，且该函数是根据图像文件的内容来确定文 件格式，而不是根据文件的扩展名来确定。所只是的文件格式如下： Windows位图文件 - BMP, DIB； JPEG文件 - JPEG, JPG, JPE； 便携式网络图片 - PNG； 便携式图像格式 - PBM，PGM，PPM； Sun rasters - SR，RAS； TIFF文件 - TIFF，TIF; OpenEXR HDR 图片 - EXR; JPEG 2000 图片- jp2。 你所安装的OpenCV并不一定能支持上述所有格式，文件格式的支持需要特 44 定的库，只有在编译OpenCV添加了相应的文件格式库，才可支持其格式。 4.1.2 写图像文件 将图像写入文件，可使用imwrite()函数，该函数的声明如下： bool imwrite(const string& filename, InputArray image, const vector 文件的格式由filename参数指定的文件扩展名确定。推荐使用PNG文件格 式。BMP格式是无损格式，但是一般不进行压缩，文件尺寸非常大；JPEG格式 的文件娇小，但是JPEG是有损压缩，会丢失一些信息。PNG是无损压缩格式， 推荐使用。 imwrite()函数的第三个参数params可以指定文件格式的一些细节信息。这 个参数里面的数值是跟文件格式相关的： JPEG：表示图像的质量，取值范围从0到100。数值越大表示图像质量 越高，当然文件也越大。默认值是95。 PNG：表示压缩级别，取值范围是从0到9。数值越大表示文件越小， 但是压缩花费的时间也越长。默认值是3。 PPM，PGM或PBM：表示文件是以二进制还是纯文本方式存储，取值为 0或1。如果取值为1，则表示以二进制方式存储。默认值是1。 并不是所有的Mat对象都可以存为图像文件，目前支持的格式只有8U类型 的单通道和3通道（颜色顺序为BGR）矩阵；如果需要要保存16U格式图像，只 能使用PNG、JPEG 2000和TIFF格式。如果希望将其他格式的矩阵保存为图像文 件，可以先用Mat::convertTo()函数或者cvtColor()函数将矩阵转为可以保存的格 式。 另外需要注意的是，在保存文件时，如果文件已经存在，imwrite()函数不会 进行提醒，将直接覆盖掉以前的文件。 下面例程展示了如何读入一副图像，然后对图像进行Canny边缘操作，最后 将结果保存到图像文件中。 #include #include "opencv2/" using namespace std; using namespace cv; int main(int argc, char* argv[]) { 45 //读入图像，并将之转为单通道图像 Mat im = imread("", 0); //请一定检查是否成功读图 if( () ) { cout << "Can not load image." << endl; return -1; } //进行Canny操作，并将结果存于result Mat result; Canny(im, result, 50, 150); //保存结果 imwrite("", result); return 0; } 将文件放在当前目录，运行该例程后，将会出现在当 前目录。图像如图 4.1所示，是的边缘提取结果。 图 4.1 Lena图像的边缘提取结果 46 4.2 读写视频 介绍OpenCV读写视频之前，先介绍一下编解码器（codec）。如果是图像文 件，我们可以根据文件扩展名得知图像的格式。但是此经验并不能推广到视频文 件中。有些OpenCV用户会碰到奇怪的问题，都是avi视频文件，有的能用OpenCV 打开，有的不能。 视频的格式主要由压缩算法决定。压缩算法称之为编码器（coder），解压算 法称之为解码器（decoder），编解码算法可以统称为编解码器（codec）。视频文 件能读或者写，关键看是否有相应的编解码器。编解码器的种类非常多，常用的 有MJPG、XVID、DIVX等，完整的列表请参考FOURCC网站 3 。因此视频文件的扩 展名（如avi等）往往只能表示这是一个视频文件。 OpenCV 2中提供了两个类来实现视频的读写。读视频的类是VideoCapture， 写视频的类是VideoWriter。 4.2.1 读视频 VideoCapture既可以从视频文件读取图像，也可以从摄像头读取图像。可以 使用该类的构造函数打开视频文件或者摄像头。如果VideoCapture对象已经创 建，也可以使用VideoCapture::open()打开，VideoCapture::open()函数会自动调用 VideoCapture::release()函数，先释放已经打开的视频，然后再打开新视频。 如果要读一帧，可以使用VideoCapture::read()函数。VideoCapture类重载了>> 操作符，实现了读视频帧的功能。下面的例程演示了使用VideoCapture类读视 频。 #include #include "opencv2/" using namespace std; using namespace cv; int main(int argc, char** argv) { //打开第一个摄像头 //VideoCapture cap(0); //打开视频文件 VideoCapture cap(""); 3 网址：/ 47 //检查是否成功打开 if(!ed()) { cerr << "Can not open a camera or file." << endl; return -1; } Mat edges; //创建窗口 namedWindow("edges",1); for(;;) { Mat frame; //从cap中读一帧，存到frame cap >> frame; //如果未读到图像 if(()) break; //将读到的图像转为灰度图 cvtColor(frame, edges, CV_BGR2GRAY); //进行边缘提取操作 Canny(edges, edges, 0, 30, 3); //显示结果 imshow("edges", edges); //等待30秒，如果按键则推出循环 if(waitKey(30) >= 0) break; } //退出时会自动释放cap中占用资源 return 0; } 48 图 4.2 读视频例程的运行界面 4.2.2 写视频 使用OpenCV创建视频也非常简单，与读视频不同的是，你需要在创建视频 时设置一系列参数，包括：文件名，编解码器，帧率，宽度和高度等。编解码器 使用四个字符表示，可以是CV_FOURCC('M','J','P','G')、CV_FOURCC('X','V','I','D')及 CV_FOURCC('D','I','V','X')等。如果使用某种编解码器无法创建视频文件，请尝试其 他的编解码器。 将图像写入视频可以使用VideoWriter::write()函数，VideoWriter类中也重载 了<<操作符，使用起来非常方便。另外需要注意：待写入的图像尺寸必须与创建 视频时指定的尺寸一致。 下面例程演示了如何写视频文件。本例程将生成一个视频文件，视频的第0 帧上是一个红色的“0”，第1帧上是个红色的“1”，以此类推，共100帧。生成 视频的播放效果如图 4.3所示。 #include #include #include "opencv2/" using namespace std; using namespace cv; int main(int argc, char** argv) 49 { //定义视频的宽度和高度 Size s(320, 240); //创建writer，并指定FOURCC及FPS等参数 VideoWriter writer = VideoWriter("", CV_FOURCC('M','J','P','G'), 25, s); //检查是否成功创建 if(!ed()) { cerr << "Can not create video file.n" << endl; return -1; } //视频帧 Mat frame(s, CV_8UC3); for(int i = 0; i < 100; i++) { //将图像置为黑色 frame = Scalar::all(0); //将整数i转为i字符串类型 char text[128]; snprintf(text, sizeof(text), "%d", i); //将数字绘到画面上 putText(frame, text, FONT_HERSHEY_SCRIPT_SIMPLEX, 3, Scalar(0,0,255), 3, 8); //将图像写入视频 writer << frame; } //退出程序时会自动关闭视频文件 return 0; } Point(/3, /3), 50 图 4.3 写视频例程生成的视频的播放效果 51
发布评论