2024年4月27日发(作者：)
Research|技术应用
2021年·第5期
栏目编辑：梁丽雯E-mail:****************
基于计算机视觉技术的智慧银行
高柜业务研究
■ 中国工商银行新疆分行 罗正东
新疆财经大学金融学院 陈奕宇
受新冠疫情的冲击，无接触、少接触模式成为当今现场办理业务的一个新理念，如何在新型智慧银行
摘要：
的柜面业务中，既能很好地完成客户业务需求，又做到客户与员工间少接触甚至无接触成为目前银行最关注的课题
之一。尽管很多研究人员已经在智慧银行方面做出了大量工作，但与实际应用的期望还有一定差距。基于此，本文
主要探讨人工智能技术领域的图像识别、文字识别、唇语识别等多种计算机视觉信息处理技术未来在柜面现金业
务办理中的应用场景。
智慧银行；智能高柜现金业务；人工智能；计算机视觉技术
关键词：
一、引言
近年来，智慧银行受到越来越多的关注。以智慧
银行为实例的金融科技是一个新兴交叉领域，其结合
金融与科技，力求通过新科技手段改善金融业中一些
传统的运作方式。在智慧银行这个模块中，目前尚无
垄断性科学技术，大多数人都是依据智慧银行的理
念，尝试性地将一些前沿技术运用到对传统银行的改
良中来。因此，将人工智能技术引用到智慧银行中是
一个值得研究的课题。
智慧银行的关键在于结合“互联网+”、人工智
能与大数据等计算机技术手段，实现银行业务智能
化办理，从而提升效率、减小员工犯错机率、高效分
析客户个性、精准营销等。杨士昌探讨了利用客户网
上预约、智能人脸识别等技术进行流程优化，以此打
造新型金融服务银行。商辉介绍了中国建设银行运
用大数据、人脸识别、物联网等技术构建的智慧体系
结构。王祉瓒从环绕智能理念出发，提出新型人机交
互的信息模型，构想通过计算机自动识别技术、网状
网络等方式来优化智慧银行体验。然而，目前这些智
慧银行框架大多粒度较粗，并且粗细粒度不均，没有
作者简介： 罗正东(1989-)，男，新疆乌苏人，计算机硕士，供职于中国工商银行新疆分行，研究方向：金融科技；
陈奕宇（1989-），女，新疆博乐人，经济学硕士，讲师，供职于新疆财经大学金融学院，研究方向：金融理论。
收稿日期： 2021-02-22
34
2021年·第5期
栏目编辑：梁丽雯E-mail:****************
对实际单个模块进行详细介绍，如上述研究均提到
了使用人脸识别、自动识别技术，却未具体介绍如何
使用。
此外，有些研究工作已经开始探讨智慧银行的柜
台业务，如张静针对农行LQ支行建设智慧银行网点中
的柜台业务，建议运用BPR流程再造理论进行优化。
但是这些智慧银行的柜台业务改善方案是从管理学角
度出发的。
为了解决这些问题，本文提出一种基于计算机视
觉信息处理技术的柜台现金业务框架，该框架主要包
括3个部分：预约客户识别、现场客户识别、智能交互
业务办理。
该框架的主要贡献有3方面：一是对智慧银行下
的高柜台现金业务智能化进行了细化；二是充分利用
人工智能的图像识别技术，为智慧银行构建提供更多
可选方案；三是该框架的公开发表在一定程度上可实
现建设智慧银行的技术共享，促进各银行共同完善智
慧银行框架。
二、相关工作
本节将介绍近年来热门的智慧柜员机和视觉信息
处理技术。
（一）智慧柜员机
在智慧银行建设中，智慧柜员机是一个重要部
分。季宜锋统计展示了个人开卡、理财产品签约等低柜
业务，并基于排队理论优化了智慧柜员机代替部分柜
员工作。姜婧等人研究借助“超级柜台”智能机器实现
80%的低柜非现金业务。而对于现金业务，自动存取
款机可以实现小部分存钱、取钱等现金业务的办理，
对于稍复杂的现金业务仍需要人工柜面办理。
不同于以上智能柜台处理小部分现金业务和80%
以上的低柜非现金业务，本文应用计算机视觉技术可
以完成多种业务，极大地减轻了柜员工作量，可通过
“人机联合、单人控制多机”来更大程度地解放柜员
Research|技术应用
劳动力，亦可满足线下客户的个性化业务需求。
（二）视觉信息处理技术
本文的视觉信息处理是指利用计算机对图像进
行计算、分析和理解，通常包括图像识别、行人重识
别、OCR文字识别等技术。这些技术的输入数据是图
片、视频等视觉信息。在此次人工智能的浪潮中，计算
机视觉技术也取得了前所未有的成绩，被广泛应用在
众多研究课题中。
1. 人脸识别（Face Recognition）是基于脸部特征
信息进行身份图像识别的一种计算机视觉技术，可自
动在图像中检测和跟踪人脸，并对检测到的人脸进行
脸部识别。YanLi等人提出了一种融合多尺度、多方向
Gabor幅度和基于空间金字塔的局部相位量化傅里叶
相位编码的人脸识别方法。该方法在FRGC ver2.0数
据集上达到了95%以上的准确性。加入红外热像技术
后的人脸识别技术可以对红外热成像的图像进行识
别，并测量体温。
2. 行人重识别（Person re-identification，ReID）也
称行人再识别，是利用计算机视觉技术判断图像或者
视频序列中是否存在特定行人的技术，属于图像检索
的子任务，可用于智能视频监控、目标人物检测检索
等场景。Ruibing Hou等人提出了一种新网络结构：交
互与聚合（Interaction-and-Aggregation，IA）以增强
CNNs的特征表示能力，并且在行人重识别任务上达到
了先进性能，在Market-1501数据集上达到了94%以上
的准确性。
3. OCR文字识别（Optical Character Recognition）
是利用光学技术和计算机技术读取打印或写在纸上
的文字，并将其转换为计算机和人都能理解的文字形
式。印刷字体的OCR技术目前已经相当成熟，文字识
别性能可以达到95%以上，所以当前研究人员关注更
多的是场景文本检测（Scene Text Detection），即在复
杂环境中进行字符识别。Jiyun Lui等人提出了一种新
的场景文本检测方法，将文本检测视为一个由粗到精
35
Research|技术应用
2021年·第5期
栏目编辑：梁丽雯E-mail:****************
的文本关键点检测任务，并在实验ICDAR2015数据集
上实现了82.0%以上的准确性。
4. 唇语识别（Lip Reading）使用计算机视觉技
术，从连续图像中提取口型变化特征，经过唇语识别
模型计算后得出可能性最大的自然语言语句，可在
噪音环境或无声环境中辅助语音识别的相关应用。
Jingyun Xing等人引入了一个变形流网络（DFN）来学
习相邻帧之间的变形流，可直接捕捉到边缘区域内
的运动信息，然后将学习到的变形流与原始灰度帧结
合，形成双流网络进行唇读。最终，在英文数据集LRW
上达到了84%以上的准确性，在中文数据集LRW-1000
上达到了41%以上的准确性。
计算机视觉的研究课题还有很多，以上所介绍的
方法在后续方法框架中会用到，这些方法相对比较成
熟，可以直接或辅助性
地应用到智慧银行智能
柜台现金业务中。
能满足2万元以上客户的取现需求；有些银行网点已经
有智慧柜员机，可以完成补卡、挂失、改密等功能，但
是稍复杂的信用卡销户、存折存单挂失等业务却不能
够在机器上办理。为了解决这类问题，本文构思应用
计算机视觉技术来打造一个高效方便、智能多功能的
现金业务柜台场景。
文本提出的框架包含3个模块：线上预约模块、现
场排队模块以及业务办理模块，见图1所示。
（一）线上预约模块
在框架中，线上预约可以实现多种现金业务预
约，而不只是简单的预约排队。在此模块中，笔者所构
思框架里的计算机视觉技术可以完成以下功能。
1. 现金存取预约。在手机银行上，对于两万元以
上的现金预约，需要“验证密码+身份证+人脸识别”，
身份验证
业务预约
现金存取预约
★图像识别-证件
★填写电子预约单
★OCR文字识别-材料
★图像识别-证件
★填写电子预约单
电
子
表
单
三、方法框架
银行的柜面业务
分为高柜业务和低柜业
务。高柜主要针对个人
客户办理现金业务，主
体业务有存取款、转汇
款、办卡开户开网银、
挂失等。低柜主要针对
对公客户办理非现金业
务，一般不与现金打交
线
上
预
约
模
块
线上预约
密
码
验
证
证
件
验
证
人
脸
识
别
有介质非存取
现业务
……
……
手机银行预约网上银行预约
无介质非存取
现业务
★图像识别-证件
★填写电子预约单
现
场
排
队
模
块
图像采集
客
户
客
户
客
户
人
脸
识
别
证
件
识
别
排号系统
人
脸
测
温
编号
（排队号）
A1
液晶屏叫号
金
融
产
品
展
示
区
行人再识别技术
检索到目标人
休
闲
洽
谈
区
+
A2
A3
请A1号顾客到4号
窗口办理业务
等待区
业务办理区
人脸识别
图像识别
审验证件
OCR文字识别
检验签字
识别文字-自动填单
检验签字
识别文字-自动填单
检验签字
存/取/转-现金
存/取/转-现金
办理业务
道，主体业务有开立对
业
公结算账户、办理对公
转账业务等。虽然现在
已经有自动存款机可以
存取现金，但是每人每
日限额取现为2万元，不
务
办
理
模
块
磁性介质
存、取、转款
无磁性凭证
存、取、转款
读取介质
拍照凭证
审验本人
审验本人
审验本人
审验证件
审验印章
审验证件
开/销户、汇款
、还贷款等业务
填单-拍照
计算机视觉技术应用
图1 本文技术框架
36
2021年·第5期
栏目编辑：梁丽雯E-mail:****************
如果是代理人，则需要代理人与被代理人的双方身份
证。这样一来，客户到达银行网点，出示预约成功的手
机界面，人脸识别验证身份后，即可提取银行事先准
备好的现金。
对于支票、收费凭证的存取款业务，可以实现填
表单，或者在手机上检验支票、凭证等是否填写规范，
保证到达柜面时可以顺利通过审验。
2. 有介质非存取现业务。客户可以在手机银行上
提交相关审核材料，银行系统通过ORC文字识别材
料文字、人脸识别核实本人、图像识别校验证件信
息，系统后台生成电子档申请材料，客户到达网点时
只需再次验证本人身份，即可快速完成改密、销卡、
换卡等业务。
3. 无介质非存取现业务。客户可以在预约时网上
填好表单，比如办卡、挂失、补卡等业务。对于其他不
便网上预约具体事项的现金业务，均可为客户提供当
日网点排队进程和关联手机微信或短信的消息提示。
同时，对于VIP企业，可以安排预约上门服务，比如大
额现金预约送上门服务、大额派发工资提供柜员上门
协助等，亦可使用移动银行车，定期到CBD商务区为
周围的多家公司同时办理业务。
在这里，运用ORC文字识别检测纸质/卡/折文
件，用人脸识别核实本人，用图像识别审验证件，同
时，也可以顺便提供实时排队进程和行程路线建议等
功能。
（二）现场排队模块
无论是线上已预约的客户还是未预约的客户，来
到银行网点办理业务时都需要在网点大厅排队等候，
此时快速准确地引流分流成为一个重要任务。在本文
框架中，笔者借助计算机视觉技术，帮助大堂经理精
准分流。
首先，客户从进入银行网点门口到完成“人脸识
别+身份证验证”排号的过程，同时被机器采集几秒
的单人视频，视频编号与排队号对应，通过人脸识别
Research|技术应用
和身份证图像识别确保客户与证件可准确对应。
其次，如果有现金柜台空闲，排号客户可以依次
直接去办理。如果现金柜台正忙且排号客户前面有少
量排队号，则客户可在大厅等候，亦可以去金融超市。
不同于传统的LED叫号灯牌，智慧银行的叫号液晶屏
在业务正忙时会播放理财视频或者防诈骗视频，叫号
时切回到该号客户号和入门时该客户的人脸照片。此
外，在金融超市里陈列着纪念币和播放理财产品的视
频，纪念币可供选购，理财视频里有二维码可供扫描，
方便客户在手机上随时观看或选择自己的理财经理。
如果排队客户较多，排号客户可以用微信扫描排队进
程码，然后离开银行去附近活动，排队进程码会实时
发送排队近况，提醒客户按时返回银行柜面。
最后，如果柜面叫号屏上的客户没有及时出现，
大堂经理可以用手中的iPad通过行人再识别技术快速
检测客户在银行店内的位置，便于大堂经理找到该客
户并引导其到相应窗口办理业务。
在此模块中，笔者运用计算机视觉技术的人脸识
别和图像识别（身份证验证）进行排号，可以审验客户
和证件的对应性。同时，笔者使用行人再识别技术帮
助大堂经理快速找到相应的客户。另外，笔者改进叫
号LED灯牌、构建金融超市等措施来充实客户等候时
间，传递金融安全知识、营销银行理财产品等。
（三）业务办理模块
柜台办理业务时一般审核验证5类要素：人、证
件、凭证、材料、现金。这些要素大致需要以下设备完
成审核验证：相机、扫描仪、读卡（磁条）器、键盘、验
钞机。
借助计算机视觉技术，可以为这些方面的业务提
供技术支持：
1. 磁性介质存、取、转款：如银行卡、存折等，人
脸识别技术可以辅助识别客户身份。
2. 无磁性凭证质存、取、转款：如支票、收费凭条
等，人脸识别技术可以辅助识别客户身份；OCR文字
37
Research|技术应用
识别技术可以用来完成“拍照/扫描-ORC文字识别-
自动填系统”；使用图像识别技术来检验支票、存单
等，通过“拍照/扫描-图像识别-自动对比检验”，将
现拍照片与数据库中留存的相应样本照片进行识别、
对比、检验。经过双方审核和系统检验后，才可进行现
金及款项的操作。
3. 开/销户、汇款、还贷款等业务，建议客户先填
单据，然后使用OCR文字识别技术完成系统自动填
单，最后客户对系统电子单据进行审核，签字后完成
汇款。
人脸识别和图像识别可以用来完成审核检验的
工作，OCR文字识别技术可以完成系统自动填单的工
作。在智慧银行里，因为工作人员较少，更多地依赖于
机器，所以客户填写单据，然后使用OCR文字识别技
术来识别相应的文字，再自动填写到系统中，这样既
可以完成自动化操作，又可以留下业务证据，减少业务
办理中因为说不清/听不清而产生的误解。此处的填单
可以是客户通过计算机打印出的单子，也可以是客户
手写的工整字体。因为印刷字体识别率相对较高，所
以建议客户按格式打印出业务需求，提高计算机填单
的准确性。
另外，如果某项业务确实需要客户与柜员（隔着防
弹玻璃）通过语音来完成，那么唇语识别就可以将噪
音环境或者无声环境的嘴唇运动图像转化为文字呈现
出来，辅助人们尽可能一次性地听清对方所说的话，从
而节省有效沟通时间，提高工作效率。
四、总结与展望
本文从计算机视觉的角度出发，将人脸识别技术
应用于线上预约、现场排队、业务办理中，从而识别或
审验客户身份；将行人重识别用于现场排队中，帮助大
堂经理寻找相应客户；将OCR文字识别和图像识别用
于业务办理时系统自动填单和自动识别对比校验；将
唇语识别用来辅助员工与客户交流，尤其是隔着防弹
38
2021年·第5期
栏目编辑：梁丽雯E-mail:****************
玻璃的柜员与客户的交流。
目前，尚不能完全依靠计算机技术来构建起“无
人银行”，但是计算机视觉技术可以帮助传统银行向
智慧银行转型，并逐步向全智能的“无人银行”发展。
目前虽不可完全智能自动化，但可以实现一个柜员同
时办理多个窗口的业务，因为在系统填单、审核、打印
回单、点钞等过程中，柜员可以切换到另一个客户进行
服务。实现这种“一人多机”，不仅要依靠计算机视觉
技术来完成一些工作，而且需要银行业务操作系统能
够实现更自由、更快捷的业务组合功能。只有不断创
新计算机视觉技术，加上普及高性能的计算机业务系
统，才会促进智慧银行建设的更加智能。
FTT
参考文献：
[1]IBM 中国商业价值研究院. 未来的企业[M]. 北
京：东方出版社，2009.
[2]杨士昌. 智慧银行实践助银行网点转型[J]. 银
行家，2015(11):120-122.
[3]商辉.“智慧银行”的建行实践[J]. 银行家，
2018(10):47-48.
[4]王祉瓒. 环绕智能下智慧银行网点的人机交互
[J]. 智库时代，2019(19):2.
[5]李小庆. 面向智慧银行的科技创新[J]. 金融科
技时代，2017(4):21-25.
[6]倪以理，曲向军，韩峰，等. 后疫情时代银行业：
开启全速数字化经营[J]. 新金融，2020(5):13-18.
[7]张静. 农行LQ支行建设智慧银行网点去柜台化
流程再造研究[D]. 西安：陕西师范大学，2019.
[8]姜婧，马波，黄涛.“超级柜台”对农行网点业务
管理的影响研究[J]. 现代金融，2016(6):52-53.
[9]Yan Li，Shiguang Shan，Ruiping
Magnitude and Phase Features with Multiple Face
Models for Robust Face Recognition[J]. Frontier
of Computer Science，2018(4):1-19.
发布评论