水电枢纽水下摄像数据的畸变机理及标定研究

科学与水利水电工程国家重点实验室，北京100084；4.嘉陵江亭子口水利水电开发有限公司，广元 628400)摘要：水电枢纽建筑物水下检测的方法中，水下摄像是一种易用和直观的方法，但水下摄像数据 研究往往忽视水下畸变，给水下缺陷分析和水下三维重建带来不可忽视的偏差、、从成像原理的

角度分析了水下成像过程中畸变的产生原理和基本特性；以某电站消力池边墙水下拍摄为试验

目标，采用张正友标定法和MatLab工具箱进行了水下相机的参数标定，并使用相机参数对水下

拍摄的边墙图像进行了矫正 通过重投影误差偏差和露骨料像素值偏差的对比分析，证实该标 定方法有效性以及水下畸变的径向特征，为进一步的精确量化分析提供了基础

关键词：标定方法；水下拍摄；畸变机理；消力池；水电枢纽中图分类号：TV738；TP391

文献标志码：A

文章编号：10()1 -9944(2019)12-0075-05Research on Distortion Mechanism and Calibration of Underwater Photography of DamLI Yong-long12,ZHANG Hua1,WANG Hao-ran\\QI Xian-rong4,WANG Shuang12(1 .School of Information and Engineering, Southwest University of Science and Technology , Mianyang 621000, China ；

2.Sichuan Energy Internet Research Institute ,Tsinghua University,Chengdu 610000, China ； 3.Stale Key Lab. of Hydro­

science and Engineering,Tsinghua University, Beijing 100841 , China ；4. Jialing River Tingzikou Water Conservancy and

Hydropower Development Co.,Ltd.,Guangyuan 628400,China)Abstract: Underwater photography was an easy and intuitive method in underwater detection of hydropower junction buildings, but in the study of underwater photographic data, underwater distortion was often neglected,which brings

undeniable deviation to underwater defect analysis and underwater three-dimensional reconstruction. In this paper,the

principle and basic characteristics of distortion in underwater imaging were analyzed from the perspective of imaging

principle. Taking underwater photography of side wall of stilling basin of a power station as experimental object, the parameters of underwater camera are calibrated by Zhang Zheng-you calibration method and MatLab toolbox, and the

parameters of the camera are used to correct the underwater side wall images. The validity of the calibration method

and the radial characteristics of underwater distortion are verified by comparing the re-projection error deviation with

the exposed aggregate pixel value deviation, which provides a basis for further accurate quantitative analysis.Key words: calibration method ； underwater photography ；distortion mechanism ；stilling basin ； hydropower junction水电枢纽发挥着发电、防洪、灌溉等众多重要 生后，需要对水电枢纽的建筑物进行周期性和及时功能，是一类重要的基础设施。长期运行或洪水发 的巡检，发现可能的隐患，保障建筑物的安全运行。收稿日期：2019-09-23;修订日期:2019-11-04基金项目：四川省科技计划资助项目(2018JZ0001,2018GZDZX0043.2019YFG0143)作者简介：李永龙(1983—)，男，在读博士研究生，高级工程师.研究方向为智能感知与控制技术；张华(1969-),男，博士，

教授，研究方向为特种机器人技术;王皓冉(1988—)，男，博士.研究方向为水利工程；齐宪荣(1965-),男，本科.

高级工程师，研究方向为水利工程;汪双(1991 — ),男，在读博士研究生.研究方向为定位导航技术。自动化与仪表2019,34(12)75检测技术与数据处理水电枢纽建筑物巡检的难点在于部分建筑物在水 面以下，而水下巡检的设备精度低、作业难度大大叭

常用的水下检测主要有芯样试验、声纳检测、水下 摄像等方法1

水电枢纽水下摄像检测方法水下摄像是一种可以对建筑物表面质量直观

判断的方法。通过观测，可清晰判断建筑物是否存 在缺陷。水下摄像可以选择搭载在潜水员或水下机 器人等不同载体上进行水下观测。文献［5］设计了

Anchor Driver 5.2检测系统，采用摄像数据进行水

下混凝土结构的检查。文献［6-7］结合水面船和水下 机器人，设计了一种图像采集水下系统。文献［8］将

融合清洗装置和图像采集系统在水下机器人上，进 行水电混凝土表面的检测。文献［9］采用自主水下航

行器进行水下结构视频检测。在获得水下摄像的基

础上，文献［10］提出了一种基于多结构和多尺度单 元的水下大坝图像裂缝边缘自适应检测算法。文献

［11］利用大坝水下二维图像的强度值生成三维空间

曲面。文献［12］提出了一种水下大坝裂缝检测与分 类的新方法。文献［13］提出了一种基于局部全局聚 类分析的大坝水下裂缝自动检测算法。然而，以上文献在分析与研究中，均忽视了水 下成像的畸变因素。由于水下特殊的使用环境，摄 像设备加装防水装置，引起水下相机的成像模型发

生了变化，现场采集的图像数据带有很大的畸变。 这些畸变对于缺陷的识别与分类，以及水下三维的

重建，都带来了不可忽略的偏差。为了研究畸变带来的偏差，在此分析了水下摄 像的畸变机理，以四川某电站消力池水下巡检的实

际数据为基础，进行标定和数据矫正的研究，并以

巡检图片中骨料的像素值为基准，对比矫正前后的

差异，得到了畸变偏差的趋势和影响程度。2

成像模型及畸变机理分析水下相机摄像的设备，常用构造如图1所示。通常

采用防水外壳将相机进行密封，放入水中后通过电源与

传输电缆给相机供电，并把图像信息传输到水面外。水下相机可使用针孔相机表征相机在空气中 的成像过程。采用的摄像机坐标系为o-xyz,世界

坐标系为图像平面坐标系为。-矽，像素

坐标系为o-u”，坐标系转换关系如图2所示。76Fig.1 Structure of underwater camera世界坐标系中的一点p（x,y,z）到像素坐标P'

（u,0）的转换，就是建立空间三维点到像素二维点之

间的联系。满足如下关系：w［u v i］=［x y z i］p （1）式中：W为放大系数;P为相机系数;R为外参数旋 转矩阵詁为平移矩阵;K为内参数矩阵。P由K.R.t

组成。当水下相机在水下工作时,光线在水下成像的过

程会经过水、防水外壳和空气等3种折射率不同的 介质而发生折射现象，其折射成像如图3所示。图中， 以点P的光路为例进行分析，代与Pa分别为光线与

防水外壳上、下表面的交点；仇为空气中的出射角；代Fig.3 Refraction imaging of underwater cameraAutomation & Instrumentation 2019,34(12)参考文献[14],设定n”为水的折射系数。P「与

的关系近似满足为综上，由于水下成像时光线受水下物体折射的

影响，水下图像比空中会产生更大的畸变。而水下 畸变更多为径向畸变，切向畸变可以忽律。3水下巡检数据采集水下摄像设备选用LBF-C50HD2型水下摄像 机(如图4所示)。该摄像机像素(水平像素Hx垂直 像素V)为1920x1080.焦距2.8 mm,耐压50 m水

深；水下补光采用5颗LED光源。图4水下摄像机Fig.4 Underwater camera在此以四川某电站为应用试点。该电站坝型为 混凝土重力坝，泄洪建筑物为消力池。采用水下摄 像设备，对消力池边墙不同区域进行拍摄采集，获

得水下混凝土表观的图像数据。对3个测试点A,

B,C的数据进行分析，如图5所示。(a)消力池A测试点(b)消力池B测试点自动化与仪表2019,34(12)检测技术与数据处理(c)消力池C测试点图5测试点水下混凝土图片Fig.5 Pictures of underwater concrete at test point4水下相机标定采用张正友平面标定的方法对水下相机的

参数进行标定。径向畸变引入高阶参数项仏与岛 来获得更好的畸变补偿效果，即u(1=it( l+klr2+k2r4+k}r6)Vd-v (,l+kir2+k2r4+k3r6')

(4)其中r2=u2+v2式中：(S,%)为畸变后的像素坐标。使用5 mm间距的棋盘标定板放入水中，将水

下相机放入水中，进行不同角度的拍摄，获得的水 下标定板图像共38张，部分图像如图6所示。2018112608461 2018112608463 2018112608465 20181126084702018112608475 2018112608481 2018112608485 20181126084902018112608500 2018112608502 2018112608503 2018112608503图6水下标定板的拍摄Fig.6 Underwater calibration plate shooting使用 MatLab 的 Camera Calibration Toolbox 导

入标定板水下图像，软件分析出棋盘的黑白方框的 角点，如图7所示。图7 MatLab水下相机标定板分析Fig.7 Analysis of calibration plate of

underwater camera based on MatLab77检测技术与数据处理使用软件相机标定后，得到的相机内参数矩阵K和径向畸变参数为'1487.4200、K=-0.0021486.850924.05523.8317k! =-0.3771，仏=0.2638,&3=-0.1120使用计算出的每张图片外参数旋转矩阵R和 平移矩阵匚可以计算出相机拍摄的位置。假设棋盘 标定板为固定，拍摄位置如图8所示。28-250、-200--150、点-100、—50、图8拍摄位置计算Fig.8 Shooting position calculation计算38张图片的重投影误差(如图9所示)，

其中，最大误差为1.32像素，平均重投影误差为

0.32像素。Fig.9 Reprojection errors5检测数据畸变矫正使用标定后的相机参数，可以对A,B,C 3个测

试点水下拍摄的图片进行校正。为方便分析校正前 后的数据，每张测试图片选取7个露骨料的区域。

A,B,C测试点的露骨料区域分别为A1—A7,B1 — B7,C1—C7。矫正后测试点图像如图10所示，其中

标注为浅色的区域为露骨料区域。78(a)A測试点(b)B测试点(c)C测试点图10矫正后测试点图像Fig.10 Undistort image of test point分别统计Al—A7,B1—B7,C1—C7露骨料区 域畸变矫正前和矫正后的像素值人,,代“并计算矫 正前后的偏差值d,其中d=(R” -P”)/P*。统计结果 见表1。表1露骨料区域像素值对比Tab.1 Pixel value contrast of aggregate area露骨料凤 编号/像素/像素P.

d/(%)露骨料 Pbe 几编号/像素/像素//(%)A146515538-16B5226722172A223592784-15B61033013366-23A367408043-16B7908312372-27A436803868-5C19658124-23A527382841-4C285288787-3A6879110079-13C3326631573A752605678-7C442694941-14B138394076-6C524492717-10B2798182-3C6832210872-23B35358-2C729394296-32B4249824701通过矫正前后的比较，相机中心位置畸变较

小；离相机中心位置越远，畸变偏差越大。通过深入研究得出结论：①张正友平面标定的

方法和MatLab I具箱对参数标定后，图像平均重Automation & Instrumentation 2019,34(12)检测技术与数据处理述投影误差为0.32像素，验证该标定方法是有效和可

derwater inspection system for dam inspection [CJ//OCEANS

2015-MTS/IEEE Washington. IEEE,2015.[7] Shimono S, Arisumi H,Kato S,et al. Evaluation of under water

行的；②通过骨料的图像像素值的偏差分布，可知 水下畸变更多为径向畸变，离相机中心位置越近，

像素偏差越小，离相机中心位置越远，像素偏差越 大；③像素值最大偏差超过30%,证实水下畸变是 水下混凝土结构表面缺陷定量分析中不可忽略的 因素。positioning by hanged ROV from USV[J].International Journal of Modeling and Optimization ,2017,7(4)： 224-230.[8] Sugimoto H, Moriya Y, Ogasawara T. Underwater survey system

of dam embankment by remotely operated vehicle [CJ//2017

IEEE Underwater Technology. IEEE ,2017.[9] Galceran E, Campos R . Palomeras N ,et al. Coverage path plan­

6结语通过分析水电枢纽水下摄像数据获取过程中 成像原理和畸变特性，并使用水下相机对四川某电 站进行消力池边墙的数据采集，获得了典型数据，

ning with real-time replanning and surface reconstruction for

inspection of three-dimensional underwater structures using au­

tonomous underwater vehicles[J].Joumal of Field Robotics, 2015,

32(7):952-983.[10] Chen C P,Wang J,Zou L,et al.Underwater dam image crack

取得了研究结论。在此研究基础上，可以进一步求

segmentation based on mathematical morpholog(J].Applied Me­

chanics and Materials, 2012,220-223:1315-1319.解图像像素值与物理尺寸的对应关系，通过水下摄 像的数据获得水下缺陷的实际尺寸，进行更加定量 化的分析。参考文献：[11 ] Chen C P,Wang J,Zou L,et al. A novel crack detection algo­

rithm of underwater (1am image[C]//2012 International Confer­

ence on Systems and Informatics, I EEE, 2012： 1825 - 1828.[12] Shi P F,Fan X N,Ni J J,et al. A detection and classification

approach for underwater dam cracks[J].Structural Health Moni-

[1] 董天奥.水下混凝土质量检测的几种方法卩].东北水利水电.

2018,36(5)31-32.toring,2016,15(5):1 - 5.[13] Fan X N,Wu J J,Shi P F,et al. A novel automatic dam crack

detection algorithm based on local-global clustering[J].Multime­

dia Tools and Applications, 2018.77 (20) ： 26851 -26599.[2] 徐云乾.袁明道，张旭辉.多波束成像声纳系统及水下机器人在

水T.建筑物水下结构检测中的应用[J].无损楡测.2018.40(6)：

58-61.[14] Menna F, Remondino F, Maas H-G.Special issue \"sensors and

techniques for 3D object modeling in underwater environments\"

[3] Shi P F,Fan X N,Ni J J,et al. A novel underwater dam

crack detection and classification approach based on sonar im- ages[J].PLoS ONE ,2017,12(6) ：e0179627.[4] 郑向荣，富天生，刘凯坤.水下混凝土表面缺陷综合检测技术分

析[J].水利建设与管理,2018,30(7):67-71.[C]//ISPRS/CIPA Workshop **Underwater 3D recording & mod-

eling\"—Experiences in Data Acquisition, Calibration, Orienta­

tion .Modelling & Accuracy Assessment.Sensors,2016.[15] Zhang Z Y. A flexible new technique for camera calibration

(Jj.IEEE Transactions on Pattern Analysis and Machine Intelli­gence ,2000,22(11):1330-1334.[5] Yang Y,Hirose S,Debenest P,et al.Development of a stable lo­

calized visual inspection sys tern for underwater structures [J].

Advanced Robotics,2016,30(21):1415-1429.[6] Shimono S, Matsubara 0, Toyama S ,et al. Development of un­

[16] 李光乐，黄文有，松•面向水下双目视觉的改进张氏标定方法及实验[J].光学学报,2014,34( 12) :219-224.

■•+-+-+- -- -+-+-+-+-+-+-+-+-+-+-+-+-+- — - — — — -+-+■ --+-+-+■ — — ■+・+_+•(上接第15页)系统设计方案。通过在硬件上选取 高性能MCU、AD转换芯片、功率驱动芯片，在软件 上采用模糊P1D智能控制算法、优化控制逻辑、降

[J]•计算机测量与控制,2013,21(4):933-935.[2] 孔祥吉，侯文，陈春喜，等.基于DSP的数字舵机控制系统[J].电

子测试,2013(13):31-32+7.低系统间通信频率的方式，实现了小型旋转导弹对 于舵控系统高动态特性的设计要求。本文的研究成 果经过静态测试、转台试验的验证，展现出了良好

[3] 李赛辉，雷金奎•基于DSP的数字舵机控制系统的设计与实现

[J].计算机测量与控制，2009,17(3)： 484-486.[4] 白淳.小型高精度电动舵机伺服控制系统设计[D].大连：大连理 工大学,2018.的动态特性，具有一定的实际应用价值。15]和江，彭舒铉，侯文.模糊神经网络PID在数字舵机控制中的应

用[J].计算机测量与控制,2016,24(10):79-81.[6]连捷，姚晓先，郭致远.旋转弹舵机控制滞后及延迟补偿时间分

参考文献：析[J].系统丁程与电子技术,2018,40(6):1318-1324.[1]王飞，杨新民，钱进生.基于DSP的反旋数字舵机控制系统设计自动化与仪表2019,34(12)79