Development of computer vision-based water pipe internal defect quantification technique

Ga On Kwon; Hui Geun Kwon; Young Hwan Choi

doi:10.3741/JKWRA.2024.57.11.835

Preview

Research Article

Journal of Korea Water Resources Association. 30 November 2024. 835-845
https://doi.org/10.3741/JKWRA.2024.57.11.835

Development of computer vision-based water pipe internal defect quantification technique

Computer vision 기반 상수관로 내부결함 정량화 기법 개발

Ga On Kwon^a

Hui Geun Kwon^b

Young Hwan Choi^c^*

권 가온^a

권 희근^b

최 영환^c^*

^aMaster Degree Student, Department of Civil and Infrastructure Engineering, Gyeongsang National University, Jinju, Korea

^bMaster Degree Student, Department of Civil and Infrastructure Engineering, Gyeongsang National University, Jinju, Korea

^cAssociate Professor, Department of Civil and Infrastructure Engineering, Gyeongsang National University, Jinju, Korea

^a경상국립대학교 건설시스템공학과 석사과정

^b경상국립대학교 건설시스템공학과 석사과정

^c경상국립대학교 건설시스템공학과 부교수

^{*Corresponding Author}

License (open-access, https://creativecommons.org/licenses/by/4.0):

©It is identical to the Creative Commons Attribution Non-commercial License (https://creativecommons.org/licenses/by/4.0)

ABSTRACT

Water distribution systems are essential social infrastructure in modern cities. Water pipelines that were intensively built in the 1980s are now aging, causing abnormalities such as vwater leaks and pipe ruptures. To prevent this in advance, direct inspection of the pipeline is used to assess the timing for rehabilitation and replacement, as outlined in the “Detailed Investigation Manual for Water Pipelines (2020).” Although direct evaluation in principle requires excavation and specimen inspection of the pipe, due to spatial and temporal constraints, CCTV inspections in the form of endoscopy are mainly utilized. However, CCTV inspections, being manual and labor- intensive evaluations, make it difficult to expect quantitative and consistent assessments. Hence, this study proposes a method for quantitatively assessing internal defects in water pipelines by using AI-based defect detection and determining the vanishing point in the depth map to measure the size and ratio of the detected defects. In addition, the technique proposed in this study was used to construct a simulated defect inside a ductile iron pipe that was replaced after being determined to be aged, and the actual values were compared with the measured values.

Keywords

Internal defect detection

Internal defect evaluation

Vanishing point

Water distribution system

상수도시스템은 현대 도시에서 필수적인 사회기반시설이다. 1980년대 집중적으로 건설된 상수도 네트워크는 현재 노후화가 진행됨에 따라 누수, 관 파단 등의 비정상사태를 유발하게 된다. 이를 미연에 방지하기 위해 관로 내부를 육안으로 점검하여 갱생 및 교체 시기를 판단하는 ｢상수관망 정밀조사 매뉴얼(2020)｣의 직접평가는 원칙적으로 관체 굴착 및 시편조사를 수행하여야 하나 공간적·시간적 제약에 의해 내시경 형태의 CCTV 조사가 주로 활용되고 있다. 하지만 CCTV 조사는 수동적인 인력기반의 평가로 정량적이고 일관적인 평가를 기대하기 어렵다. 따라서, 본 연구에서는 상수도관로의 내부결함을 정량적으로 평가하기 위해 AI기반 내부결함 탐지와 탐지한 결함의 크기를 결정하기 위한 소실점을 Depth map에서 검출하여 내부결함의 크기 및 비율을 측정하는 기법을 제안한다. 그리고 본 연구에서 제안하는 기법을 노후추정으로 판별되어 교체된 덕타일 주철관 내부에 모의결함을 구성하여 실제값과 측정값을 비교하였다.

키워드

내부결함 탐지

내부결함 평가

상수도 시스템

소실점

MAIN

1. 서 론
2. Computer vision 기반 상수관로 내부결함 정량화 기법
2.1 AI 기반 내부결함 탐지
2.2 Depth map 기반 소실점 탐지
2.3 관심영역 제어 및 기하학적 해석
3. 적용 및 결과
3.1 Computer Vision 기반 내부결함 정량화 결과
3.2 Computer Vision 기반 내부결함 교차 검증 결과
4. 결 론

1. 서 론

상수도 시스템은 인간 생활에 필수적인 용수를 공급하는 중요한 사회 기반시설이다. 1980년대 집중적으로 건설된 상수도관로는 2022년 기준 총 연장이 240,839 km에 달하며, 이 중 설치된 지 21년 이상 경과된 관이 총 연장의 36.9%를 차지하고 있다(ME, 2022). 이러한 노후된 상수도관로는 부식이나 균열과 같은 구조적 결함으로 인해 누수 및 파손 등 비정상 사태를 초래할 수 있으며, 비정상 사태를 방지하기 위해서는 관로의 현재 상태를 정확하게 파악하여 적절한 유지관리를 수행하여야 한다(Mirats Tur and Garthwaite, 2010).

현재 상수도 시스템의 급수관로에 대해서는 ｢상수관망 정밀조사 매뉴얼｣(ME, 2020)에 따라 매설 연수, 토양 부식성, 내외부 하중, 사고 이력 등을 바탕으로한 간접적인 평가가 진행되며 그 결과가 상태등급 3인 노후 추정 관로는 표본 굴착을 통해 관의 상태를 직접 확인하는 평가가 원칙적으로 이루어져야 한다. 그러나, 공간적 및 경제적 제약으로 인해 주로 CCTV, Laser scan 등 육안 검사를 사용하며, Magnetic flux leakage (MFL), Remote field eddy current (RFEC)와 같은 전자기적 방법을 활용한 비파괴 조사 장비들도 사용된다(Liu and Kleiner, 2013).

이러한 장비들이 사용되지만, Laven et al. (2008)은 특수한 센서가 특정 유형의 구조적 결함을 정확하게 탐지할 수 있다고 주장하면서도, CCTV를 이용한 육안 검사가 다양한 결함을 포괄적으로 감지하는 데 있어 더 유리하다고 보고하였다. 예를 들어 특수한 센서를 이용한 비파괴 방법인 MFL, RFEC와 같은 전자기적 방법은 강한 자석 또는 코일이 관체 벽 주위에 자기장을 유도하여 관체 벽의 두께를 측정하기 위해 사용된다. 하지만 자기장에 반응을 할 수 있는 주철관, 콘크리트관 내부의 철근을 대상으로 하므로 관로 내부에 대한 정보를 감지할 수 없다. 이러한 이유로 다른 비파괴 장비와 비교했을 때 높은 경제성과 직관적인 결과, 높은 탐지 효율성을 가진 CCTV 검사가 널리 사용되고 있다(Su and Yang, 2014; Chen et al., 2018).

그러나 CCTV를 이용한 내부 조사는 조사자의 숙련도와 작업량에 크게 의존하며, 대규모 영상 데이터를 일관되고 정량적으로 평가하는 것이 어렵다. 이를 개선하기 위해 Computer Vision 기술을 적용하여 CCTV 영상에서 결함을 자동으로 분류하고 탐지하는 기술로 발전하고 있다(Moradi et al., 2019). 특히, CCTV를 활용한 결함 탐지는 탐지장치의 특성으로 무강우 시기 하수도관로 점검 분야에서 다양하게 활용되고 있다. Yin et al. (2021)는 하수관 점검 자동화를 위한 CCTV 비디오 해석 알고리즘(VIASP)을 제안하였다. 이 알고리즘은 하수관 CCTV 비디오의 결함을 탐지하고 텍스트 형식의 점검 보고서를 생성하는 방식으로, 모의 담금질 (Kirkpatrick et al., 1983) 최적화 알고리즘을 활용하여 최적의 매개변수를 결정한다. 이를 통해 점검 과정의 일관성을 높이고, 전문가의 수작업을 줄이는 데 기여할 수 있다. 또한 SPVA 시스템은 비디오 수집에서부터 평가까지의 전체 워크플로우를 자동화하여 점검의 효율성을 극대화하는 데 중점을 두었으며, CCTV 영상을 해석을 통한 결함 탐지를 위해 실시간 결함 위치 식별을 통해 수작업의 번거로움을 줄이고, 시간과 비용을 절약하는 데 기여하는 연구 또한 수행되었다. 그리고 Rayhana et al. (2023)는 상수도관로를 대상으로 CNN과 결합된 CSA-MaskC-RCNN 알고리즘을 적용하여 파이프라인 결함을 자동으로 탐지하고 분석하는 시스템을 제시하였으며, 실험 결과는 기존 모델 대비 향상된 정확도와 효율성을 보여준다.

하지만 기존 연구들은 결함의 종류를 분류하고 탐지하는 데 주력하고 있어, 결함의 크기나 수준을 정량적으로 평가하는 데는 한계가 있다. 따라서 본 연구에서는 CCTV로 조사한 상수관로 내부 영상을 바탕으로 AI 기반 Instance Segmentation과 Mono Depth Estimation 모델을 활용하여 내부결함의 크기 및 비율을 정량적으로 평가하는 기법을 제안한다.

2. Computer vision 기반 상수관로 내부결함 정량화 기법

본 연구에서 제안하는 Computer vision 기반 상수관로 내부결함 정량화 기법은 두 가지의 Computer vision Task를 수행하며 전체적인 흐름도는 Fig. 1과 같이 AI 기반의 내부결함 탐지와 Depth map기반의 소실점 탐지로 출력되는 총 4개의 Output을 통해 스케일의 면적비, 최대높이와 박리의 면적을 측정한다. Computer vision 기반 상수관로 내부결함 정량화 기법의 첫 번째 Task인 AI 기반의 내부결함 탐지는 내시경 카메라로부터 취득된 데이터에서 결함의 자동 분류와 픽셀 단위 분할을 수행하며 다음으로 두 번째 Task인 Depth map 기반 소실점 탐지는 Depth map에서의 소실점 좌표와 그로부터 복구된 관로 내 단면을 출력하며 최종적으로 내부결함의 종류, 내부결함의 픽셀 분할 정보, 소실점 좌표, 복구된 관로 내 단면, 총 4개의 출력값을 통해 관심영역 제어와 기하학적인 해석을 수행하여 내부결함의 크기를 측정하게 된다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F1.jpg

Fig. 1.

Flowchart of a computer vision-based water pipe internal defect quantification technique

2.1 AI 기반 내부결함 탐지

본 연구에서 상수관로 내부결함의 경우 ｢상수관망 정밀조사 매뉴얼｣의 “관체 절단이 불가한 경우 부단수 내시경 또는 CCTV를 활용한 조사항목”에 따라 내부결절(Scale), 도장재 박리(Paint polling), 균열(Crack)을 선정하였으며 내부결함의 형태는 Scale의 경우 관 내벽에서 부피를 가지는 형태는 내부결절로 분류하였으며 Paint polling은 내부 라이닝의 박탈, 또는 관체 벽면에 높이가 없이 붙어있는 형태를 박리로 분류하였다. 그리고 Crack은 관 내벽에서 갈라져 터지는 형태는 균열로 내부결함의 특징으로 분류하였으며 실제 부단수 내시진단 영상 총 727장을 라벨링 툴(Labelme)을 이용하여 각 결함의 특성에 맞게 AI모델에 학습할 수 있는 폴리곤 형태로 주석처리를 하였다. 그리고 상수관로 내부결함을 탐지할 AI 모델로는 YOLO (You Only Look Once)를 활용하였다.

YOLO (Redmon et al., 2016)는 R-CNN (Girshick et al., 2014), Fast R-CNN (Girshick, 2015), Faster R-CNN (Ren et al., 2016)과 같은 2-stage-detection모델과 달리 영역제안과 분류가 동시에 이루어지는 1-stage-detection모델로 정확도(AP)는 상대적으로 낮지만 처리속도(FPS)가 빨라 실시간 탐지에 적합하다는 장점이 있다. 그 중 YOLOv8은 Ultralytics에서 2023년 1월에 출시된 YOLO을 개선한 버전으로 매개변수에 따라 Nano, Small, Medium, Large, Extra-large 총 5가지의 확장된 버전이 존재하며 픽셀 단위로 분할이 가능한 Instance Segmentation을 지원한다(Terven et al., 2023). 각 버전별로 COCO데이터세트의 벤치마크 결과는 Table 1과 같으며(Ultralytics, 2023) 본 연구에서는 중간 사이즈인 Medium으로 결함의 특징별로 폴리곤 형태로 주석처리한 데이터를 훈련하였다. 여기서 COCO데이터세트는 객체 탐지, 분할 등의 주석이 달린 330,000장의 이미지로 자동차, 동물과 같은 일반적인 객체와 핸드백, 스포츠 장비와 같은 특정 물건까지 총 80개의 Class로 구분되어 있어 AI모델들의 수준을 평가하기 위한 벤치마크에 널리 사용된다.

Table 1.

COCO dataset benchmark results for versions of YOLOv8 (Ultralytics, 2023)

Model (Segment)	mAP^box^50-95	mAP^mask^50-95	Speed A100 TensorRT (ms)	Params (M)
Nano	36.7	30.5	1.21	3.4
Small	44.6	36.8	1.47	11.8
Medium	49.9	40.8	2.18	27.3
Large	52.3	42.6	2.79	46.0
Extra-large	53.4	43.4	4.02	71.8

2.2 Depth map 기반 소실점 탐지

2.1절의 AI 기반 내부결함 탐지에서 YOLOv8 모델이 탐지한 픽셀수준의 내부결함의 크기를 측정하기 위한 소실점은 단안 카메라에서 얻은 이미지에서 상대적인 깊이를 예측하는 Computer vision Task 중 하나인 Mono Depth Estimation AI model인 Dinov2(Oquab et al., 2023)의 사전 학습된 ViT-g/14 Backbone을 사용하였다. Dinov2 모델이 추정한 Depth map에서 Fig. 2와 같이 관로 내 단면을 검출하기 위해 이진화 방법, Canny edge (Canny, 1983), Hough circle method (Bradski and Kaehler, 2008)를 사용하였으며 여기서 관로 내 단면이란 관로 중심선을 법선벡터로하는 평면에 의해 잘려진 단면을 뜻한다. 관로 내부를 촬영한 이미지 또한 도로나 인공 구조물에서 두 직선의 교차점으로 소실점을 계산하듯이 Fig. 3과 같이 두 개의 관로 내 단면(C₁, C₂)을 Eq. (3)에 의해 기하학적인 방법으로 소실점의 위치를 결정할 수 있으나 관로 내 단면의 검출은 이진화 방법의 이진화 임계값의 지정이 필요하다. 따라서 자동으로 소실점을 검출하기 위해서 소실점 좌표에 대한 비모수 추정 방법인 KDE (Kernel Density Estimation)을 사용하여 자동으로 소실점을 검출하는 방법을 사용하였다.

(1)

d r_{\max} = \{\begin{cases} R_{1} + \bar{O_{1} O_{2}} - R_{2} (R_{2} > \bar{O_{1} O_{2}}) \\ R_{1} - \bar{O_{1} O_{2}} + R_{2} (R_{2} \leq \bar{O_{1} O_{2}}) \end{cases}

(2)

d r_{\min} = R_{1} - \bar{O_{1} O_{2}} - R_{2}

(3)

L = \frac{d r_{\max}}{d r_{\max} + d r_{\min}} \times 2 \times R_{1}

여기서, $R_{1}$ 은 $C_{1}$ 의 반지름, $R_{2}$ 는 $C_{2}$ 의 반지름, $\bar{O_{1} O_{2}}$ 는 $C_{1}$ 과 $C_{2}$ 의 중심좌표간 거리이며 $R_{1} > R_{2}$ , $L$ 은 $C_{1}$ 의 중심에서부터 소실점까지의 거리이다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F2.jpg

Fig. 2.

Detection method of cross section in pipe

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F3.jpg

Fig. 3.

Coordinates of the vanishing point using two circles

제안하는 자동 소실점 탐지 방법은 먼저 Fig. 4의 1)과 같이 8 bit (0~255)범위의 Depth map의 픽셀값에 대하여 내시경 카메라 헤드의 조명이 닿지 않는 Depth 한계값과 255의 픽셀값에서 일정 간격으로 모든 관로 내 단면을 검출한다. 내시경 카메라는 광원으로부터 거리가 멀어질수록 조명 효과가 사라져 중심 영역이 항상 주변 영역보다 어둡게 나타나는 문제(Yang and Su, 2009)로 인하여, 중심의 어두운 영역은 Depth Estimation을 수행할 수 있는 정보를 충분하게 제공하지 못한다. 특히 낮은 Depth value에서 오탐지된 관로 내 단면은 255에 가까운 큰 Depth value에서 탐지된 관로 내 단면 내부에 포함될 확률이 높으므로 Depth 한계값의 설정은 소실점의 교란을 방지할 수 있다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F4.jpg

Fig. 4.

Automatic vanishing point detection method

이후 Fig. 2의 2)와 같이 Eq. (3)에 의해 모든 관로 내 단면에서 두 개의 관로 내 단면을 선택하는 조합의 소실점 좌표를 계산하며 이 중 가장 적합한 두 개의 관로 내 단면을 선택하기 위해 소실점 좌표에 대한 KDE를 사용하였다. 앞서 설정한 Depth 한계값으로 소실점의 교란을 방지하여도 KDE의 최대 확률인 Peak에서 소실점 좌표와 가장 가까운 소실점 좌표를 그대로 선택할 경우 가장 적합한 두 개의 관로 내 단면이 항상 선택되지 않을 수도 있다. 따라서 본 연구에서는 Peak를 기준으로 좌우 확률 밀도 구역을 선택하여 소실점을 먼저 필터링하였으며 소실점 좌표에 대해서 각 조합의 관로 내 단면의 기여도를 중복된 횟수로 카운트하여 가장 많은 관로 내 단면이 카운트된 하나의 조합을 선택하여 소실점을 결정하며 최종적으로 4)와 같이 소실점 좌표와 Eq. (3)에서 R₁이 1 pixel씩 증가하는 모든 관로 내 단면의 집합(빨간색 원; 반지름 간격 60 pixel)을 출력한다.

2.3 관심영역 제어 및 기하학적 해석

앞서 설명한 2.1절의 AI 기반 내부결함 탐지 기법의 출력값인 결함의 Class name, 0과 1로만 이루어진 이진 이미지와 2.2절의 Depth map 기반 소실점 탐지 기법의 출력값인 소실점 좌표와 관로 내 단면을 시각화 하면 Fig. 5와 같다. 본 연구에서는 이진 이미지의 결함 좌표와 소실점 좌표 및 관로 내 단면을 이용하여 내부결함의 관심영역을 제어하고 투영기하학을 이용한 해석을 수행하여 내부결함의 크기 및 비율을 정량적으로 평가하는 기법을 제안한다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F5.jpg

Fig. 5.

Computer vision-based output values

먼저 AI기반 내부결함 탐지 기법에서 탐지된 내부결함의 Class name이 Scale의 경우 관심영역의 제어방법은 Eq. (4)와 같이 Scale이 모두 포함되며 최소의 반지름을 가지는 관로 내 단면 중 하나를 선택하며 Scale의 면적비는 Eq. (5)와 같이 관심영역과 스케일의 픽셀 면적비로 산정된다. 만약 관심영역의 픽셀이 원본 이미지에 포함되지 않는다면 Zero padding을 거쳐 완벽한 원으로 복구하여 산정하여 면적비의 과대 또는 과소한 판정을 방지한다. 그리고 Scale의 최대높이는 관심영역의 중심에서 Scale의 픽셀까지 최단거리를 통해 Eq. (6)와 같이 실제 단위로 환산된다.

(4)

\begin{aligned} Circle = & min_{(x_{c}, y_{c}, r_{c}) \in C} r_{c} s.t. max_{(x_{c}, y_{c}, r_{c}) \in C} \\ \sum_{e = 1}^{n (E)} [{(x_{e} - x_{c})}^{2} + {(y_{e} - y_{c})}^{2} < r_{c}^{2}] \end{aligned}

(5)

A r e a r a t i o = \frac{\sum_{x = 0}^{W} \sum_{y = 0}^{H} (I m a g e_{D e f e c t} [x, y])}{\sum_{x = 0}^{W} \sum_{y = 0}^{H} (I m a g e_{i n t e r e s t} [x, y])}

(6)

M a x i m u m h e i g h t = D ∙ \frac{R_{i n t e r e s t} - L_{\min}}{R_{i n t e r e s t}}

여기서 $C$ 는 관로 내 단면의 집합, $E$ 는 결함 픽셀의 집합, $P i x_{i n t e r e s t}$ 는 관심영역의 픽셀개수, $P i x_{D e f e c t}$ 는 결함의 픽셀개수, $W$ 와 $H$ 는 이미지의 폭과 높이, $D$ 는 관체 직경(mm), $R_{i n t e r e s t}$ 는 관심영역으로 제어된 원의 반지름(pixel), $L_{m i n}$ 은 관심영역으로 제어된 원의 중심에서 결함의 픽셀까지의 최단거리(pixel)이다.

다음으로 박리의 경우 관심영역은 결함이 모두 포함될 수 있는 최소한의 면적을 가진 격자로 제어되며 먼저 Eq. (7)와 같이 결함을 포함하지 않는 가장 큰 반지름의 단면과 결함을 포함하며 가장 작은 반지름으로 두 개의 단면을 제어한다. 이후 Eq. (8)를 이용하여 소실점으로부터 결함을 잇는 직선 중 기울기가 최대, 최소인 직선을 통해 최종적으로 Fig. 6의 (a)처럼 실세계에서 격자의 형태를 가진 영역이 (b)와 같이 투영된 이미지 내의 관심영역으로 지정된다. 이후 지정된 관심영역의 길이, 폭은 중심투영의 원리에 의해 기하학적인 방법으로 계산하게 되며 길이는 Eq. (9)와 같이 카메라 캘리브레이션으로 얻어진 초점거리와 실제 관로의 내경으로 구하며 폭은 Eq. (10)와 같이 관심영역으로 지정된 두 직선과 관로 내 단면의 교차점의 끼인각을 통해 원호로 계산된다. 이후 박리의 면적을 측정하기 위해 Fig. 7에서 이진 이미지에서 박리의 픽셀면적(b)과 관심영역의 픽셀 면적(a)의 비율을 구한 뒤 앞서 구한 관심영역의 실제 폭, 길이를 곱하여 실제 면적으로 환산되며 스케일과 동일하게 관심영역이 이미지 전체에 포함되지 않는 경우 Zero padding을 거쳐 면적의 과대, 과소 산정을 방지한다.

(7)

Circles = \{\begin{cases} min_{(x_{c} y_{c} r_{c}) \in C} r_{c} \\ s.t. max_{(x_{c} y_{c} r_{c}) \in C} \sum_{e = 1}^{n (E)} [{(x_{e} - x_{c})}^{2} + {(y_{e} - y_{c})}^{2} < r_{c}^{2}] \\ max_{(x_{c} y_{c} r_{c}) \in C} r_{c} \\ s.t . max_{(x_{c} y_{c} r_{c}) \in C} \sum_{e = 1}^{n (E)} [{(x_{e} - x_{c})}^{2} + {(y_{e} - y_{c})}^{2} > r_{c}^{2}] \end{cases}

(8)

Parallel lines = \{\begin{cases} max_{(x_{e}, y_{e}) \in E} (\frac{y_{v} - y_{e}}{x_{v} - x_{e}}) \\ min_{(x_{e}, y_{e}) \in E} (\frac{y_{v} - y_{e}}{x_{v} - x_{e}}) \end{cases}

(9)

∆ L = D ∙ f (\frac{1}{D_{1}} - \frac{1}{D_{2}})

(10)

W i d t h = \frac{D ∙ θ}{2}

(11)

A r e a = \frac{\sum_{x = 0}^{W} \sum_{y = 0}^{H} (i m a g e_{D e f e c t} [x, y])}{\sum_{x = 0}^{W} \sum_{y = 0}^{H} (i m a g e_{i n t e r e s t} [x, y])} ∙ ∆ L ∙ W i d t h

여기서, $C$ 는 관로 내 단면의 집합, $E$ 는 결함 픽셀의 집합, $x_{v}$ 는 소실점의 x좌표, $y_{v}$ 는 소실점의 y좌표, 는 관체 직경(mm), $f$ 는 카메라의 초점거리, $D_{1}$ 과 $D_{2}$ 는 $C i r c l e s$ 에서 제어된 원의 지름이며 $D_{1} < D_{2}$ , $W$ 와 $H$ 는 이미지의 폭과 높이, $I m a g e_{D e f e c t}$ 는 결함의 이진 이미지, $I m a g e_{i n t e r e s t}$ 는 관심영역의 이진 이미지이다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F6.jpg

Fig. 6.

Regions of interest in real world and image planes

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F7.jpg

Fig. 7.

Binary images of regions of interest and defects

3. 적용 및 결과

3.1 Computer Vision 기반 내부결함 정량화 결과

본 연구에서는 제안한 AI 기반 내부결함 탐지 기법과 Depth map 기반 소실점 탐지 기법을 결합하여 내부결함을 자동으로 분류하고 이를 측정하였다. Depth map 기반 소실점 탐지의 3가지 매개변수인 Depth 한계값(10, 20, 40, 80), 관로 내 단면 검출 간격(1, 2, 4, 8, 16), KDE 확률 밀도값(5, 10, 15, 20, 25, 30, 35, 40, 45)에서 가장 높은 소실점 탐지 성능을 보인 Depth 한계값(80), 관로 내 단면 검출 간격(4), KDE 확률 밀도값(35)로 설정하였으며 실제값과의 검증을 위해 3D 프린팅 기술을 활용하였다. Computer Vision 기반 내부결함 측정의 검증은 내부 직경 88.6mm의 주철관에 내시경 카메라는 1280×720의 HD해상도의 초점거리 약 934.9 pixel의 장비로 촬영하였으며 검증을 위한 3D 모형은 Fig. 8와 같이 (a)정형화 스케일은 면적비 2.87% 최대 높이 15 mm의 구와 (b)비정형화 스케일은 면적비 7.4% 최대 높이 21.9 mm의 스케일 모형을 구성하였으며 (c)박리는 면적 1763.16 mm²의 평면을 3D 프린팅 하여 부착이 가능한 라벨용지로 모의 결함을 구성하였다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F8.jpg

Fig. 8.

Simulated defect configuration and internal defect and vanishing point detection results

먼저 스케일의 측정결과 Table 2와 같이 정형화된 스케일의 경우 면적비는 90.58%, 최대 높이는 97.41%의 정확도로 측정되었으며 비정형화된 스케일은 면적비 75.26%, 최대 높이는 92.80%로 측정되었다. 그리고 관체 벽면에 붙어있는 형태의 박리는 정확도 92.99%로 실제 면적이 측정되었다.

Table 2.

Internal defect measurement results

Case name	(a)		(b)	(c)
Class name	Canonical scale		Non-canonical scale	Paint Polling
Defect Number	1	2	1	1
Defect Area (pixel)	6728	2528	11594
Section Area (pixel)	262339	96207	125627
Maximum height ratio	0.3225638	0.3370976	0.529961
$D_{1}$ (pixel)				273
$D_{2}$ (pixel)				155
𝜃(rad)				1.015
Interest Area (pixel)				18084
Defect Area (pixel)				27488
Area ratio	2.56% (89.48%)^*	2.63% (91.68%)^*	9.23% (75.26%)^*
Maximum height (mm)	14.29 (95.26%)^*	14.93 (99.56%)^*	23.48 (92.80%)^*
Length (mm)				58.45 (83.10%)^*
Width (mm)				42.64 (85.28%)^*
Area (mm²)				1639.56 (92.99%)^*
Actual Area ratio	2.87%		7.40%
Actual Maximum height (mm)	15		21.9
Actual Length (mm)				50
Actual Width (mm)				50
Actual Area (mm²)				1763.16

^*: Accuracy of measurements

3.2 Computer Vision 기반 내부결함 교차 검증 결과

앞선 Computer Vision 기반 상수관로 내부결함 정량화 기법의 검증을 위해 사용한 모의 결함 중 비정형화된 스케일의 면적비의 정확도가 가장 낮은 75.26%로 측정되었으며 이는 검증을 위해 사용한 면적인 통수단면에 영향을 주는 정사면적은 카메라 시점에 따라 정사면적이 달라지는 비정형화된 스케일의 특성에 따라 정확도의 차이가 있는 것으로 보여진다. 따라서 카메라 시점에 따른 비정형화된 스케일의 면적비의 차이를 분석하기 위해 폭과 길이가 부착방향과 관계없는 원형 Reference marker와 정형화된 스케일, 비정형화된 스케일 간의 교차 검증을 Fig. 9와 같이 (a)비정형화된 스케일 & Reference marker, (b)정형화된 스케일 & Reference marker, (c)비정형화된 스케일 & 정형화된 스케일로 복수개의 결함이 영상에 모두 포함되도록 구성하여 하나의 소실점에 대하여 동일한 방법으로 측정을 수행하였다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F9.jpg

Fig. 9.

Results of region of interest control for cross validation

교차 검증 결과 Table 3에서 Reference marker와 정형화된 스케일의 경우 평균 정확도 97.97%로 측정되었으나 비정형화된 스케일의 경우 75.79%로 상대적으로 낮은 결과를 보였다. 이는 Fig. 10(a)와 같이 정형화된 모의 결함은 카메라의 시점에 따라 변하지 않는 면적과 최대 높이를 가지는 반면, (b)의 비정형화된 모의 결함은 카메라의 시점에 따라 최대높이, 면적비가 달라진다. 따라서 Table 3의 Accuracy (%)항목의 파란색은 정답으로 설정한 관로 진행 방향의 면적비와 최대높이가 카메라 시점에 따라 바뀌지 않는 반면 빨간색은 카메라의 시점에 따라 면적비, 최대높이가 바뀌므로 상대적으로 낮은 정확도가 측정된다.

Table 3.

Cross validation results

			Measures	Actual	Accuracy (%)
(a)	Non-canonical	Area ratio (%)	5.12	7.4	69.24
	Non-canonical	Maximum height (mm)	18.6	21.9	84.92
	Reference marker (canonical)	Length (mm)	19.25	19.23	99.91
		Width (mm)	18.95	19.23	98.57
		Area (mm²)	282.38	290.43	97.22
(b)	canonical	Area ratio (%)	2.9	2.87	98.94
	canonical	Maximum height (mm)	14.9	15	99.32
	Reference marker (canonical)	Length (mm)	18.85	19.23	98.02
		Width (mm)	18.63	19.23	96.86
		Area (mm²)	276.5	290.43	95.21
(c)	Non-canonical	Area ratio (%)	9.49	7.4	71.78
	Non-canonical	Maximum height (mm)	26.89	21.9	77.2
	canonical	Area ratio (%)	2.97	2.87	96.45
	canonical	Maximum height (mm)	15.13	15	99.15

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F10.jpg

Fig. 10.

Area ratio according to camera viewpoint in canonical and non-canonical scales

4. 결 론

본 연구에서는 총 두가지의 Computer vision task인 이미지 평면에서 결함의 픽셀단위 탐지 및 분할을 수행하는 AI기반 내부결함 탐지와 Depth map기반 소실점 탐지 두가지를 결합하여 자동으로 내부결함의 크기 및 비율을 정량적으로 평가하였으며 이를 3D 모델링 기법을 활용하여 실제값과 측정값의 정확도를 비교 검증하였다. 또한 본 연구에서 수행한 YOLOv8 Medium의 학습된 모델과 학습데이터는 경상국립대학교 건설시스템공학과 수환경연구실의 GitHub repository에서 확인할 수 있다(https://github.com/GNU-HydrosystemLAB/Defect-Detection-YOLOv8).

비교 검증 결과 정형화된 스케일과 관체 벽면에 붙어있는 형태의 박리, Reference marker의 정확도는 평균 96.57%로 성공적으로 측정할 수 있었다. 하지만 카메라 시점에 따른 면적비의 변화가 있는 비정형화된 스케일의 경우 평균 정확도 75.79%로 나타났으며 이는 촬영된 카메라 시점 기준 면적비와 통수단면에 영향을 미치는 면적비의 차이로 비정형화된 스케일의 평균 정확도가 낮게 나온 것으로 볼 수 있다. 또한 Fig. 11와 같이 교차 검증에 사용한 Reference marker를 매핑 변환한 결과가 본래의 원형 모양을 보이며 이는 Depth map 기반 소실점 탐지의 높은 정확도와 신뢰도로 각 픽셀의 3차원 정보를 결정했다고 볼 수 있다.

향후 상수관로 내부진단 조사자의 의사결정 및 Data 관리, 디지털 트윈 기술에 활용할 수 있는 내부결함 매핑(지도제작)기술과 비정형화된 스케일의 측정 정확도를 높이기 위해 카메라 시점과 비정형화된 스케일의 상대적인 위치 추정 기술을 통해 통수단면적에 영향을 미치는 면적비로 보정하는 연구가 수행되어야 한다.

https://cdn.apub.kr/journalsite/sites/kwra/2024-057-11/N0200571103/images/kwra_57_11_03_F11.jpg

Fig. 11.

Mapping conversion of reference marker

Acknowledgements

본 연구는 중소벤처기업부의 기술개발사업 [RS-2024-00426703]의 지원에 의한 연구입니다. 이에 감사드립니다.

Conflicts of Interest

The authors declare no conflict of interest.

References

Bradski, G., and Kaehler, A. (2008). Learning OpenCV: Computer vision with the OpenCV library. O'Reilly Media, Inc., Sebastopol, Sonoma County, CA, U.S.

Canny, J.F. (1983). Finding edges and lines in images, Tech. Report, 720, MIT Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Boston, MA, U.S., pp. 70-85.

Chen, K., Hu, H., Chen, C., Chen, L., and He, C. (2018). "An intelligent sewer defect detection method based on convolutional neural network." In 2018 IEEE International Conference on Information and Automation (ICIA), IEEE, Wuyi Mountain, Fujian, China, pp. 1301-1306.

10.1109/ICInfA.2018.8812445

Girshick, R. (2015). "Fast r-cnn." In Proceedings of the IEEE International Conference on Computer Vision, Cambridge, MA, U.S., pp. 1440-1448.

10.1109/ICCV.2015.169

Girshick, R., Donahue, J., Darrell, T., and Malik, J. (2014). "Rich feature hierarchies for accurate object detection and semantic segmentation." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, U.S., pp. 580-587.

10.1109/CVPR.2014.81

Kirkpatrick, S., Gelatt Jr, C.D., and Vecchi, M.P. (1983). "Optimization by simulated annealing." Science, Vol. 220, No. 4598, pp. 671-680.

10.1126/science.220.4598.67117813860

Laven, K., Jones, C., Larsen, M., and Payton, R. (2008). "Inline CCTV inspections of in-service pressurized water mains." in Pipelines 2008, American Society of Civil Engineers, Reston, VA, U.S., pp. 1-10.

10.1061/40994(321)108

Liu, Z., and Kleiner, Y. (2013). "State of the art review of inspection technologies for condition assessment of water pipes." Measurement, Vol. 46, No. 1, pp. 1-15.

10.1016/j.measurement.2012.05.032

Ministry of Environment (ME) (2020). Detailed investigation manual for water pipelines.

Ministry of Environment (ME) (2022). Water supply statistics.

Mirats Tur, J.M., and Garthwaite, W. (2010). "Robotic devices for water main in‐pipe inspection: A survey." Journal of Field Robotics, Vol. 27, No. 4, pp. 491-508.

10.1002/rob.20347

Moradi, S., Zayed, T., and Golkhoo, F. (2019). "Review on computer aided sewer pipeline defect detection and condition assessment." Infrastructures, Vol. 4, No. 1, p. 10.

10.3390/infrastructures4010010

Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., Fernandez, P., Haziza, D., Massa, F., El-Nouby, A., et al. (2023). "Dinov2: Learning robust visual features without supervision." arXiv preprint arXiv:2304.07193.

Rayhana, R., Yun, H., Liu, Z., and Kong, X. (2023). "Automated defect-detection system for water pipelines based on CCTV inspection videos of autonomous robotic platforms." IEEE/ASME Transactions on Mechatronics, Vol. 29, No. 3, pp. 2021-2031.

10.1109/TMECH.2023.3307594

Redmon, J., Divvala, S., Girshick, R., and Farhadi, A. (2016). "You only look once: Unified, real-time object detection." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, U.S., pp. 779-788.

10.1109/CVPR.2016.91

Ren, S., He, K., Girshick, R., and Sun, J. (2016). "Faster R-CNN: Towards real-time object detection with region proposal networks." IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 6, pp. 1137-1149.

10.1109/TPAMI.2016.257703127295650

Su, T.C., and Yang, M.D. (2014). "Application of morphological segmentation to leaking defect detection in sewer pipelines." Sensors, Vol. 14, No. 5, pp. 8686-8704.

10.3390/s14050868624841247PMC4063020

Terven, J., Córdova-Esparza, D.M., and Romero-González, J.A. (2023). "A comprehensive review of yolo architectures in computer vision: From yolov1 to yolov8 and yolo-nas." Machine Learning and Knowledge Extraction, Vol. 5, No. 4, pp. 1680-1716.

10.3390/make5040083

Ultralytics (2023). YOLOv8, accessed 7 November 2024, <https://docs.ultralytics.com/ko/models/yolov8/>

Yang, M.D., and Su, T.C. (2009). "Segmenting ideal morphologies of sewer pipe defects on CCTV images for automated diagnosis." Expert Systems with Applications, Vol. 36, No. 2, pp. 3562-3573.

10.1016/j.eswa.2008.02.006

Yin, X., Ma, T., Bouferguene, A., and Al-Hussein, M. (2021). "Automation for sewer pipe assessment: CCTV video interpretation algorithm and sewer pipe video assessment (SPVA) system development." Automation in Construction, Vol. 125, 103622.

10.1016/j.autcon.2021.103622

Journal of Korea Water Resources Association ISSN:2799-8746(Print) 2799-8754(Online) 한국수자원학회 논문집

Preview

Development of computer vision-based water pipe internal defect quantification technique

ABSTRACT

MAIN

Fig. 1.

Flowchart of a computer vision-based water pipe internal defect quantification technique

Table 1.

COCO dataset benchmark results for versions of YOLOv8 (Ultralytics, 2023)

(1)

(2)

(3)

Fig. 2.

Detection method of cross section in pipe

Fig. 3.

Coordinates of the vanishing point using two circles

Fig. 4.

Automatic vanishing point detection method

Fig. 5.

Computer vision-based output values

(4)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

Fig. 6.

Regions of interest in real world and image planes

Fig. 7.

Binary images of regions of interest and defects

Fig. 8.

Simulated defect configuration and internal defect and vanishing point detection results

Table 2.

Internal defect measurement results

Fig. 9.

Results of region of interest control for cross validation

Table 3.

Cross validation results

Fig. 10.

Area ratio according to camera viewpoint in canonical and non-canonical scales

Fig. 11.

Mapping conversion of reference marker

Acknowledgements

Conflicts of Interest

References