1. 서 론
2. 연구 자료
2.1 실험 장소
2.2 실험 설계
3. 연구 방법
3.1 CCTV 강우 영상 데이터 전처리
3.2 CNN 기반 강우강도 산정모델 구축
4. 합성곱 신경망 모델 적용을 통한 DB 적정성 평가
5. 결 론
1. 서 론
최근 IoT 센서를 활용한 수문기상 정보 관련 연구가 진행되고 있다. 이는 물순환 시스템 전반에 걸친 모니터링 및 자동화 분야에서 중요한 응용 분야 중 하나로 대두되고 있다. 실시간 강우 모니터링을 위한 GPRS (General Pocket Radio Service)를 활용한 무선센서네트워크 구축 방법(Amale and Patil, 2019), IoT 하드웨어와 Gecko 플랫폼을 결합한 머신러닝 기반 홍수 모니터링 시스템(Rani et al., 2020), 효과적인 산사태 조기 경보 시스템(Landslide Early Warning System, LEWS)의 구현 목적으로 기울기 센서와 토양 수분 센서를 활용한 미세전자기계시스템(Micro Electro Mechanical System, MEMS) 기반 active slope 모니터링 IoT 기반 네트워크(Abraham et al., 2020), 실시간 수질 모니터링을 목적으로 한 클라우드와 딥러닝을 활용한 NodeMCU 및 수질 모니터링 시스템(Ajith et al., 2020), 단/장거리 공간적 특성 반영을 위한 IoT 기반 데이터 복합 플랫폼을 통한 강우 모니터링 방법(Santos et al., 2020), 농작물 피해 방지를 위한 IoT 센서 기반 강우 모니터링 시스템(Singh et al., 2022), IoT 센서에서 수집된 구름 이미지에 대한 합성곱 신경망(Convolutional Neural Networks, CNNs) 기반 강수량 예측(Byun et al., 2023)등이 대표적인 사례이다.
한편 IoT 장비 중 하나인 CCTV는 도심지역 내 상당수 분포해있으며, 고정된 상태로 취득되는 데이터의 특성상 매우 직관적이고 높은 활용 가능성을 보인다(Guo et al., 2017). 컴퓨터비전 및 딥러닝 기술의 발전에 발맞추어 CCTV 영상을 활용한 연구가 더욱 발전되었으나, 초기 CCTV 영상과 강수 산정에 관한 연구는 데이터 내 빗줄기에 대한 분리 및 제거를 위한 목적으로 진행되었다. 비디오에서 빗줄기에 대한 분리 및 제거가 최초로 이루어진 이후로(Garg and Nayar, 2004), 빗줄기 분리 모델(De-Rain Model)의 고도화 연구들이 진행되어왔다. 빗줄기는 영상을 활용한 의사결정 시스템이나 실환경 모니터링을 위한 시스템 구축, 객체 탐지 등에 있어 방해 요소가 된다는 점에서(Fu et al., 2017; Liu et al., 2019), 다양한 알고리즘 및 처리 구조를 통하여 빗줄기 층에 대한 제거를 진행해왔다(Li et al., 2018a). 근래에는 머신러닝 알고리즘 중 하나인 생산적 적대 신경망(Generative Adversarial Network, GAN)을 활용하여 연속된 이미지를 얻을 수 없거나 이미지 데이터가 제한적인 실제 환경에서 효율적으로 빗줄기를 제거하는 방안이 제안되고 있다(Zhu et al., 2019; Han and Xiang, 2020; Wei et al., 2021).
이와 같이 빗줄기의 제거 혹은 빗줄기 이미지를 활용한 강우 산정에 있어서, 대부분 합성된 강우 이미지 데이터셋(Synthetic Rain Datasets, SRD)을 기반으로 연구가 이루어져 왔다. Yang et al. (2017)은 한 장의 이미지를 기반으로 빗줄기를 분리하는 방법을 연구하였다. 합성곱 신경망을 기반으로 강우 이미지를 감지 및 제거하고, 순환적 모델을 통하여 분류가 어려운 강우 이미지에 대한 대안을 마련하였다. Zhang and Patel (2018)은 강우 이미지 활용에 있어 문제가 되는 이미지 내의 불균일한 분포에 대한 해결을 위하여 multi-stream dense network를 활용하였으며 강우량 레이블값이 존재하는 자체적인 데이터셋을 구성하여 모델의 학습을 진행하였다. Tu et al. (2022)는 다중퍼셉트론(multi-layer perceptron, MLP)을 기반으로 하는 UNet 형태의 계층구조를 구성하여 모델 내에서 멀리 위치한 블록들 간의 연결을 효율적으로 처리하여 원본 이미지에서 빗줄기를 제거하였다. Zamir et al. (2022)는 encoder-decoder transformer 모델을 기반으로 높은 해상도의 이미지 정보를 학습할 수 있도록 하였으며, multi-head attention과 feed-forward network를 활용하여 이미지 해석에 있어 정보 손실을 최소화하고자 하였다.
수문학적 관점에서는 빗줄기 이미지를 단순 제거하는 방향과 다르게 강수 현상에 대한 감지 및 정량화를 시도하려는 연구들이 진행되어왔다. 먼저 CCTV 영상 기반 강수 현상 감지에 관한 연구의 경우, Hakim and Dewi (2021)은 CCTV 영상 기반 합성곱 신경망을 통한 실시간 강우 유무 감지 모델에 관한 연구를 진행하였으며, Notarangelo et al. (2021)은 전이 학습(Transfer Learning)을 통하여 하나의 CCTV 이미지를 대상으로 강우 유무에 대해 감지하는 모델을 구축하였다. Abdelraouf et al. (2022)는 도로 교통 카메라 데이터를 기반으로 Vision Transformer와 Self Attention 모델을 활용하여 강우 상태와 도로 상태를 분류하였다. 또한, CCTV 영상 기반 강수 현상 정량화에 관한 연구의 경우, Li et al. (2018b)는 Temporal Segment Network (TSN)를 기반으로 하여 CCTV 영상에 대한 강우강도별 분류에 관한 연구를 진행하였으며, Jiang et al. (2019)는 CCTV에서 촬영된 영상을 기반으로 추출된 빗줄기 이미지를 기반으로 기하 광학적인 특성을 통하여 빗방울 크기와 분포를 추정하여 강우강도를 산정하였다. 유사한 연구로 Lee et al. (2023)은 CCTV의 야간 모드로 촬영된 강우 이미지를 이용하여 빗방울 분포 및 강우강도를 산정하여 우적계로 관측된 자료와 비교하기도 하였다. Zen et al. (2019)는 강우 추정 함수를 local과 global로 구분하여 도로 교통 용도의 CCTV 데이터를 활용할 수 있는 신경망을 구성하였고, Lee et al. (2022)는 차량 와이퍼의 자동 작동을 위하여 영상 내 빗줄기 분할 및 강우량 산정 알고리즘을 구축하여 차창의 빗줄기 이미지에 적용하였다.
IoT 센서, 이미지 처리 및 딥러닝을 기반으로 강수 현상을 정량화하는 방법들이 발전해가고 있음에도 불구하고, 해당 방법론들은 근본적인 문제점을 지닌다. 이는 다음과 같이 크게 세 가지로 구분할 수 있다. ① 실환경에서 촬영된 데이터셋의 부재로 인한 빗줄기의 형상, 방향, 강도 등의 물리학적 특성의 반영 불가능, ② 강우 이미지에 대응되는 실제 강우량의 부재로 인한 정량적 비교의 불가능, ③ 실제 환경에서 발생 가능한 불규칙한 변수들로 인한 강우량 산정 정확도의 하락. 첫 번째 문제점(①)의 경우, 연구 목적으로 활용 가능한 실환경 촬영 CCTV 영상 데이터가 정량적으로 부족하다는 점이 주된 이유이다. 국가행정기관의 주도하에 다수의 CCTV를 운용하고 있으나, 주로 생활안전, 공원안전, 도로방범, 스쿨존, 산불감시, 시설물 관리, 교통감시, 재난 모니터링 등의 목적으로 설치 및 운용된다는 점에서 빗줄기의 물리적 특성을 반영하기 위한 목적과 부합하지 않는 실정이다. 두 번째 문제점(②)의 경우, 첫 번째 문제점이 해결되어 실환경에서 촬영된 CCTV 영상을 기반으로 연구를 진행한다고 가정하여도 영상 촬영지가 지상 강우 관측소인 경우가 극히 드물기 때문에, CCTV 영상을 기반으로 강우 현상을 정량화하는 연구가 진행될 수 없게 된다(Wang et al., 2019). 세 번째의 문제점(③)의 경우, 선술한 두 가지의 문제점이 모두 해결된다고 가정하여도 강수 촬영 목적의 CCTV가 야외에 설치되어 영상 녹화가 이루어진다는 점에서, 자료의 기록 과정에서 다양한 변수가 포함될 수 있다는 것이 주된 이유이다. 바람으로 인한 빗줄기의 변동성, 녹화 환경에서 포함되는 움직이는 객체, 렌즈 위의 흐림 현상 등의 발생으로 인하여 정확도 측면에서의 한계를 보이는 실정이다(Allamano et al., 2015; Dong et al., 2017).
선술한 한계점의 보완을 목적으로, 자연적인 강수현상의 제어 불가능한 변수들에 대한 영향을 최소화하고 특정 조건과 변수들을 모사할 수 있도록 조정 가능한 Rainfall Simulator, Environment Chamber를 활용한 연구들이 다수 진행되었다(Thompson and James, 1985; Regmi and Thompson., 2000; Humphry et al., 2002; Abudi et al., 2012; Xie et al., 2023). 그러나 해당 사례들은 지층 침식에 관한 모델링, 대기 오염 물질 시뮬레이션, 제품의 소재 개발 및 변형 등을 목적으로 주로 토양, 농업 및 환경 분야에서 진행되어왔다. 본 연구에서는 변수들에 대한 통제가 이루어진 상태로 CCTV 영상 기반 강우량 정량화 및 CCTV 강우 영상 취득 목적의 실험을 대형기후환경시험실 내에서 진행하였다. 실환경 CCTV 촬영 영상에서 영향을 미치는 요소를 선정하여 실험조건을 설정하였으며, 원자료에 대한 전처리 과정을 통하여 최종적인 강우 이미지 DB를 구축하였다. 해당 DB는 CCTV 영상 기반 강우강도의 정확도 향상을 목적으로 하기 때문에, 구축된 강우 이미지 DB의 적정성을 평가하기 위해서 합성곱 신경망을 활용한 이미지 기반 강우강도 산정모델에 본 연구에서 구축된 강우 이미지 DB를 입력하여 강우강도를 산정하였다. 동일 시점에 실험장 내의 우량계에서 취득한 강우 자료를 참값으로 설정하고, 수문학적 관점에서 두 자료에 대한 검증 및 평가를 진행하였고, 수문학적 모델링에서 적용되는 일반적인 PBIAS 기준과의 비교를 통하여 본 연구에서 구축된 DB 자체의 실용화 가능성에 대하여 제시하였다.
2. 연구 자료
2.1 실험 장소
한국건설생활환경시험연구원(Korea Conformity Laboratories, KCL)에서는 기후 환경(i.e. 온도, 습도, 일사, 강우, 강설)에 대응하여 실물 규모 시설의 종합 평가, Mock-up 시험체 규모 시설 및 부재 단위 시험·평가, 자재·건축설비·기기 시험·평가, 군수품 시험 및 연구 업무를 수행하고 있다. 이를 위하여 충청북도 진천군에 기후환경실증센터를 구축하여 풍속저항측정장비 및 60 m 개방형 고층타워를 포함한 시설을 운영 중이며, 기후 변화 조건의 변화에 따른 시험을 진행할 수 있는 총 4개의 기후환경시험실(대형기후환경시험실, 중형기후환경시험실, 소형기후환경시험실, 복합기후환경챔버)을 운용 중이다(Fig. 1).
본 연구에서는 대형기후환경시험실 내에서 실험을 진행하였으며, 해당 시험실은 미국 육군의 개발 시험 통제소에서 장비가 규격에 만족하여 전장에서 사용하는 데 문제가 없는지 확인하는 규격 확인 절차인 United States Military Standard (MIL-STD) 중 MIL-STD-810 시리즈 규격(MIL-STD-810G: 2008년, MIL-STD-810G w/Change: 2014년, MIL-STD-810H: 2019년)을 만족한다. 이는 다양한 종류의 장비에 대하여 고온, 저온, 태양 복사, 강우, 습도 등의 조건에 대한 시험이 가능하며 실제 시험 환경에 맞도록 조정이 가능한 시험실임을 공인하였다. 실험실의 전체규모의 경우 20 m×15 m×20 m 이며, 온도의 경우 -40 ℃~+65 ℃ 범위에서 ±1℃의 정밀도와 ±2℃의 균일도로 시험이 가능하다. 습도의 경우 10%~95% RH 범위에서 ±3% RH의 정밀도와 ±4% RH의 균일도로 시험이 가능하다. 일사의 경우 55 W/m2~1,200 W/m2 측정 강도 범위에서 ±10 % 균일도로 8 m×8 m 조사 면적에 대한 시험이 가능하다. 강우의 경우 150 mm/h 이하의 범위에서 8 m×8 m 강우 면적에 대한 시험이 가능하다. 강설의 경우 50 mm/h 이하의 범위에서 시험이 가능하며, 최대 하중은 5 ton/m2 이다. 또한, 한국 산업 표준(Korean Industrial Standards, KS) 중 KS C IEC 규격(KS C IEC 60068-2-1 : 2007 시험 Ab, KS C IEC 60068-2-2 : 시험 Bb, KS C IEC 60068-2-30 : 2005 시험 Db와 지침, KS C IEC 60068-2-38 : 2008 시험 Z/AD)을 만족하여 온도에 대한 내열/내한성 시험, 주기적 내습, 합성 온/습도 조건에 대한 시험이 가능하다.
2.2 실험 설계
대형기후환경시험실 내 이상적 실험환경 기반 강우강도 산정 및 검증의 목적을 위하여 체계적인 실험 방안을 설계하였다. 본 연구에서 고려한 실험변수는 촬영 거리, 촬영 각도, 배경 색상, 강우강도, 조도 환경으로 총 5개이다. 각 실험변수별로 별도의 세부 실험조건이 존재한다. 각 조건별 조합을 고려하여 총 1,728개의 시나리오에 대한 실험을 진행하였다. Table 1은 본 연구에서 고려한 세부 조건에 대한 설명을 정리한 것이다.
Table 1.
Experimental conditions for rainfall intensity estimation model
- Configuring the source data image file names in the rainfall video database, constructed under various conditions using CCTV, to reveal the experimental conditions
- File Name : File Class_Scenario Number_Shooting Anlge_Shooting Angle_Background Color_Rainfall Intensity_Illumination_Image Number_File Type
* File Name Sample : RAW_001_FR_UP_BL_024_HH_0001.png
* Consistent digit allocation with each experimental condition for data processing and utilization
각 시나리오별 안정된 실험환경을 구성하기 위하여 실험준비기, 실험진행기, 실험종료기로 총 3단계의 실험을 구성하였다. 실험준비기의 경우 300초 동안 진행된다. 각 시나리오에 해당하는 실험변수를 지정하고 변경하여 설정한다. 가장 처음으로는 PVC 재질의 대형 방수천을 지지대에 걸어서 CCTV 프레임에 촬영되는 배경 색상을 설정한다. 이후 시험실 천장의 펌프를 개방하여 해당 시나리오에서 목표로 하는 강우강도로 실험이 진행될 수 있는지에 대해 확인한다. 우량계를 통한 강우강도가 약 3분 동안 동일한 수준으로 유지되는 경우, 충분한 실험 수행 조건이 갖춰졌다고 판단하여 다음 단계를 진행한다. 실험진행기의 경우 300초 동안 진행된다. 안정화된 강우강도로 강우가 발생된 시험실 내에서 강우 이미지 촬영을 진행하는 단계이다. IDIS사의 DC-S4217TWRX 제품을 촬영장비로 선택하였으며 같은 촬영거리 내 4개의 서로 다른 각도를 촬영하는 카메라를 하나의 세트로 설치하였다(Fig. 2). 실험종료기의 경우 180초 동안 진행된다. 진행되는 실험을 종료하고 다음 실험을 준비한다. 해당 실험에서 녹화된 영상을 네트워크 비디오 녹화기(Network Video Recorder, NVR)에서 추출하여 녹화 오류 등의 문제가 발생한 경우 해당 실험을 다시 진행하고, 영상의 품질에 문제가 없는 경우 다음 실험을 준비하였다.
실험변수 중 조도 값을 조정하여 CCTV 기반 강우 추정을 위한 강우 이미지 DB 구축을 위한 실험을 진행하였다. 1회의 실험을 통해서 얻을 수 있는 CCTV 강우 이미지의 종류는 총 12개(촬영거리 3개 × 촬영 각도 4개)이며, 본 연구에서는 촬영거리, 촬영 각도, 조도 환경 변수를 각각 IN, PR, HH으로 부여하였다. 강우강도 산정모델의 적정성을 평가하고자 총 36개의 서로 다른 실험에서 얻어진 데이터를 기반으로 후술될 전처리 모델을 구성하는 데 활용하였다.
3. 연구 방법
3.1 CCTV 강우 영상 데이터 전처리
데이터 전처리는 다양한 환경에서 얻어진 데이터를 목적에 적합하도록 변환하여 데이터의 활용 가능성 및 필요한 특징 추출을 위하여, 필수적인 데이터 마이닝 기술(data mining technique) 중 하나이다. 실제로 원본 데이터(raw data)는 크게 세 가지 문제를 가지며, 이는 결측 데이터(missing data), 잡음 데이터(noisy data), 그리고 불균일 데이터(inconsistent data)로 구분된다. 이러한 문제를 해결함과 동시에 높은 정확도의 결과물 도출을 위하여, 데이터 전처리 과정 도입을 통하여 원본 데이터 전체를 조정한다.
실환경에서 CCTV를 기반으로 강우 영상을 촬영하는 경우, 강우와 관련된 정보 이외의 불필요한 정보들이 함께 수집된다. 움직이는 사람들, 렌즈 앞에서 나타나는 벌레떼, 반복적으로 촬영되어 기록되는 주변 풍경 등이 이에 대한 예시이다. 따라서 다수의 고정형 CCTV에서 반복적으로 촬영 및 기록되는 정보는 배경(background)으로, 빗줄기의 길이, 방향, 빗물 입자의 크기 등의 정보를 담은 빗줄기 층(rain streak layer)은 전경(foreground)으로 분리하여 처리하는 것이 잡음으로 간주 될 수 있는 배경에 대한 정보를 제거하므로 CCTV 강우 영상 기반 강우강도 산정 알고리즘의 구축에 있어 핵심 요소가 된다.
딥러닝 모델을 위해서는 데이터 전반에 대하여 전처리 과정이 필요하며, 모델의 성능에 따라서 데이터양을 늘리거나 줄이는 등의 결정이 필요하다. 본 연구에서는 CCTV 강우 영상의 전처리를 위하여 체계적 순서를 구성하였으며 이에 관한 내용은 Fig. 3과 같다.
본 연구에서는 고정 초점(f=4.0 mm)으로 15분 간 촬영된 30 fps (frames per second)의 영상 36개에 대하여 이미지로 분할하는 과정을 거쳐 1,920×1,080 사이즈의 프레임 97,200개를 얻어내었다. 전체 프레임을 대상으로 k-최근접 이웃 알고리즘(k-Nearest Neighbor, KNN)을 활용하여 업데이트된 배경을 산정하여 각각의 프레임으로부터 빗줄기 층을 분리해내었다. 여기서, KNN은 회귀 및 분류를 위해 사용되는 비모수 방식이며, 기존 데이터 그룹을 기반으로 신규 데이터와의 거리 차가 짧은 순으로 k개의 서로 다른 기존 데이터들을 나열한다. 데이터들의 레이블을 참조하여 새로운 데이터에 대한 분류를 완료하고, 이미지 처리에 있어서는 현재 프레임과 배경 모델의 차이가 특정 임계치보다 더 큰 경우 전경에 업데이트를, 특정 임계치보다 작은 경우 배경에 업데이트하는 방식을 취한다.
본 연구에서는 임계치를 전체 이미지 영역에서의 픽셀 값 차이가 20인 경우라고 설정하였으며, 분리된 빗줄기 층에 대한 평균 픽셀값과 비교하여 더 큰 자료만을 선별하였다. 이는 모델의 과적합을 방지하기 위한 목적이다. 만일 단순하게 이미지와 강우강도를 매칭시키는 과정에서 픽셀값이 전반적으로 0에 가까운 이미지 자료를 여러 종류의 강우강도와 매칭시키는 경우, 모델이 이미지를 기반으로 강우강도를 추정하는 데에 있어 빗줄기로부터 특징을 추출하는 효율성이 감소하게 된다.
선별과정을 거친 자료에 대해서 관심 영역(Region of Interest, ROI)을 설정하였다. 본 연구에서는 180×180 사이즈의 ROI를 설정한 이후 이동을 진행하여 강우 입자에 의한 픽셀 변동성 최대 영역을 산정하였다. 이때, 이동을 위한 간격은 ROI가 이동하여 픽셀 변동성을 산정하는 과정에서 유의미한 차이를 만들어 내는 수준으로 설정하고자 하였으며, 이는 약 10 Pixel 정도인 것으로 확인되었다. 이에 본 연구에서는 ROI의 이동을 10 Pixel 단위로 설정하고 분석을 수행하였다. 산정된 ROI 중 픽셀 변동성이 가장 큰 5개의 후보 가운데에서 직접 영상을 확인하여 가장 가시성이 뛰어난 빗줄기를 포함하는 ROI를 선택하였다.
Fig. 4는 촬영된 원자료 및 앞서 선택한 ROI 후보에 대한 이미지를 예시로 보인 것이다. 먼저, Fig. 4(a)는 1,920×1,080 사이즈의 원자료 이미지이며, 선택된 ROI 후보 중 세 곳을 선택하여 각각 다른 색으로 표시하였다. Figs. 4(b)~4(d)는 180×180 사이즈로 ROI를 선정하여 원자료 이미지를 잘라낸 것이고, 해당 ROI의 좌상단과 우하단의 위치정보는 각각 [(30, 1,150), (210, 1,330)], [(200, 400), (380, 580)], [(800, 1,180), (980, 1,360)]이다. ROI 후보 간의 비교를 통해서 같은 원자료 내에서도 설정되는 ROI에 따라 강우 입자에 의한 픽셀 변동성이 상이하게 나타남을 확인하였다.
또한 처리된 빗줄기 이미지에 대하여 Model 성능을 증진시키기 위하여 훈련 데이터를 대상으로 이미지 증강(image augmentation) 과정을 진행하여 데이터양을 늘리고 다양한 조건에서의 빗줄기 특성을 학습하게 하였다. Tensorflow에서 제공하는 다양한 데이터 증강 방법 중 RandomFlip, Random Rotation, RandomContrast layer를 사용하였다. 이는 각각 반전, 회전, 조도를 무작위로 조정하여 훈련 데이터를 증강하는 layer이다. RandomFlip, RandomRotation, RandomContrast layer factor의 경우 기존 강우 이미지와 최대한 유사한 이미지를 생성해내기 위한 목적으로 각각의 매개변수에 horizontal_and_vertical, 0.2, 1.0을 부여하였다. RandomFlip의 factor는 이미지 데이터의 뒤집는 방향을 설정할 수 있으며, RandomRotation과 RandomContrast의 factor는 0과 1 사이의 값을 부여하며, 해당 값 이내에서 회전 및 조도 변화 정도가 무작위 추출되어 layer를 구성한다. 부록 1은 데이터 증강 방법을 이용하여 증강된 빗줄기 이미지에 대한 예시를 보여준다.
3.2 CNN 기반 강우강도 산정모델 구축
전처리 과정이 완료된 대형기후환경시험실 내 CCTV 자료 기반 Database를 구축하였다. 이는 해당 DB가 강우강도 산정모델 및 AI 실증 서비스 등에 직접적으로 사용될 수 있는지에 대한 평가 및 검증하기 위함이다. 즉, 이미지를 기반으로 강우강도를 추정하는 일반적인 연구에서 활용되는 머신러닝 모델에 본 연구에서 구축된 DB를 적용하여, 고도화된 모델이 아닌 일반적 머신러닝 모델에도 적합함을 확인하고자 하였다. 본 연구에서는 이미지 분석에 널리 사용되는 CNN 모델을 기반으로 강우강도를 산정하는 모델을 구성하였으며, 모델의 구조는 Fig. 5와 같다.
원본 데이터는 상술한 바와 같이 97,200개이지만, 전처리 과정을 거쳐서 부적합한 데이터를 제외하고 이미지 증강 과정을 거쳐 총 125,890개로 구성되었다. 학습 자료와 테스트 자료는 80% : 20% 비율로 구성하였으며, 전체 이미지 행렬이 GPU 제공 메모리를 초과하지 않게 하도록 입력 이미지 크기를 180 ×180 사이즈에서 120×120 사이즈로 크기를 재조정하여 mini batch에 맞게 훈련할 수 있도록 조정하였다. 두 번의 Convolution layer와 Maxpool layer의 조합 이후, 강우강도와 매칭시켜 이미지에 해당하는 값을 훈련하는 방식을 취하였다. 합성곱 신경망 모델을 구축하는 방법에 관해서, 보다 자세한 정보는 다수의 관련 연구들(Haidar and Verma, 2018; Sadeghi et al., 2019; Xue et al., 2021; Byun et al., 2023)에서 확인할 수 있다.
4. 합성곱 신경망 모델 적용을 통한 DB 적정성 평가
모델 정확도(accuracy) 및 DB 적정성 평가의 결과를 제시하기에 앞서 전반적 결과의 분포를 파악하고자 하였다. 실험장에서 설정한 강우강도(DEXP)와 3.2장에서 기술한 모델에서부터 산정된 강우강도(DEST)를 산점도(scatter plot)로 나타내었으며, 무강우 시나리오를 제외하고 총 다섯 종류의 강우강도 실험 데이터를 가지고 검증을 진행하였기 때문에 강우강도별로 한 개의 하늘색 실선이 분포함을 확인할 수 있다(Fig. 6).
DEST의 정확도를 위하여 DEXP와 DEST에서 산정된 최솟값(min), 1분위수(Q1), 중앙값(Q2), 3분위수(Q3), 최댓값(max)을 계산하여 비교하였으며 순서대로 기술하면 Table 2와 같다.
Table 2.
Quartile values between DEXP and DEST
특히 DEXP와 DEST의 중앙값(Q2) 간의 차이를 분석한 결과를 살펴보면 다음과 같다. 두 값의 차이가 가장 큰 경우는 DEXP가 72.0 mm/h인 경우 DEST가 73.92 mm/h로 1.92 mm/h의 차이를 보였으며, 두 값의 차이가 가장 작은 경우는 DEXP가 144.0 mm/h인 경우 DEST가 144.06 mm/h로 0.06 mm/h의 차이를 보였다. 이를 기반으로 DEXP와 DEST의 중앙값 간의 차이가 크지 않은 경향성을 확인하였다. 다만, DEXP가 96.0 mm/h인 경우 DEST의 Q2가 아닌 Q3와 가장 유사한 결과를 나타내었다. 이는 해당 강우강도에서 모델의 과소 추정이 발행하여 도출된 결과로 사료된다. DEXP 값에 비해 DEST가 작은 개수를 산정한 결과, 카테고리별 강우강도의 오름차순으로 각각 1,068개, 333개, 2,366개, 1,162개, 1,510개로 DEXP가 96.0 mm/h인 경우 과소추정 하는 경향이 가장 큰 것으로 확인되었다.
총 125,890개의 데이터 중 80%에 해당하는 빗줄기 이미지에 대하여 강우강도 산정모델에 입력 후 빗줄기 이미지의 특징을 학습할 수 있도록 모델 훈련을 진행하였다. 테스트 자료 중에서 무작위 추출을 진행하였고 빗줄기 입자 가시성 확보를 위하여 추가적 이진화 과정을 거쳐 Fig. 7에 나타내었다. 이때 해당 이미지에 매칭되는 강우강도의 확인을 통한 모델 정확도 검증의 목적으로, DEXP와 DEST를 Figs. 7(a)~7(i)의 순서에 맞추어 기술하면 다음과 같다. (a) (72.00, 73.56), (b) (72.00, 74.77), (c) (48.00, 49.97), (d) (48.00, 45.88), (e) (96.00, 94.44), (f) (144.00, 141.88), (g) (144.00, 146.11), (h) (120.00, 125.52), (i) (120.00, 122.02) 이때, 강우강도의 단위는 mm/h 이다.
모델 산정 결과의 과적합에 대한 확인을 위하여 여러 강우 시나리오 중 무작위 선택을 통해 100개의 강우강도 시나리오를 선택한 후, PBIAS (percent bias) 계산 결과를 동일한 강우강도 별로 군집화하여 나타내었다(Fig. 8). 이때 PBIAS는 참값과 모의된 값의 차이가 나는 정도의 경향성에 대한 평균을 측정하며, Eq. (1)의 식을 통하여 계산할 수 있다. 따라서 0에 가까울수록 이상적인 모델임을 의미하고, 양의 값을 가지는 경우 과대 추정을, 음의 값을 가지는 경우 과소 추정을 의미한다. 모델의 편향을 최소화하기 위하여 네 번의 무작위 선택 반복 수행을 통해 데이터셋을 재선택하였다.
추가적으로 부록 3을 통하여 각 강우강도별 전체 데이터에 해당하는 PBIAS를 scatter plot을 통해 살펴보았다. 이는 시각적인 비교를 위해 각 점을 이어서 나타내어 시계열 자료와 같은 형태를 띠나, 실제로 인접 데이터 간의 유의미한 상관관계는 존재하지 않는다. 실험 강우강도에 따른 PBIAS의 절댓값에 대한 극댓값은, 강우강도의 오름차순으로 각각 20.95, 13.94, 10.50, 19.35, 10.27로 나타남을 확인하였다. 전체 테스트 데이터에 대하여 모든 강우강도에 해당하는 PBIAS는 약 3% 미만인 것으로 확인되었으나(부록 2), 보다 자세한 비교를 위하여 기준이 되는 PBIAS 값을 설정하여 해당 값의 절댓값 범위에 얼마나 분포하는지 확인하여 Table 3에 나타내었다.
이때, 수문학적 모델링에서 적용되는 일반적인 PBIAS 기준(Dawson et al., 2007; Barbosa et al., 2019; Cardoso de Salis et al., 2019)을 Table 4에 표시하였다. 매우 좋음(Very Good)으로 분류되는 PBIAS 절댓값 범위의 기준인 10%의 경우, 다섯 개의 강우강도 모두 약 92%의 데이터가 포함되었으며 이 중 강우강도가 48.0 mm/h를 제외한 네 개의 강우강도는 98%의 데이터가 매우 좋음으로 분류됨을 확인하였다. 또한, 좋음(Good)으로 분류되는 PBIAS 절댓값 범위의 기준인 15%의 경우, 다섯 개의 강우강도 모두 약 98%의 데이터가 포함되었으며, 이 중 세 개의 강우강도의 경우 모든 데이터가 좋음으로 분류됨을 확인하였다. 전반적으로 강우강도가 낮을수록 PBIAS값이 크게 나타나는 것으로 확인되며, 이는 CCTV 영상 내의 조도 환경 등에 의하여 세우(細雨) 시 강우 이미지 품질이 떨어졌을 것으로 판단된다. 정확한 원인 분석을 위해서는 추후 이에 관한 세부적인 연구가 필요할 것으로 사료된다.
Table 3.
Percentage with different PBIAS threshold
Table 4.
PBIAS general performance ratings for recommended statistics (Dawson et al., 2007)
| Performance Rating | PBIAS |
| Very Good | PBIAS < ± 10 |
| Good | ± 10 ≤ PBIAS ≤ ± 15 |
| Satisfactory | ± 15 ≤ PBIAS ≤ ± 20 |
| Unsatisfactory | PBIAS ≥ ± 25 |
5. 결 론
본 연구에서는 한국건설생활환경시험연구원 내 대형기후환경시험실에서 통제된 조건 기반의 인공 강우 실험을 통해서 이상적 CCTV 강우 데이터를 취득하였다. 5개의 실험조건을 기반으로 실험을 설계 및 진행하였으며, 총 1,728개의 시나리오에 해당하는 CCTV 강우 데이터를 확보하였다. 강우강도 산정모델에 도입하기 이전 강우 데이터 전반에 대해서 전처리 과정을 진행하여 자료를 가공하였으며, 이 중 대표적 방식으로 픽셀 내 이동을 통하여 빗줄기 입자의 발생빈도가 가장 높은 region of interest (ROI) 를 설정하는 방법과 k-최근접 이웃 알고리즘을 기반으로 배경 분리를 진행하여 빗줄기 층의 추출이 효율적으로 이뤄지게 하였다. 데이터셋에 대하여 image augmentation 방식 내 함수들의 조합을 선정하여 자연적 현상과 유사한 빗줄기를 생성하여 데이터셋의 강건성과 모델 학습 효율을 증진하고자 하였다. 이후 CNN 기반의 머신러닝 모델을 도입하여 본 연구를 통하여 구축된 데이터셋이 강우강도 산정 및 AI 실증 서비스 등에 직접적으로 활용 및 확장 가능한지에 대하여 검증하였으며, 이에 대한 세부 결과들은 다음과 같이 요약될 수 있다.
1) 총 다섯 개의 강우강도 실험조건과 본 연구에서 구축된 CCTV 자료를 일반적인 머신러닝 모델에 입력하여 산정된 결과값을 비교하였다. 그 결과, DEXP와 DEXT의 Q2는 높은 유사도를 보였으며 가장 차이가 큰 경우는 DEXP가 72.0 mm/h 일 때 1.92 mm/h 만큼의 차이를 보였다. 또한 각각의 실험조건에 대하여 최솟값, Q1, Q2, Q3, 최댓값을 산정 및 비교 시 Q2의 발생빈도가 가장 높음이 확인되었다.
2) CCTV 자료를 모델에 입력하였을 때, 모델 성능에 대한 평가 및 오차 확인을 목적으로 DEXP와 DEST간의 PBIAS를 구하여 scatter plot을 도식화하여 검토하였다. 결과적으로 모든 강우강도에 대하여 PBIAS가 절댓값 범위 10% 이내에 해당하는 데이터가 약 92%, 절댓값 범위 15% 이내에 해당하는 데이터가 약 98% 임을 확인하였다.
3) 수문학적 모델링에서 적용되는 일반적인 PBIAS 기준을 적용하여 성능평가(performance rating)를 진행하였을 때, 상술한 바와 같이 약 92%의 데이터가 매우 좋음(Very Good), 약 98%의 데이터가 좋음(Good)으로 분류되었다. 이는 일반적인 머신러닝 모델을 통하여 산출된 데이터가 오차율이 매우 적은 결과를 보인다는 점에서 본 연구에서 구축된 DB는 강우 추정을 기반으로 하는 labeling 및 AI 기반 예·경보 시스템 적용을 위한 기초 DB로서의 가치를 제고하였다고 판단된다.
이상의 결과를 통하여, 대형기후환경시험실 내에서 구축된 CCTV 강우 데이터에 대한 활용성에 대해서 평가를 진행하였다. 다양한 지표들을 기반으로 본 연구를 통하여 구축된 CCTV 강우 이미지 DB는 실제 환경에 적용하기에 충분한 가치를 지니고 있음을 확인할 수 있었다. 추가로, 이상적인 환경 내에서 구축된 데이터베이스를 기반으로 빗줄기 이미지에 대한 특징을 추출 및 학습한 이후, 실환경 설치된 CCTV 데이터에 대한 모델을 구성하는 과정에서 앞선 특징들을 적용하는 전이 학습을 통하여 높은 정확도를 지니는 CCTV 기반 강우 산정모델 개발이 가능해질 것으로 기대된다. 또한 이미지에 매칭되는 강우강도 값이 존재하는 DB를 통하여, 빗줄기 제거 관련 컴퓨터비전 연구 분야에서 강우의 물리적 특성을 반영한 알고리즘 고도화가 이루어질 수 있을 것으로 사료된다. 해당 과정에서 풍속 제어가 가능한 장비를 기반으로 바람에 의한 강우 입자 영향 분석을 위한 실험을 추가하여, 이미지의 아핀 변환(affine transform)이 적용되는 상황에서도 높은 강건성을 보이는 활용성 높은 DB를 구축하는 후속연구로 확장될 수 있을 것이다. 다만, CCTV 데이터 취득 과정 자체의 영향을 미치는 악천후 조건 처리 및 세우(細雨) 시 품질 개선 방안이 연구 과정에서 고려되어 분석 및 제시될 필요가 있을 것이다.
