1. 서 론
2. 방법론
2.1 웹크롤링(Web Crawling)
2.2 CNN (Convolutional Neural Network)
2.3 모델의 성능 검증 방법
3. 침수 탐지 모델 개발 및 적용
3.1 데이터 수집
3.2 데이터 전처리
3.3 이미지 증식(Image augmentation)
3.4 VGG 모델의 적용
3.5 모델 평가
4. 요약 및 결론
1. 서 론
최근 지구온난화 및 이상기후 현상으로 인하여 집중호우의 빈도와 강도가 급증하고 있다. 그리고 급격한 도시화로 불 투수면적이 증가하여 도시지역에 침수피해가 빈번하게 발생하고 있는 실정이다. 이러한 침수피해를 방지하기 위하여 침수위험지구, 재해위험지구 등을 선정하여 여름철 집중호우에 대하여 피해에 대한 관리를 실시하고 있으나 위험지구 이외의 곳에서 발생하는 침수 피해의 경우 신속하게 대처하지 못하는 문제가 발생하고 있다. 하천이 범람하여 발생하는 외수침수의 경우 실시간으로 수위를 확인할 수 있기 때문에 수위에 따라 예·경보를 수행하여 효과적으로 대응을 수행할 수 있다. 하지만 내수침수의 경우 지하에 매설되어 있는 관로의 상태를 확인할 수 없기 때문에 순간적으로 발생하는 침수에 대하여 신속하게 대응을 해야 한다. 따라서 한국에서는 홍수 피해를 저감하기 위하여 예·경보와 같은 연구가 많이 수행되고 있다.
재난 예·경보를 위한 기준 설정 연구사례를 살펴보면 Lee (2017)은 강남 배수 구역을 대상지역으로 Storm Water Management Model (SWMM) 모델을 이용하여 맨홀 월류량을 산정하고 이를 통하여 침수를 일으키는 한계강우량을 추정하였다. Choi et al. (2018)은 연안도시의 내수 관망에 대하여 강우의 영향, 하천의 배수위 영향, 해수면 상승으로 인한 내수 관망에 직접적인 배수위의 영향 등을 복합적으로 고려하여 침수 해석을 수행하였고 침수 해석 결과를 기반으로 예·경보 기준을 선정하고자 하였다. 재난 예·경보관련 연구들은 물리 모형을 구축하거나, 과거 침수 사례들을 기반으로 침수 발생할 수 있는 해당 지역의 강우 기준을 도출하였다(Song et al., 2014; Jeon et al., 2016; Lee et al., 2018). 이러한 연구의 경우 해당 지역에 대한 홍수 예·경보 기준을 산정하기 때문에 국소적으로 발생하는 침수에 대해서는 파악하기 어려움이 있고, 강우 분포 및 지형정보 등에 따라 발생하는 다양한 원인의 실제 피해를 모형에서 반영하지 못할 수 있다.
재난 예·경보를 위한 수위 예측 연구사례를 살펴보면 Tsakiri et al. (2018)은 뉴욕의 Mohawk River에서의 홍수를 예측하기 위하여 일 유출량을 예측하고자 하였으며 Multiple linear regression model (MLR)과 Artificial neural network model (ANN)을 적용하여 96%의 정확도로 일 유출량을 예측하였다. Park and Kim (2020)은 소규모 강의 범람 예측을 통하여 홍수피해를 저감하고자 하였으며 순환신경망(Long Short-Term Memory) 모델을 적용하여 상류의 수위로부터 하류의 수위를 예측하는 모델을 구축하였다. 앞선 연구들은 홍수 예·경보 측면에서 단기간 수위를 예측하기 위하여 물리적 모형 및 통계적 모형 등을 활용하였다(Wu and Chau, 2006; Theera-Umpon et al., 2008; Le et al., 2019). 그러나 수위 예측 모형들은 입력자료로서 강우자료가 반드시 필요한데, 단기 예측의 경우 예측 강우 자료가 입력되어야 단기 수위 예측이 가능하다. 따라서 예측 강우에 대한 의존성이 매우 높기 때문에 예측 강우가 부정확할시 수위 예측의 정확도가 떨어지는 한계점이 존재한다. 추가적으로 재난 예·경보 관련 연구사례들은 공통적으로 모형 등의 분석 결과를 토대로 예상 피해 정보를 제공하기 때문에 다양한 환경에서 발생할 수 있는 실제 피해의 실시간 현상을 반영하지 못한다는 한계가 있다.
이러한 문제를 해소하기 위해 실제 피해 현상을 나타낼 수 있는 인공위성 이미지 자료를 활용하는 연구들이 많이 진행되고 있다(Mason et al., 2009; Shin et al., 2012; Hwang et al., 2016). Kim et al. (2019)는 위성영상자료와 지형자료를 활용하여 침수피해가 일어났던 지역을 판별하는 연구를 하였으며, CCTV 영상자료를 통하여 정확성을 검증하였다. Park et al. (2019)는 침수 전후 시점의 Sentinel-1 위성영상을 이용하여 침수지역을 판별하는 연구를 수행하였다. 인공위성 이미지를 이용하는 경우 사진 촬영 주기가 정해져 있기 때문에 실시간으로 홍수 상황에 대하여 대응을 수행하는 것은 불가능한 한계점이 존재한다.
반면, 최근 기술의 발달로 실시간 객체 탐지 및 상황, 행동 등을 탐지할 수 있는 Convolutional Neural Network (CNN) 기반의 연구들이 다양한 분야에서 연구되고 있다(Kang and Kwak, 2014; Shin et al., 2021). Lee et al. (2011)은 CCTV에서 탐지된 얼굴 이미지를 이용하여 범죄자 감시목록에 등록된 범죄 용의자를 식별하는 시스템을 구현하였다. Park (2013)은 CCTV에서 획득되는 영상으로부터 객체의 이상 행동을 감시하는 시스템을 구현하였다. 재해 및 재난관리 분야에서의 연구를 살펴보면 CNN 기반의 모델인 VGGNet, ResNet, DneseNet 등을 사용하여 위성 이미지로부터 침수 이미지를 분류하는 연구가 주를 이루고 있다(Dias and Dias, 2018; Bhadra et al., 2020; Jain et al., 2020). Baydargil et al. (2018)은 파천의 CCTV 영상정보와 CNN 기반의 SegNet 모델을 적용하여 하천 범람을 탐지하는 연구를 수행하였다. Oga et al. (2020)은 배경과 하천을 세분화하여 하천 상태를 파악하고 위험 존재 여부를 판단하였다. 배경으로부터 하천을 세분화하기 위하여 VGGNetm WideResNet, GoogLeNet 등을 사용하여 분할 성능을 평가하였다. WideResNet의 F-measure값은 0.946으로 가장 높은 분류 성능을 나타냈으며 평균적으로 0.917의 성능을 나타냈다. 실시간 대응을 위하여 CNN을 활용한 연구가 활발하게 진행되고 있지만 내수침수에 실시간으로 대응하기 위한 연구는 상대적으로 미흡한 실정이다. 만약 광범위한 역역에 분포하는 CCTV에 침수를 탐지할 수 있는 모델을 적용한다면 실제 피해 현상을 빠르게 파악함으로써 신속한 홍수 대응 업무가 가능할 것이다. 따라서 본 연구에서는 침수를 탐지할 수 있는 CNN 기반의 딥러닝 모델을 개발하였으며 침수 모델 개발을 위한 연구 흐름도는 Fig. 1과 같다.
연구는 총 3단계로 이뤄진다. 첫 번째는 웹 크롤링을 이용하여 이미지를 수집하고 수집한 데이터는 모델학습을 수행하기 용이하게 전처리를 수행한다. 두 번째로 수집한 이미지의 다양성을 높이고 과적합을 방지하기 위하여 데이터 증식을 수행하고 전처리와 증식을 완료한 학습 데이터를 CNN기반의 VGG16모델과 VGG19모델에 적용한다. 마지막으로 테스트용 이미지 데이터를 적용하여 모델의 성능을 평가하게 된다.
2. 방법론
2.1 웹크롤링(Web Crawling)
웹크롤링이란 사용자가 필요한 데이터를 웹 검색 엔진(Web Searching Engine)을 통하여 자동적으로 수집하는 기법을 말한다(Singh and Varnica, 2014). 웹크롤링 방법은 프로그래밍을 통하여 이루어지게 되는데 우선적으로 네이버, 구글과 같은 웹 검색 엔진에 접속을 하게 된다. 그리고 필요한 데이터의 키워드를 검색하고, 검색하여 나온 이미지가 자동적으로 컴퓨터에 저장되는 Fig. 2과 같은 프로세스를 거치게 된다. 침수 이미지를 수집하기 위해서 직접 침수 사진을 찍는 방법의 경우 시간과 비용이 많이 소요된다. 또한 CCTV 자료를 활용하는 방법의 경우 CCTV자료는 대외비 자료이며 대부분의 관제센터에서 최대 1개월까지 영상을 보유하고 그 이후에는 영상을 폐기하기 때문에 다량의 과거 침수 데이터를 수집하는 것은 한계가 있다. 따라서 본 연구에서는 웹크롤링 방법을 이용하여 구글 검색엔진에 저장되어 있는 침수 이미지와 침수가 발생하지 않은 이미지를 수집하였으며, 이를 입력 자료로 사용하여 분석을 진행하였다.
2.2 CNN (Convolutional Neural Network)
CNN은 Convolutional Neural Network로서 1998년 LeCun이 발표한 논문을 기초로 하여 이미지 분류, 검출, 탐지 등 다양한 기법들을 적용한 연구들이 수행되고 있다(LeCun et al., 1998). CNN에서는 이미지의 특징을 추출하는 단계(Feature Extraction)와 이미지를 분류하는 단계(Classification)로 구분된다. 특징 추출 단계에서는 합성곱 층(Convolution layer)과 풀링(Pooling)으로 구성된다. 우선 합성곱 층에서는 가중치필터(Filter)와 이미지 픽셀 값의 합성곱을 통하여 특징을 추출하고 특징을 담고 있는 특징 맵(Feature map)을 생성한다. 생성한 특징 맵은 방대한 특징 정보를 가지고 있다. 따라서 의미 있는 특징을 추출하기 위하여 풀링을 수행하고 이를 통하여 학습의 효율을 증가시킨다. 다음으로 분류 단계에서는 완전 연결층(Fully connected layer)을 통하여 2차원의 데이터를 1차원 배열의 형태로 바꿔주고 이를 이미지를 분류하는 층과 연결시켜준다. 그리고 최종적으로 연결된 층의 활성화 함수에 이진분류는 시그모이드(Sigmoid) 함수를 이용하고 다중분류는 소프트맥스(Softmax) 함수를 이용하여 이미지를 분류할 수 있는 모델을 만들게 된다. 이러한 과정을 통해 CNN 모델 학습이 수행되며 최근에는 CNN을 기반으로 하여 부가적인 아이디어를 섞은 VGGNet, ResNet 등의 모델들이 개발되고 있다(Jang and Chung, 2019).
2.3 모델의 성능 검증 방법
이진 분류를 수행하는 모델의 검증은 Table 1과 같은 오차행렬(Confusion Matrix)를 작성하여 다양한 지표로 검증을 수행할 수 있으며 실제 발생한 것을 1, 발생하지 않은 것을 0으로 나타낸다.
Table 1.
Confusion matrix
| Flood | Predicted | ||
| 1 | 0 | ||
| Actual | 1 | True Positive | False Negative |
| 0 | False Positive | True Negative | |
실제 1을 모델도 1로 예측한 것을 True Positive (TP), 실제 1을 모델에서는 0으로 예측한 것을 False Negative (FN), 실제 0을 모델에서는 1로 예측한 것을 False Positive (FP), 실제 0을 모델에서도 0으로 예측한 것을 True Negative (TN)이라 한다. 이렇게 산정된 오차행렬의 조합을 통하여 민감도(Sensitivity), 특이도(Specific), 정밀도(Precision)를 산정할 수 있다. 하지만 여기서 단순히 실제 피해가 발생한 것만 맞추는 민감도나 실제 피해가 발생하지 않은 것만 맞추는 특이도만을 고려하게 된다면 모델 평가의 편향이 이뤄질 수 있다. 이러한 편향을 줄이기 위하여 Accuracy, Receiver Operation Characteristic Curve (ROC)를 이용하여 모델의 성능을 평가할 수 있으며 산정 식은 Table 2에 나타냈다.
Table 2.
Equation of evaluation index
| Evaluation Index | Equation |
| Sensitivity | |
| Specific | |
| Accuracy | |
| True Positive Rate (TPR) | |
| False Positive Rate (FPR) |
Accuracy는 전체 데이터의 개수 중에서 올바르게 예측한 비율을 나타낸다. ROC는 실제를 올바르게 예측한 비율(TPR)과 실제 발생하지 않았지만 발생하였다고 잘못 예측한 비율(FPR)의 그래프를 말하며 작성된 그래프의 아래 면적을 AUC (Area Under Curve)라 한다. Accuracy는 100%에 가까울수록 좋은 성능임을 나타내고 AUC는 1에 가까운 값일수록 좋은 성능임을 나타낸다.
3. 침수 탐지 모델 개발 및 적용
3.1 데이터 수집
본 연구에서는 침수탐지 알고리즘 개발을 위하여 자동적으로 다량의 데이터를 수집할 수 있는 웹크롤링 방법을 이용하였다. 웹크롤링은 파이썬을 통하여 구현하였으며 검색할 키워드를 선정하여 웹크롤링 알고리즘을 실행시키게 되면 구글 검색엔진에 존재하는 해당 키워드의 이미지를 모두 저장하게 된다. 본 연구에 필요한 이미지를 수집하기 위하여 도시침수, 인천 침수, 도로 사진 등과 같이 키워드를 선정하였으며 Table 3에 나타내었다. 최종적으로 웹크롤링을 통하여 침수가 발생한 이미지 4,783장 침수가 발생하지 않은 이미지 5,883장을 수집하였다.
Table 3.
Search keyword list
| Flood Keyword | Non-Flood Keyword |
| Urban flood | Road |
| Incheon flood | Incheon road |
| Seoul flood | Seoul road |
3.2 데이터 전처리
웹크롤링 알고리즘을 이용할 경우 웹 검색엔진에 검색되는 모든 이미지를 자동적으로 저장할 수 있어 데이터 구축의 신속성 및 다양성을 얻을 수 있으나 연구와는 상관없는 이미지들도 모두 저장이 된다. 예를 들어 Fig. 3와 같이 키워드를 도시 침수로 선정하여 웹크롤링 알고리즘을 적용했지만 침수와는 관계가 없는 이미지가 저장이 되는 경우이다. 이런 이미지들은 모델 학습에 부정적인 영향을 끼쳐 성능을 저하시키므로 1차적으로 저장된 이미지 중에서 중복된 이미지 및 모델을 개발하는데 관계가 없는 이미지들을 소거하는 작업을 수행해야 한다.
1차 과정을 통하여 침수가 발생한 이미지 1,000장과 침수가 발생하지 않은 이미지 1,000장을 선별하였다. 하지만 선별된 이미지들을 살펴보면 Fig. 4와 같이 이미지의 크기가 모두 다른 것을 확인할 수 있다. 이미지의 크기가 다르게 될 경우 CNN 모델을 통하여 합성곱을 수행할 수 없기 때문에 CNN 모델을 개발하기 위해서는 동일한 크기를 가진 이미지 데이터를 필요로 한다.
따라서 모델을 개발하기 위해서 2차적으로 Fig. 5과 같이 사진의 크기를 통일 시켜주는 작업을 수행하였다. 본 연구에서 사용하게 될 VGG모델의 경우 224 × 224 크기의 이미지를 입력 자료로써 사용하기 때문에 모든 이미지를 224 × 224로 크기를 조정 하였으며 최종적으로 사이즈를 조정한 침수 이미지 1,000장과 침수가 발생하지 않은 이미지 1,000장을 수집하였다.
3.3 이미지 증식(Image augmentation)
본 연구에서 웹크롤링을 이용하여 침수 이미지 데이터 1,000장과 침수가 발생하지 않은 이미지 1,000장을 수집하였다. 하지만 딥러닝을 활용한 데이터 학습에서는 데이터의 개수가 적을 경우 학습 과정에서는 올바르게 분류하지만 새로운 이미지가 모델에 입력되었을 때 올바르게 분류하지 못하는 과적합 문제가 발생할 수 있기 때문에 이미지 증식을 수행하였다. 이미지 증식이란 무작위로 이미지를 회전시키거나 좌우 반전을 해줌으로써 데이터의 다양성을 증가시키는 방법이다. 예를 들어 Fig. 6과 같이 (a)이미지를 (b)와 같이 각도를 변환시킴으로서 학습의 다양성을 높이고 데이터의 양을 증가시켜 모델의 과적합을 방지하는 것이다. 모델 평가를 위하여 전체 이미지(2,000장)의 30%(600장)를 제외한 1,400장의 이미지 데이터를 이용하여 증식을 수행하였으며 최종적으로 침수 이미지와 침수가 발생하지 않은 이미지를 각각 1,800장씩 증식시켜 총 5,000장의 이미지로 모델 학습을 수행하였다.
3.4 VGG 모델의 적용
VGGNet은 Visual Geometry Gropu Net으로 이미지 분류 모델 대회인 Imagenet Large Scale Visual Recognition Challenge (ILSVRC)2014에서 준우승한 모델이다. VGG모델은 224 × 224크기의 이미지에 3 × 3 합성곱 필터를 사용함으로써 파라미터 개수를 줄여 연산량을 감소시켰고 모델 층의 개수를 늘려 성능 증가를 이끌어냈다(Simonyan and Zisserman, 2014). Fig. 7은 본 연구에 적용된 VGG16 모델 구조를 나타내고 있다. 처음 224 × 224 크기의 이미지가 입력이 되면 합성곱 층과 풀링(Max Pooling)을 통하여 특징을 추출하고 완전 연결 층을 거쳐 1차원 데이터 형태로 변환시켜준 뒤 Sigmoid 함수를 통하여 침수가 발생한 이미지와 침수가 발생하지 않은 이미지를 이진 분류 할 수 있는 모델이 개발된다. VGG16의 경우 풀링을 제외한 합성곱 층과 완전 연결 층의 개수가 16개이며 VGG19의 경우 합성곱 층의 개수가 3개 추가된 모델이다. 본 연구에서는 VGG16모델과 VGG19모델을 적용하였으며, 동일한 환경에서의 모델 성능을 평가해야하기 때문에 Table 4와 같이 매개변수들을 통일시켜줬다. 모델 최적화 함수(Optimizer)로는 선행 연구에서 효과가 뛰어나다고 알려진 Adam함수를 사용하였다(Ruder, 2016). 또한 침수의 발생 여부를 판단하는 이진분류 모델을 개발하였기 때문에 손실 함수(Loss)는 Binary Cross-entropy를 사용하고 마지막 층의 활성화 함수(Activation)는 Sigmoid를 사용하였다(Godoy, 2018).
Table 4.
Common model training parameter
| Index | Parameter |
| Loss | Binary Cross-entropy |
| Optimizer | Adam |
| Epoch | 10 |
| Activation | Sigmoid |
| Data number | 5,000 |
학습의 과적합 유무를 판단하기 위하여 학습과 동시에 500개의 이미지를 추출하여 검증을 수행하였다. 학습용 데이터의 Loss가 감소하지만 검증용 데이터의 Loss가 증가하게 되면 과대 적합이 발생했다 판단하며 학습용 데이터의 Loss가 증가하지만 검증용 데이터의 Loss가 감소하게 되면 과소 적합 되었다 판단한다. Fig. 8의 Loss 그래프를 보면 VGG16과 VGG19 모델은 6회부터 학습용 데이터의 Loss는 수렴하고 검증용 데이터의 Loss가 증가하는 추세를 보인다. 따라서 VGG16 모델과 VGG19 모델의 최적 학습 횟수는 6회로 판단된다.
3.5 모델 평가
VGG16모델과 VGG19모델을 적용하여 침수가 발생한 이미지와 침수가 발생하지 않은 이미지를 분류하는 모델을 개발하였다. 개발된 모델의 성능을 평가하기 위하여 Table 5에 VGG16과 VGG19의 오차 행렬을 나타냈다. 또한 오차 행렬을 이용하여 산정한 VGG16과 VGG19의 정확도(Accuracy), 특이도(Specificity), 민감도(Sensitivity)를 Table 6에 나타내었다.
정확도는 100%에 가까울수록 더 좋은 모델임을 나타내며, AUC의 경우 0.9∼1 이면 Excellent, 0.9∼0.8이면 Very Good, 0.8∼0.7이면 Good, 그 이하는 Bad로 평가되어진다. Table 6을 보면 VGG16 모델과 VGG19 모델의 정확도는 96.67%와 97.00%로 높은 분류 성능을 보였다. 또한 민감도와 특이도를 이용하여 AUC를 산정한 결과 Fig. 9과 같이 VGG16 모델은 0.967, VGG19 모델은 0.971로 Excellent로 평가되었다.
VGG19는 VGG16 모델보다 3개의 층이 더 쌓인 구조이기 때문에 비선형적인 특징을 잘 찾아 정확도가 0.3% 높은 성능이 나타났으나 VGG16보다 연산량이 많아져 속도가 느린 문제가 있었다. 내수침수의 경우 침수가 빠르게 진행되기 때문에 정확도가 0.3% 낮더라도 빠르게 분류를 수행할 수 있는 VGG16 모델을 적용하는 것이 신속한 침수 대응에 있어 효율적이라 판단된다.
Table 5.
Each model confusion matrix
Predicted Actual | VGG16 | VGG19 | ||
| 1 | 0 | 1 | 0 | |
| 1 | 286(TP) | 14(FP) | 285(TP) | 15(FP) |
| 0 | 6(FN) | 294(TN) | 3(FN) | 297(TN) |
4. 요약 및 결론
본 연구에서는 급증하고 있는 내수침수에 대하여 신속한 대응을 할 수 있는 내수침수 탐지 기술을 개발하고자 하였다. 웹크롤링 방법을 이용하여 침수 이미지 1,000장과 침수가 발생하지 않은 이미지 1,000장을 수집하였다. 딥러닝 학습의 경우 학습 데이터의 양과 질이 중요하기 때문에 이미지 증식을 통하여 다양한 각도의 사진을 생산했다. 최종적으로 5,000장의 이미지 데이터를 통하여 VGG16, VGG19모델의 학습을 수행하였으며 침수 이미지를 분류할 수 있는 모델을 개발하였다.
주요 결과를 요약하면 다음과 같다.
1)웹크롤링 기법을 이용하여 침수 이미지와 침수가 발생하지 않은 이미지를 수집하였으며 이미지 소거, 이미지 증식, 이미지 크기 조정을 통하여 모델의 입력 자료로써 사용함
2)모델 개발을 위하여 CNN 기반의 VGG16, VGG19모델을 적용하였을 때 VGG16의 Accuracy는 96.67% VGG19의 Accuracy는 97%의 높은 성능을 나타냄
3)평가의 편향을 줄이기 위하여 ROC Curve를 통한 AUC값 산정 결과 VGG16은 0.967 VGG19는 0.971로 높은 성능을 나타냄
4)VGG19는 VGG16보다 깊은 층을 구성하고 있어 더 좋은 성능을 나타고 있으나 VGG16모델 또한 96%이상의 좋은 성능을 나타내기에 빠른 분류를 수행할 수 있는 VGG16 모델이 더욱 효율적이라 판단됨
본 연구를 통하여 침수 이미지가 입력되었을 경우 침수의 발생여부를 판단할 수 있는 모델을 개발하였으며 재해 및 재난관리 분야에서 AI 및 딥러닝 모델의 적용성이 있음을 확인할 수 있었다. 하지만 본 모델의 경우 단순히 침수의 발생 여부만을 판단하는 이진분류 모델을 개발하였기 때문에 침수의 위험 수준과 침수 면적은 파악을 할 수 없다. 향후에는 침수 면적과 규모를 파악하여 침수 위험 수준을 결정할 수 있는 연구가 필요할 것으로 판단된다.
