Technical Note

Journal of Korea Water Resources Association. June 2020. 463-467
https://doi.org/10.3741/JKWRA.2020.53.6.463


ABSTRACT


MAIN

  • 1. 서 론

  • 2. 영상합성 프로세스

  •   2.1 정사영상 제작 자동화 프로세스

  •   2.2 RGB (RED, GREEN, BLUE) 영상 제작 프로세스

  •   2.3 다분광 정사영상 제작 프로세스

  • 3. 영상분석 프로세스 활용

  •   3.1 녹조 모니터링

  •   3.2 농업 식생지수 분석

  • 4. 결 론

1. 서 론

전 세계적으로 군용 무인항공기의 성공적인 활용 사례를 바탕으로 민간 무인항공기의 성장성과 효용성에 주목하고 있다. 또한 민간 무인항공기의 활용도를 확대하고자 노력하고 있으며, 최근 소형 드론의 제작이 많아지면서 소비자 시장도 급속도로 확대되고 있다. 중국의 DJI는 기업가치 100억 달러 이상을 넘볼 정도로 급성장을 하였고, 드론용 소프트웨어나 플랫폼을 확보한 스타트업 기업들에 대한 투자도 활발하게 이루어지고 있다. 또한 구글이나 페이스북, 아마존 등은 자사의 서비스 강화를 위한 목적으로 드론 기술을 적극적으로 활용하고 있으며, 드론의 시장 확대에 따른 드론 시장 생태계도 크게 확장되고 있다(Ahn et al., 2015).

다양한 분야에서 무인항공 촬영 영상을 활용하고자 하는 필요성은 높아지고 있으나 현장에서 촬영한 영상을 바탕으로 정사영상 생성, RGB영상, 수체범위 생성, 식생지수분석 영상 생성을 직접 작업하고 보정함에 따라 작업 시간이 많이 소요되고 있어 실시간 활용에 어려움이 있다.

따라서 본 연구에서는 촬영된 영상정보를 클라우드서버에 전송하여 일련의 과정들을 자동으로 처리할 수 있는 정사영상 자동화 제작 시스템을 구축하였다. 촬영 영상 전송 시 영상 자동 합성 기능을 수행하고 합성된 영상은 다분광 알고리즘, NDWI (Normalized Difference Water Index), NDVI (The Normalized Difference Vegetation Index) 등의 알고리즘을 적용하여 GIS기반의 2차원, 3차원 분석이 가능한 영상분석 방법을 제시하고자 한다.

2. 영상합성 프로세스

2.1 정사영상 제작 자동화 프로세스

현장에서 촬영한 무인항공 영상을 기반으로 정사영상을 생성하는 단계는 아래 Fig. 1과 같이 원시영상, 특징점 검출, 이미지매칭, 포인트 클라우드, 메쉬, 텍스쳐의 총 6단계이다.

무인항공으로 촬영한 원시영상은 영상에 포함되어 있는 메타데이터를 활용하여 카메라 캘리브레이션 처리를 수행하게 된다. 영상의 보정 작업 완료 후, 각 영상 이미지의 특징점들을 검출하는 과정을 거치고 이 특징점들을 활용하여 3차원 포인트 클라우드로 변환하게 된다. 처리방식은 이미지 간 좌표관계를 기반으로 동일 쌍(Pair)으로 구성된 특징점에 대하여 다른 시점의 정보를 통해 3차원 공간 위치를 추정 및 도출하는 방법이다. 3차원 포인트 클라우드가 완성되면, 둘로네 삼각분할(Delaunay triangulation) 알고리즘과 보로노이 다이어그램(Voronoi diagram)을 이용하여 메쉬(Mesh)를 생성한다(Aurenhammer et al., 2013). 둘로네 삼각분할은 Fig. 2와 같이 평면안에서 불연속들을 삼각 분할시 각 점들로 이루어진 삼각형의 모든 최소 각도를 최대화 하는 처리방식이다. 이렇게 생성된 삼각 영역을 가지고, 평면안의 특징점까지 가장 거리가 가까운 점의 집함으로 분할하는 처리방식인 보로노이 다이어그램 방법을 수행하게 된다. 세부 처리 방법은, 3차원 포인트들을 삼각형으로 연결하고, 시드(Seed) 점의 거리에 따라 평면을 분할하여 메쉬가 생성된다(Sukumar et al., 1998). 생성된 메쉬는 각 셀에 해당 영상의 표면정보를 가지고 있다. 이 표면정보를 기반으로 영상의 투영시점을 회전 및 이동 과정을 통하여 해당 셀에 질감을 입히는 텍스쳐(Texture)를 생성한다. 마지막으로 3차원 좌표계로 생성된 텍스쳐를 2차원 영상으로 변환하여 정사 영상이 생성된다.

http://static.apub.kr/journalsite/sites/kwra/2020-053-06/N0200530607/images/kwra_53_06_07_F1.jpg
Fig. 1.

Production process of ortho-photograph

http://static.apub.kr/journalsite/sites/kwra/2020-053-06/N0200530607/images/kwra_53_06_07_F2.jpg
Fig. 2.

Delaunay triangulation - Voronoi diagram

2.2 RGB (RED, GREEN, BLUE) 영상 제작 프로세스

무인항공으로 촬영한 원시영상으로 영상 제작 처리과정을 거치게 되면, 무인항공으로 비행하여 촬영한 전체 범위의 정사영상이 제작된다. 무인항공으로 촬영한 원시영상이 RGB 영상이면, 영상 제작 처리를 통하여 RGB 정사영상이 생성된다. 반면, 무인항공으로 촬영한 원시 영상이 다분광 영상인 경우, 밴드별 5가지 밴드중 RED, GREEN, BLUE의 정사영상을 이용하여 RGB 영상을 생성하게 된다. 영상 생성 시 RGB 가산 혼합처리 방식을 통하여 각각의 밴드 이미지를 합성하게 된다. RGB 가산 혼합처리 방식이란 빨강, 초록, 파랑 3가지 종류의 밴드를 이용하여 색을 혼합하여 RGB 영상을 생성하는 방식을 의미한다. Fig. 3은 RGB 정사영상 처리 과정이다.

http://static.apub.kr/journalsite/sites/kwra/2020-053-06/N0200530607/images/kwra_53_06_07_F3.jpg
Fig. 3.

Changing ortho-photograph to RGB image

2.3 다분광 정사영상 제작 프로세스

다분광 카메라 센서를 촬영한 원시영상을 기반으로 밴드별 정사영상 생성을 할 수 있다. 이 다분광 밴드별 정사영상을 기반으로 데이터 추출 알고리즘 계산식을 적용하여 정사 영상분석이 가능하다. 다분광 촬영 영상은 BLUE, GREEN, RED, REDEDGE, NIR 5가지 밴드로 구성되어 있으며 고유한 파장대의 반사도 정보가 포함되어 있다. 이 반사도 정보는 특정 물체 또는 물질을 분석하는데 활용이 가능하다. 분석 방법은 사전에 반사도-물체 관계식(빅데이터분석)을 통하여 생성한 영상데이터 추출 알고리즘 계산식을 이용한다. 영상데이터 알고리즘은 실제 물체와 반사도 사이의 회귀분석과 같은 기계학습을 적용하여 도출할 수 있다. 각 밴드에 포함되어 있는 반사도 값이 알고리즘 계산식의 입력 인자로 활용되어 계산 처리된다. 계산된 결과 영상은 특정 값에 따른 색상 범례 처리를 하여 육안으로 확인할 수 있도록 처리하고, RGB 영상과 경계범위를 혼합하여 최종적인 다분광 정사영상 분석 결과 이미지를 제작한다. Eq. (1) 및 Fig. 4는 영상데이터 알고리즘 계산식과 다분광 영상의 분석 과정이다.

$$\begin{array}{l}\mathrm{영상데이}터\;\mathrm{계산식}=\\\frac{\left[\left(-100.53242\right)+\left(+178.53325\right)\times\left(NIR-BLUE\right)\right]}{NIR+BLUE}\\+\frac{\left[-556.93428\times\left(NIR-REDEDGE\right)\right]}{NIR+REDEDGE}\\+\frac{\left[-35.3055\times\left(NIR-GREEN\right)\right]}{NIR+GREEN}\\+\frac{\left(-32.171\times NIR\right)}{GREEN}\end{array}$$ (1)
http://static.apub.kr/journalsite/sites/kwra/2020-053-06/N0200530607/images/kwra_53_06_07_F4.jpg
Fig. 4.

Results of multi-spectral ortho photograph analysis

3. 영상분석 프로세스 활용

3.1 녹조 모니터링

기존의 시료 채취와 분석은 수행과정에 많은 시간이 걸렸으며 과정도 복잡하여 녹조 확산 전 빠른 대응이 어려웠다. 개발된 기술 및 프로세스는 드론으로 빠르게 넓은 수역을 살필 수 있으며, 녹조 이동, 확산, 분포 등 전체 현황을 한눈에 알 수 있다. 환경부는 항공초분광센서, 고해상도 디지털 카메라를 이용하여 촬영 된 영상, 그리고 초분광영상 및 분석 기법 적용을 통해 얻어진 클로로필-a 농도 영상 및 피코시아닌 농도 영상을 물환경 정보시스템의 조류정보방에서 제공하고 있다. Figs. 5 and 6은 2016년 8월 25일 창녕함안보 구간의 RGB영상과 초분광영상(피코시아닌)을 이용한 조류 농도 영상정보이다. 기존의 방법에서 보기 힘들었던 조류의 전체적인 분포를 한눈에 파악할 수 있고 고동도지점에 대한 선택적관리가 용이해졌다고 할 수 있다.

http://static.apub.kr/journalsite/sites/kwra/2020-053-06/N0200530607/images/kwra_53_06_07_F5.jpg
Fig. 5.

Visualized RGB images

http://static.apub.kr/journalsite/sites/kwra/2020-053-06/N0200530607/images/kwra_53_06_07_F6.jpg
Fig. 6.

Visualized phycocyanin images

3.2 농업 식생지수 분석

다분광 영상을 통하여 농업 분야에서는 생육단계별 식생지수를 분석할 수 있다. 식생지수는 NIR과 RED 밴드를 활용한 NDVI (Normalized Difference Vegetation Index) 계산식을 적용하여 분석이 가능하다. NDVI란 다분광 영상의 반사율을 이용하여 생물의 생육 상태를 수치화할 수 있는 계산식이며, NDVI 계산식에는 실제 생육 상태를 판단할 수 있는 NIR밴드와 이를 보정하기 위한 RED밴드를 사용한다. Eq. (2) 및 Fig. 7은 NDVI 계산식과 다분광 영상을 실제 적용하여 분석한 사례이다. 영상분석결과이 계산식 적용을 통해 수치적으로 정확한 판단이 가능해졌다고 할 수 있다.

$$NDVI\mathrm{계산식}=\frac{\left(NIR-RED\right)}{\left(NIR+RED\right)}$$ (2)
http://static.apub.kr/journalsite/sites/kwra/2020-053-06/N0200530607/images/kwra_53_06_07_F7.jpg
Fig. 7.

Result of vegetation index analysis

4. 결 론

본 연구를 통하여 개발된 무인항공 촬영 영상분석 프로세스는 여러 분야에서 활용이 가능할 것으로 판단된다. 첫째, 수자원 분야에서는 댐 및 보 시설물 관리, 하천 지형 모니터링 및 위험 구역 상시관리, 하천 개발현장 모니터링, 홍수 및 가뭄 모니터링 등에 활용이 가능하다. 둘째, 토목 및 건축 분야에서는 무인항공으로 공사 현장으로 촬영하여, 공사 진척도 분석 및 3D 모델 구축이 가능하다. 셋째, 하천에 유해화학 물질 유입이나 녹조 발생 시 발생범위와 진행방향등에 대한 다양한 정보를 실시간 모니터링이 가능하여 즉각적인 방재대책으로 활용이 가능할 것으로 판단된다. 넷째, 농업 분야에서는 농작물 생육 상태 분석 및 시비료 상태 분석도 가능할 것이다. 개발된 무인항공 촬영 영상분석 프로세스는 향후 수자원분야는 물론 다양한 산업분야에 활용될 수 있을 것으로 판단된다.

References

1

Ahn, O., Oh, K., Hong, S., Yoon, W., and Joo, J. (2015). "UAV technology and variety of applications/market forecast." KSAS Annual Conference 2015, KSAS, Jeju, pp. 985-993.

2

Aurenhammer, F., Klein, R., and Lee, D. (2013). Voronoi diagrams and Delaunay triangulations. World Scientific Publishing Co, M.A., U.S.

10.1142/8685
3

Sukumar, N., Moran, B., and Belytschko, T. (1998). "The natural element method in solid mechanics." International Journal For Numerical Methods In Engineering, Vol. 43, pp. 839-887.

10.1002/(SICI)1097-0207(19981115)43:5<839::AID-NME423>3.0.CO;2-R
페이지 상단으로 이동하기