Research Article

Journal of Korea Water Resources Association. 31 December 2021. 1071-1081
https://doi.org/10.3741/JKWRA.2021.54.S-1.1071

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 분석방법

  •   2.1 IoT 도시기상관측 품질검사 알고리즘 설계 프로세스

  •   2.2 도시기상 관측데이터 품질검사 조건 선정

  •   2.3 IoT 관측데이터 품질검사 조건 선정

  •   2.4 머신러닝기반 IoT 도시기상 관측자료 품질검사 알고리즘

  •   2.5 알고리즘 개발 방법

  • 3. 분석결과

  •   3.1 검증 대상

  •   3.2 기상관측 기기

  •   3.3 품질검사 결과

  •   3.4 품질검사 알고리즘 검증

  • 4. 결 론

1. 서 론

4차 산업혁명 시대에 접어들면서 중요한 것이 바로 데이터이다. 이러한 데이터와 관련하여 Gartner (2018)에서는, 기업들이 매년 잘못된 데이터를 처리하는데 드는 비용이 평균적으로 1,500만 달러에 이른다고 하였다. 이처럼 잘못된 데이터로 인하여 많은 사회적인 비용과 문제를 초래하고 있다. 따라서 데이터 품질관리에 대한 중요성이 점점 더 커지고 있는 실정이다. 데이터 품질에 대해 정의한 선행연구들을 보면 Miller (1996)는 데이터 품질은 사용자에 의해 데이터가 어떻게 인식되고 사용되는가에 달려있다고 하였다. Kim (2020)은 데이터의 품질을 사용자의 목적에 적합하게 사용 가능한 수준으로 정의하였다.

Lee et al. (2017)에 따르면 장기간의 기후자료들이 실제 기후 변동에 의해서가 아니라 도시화로 인한 관측지점의 이동이나 새로운 관측 장비의 사용 등과 같은 예측 불가능한 비기후적 요인들에 의해 영향을 받아 자료가 오염되는 경우가 있다. 이러한 오염을 막고 기상 자료가 적절히 활용되기 위해서는 기상 관측에 있어서도 제대로 이루어진 품질검사(Quality Control, QC)가 필수적이다. 현재 우리나라에서 기상을 담당하고 있는 기상청에서는 기상 데이터의 품질을 유지하기 위하여 ‘기상관측표준화법 시행규칙’ 제6조의2제4항에 따라서 기상관측자료의 품질등급 부여 기준 및 절차를 규정하고 있다(KMA, 2019a).

Seo et al. (2002)에 따르면 기상 관측에 대한 품질관리 절차가 마련되어있으나 기상청에서 운영하는 기상관측소에서의 관측 값은 넓은 지역을 하나의 기상 관측소가 이를 대표하고 있어 해당 지역의 예보 신뢰성과 정확성에도 문제를 야기한다. 이러한 문제를 해결하기 위해서 Chae et al. (2014)는 복합기상센서 관측 자료에 대한 품질관리시스템(Quality Control System for Integrated Meteorological Sensor data, QCIMS)을 연구에서 제시하였다. Kim et al. (2016c)은 기상청에서 관측하는 부유분진측정기(PM10) 관측 자료 실시간 품질관리 알고리즘 개발 및 평가연구에서 기상청의 5단계 품질관리 기법을 준용하는 방법을 개발하였고, Park and Choi (2012)은 한국의 기온자료 품질관리 알고리즘의 검증을 통해 공간 이례치 검사를 적용하여 주변의 기상 관측소와 크게 차이가 나는 자료를 찾아내 오류 의심자료로 확인하는 방법을 고안하였다. 또한 Kim et al. (2019)는 사물인터넷(Internet of things, IoT) 센서로 수집된 균질 시간 데이터를 이용한 기계학습 기반의 품질관리 및 데이터 보정하는 연구에서 기계학습 기법을 이용하여 각 기상요소에 독립적으로 QC를 진행하는 방법을 연구하였다.

품질관리 기법 개선 이외에도 기상 관측 분야에서 IoT을 이용한 국소 지역의 기상 관측에 대한 연구들이 활발히 이루어지고 있다. Kim et al. (2016a)은 아두이노를 활용해 온도, 습도, 조도 등을 관측하는 실시간 관측 시스템을 개발하였고, Ahn (2009)는 이더넷을 이용한 임베디드 기상관측 장치를 개발하였다. Jang and Jeong (2020)은 전동 킥보드와 같은 마이크로 모빌리티를 활용해 도시 기상 및 환경 IoT 관측 기술을 개발하였다.

Kim et al. (2021)은 이러한 기술들을 이용해 소규모 지역의 고해상도 실시간 기상정보를 제공하여 도시생활의 시너지 효과를 이루어낼 수 있는 정보 활용이 될 수 있을 것으로 예상하였다. 이렇듯 IoT를 통한 기상 관측 기술은 발달하였지만 이에 따른 데이터의 품질검사 방안은 아직 미미한 수준이다. 특히 Kim et al. (2016b)에 따르면 IoT 서비스의 품질을 측정하는 방식은 기존 전통적인 소프트웨어 시스템의 품질 측정과는 다소 차이가 있다고 밝혔다. 이렇듯 기존의 단순 기상관측자료 품질검사 기술을 IoT에 적용하는 것이 아닌 새로운 품질검사 방안이 마련되어야 한다.

따라서 본 연구에서는 앞서 여러 연구들을 기반으로 하여 국내 IoT 기반의 기상관측 자료에 대하여 품질검사 방안을 만들고, 이를 기준으로 인천광역시 연수구 송도동에 직접 설치한 IoT 기상관측 자료에 실제 적용해보았다. 특히 해당 지역에는 차세대도시농림융합기상사업단(Weather Information Service Engine, WISE)에서 도시에너지수지 관측을 위한 기기가 2016년부터 설치되어 관측되고 있어 이를 참값으로 하여 보다 정확한 비교가 가능하였다. 아울러 IoT 기기 자체의 기상관측 성능은 제조사에서 성능인증을 받은 제품을 활용하여 신뢰성에 대한 문제를 해결하였다. 본 연구에서 실시한 IoT 기상 관측 및 품질검사 기술을 바탕으로 향후 스마트시티 등에서 사용될 IoT 기반의 기상관측 자료에 대해 알고리즘 기술이 활용될 수 있도록 더욱 체계적이고 구체적으로 검증하고자 하였다.

2. 분석방법

2.1 IoT 도시기상관측 품질검사 알고리즘 설계 프로세스

IoT 도시기상 관측자료 품질검사 알고리즘 설계를 위해 본 연구에서는 Fig. 1과 같이 도시기상 관측데이터품질검사 조건과 IoT 관측데이터 품질검사 조건의 조합을 전제로 알고리즘 설계 프로세스를 정립하였다. 기상청 기상관측자료 품질검사 알고리즘 유효범위 적용성을 검토하여 이를 도시기상 관측데이터 품질검사 조건으로 적용하는 방식으로 수행하였다. 아울러, IoT 데이터 품질측정 지표 중 기상관측데이터의 특성에 적합한 지표를 선정하여 IoT 관측데이터 품질검사 조건을 선정하였다.

https://static.apub.kr/journalsite/sites/kwra/2021-054-12S/N020054S-105/images/kwra_54_S-1_05_F1.jpg
Fig. 1.

QC algorithm design process

2.2 도시기상 관측데이터 품질검사 조건 선정

우리나라 기상청에서 기상관측자료의 품질등급을 부여하기 위한 기준(KMA, 2019b)은 Table 1과 같다. 총 5단계 과정으로 진행되는데 물리한계검사, 단계검사, 지속성검사, 기후범위검사, 내적일치성검사를 수행하는데, 물리한계검사는 각 기상요소가 관측될 수 있는 물리적 한계 범위를 설정한 것이고, 단계 검사는 관측 주기(60분)에서 해당 범위 이상의 값이 산출 되었을 때 오류로 설정한다. 지속성 검사는 단위 시간동안 데이터의 변동성이 없는 경우를 오류로 확인하고, 기후범위 검사는 기온에 한하여 매월 기준 범위 안에 위치하는지 확인한다. 마지막으로 지속성 검사는 풍속에 대하여 풍속이 최대풍속보다 큰 경우와 같이 논리적 오류가 발생했을 때를 의미한다. 이러한 결과를 바탕으로 관측주기에 따라 수집되어야하는 자료수 중에 실제 수집된 자료수에서 결측 자료수와 오측 자료수를 제외한 비율을 산정하였을 때 80% 이상일 때를 우수, 50%~80% 미만일 때 보통, 50% 미만 시 개선대상으로 판단하고 있다.

Table 1.

The conditions of the Korea Meteorological Administration’s quality inspection

Category Physical Limit Step Persistence Climate Range Internal Consistency
Range Observation cycle
(60 min)
Duration Variation Monthly Range Duration
Temp -45~45℃ 6℃ 180 min 0℃ JAN -35~30℃ -
FEB -35~30℃
MAR -30~35℃
APR -20~40℃
MAY -10~45℃
JUN 0~45℃
JUL 5~45℃
AUG 0~45℃
SEP -10~45℃
OCT -20~40℃
NOV -35~35℃
DEC -35~30℃
Pressure 800~1,120 hPa 5 hPa 180 min 0 hPa - -
Humid 1~100% 60% - - - -
Wind Speed 0~360° 10 m/s 240 min 0 m/s - -
Wind Direction 0~75 m/s - 240 min - When the maximum instantaneous wind
speed is less than that of the minute

앞서 제시한 기상관측 품질검사 기준이 전국의 종관기상관측(Automated Synoptic Observing System, ASOS)와 방재기상관측(Automatic Weather System, AWS) 자료를 바탕으로 설정되어 있어, 본 연구에서 활용하고자 하는 도시기상 데이터가 이에 부합할 수 있는지 적용성을 먼저 확인하고자 하였다. 이를 위해 Fig. 2와 같이 SK텔레콤(SK Telecom, SKT)에서 운영하는 AWS 관측데이터를 활용하여 기온, 습도, 기압, 풍향, 풍속에 대해 품질검사 기준의 적용성을 검토하였다. 분석대상은 Fig. 2와 같이 서울시 전역에 설치된 SKT AWS 254개소의 데이터로 2016년 6월 1일부터 2017년 6월 27일까지 약 392일간의 1분 단위 측정데이터를 활용하였다.

도시기상특성 및 기상청 품질검사기준 수렴여부 확인을 목적으로 SKT AWS 1분 단위 데이터 총 138,851,254개를 기반으로 분석한 결과, Table 2와 같이 도시기상 관측 데이터 품질수준을 진단할 수 있었다. 데이터 중 풍향에 대한 결측값이 4시간 이상 지속되거나, 풍속이 10 m/s이상 차이가 나는 경우가 일부 발생하였으나 전체 대비 0.001% 정도로 미비한 것으로 나타났다. 이러한 결과를 바탕으로 도시기상 관측데이터 품질검사 조건 선정을 위한 분석에서 SKT AWS에서 측정된 5개 기상요소에 대한 도시기상 관측자료 품질검사 결과는 모두 정상자료율 90% 이상으로 우수등급으로 분석되었다. 5단계 품질검사기준 품질검사결과, 5개 기상요소 모두 오류율 0.001% 이하로 분석되는 등 비록 약 1년이라는 기간 동안 측정된 자료만을 대상으로 분석한 것이지만 도시기상관측자료의 측정범위가 기상청 품질검사기준 허용범위내로 관측되는 것을 확인할 수 있었다.

https://static.apub.kr/journalsite/sites/kwra/2021-054-12S/N020054S-105/images/kwra_54_S-1_05_F2.jpg
Fig. 2.

SKT AWS observation point in Seoul

Table 2.

SKT AWS KMA’s QC result

Index Data collection rate (%) Normal data rate (%) Missing data rate (%) Error data rate (%) Quality grade
Temperature 100 99.7 0.3 0.0 Good
Humid 100 99.6 0.4 0.0 Good
Pressure 100 99.3 0.7 0.0 Good
Wind Speed 100 92.9 7.1 0.001 Good
Wind Direction 100 92.7 7.3 0.0 Good

2.3 IoT 관측데이터 품질검사 조건 선정

기상 조건 이외에 IoT 데이터의 특성을 고려한 품질검사 조건 선정을 위해 본 연구에서는 ‘사물 인터넷 스트림 데이터 품질 측정 지표 및 프로파일링 방법 및 그 시스템(특허번호 10-2059112)’에서 제시하고 있는 품질검사 조건을 우선적으로 분석하였다. 조사 자료에서 제시하는 IoT 데이터의 품질검사 조건은 Table 3과 같이 단일스트림 데이터와 멀티스트림 데이터에 따라 구분하여 지수의 형태로 제시하고 있다.

이중 우선적으로 기상요소 센싱 조건에 맞는 단일스트림 데이터에 대한 품질검사조건을 기반으로 적용방안을 분석하였으며, 앞서 선정한 도시기상 관측데이터 품질검사 조건과 중복되는 균일빈도지수, 결측시간지수, 변동지속지수, 범위 이상지수, 추세이상 지수는 제외하였다. 따라서 본 연구에서는 Table 3의 노란색 음영 처리된 항목들을 선택하여 IoT 품질검사 알고리즘으로 활용하였다.

Table 3.

Index and description of IoT observed data’s QC by GTONE (2019)

Stream Index Description
Single
Stream
Uniform Frequency It measures the degree to which data is collected uniformly by grasping the degree to
which data is collected per unit time.
Null Check Index for evaluating the degree to which data generated by the sensor is not generated (collected)
for a certain period of time.
Continuous Variation Index for detecting a phenomenon in which the data generated by the sensor does not have a value
fluctuation (small) for a certain period of time.
Value Pattern The phenomenon of deviating from the periodic pattern of data.
Frequency pattern An index that measures the deviation from the periodic pattern of the frequency of
data collection.
Sufficient Data The degree to which data is being collected enough for a certain period of time.
Out of Range An index that measures the degree to which data outside the normal value range
(linear and nonlinear) analyzed through past data is detected.
Statistical Range The degree to which the data to be measured deviates from the distribution range of values.
Data Updated Index to identify the phenomenon that data does not occur within the estimated time
when data should be generated.
Trend Error An index that measures phenomena outside the fixed data flow trend.
Time Limit Error The degree of occurrence of incorrectly set time data of the collected data is measured.
Multi
Stream
Interactive Rule Data quality metrics are comparable rules between sensors.
Value Similarity It is assumed that sensors nearby geographically measure similar values.
Distribution Similarity The distribution of the same pattern among the five meteorological factors.
Pattern Similarity Checking the pattern similarity between sensors.
Trend Similarity When comparing between sensors, the question of how far the peripheral range is
to be set is.
Time Synchronicity Check the time difference between sensors.

2.4 머신러닝기반 IoT 도시기상 관측자료 품질검사 알고리즘

최종적으로 본 연구에서 제안하는 IoT 도시기상 관측자료 품질검사 알고리즘은 프로세스는 Fig. 3과 같다. IoT 기기로부터 기온, 습도, 기압, 풍향, 풍속의 5개 기상요소를 관측하고 수집한 후 IoT 도시기상 관측자료 품질검사 조건 11개에 대해 그림에서 제시한 바와 같이 결측 검사 이후 값 패턴 지수, 충분데이터 지수 등 IoT 데이터 특성을 고려한 품질검사 단계를 먼저 수행하고, 이후 도시기상 특성을 고려한 품질검사를 수행하도록 프로세스를 구성하였다.

https://static.apub.kr/journalsite/sites/kwra/2021-054-12S/N020054S-105/images/kwra_54_S-1_05_F3.jpg
Fig. 3.

Flowchart of quality control algorithm

각각의 알고리즘을 세부적으로 살펴보면 먼저 IoT에서 수집되는 데이터의 Null 값을 확인하여 센서로부터 미측정이 발생되는지 확인을 하는 Null값 검사를 진행한다. 다음으로 값 패턴 검사는 기상요소가 가지는 추세적인 특성을 고려하여 과거 10시간동안의 데이터를 머신러닝을 통해 학습시켜 5분 예측데이터를 생산하고, 예측범위를 벗어나는 데이터의 경우 오류값으로 판단하는 방법을 적용하였다. 특히 Oh et al. (2020)은 연구에서 Prophet 모형은 해석이 용이하고 추세를 통한 예측이 뛰어나고 밝혔다. Prophet 모형의 경우 기본적으로 트렌드, 계절성, 비주기 이벤트(holiday)의 세가지 요소를 따른다. Taylor et al. (2017)은 기존의 ARIMA 모형 등의 시계열 모형과는 달리 모형의 유연성을 가지고 있어 여러 기간들에 대한 예측과 계절성을 쉽게 모형에 적용할 수 있다고 밝혔다. 이는 ARIMA 모형와 다르게 모델을 차분해서 정규화시킬 필요가 없고, 결측값을 고려하지 않아도 된다는 것이다. 또한 학습속도가 빠르며, 쉽게 해석할 수 있는 매개 변수를 가지고 있어 모형의 이해도가 높다는 특징이 있다. 여기서 g(t)는 비주기적 변화를 모형화하는 추세 함수이고, s(t)는 주별 또는 연별 계절성과 같은 주기적 변화를 반영하며, h(t)는 불규칙하게 발생할 가능성이 있는 휴일 효과를 모형화 한다. 마지막으로 et는 모형으로 설명할 수 없는 오차항을 말한다.

(1)
yt=gt+st+ht+et

본 연구에서도 Prophet 모형을 이용하여 이전 10시간의 관측 데이터를 학습하고 이를 바탕으로 향후 5분의 값 패턴 구간을 예측해 이를 벗어나는 경우에 오류로 간주하였다. 충분데이터 검사는 1시간동안 90%, 즉 1분 단위 측정시 60개 중 54개 이상의 데이터가 측정되는지를 검사한다. 통계적 범위 이상 검사는 경우 기본적으로 최근 1년간의 데이터를 기반으로 통계분석을 통해 이상치 구간을 산정하고, 이상치 범위로 측정되는 데이터를 오류데이터로 판단하는 방법을 적용하였다. 1년의 기준은 매년 12월 31일을 기준으로 한 해 동안의 통계값을 적용하는 방식으로 매년 업데이트가 될 수 있도록 하였다. 또한 시간값 이상 검사는 실제 측정 시간과 로그에 수집 시간 사이에 2초 이상 지연이 발생할 경우 네트워크상의 문제로 간주하고 이를 에러로 확인할 수 있도록 하였다. 마지막으로 공간값 이상검사는, 주변의 기상청 ASOS나 AWS와 같이 기준관측소로 활용되는 지점의 관측데이터와 평균제곱근 오차값이 3배수 범위 밖의 측정값 발생시 오류데이터로 판단하도록 설정하였다.

다음으로 앞서 SKT AWS데이터 분석을 바탕으로 본 연구에서는 ‘도시기상 관측데이터 품질검사 조건’으로 도시 내 기상특성을 고려한 도시기상관측 품질검사 알고리즘의 조건은 기상청 품질검사기준에서 제시하는 허용범위조건을 준용하는 것으로 결정하였다. 이에 따라 기온의 경우 물리한계검사, 단계검사, 지속성검사, 기후범위검사를 수행하였고, 습도의 경우는 물리한계검사와 지속성 검사, 기압은 물리한계검사, 단계검사, 지속성 검사를 수행하였다. 풍속과 풍향은 물리한계검사와 단계검사 그리고 내적일치성검사를 수행하는데 풍속에 한하여 지속성 검사를 수행하고 나서 내적일치성 검사를 진행하였다.

2.5 알고리즘 개발 방법

앞서 개발한 알고리즘 개발을 위하여 기상 관측 자료 수집을 통한 기록과 작성은 Excel 2016을 활용하였고, 전체 알고리즘 작성을 위한 프로그래밍 언어로는 Python ver. 3.8.1을 사용하였다. 기본적인 통계적 처리 및 그래프 작성을 위하여 Python의 Pandas, Numpy, Matplotlib 등의 패키지를 이용하였다. 또한 값 패턴지수에서 활용하는 머신러닝 적용을 위하여 오픈소스 패키지인 Prophet를 추가적으로 활용하였다.

3. 분석결과

3.1 검증 대상

본 연구의 시범적용을 위한 검증 대상지역은 인천광역시 연수구 송도동에 위치한 시험생산동 건물 옥상(위도: 37도22분55초, 경도: 126도39분14초)으로, 해당 위치에는 차세대도시농림융합기상사업단(WISE)에서 2016년 7월 7일부터 도시에너지수지 관측을 위한 기기를 설치하여 기상 관측 및 수집 중에 있다. 설치 지점은 Fig. 4와 같다.

https://static.apub.kr/journalsite/sites/kwra/2021-054-12S/N020054S-105/images/kwra_54_S-1_05_F4.jpg
Fig. 4.

WISE observation point in Songdo, Incheon

3.2 기상관측 기기

차세대농림융합기상사업단의 송도 도시에너지수지 관측지점과 동일한 위치에 G社에서 제작한 GMX500과 L社에서 제작한 EOLOS-IND의 총 2대의 IoT 기상관측기기를 다음 Fig. 5와 같이 설치하였다. 기기의 제품사양은 Table 4와 같고, 해당 기기를 통하여 2020년 10월 6일부터 2021년 1월 6일까지 약 3개월간 기온, 기압, 습도, 풍향, 풍속의 5종 기상요소를 1분 단위로 측정하였다. 이렇게 1분 단위로 측정한 데이터를 로거를 통해 CSV 형태로 총 133,920개의 자료를 수집하였다.

https://static.apub.kr/journalsite/sites/kwra/2021-054-12S/N020054S-105/images/kwra_54_S-1_05_F5.jpg
Fig. 5.

Urban weather observation by IoT sensor installed for this study

Table 4.

Physical limitations of IoT sensors

Index G Co. L Co.
Temperature -40 ~ +70℃ -40 ~ +70℃
Pressure 300 ~ 1,100 hpa 600 ~ 1,100 hpa
Humid 0 ~ 100% 0 ~ 100%
Wind Speed 0 ~ 360° 0 ~ 360°
Wind Direction 0.01 ~ 60 m/s 0.1 ~ 85 m/s

3.3 품질검사 결과

본 연구에서 개발한 IoT 도시기상 관측자료 품질검사 알고리즘 적용성 검토를 위해 앞서 제시한 기준관측소 관측데이터와 현장설치 IoT 기상센서 2종의 관측데이터를 기반으로 도시기상 관측자료 품질검사를 수행하였다. 2020년 10월 6일부터 2021년 1월 6일까지 약 3개월간 관측한 QC 분석대상 133,920개 중 정상자료율은 모두 90%이상으로 앞서 제시한 기상청 품질검사 기준 적용시 우수한 것으로 평가된다. 다음 Table 5는 각 IoT 기상 센서별 품질검사 오류데이터 발생이 어느 품질검사조건에서 발생하였는지를 구분하여 제시한 것이다. 제시된 결과를 살펴보면, 풍향은 측정되었는데 풍속 값이 측정되지 않는 내적일치성 검사오류의 조건을 제외하고, 대부분이 통계적 범위 이상, 공간성이상 등 IoT 데이터 특성을 반영한 품질검사조건에서 오류 값으로 판단되는 것을 알 수 있다.

Fig. 6(a)는 통계적범위이상 검사에서 이상치로 판별되어 오류로 검출된 부분을 확인하는 사례이다. 여기서 이상치란 다른 데이터보다 아주 작은 값이나 아주 큰 값을 말하는데, 상자그림에서 표현되는 최소값과 최대값은 이상치를 제외한 자료의 최소값과 최대값을 의미하고, 사분위수 범위는 제3사분위수와 제1사분위수의 차이를 말한다. 풍속의 경우에 사분위수 범위(Inter Quartile Range, IQR)를 활용해 그린 상자그림에서 사분위수 범위의 1.5배를 초과하는 즉, 과대 이상치 값들을 확인할 수 있었다.

Fig. 6(b)는 공간성이상검사에서 나타난 오류부분으로 기준이 되는 WISE 관측소에서 측정한 기온이 2.6℃일 때, 동일한 위치에서 IoT 기기가 측정한 값은 4.5℃를 나타내었다. 이는 공간성이상검사에서 기준으로 제시한 기준 관측소와 IoT 기기간 차이인 RMSE 값 0.6℃의 3배(1.8℃)를 넘어서는 경우로 이 역시 IoT 데이터가 가지는 특성을 반영한 알고리즘에 의해 검출되었다.

Table 5.

IoT QC result

Category Null Value Sufficient Statistic Time Spatial Physical Step Resistance Climate Internal Rate (%)
Temperature WISE - - - - - - - - - - - 100
G Co. - - - - - 11 - 2 - - - 99.9
L Co. - - - - - 2 - - - - - 99.9
Humid WISE - - - - - - - - - - - 100
G Co. - - - - - - - - - - - 100
L Co. - - - - 15 - - - - - 99.9
Pressure WISE - - - 1152 - - - - - - - 98.7
G Co. - - - 1238 - 7272 - - - - - 90.0
L Co. - - - 1298 - - - - - - - 98.6
Wind Speed WISE - - - 1611 - - - - - - 4640 93.1
G Co. - - - 1597 - 626 - - - - 87 97.4
L Co. - - - 4804 - 3 - - - - 124 94.5
Wind Direction WISE - - - - - - - - - - 4640 94.8
G Co. - - - - - - - - - - 87 99.9
L Co. - - - - - 3431 - - - - 124 96.1

https://static.apub.kr/journalsite/sites/kwra/2021-054-12S/N020054S-105/images/kwra_54_S-1_05_F6.jpg
Fig. 6.

IoT sensor QC result error check

3.4 품질검사 알고리즘 검증

앞서 관측한 데이터를 바탕으로 한 품질검사에서는 일부 검사에서만 Flag가 발생하는 한계점을 지녔다. 이에 본 연구에서는 개발된 품질검사 알고리즘의 검증을 위해 Flag를 유도하기 위한 가상의 데이터를 만들어 알고리즘의 정상작동여부를 확인하는 과정을 통해 검증작업을 수행하였다. Fig. 7은 가상의 데이터를 기반으로 한 알고리즘 검증 결과이다. Fig. 7(a)의 경우 습도의 물리한계인 100%를 넘어가는 경우를 탐지하였고, Fig. 7(b)는 앞서 제시한 Prophet 모형에서 5분 예측의 상한값과 하한값을 벗어나는 구간을 탐지하였다. Fig. 7(c)는 지속성 검사로 180분 약 3시간동안 IoT를 통해 관측되는 값이 변하지 않고 일정하게 나타나는 경우를 탐지하였다. 예를 들어 그림과 같이 기온이 180분 이상동안 일정하도록 설정하여 알고리즘을 검사한 결과 에러로 확인할 수 있었다. Fig. 7(d)는 기후 범위에 대한 검사로 기온값 계절 허용범위를 벗어나도록 적용하였다. 검증을 위해서는 계절의 10월 상한인 40℃를 초과하는 것을 탐지하였다. 따라서 본 연구에서 제시한 알고리즘이 해당 관측 기간 동안에는 탐지하지 못했던 부분까지 검증을 완료 하였다.

https://static.apub.kr/journalsite/sites/kwra/2021-054-12S/N020054S-105/images/kwra_54_S-1_05_F7.jpg
Fig. 7.

Verification of other QC algorithms

4. 결 론

본 연구에서는 머신러닝 기반의 IoT 도시기상 관측자료의 품질검사 알고리즘 개발을 위하여 기존의 기상청에서 제시하고 있는 기상관측자료 품질검사 기준과 IoT 기기에 의해 측정된 데이터가 가지는 특성을 고려한 품질검사 기준을 결합하여 제시하였다. 특히 기상청의 기상관측자료 품질검사 기준의 경우 ASOS와 AWS 등의 데이터를 활용하여 기준이 제시되었는데 서울시에 설치된 SKT AWS 자료를 토대로 검증한 결과 IoT 도시기상에도 적정한 기준으로 사용할 수 있었다. 아울러 IoT 데이터 기반의 알고리즘의 경우 단일 스트림과 멀티 스트림의 형태로 제시되어있는데, 이중 단일 스트림의 형태에 적용할 수 있는 알고리즘 중 기상청의 품질검사 기준과 중복되는 부분을 제외하고 설정하여 최종적으로 제시하였다. 이렇게 설정한 알고리즘을 검증하기 위하여 인천광역시 송도에 위치한 도시에너지수지 관측지점에 IoT 기상센서를 설치하여 기온, 습도, 기압, 풍향, 풍속 5개의 기상요소에 적용하였다. 품질검사 알고리즘은 우선적으로 결측값에 대한 검사를 수행한 후, IoT 기기 특성에서 발생 가능한 5종의 에러를 확인하고 다음으로 도시기상에 대한 5단계 검사를 수행한다. 각 단계를 거치면서 발생하는 에러는 Flag를 통해 확인할 수 있도록 하였고, 에러 Flag 발생시 과정이 중도에 중단되는 것이 아닌 다음 단계로 계속 진행되어 중복으로 Flag가 발생할 수 있도록 하여 모든 검사과정이 이루어질 수 있도록 구성하였다. 실제 관측한 데이터를 바탕으로 알고리즘에 적용시킨 결과 통계적 이상, 공간적 이상, 내적일치성 등 일부 요소에서 Flag가 발생하였으나 모두 90% 이상으로 나타나 기상청 품질검사 기준 대비 우수한 것으로 나타났다.

본 연구가 가진 제한점으로는 3개월의 짧은 시간동안 관측 장비를 운영하였고 해당 기간 동안의 데이터만을 이용했다는 점이다. 이러한 한계점을 극복하기 위해 해당 기간 동안 알고리즘에 검출되지 않은 에러 데이터를 임의로 만들어 검증하였으나, 한국에서의 여름철 폭염과 겨울철 한파 기간 동안 발생할 기기적 결함과 발생 가능한 에러 등을 모두 확인하고 반영했다고 보기에는 어렵다. 아울러 인천 송도의 한 지점에서만 진행하여 다른 지역에서의 지리적, 기후적 특성까지 모두 반영되었다고 보기는 힘들다. 또한 해당 기기는 옥상 지면에서부터 약 2 m 지점에 설치하였는데, 이는 사람이 접근하기 어려운 위치였고 스마트시티에 설치될 것을 고려한다면 다양한 고도와 위치에서의 관측과 실험도 필요할 것으로 사료된다. 추후 다양한 곳에서 장기간 지속적으로 IoT 기기를 통한 관측을 통해 본 연구에서 가지는 제한적인 부분들을 보안하고 보정한다면 보다 정확하고 의미 있는 연구 결과를 얻을 수 있을 것으로 판단된다.

이러한 제한점에도 불구하고, 본 연구를 통해서 해당 논문이 가지는 의의는 다음과 같다. 첫째, 전통적인 방식의 기상청 ASOS나 AWS가 아닌 IoT 기반의 센서를 이용해서 세밀한 관측망을 구축할 수 있다는 점이다. 특히 본 연구에서처럼 기온, 기압, 습도, 풍향, 풍속의 기상요소를 단일 장비로 관측이 가능하여 크기가 작고 다양한 구조물을 쉽게 이용할 수 있다. 둘째, IoT 기상 관측기기에 대한 품질검사 기준 마련으로 향후 IoT 데이터 활용에 있어 그 활용성을 높였다고 볼 수 있다. 이상에서 본 연구 결과는 고품질의 IoT 기상관측 자료 생산을 위한 기초자료로 활용될 수 있을 것이다.

본 연구를 통해 IoT 기기로 관측한 기상 자료의 오류 및 의심 자료를 검출하고 이를 체계화한다면 향후 미계측 지역에 대한 도시기상관측망 확대를 통해 도시기상정보 활용 업무 역량을 강화시킬 것으로 판단된다. 또한 이렇게 설치된 IoT 기기 데이터를 활용한다면 지역적 특성이 반영된 스마트시티 맞춤형 기상관측 데이터로도 활용되어 다른 스마트시티 내에서 생산 및 수집되는 데이터와 융합하여 더욱 활용성을 증대시킬 것으로 판단된다.

Acknowledgements

본 연구는 한국기상산업기술원 미래유망 민간기상서비스 성장기술개발사업(KMI2019-00410) 및 스마트시티 기상기후 융합기술 개발사업(KMI2020-01513)의 지원을 받아 수행되었습니다.

References

1
Ahn, J.H. (2009). "Development of embedded weather station using ethernet." Power Electronics Annual Conference, KIPE, pp. 13-15. (in Korean)
2
Chae, J.H., Park, M.S., and Choi, Y.J. (2014). "The WISE quality control system for integrated meteorological sensor data." Journal of the Korea Meteorological Society, KOMES, Vol. 24, No. 3, pp. 445-456. (in Korean) 10.14191/Atmos.2014.24.3.445
3
Gartner (2018). How to create a business case for data quality improvement, accessed 14 October 2021, <https://www.gartner.com/smarterwithgartner/how-to-create-a-business-case-for-data-quality-improvement>.
4
GTONE (2019). IoT stream data quality measurement indicators and profiling method for internet of things and system therefore. KR Patent, 1020190102059, filed Aug 21, 2019, Issued Dec 24, 2019.
5
Jang, B.J., and Jeong, I.T. (2020). "Development of IoT sensing technology for urban weather and environment observation using the micro mobility." Proceedings of Korea Society of Civil Engineering Conference, KSCE, pp. 504-505. (in Korean)
6
Kim, H.J., Lee, H.S., Choi, B.J., and Kim, Y.H. (2019). "Machine learning-based quality control and error correction using homogeneous temporal data collected by IoT sensors." Journal of the Korea Convergence Society, Vol. 10, No. 4, pp. 17-23. (in Korean)
7
Kim, H.S. (2020). "A study on the data quality management evaluation model." Journal of the Korea Convergence Society, Vol. 11, No. 17, pp. 217-222. (in Korean)
8
Kim, J.S., Lee, D.J., Kim, J.G., Shin, C.S., Park, J.W., and Cho, Y.Y. (2016a). "Real-time weather observation system based on IoT." Annual Conference of KIPS, KIPS, pp. 926-927. (in Korean)
9
Kim, M., Lee, N.Y., and Park, J.H. (2016b). "A quality evaluation model for IoT services." Korean Information Processing Society Review, KIPS Tr. Comp. and Comm. Sys., Vol. 5, No. 9, pp. 269-274. (in Korean) 10.3745/KTCCS.2016.5.9.269
10
Kim, S.G., Kim, S.H., Lim, C.H., Na, S.K., Park, S.S., Kim, J.M., and Lee, Y.G. (2021). "Analysis of future demend and utilization of the urban meteorological data for the smart city." Journal of the Korea Meteorological Society, KOMES, Vol. 31, No. 2, pp. 241-249. (in Korean)
11
Kim, S.Y., Lee, H.C., and Ryoo, S.B. (2016c). "Development and assessment of real-time quality control algorithm for PM10 data observed by continuous ambient particulate monitor." Journal of the Korea Meteorological Society, Atmosphere, Vol. 26, No. 4, pp. 541-551. (in Korean) 10.14191/Atmos.2016.26.4.541
12
Korea Meteorological Administration (KMA) (2019a). Enforcement rules of the weather observation standardization act. (in Korean)
13
Korea Meteorological Administration (KMA) (2019b). Standards and procedures for quality ratings of weather observation data. pp. 4-5. (in Korean)
14
Lee, Y.S., Kim, H.K., Hyun, M.J., Lee, H.A., Lee, Y.H., and Lee, J.W. (2017). "Derivation of standard values for quality control of temperature and precipitation observed data." Proceedings of the Autumn Meeting of KMS, KOMES, pp. 222-223. (in Korean)
15
Miller, J.S. (1996). U.S. Patent No. 5,506,984. U.S. Patent and Trademark Office, Washington, DC, U.S.
16
Oh, S.W., Im, N.H., Lee, S.H., and Kim, M.S. (2020). "Long-term price prediction and trend analysis of garlic using prophet model." Journal of the Korean Data Analysis Society, Vol. 22, No. 6, pp. 2325-2336. (in Korean) 10.37727/jkdas.2020.22.6.2325
17
Park, C.Y., and Choi, Y.E. (2012). "Validation of quality control algorithms for temperature data of the Republic of Korea." Journal of the Korea Meteorological Society, KOMES, Vol. 22, No. 3, pp. 299-307. (in Korean) 10.14191/Atmos.2012.22.3.299
18
Seo, J.H., Hwang, S.Y., and Kim, Y.H. (2002). "An implementation of radiosonde for atmospheric pressure information acquisition." Proceedings of the International Conference of Manufacturing Technology Engineers, KSMTE, pp. 618-620. (in Korean)
19
Taylor, S.J, and Letham, B. (2017). "Forecasting at scale." PeerJ Preprints Vol. 5, e3190v2. doi: 10.7287/peerj.preprints.3190v2 10.7287/peerj.preprints.3190v2
페이지 상단으로 이동하기