Research Article

Journal of Korea Water Resources Association. 31 December 2018. 1217-1227
https://doi.org/10.3741/JKWRA.2018.51.12.1217

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 이론적 배경

  •   2.1 인공신경망

  •   2.2 순환신경망

  • 3. 대상유역 및 자료

  • 4. 적용 및 평가방법

  •   4.1 분석절차

  •   4.2 평가방법

  • 5. 적용 및 결과

  •   5.1 예측성능 비교 분석

  •   5.2 일 유입량 예측성능 비교 분석

  •   5.3 은닉층 구성에 따른 영향 분석

  • 6. 결 론

1. 서 론

댐 유입량 예측은 댐운영 계획수립, 용수공급 계획수립, 가뭄ㆍ홍수 등 수재해예방, 생태계 보존 등 효율적인 물 관리를 위한 필수적인 요소이다. 하지만 유출현상은 자연현상의 하나로 높은 복잡도, 비정상성, 비선형 특징을 가지기 때문에 예측이 쉽지 않다. 현재 다목적댐에서는 댐 유입량 예측을 위해 유출모델(SSARR)과 빈도분석(향후 10일은 지하수 감수곡선)자료를 활용하고 있다. 유출모델의 경우 모델에 대한 이해, 매개변수 설정 등 사용자에 따라 분석 정확도 차이가 크며, 빈도분석은 안정적 운영을 고려한 10~20년 이상 빈도유입량을 선택함에 따라 사용자의 주관적 분석이 될 수 있는 한계점이 있다.

20세기 중반부터 등장한 인공지능기술은 다양한 공학 과학 분야에서 활용되고 있으며, 특히 지난 20년간 유량 예측을 위해서 다양한 인공지능 기술이 활용되고 있다. Yaseen et al. (2015)은 2000~2015년 동안 유량 예측을 위해 주로 사용된 인공지능기술로 뉴럴네트워크, SVM (Support Vector Machine), Fuzzy logic 방법, Evolutionary Computing 방법, Wavelet 변환을 적용한 방법으로 구분하였다. 그 중 인공신경망은 McCulloch and Pitts (1943)가 수학적 기법으로 처음 신경망의 기초논리를 연구하였고, 이후 Rosenblatt (1957)가 퍼셉트론(Perceptron)을 제안하였다. 그러나 그 당시 연구됐었던 인공신경망으로는 복잡한 논리회로 연산이 힘들다는 등의 이유로 관련 연구가 침체되어 암흑기를 맞았으나 1980년대 Rumelhart et al. (1986)에 의해 출력값을 역으로 전파하여 오차의 경사를 줄여나가는 역전파(back propagation) 알고리즘이 개발되면서 다시 각광받기 시작했다. Hsu et al. (1995)에 의하면 인공신경망은 강우-유출 예측 모델링에서도 입력과 출력 데이터 사이의 복잡한 비선형 관계를 식별할 수 있는 구조를 가짐에 따라 물리 방정식을 사용하여 과정의 특성을 설명하기 어려운 문제에 유용하고 효율적임이 밝혀졌으며, 유역 내부 구조를 모델링 할 필요가 없는 상황에서 입출력 모의 및 예측모형개발을 위한 효과적인 방법으로 제시되었다. 이후에도 수문ㆍ수자원 분야에서 인공신경망 기법을 적용한 다양한 연구가 진행되었으며(Maier and Dandy, 2000; Yaseen et al., 2015), 이와 함께 인공신경망의 하나인 순환신경망을 사용한 수문ㆍ수자원 분야 연구도 꾸준히 이루어지고 있다.

순환신경망을 사용한 수문ㆍ수자원 분야 국외연구를 살펴보면 Coulibaly and Anctil (1999)은 효율적 저수지 운영을 위한 단기 유입량 예측을 위해 순환신경망을 적용하였으며, 순환신경망이 효과적인 실시간 수문학적 예측결과를 도출하는 것을 확인하였다. Coulibaly and Baldwin (2005)는 시간에 따라 변화하는 수문현상 모델링을 위해 동적으로 동작하는 순환신경망을 제안하였고, 저수량 및 하천유량 예측에 적용하여 우수한 결과를 도출함을 확인하였다. Chiang et al. (2007)은 지점별 관측된 강수량과 인공위성을 통해 유도된 강수량 데이터를 결합하고 순환신경망을 활용하여 홍수 예측 정확도가 높아짐을 확인하였다. Chen et al. (2013)은 다단계전(multi-step ahead) 예측에서 각 단계의 관측값을 사용할 수 없다는 점에 착안하여 최신 관측값과 모델 출력을 포함한 현재 정보로 모델 매개 변수를 반복적으로 조정하는 다단계 홍수예측을 위한 reinforced 순환신경망 알고리즘을 제시하고 그 효과성을 입증하였다. Shoaib et al. (2016)은 강우-유출 예측 정확도 향상을 위해 웨이블릿 변환을 다중 퍼셉트론 네트워크와 시간 지연 순환신경망에 각각 적용한 유출량 예측연구를 수행하였고, 웨이블릿 함수 선택 및 메모리 depth에 따른 각 방법의 성능을 비교하였다. Zhang et al. (2017)은 하수관 유출 저감을 위해 하수 처리장의 처리 용량에 따라 공간적으로 일치하지 않는 하수도 흐름을 재분배하는 것을 목표로 하는 Inter Catchment Wastewater Transfer (ICWT) 방법을 제안하였으며, 유속 예측 모델을 구축하는데 순환신경망의 한 유형인 LSTM (Long Short-Term Memory)을 사용하여 하수도를 예측하는데 유용함을 입증하였다. Zhang et al. (2018)은 하수도 수위 모의 및 예측을 위해 네가지 신경망 모형의 다단계 예측성능을 비교하고, 순환신경망의 하나인 LSTM과 GRU (Gated Recurrent Unit)의 성능이 우수함을 보였다. Zhang et al. (2018)은 농업 지역의 장기적인 지하수위 예측을 위해 복잡하고 이질적인 수문지질학적 특징, 경계조건, 인간 활동간의 비선형적 상호작용을 감안해야함에 따라 계산적으로 비싼 물리적 모델의 대안으로 LSTM기반의 예측모형을 제시하고, 수문지질학적 자료를 확보하기 어려운 지역에서 지하수위 예측을 위한 대안적 접근 방법으로 사용될 수 있음을 입증하였다.

국내에서는 Kim et al. (1992)에 의해 IHP 대표유역인 평창강 수계를 대상으로 하천유출량 예측에 인공신경망이론이 처음 적용된 이래 수문 및 수자원 분야에서 이를 적용한 연구결과들이 제시되어 왔을 뿐 아니라 신경망 이론의 발전에 따른 새로운 알고리즘이 제안되었고 순환신경망 역시 이중 하나의 이론으로 볼 수 있다. Jun and Lee (2013)는 홍수예경보를 위해 홍수예보지점 상류의 관측수위자료를 활용하여 DRNNM (Discrete Recurrent Neural Network Model)을 적용한 단시간 수위예측기법을 개발하였고, 남강댐 상류유역에 적용하여 수위예측의 정확성을 보였다. Lee et al. (2018)는 메콩강 하류지점의 유출모의를 위해 물리기반 수문 모형인 SWAT모형과 데이터기반 딥러닝 알고리즘인 LSTM을 이용하여 유출모의 정확도 및 두 방법의 장단점을 비교분석하였다. Jung et al. (2018)은 상류관측수위를 활용한 하천수위예측을 위해 다중선형회귀모형과 LSTM 인공신경망 모형을 비교하고, LSTM모형의 예측성능이 우수함을 보였다. 또한 수문ㆍ수자원 분야는 아니지 만Lee and Kim (2018)은 전력 에너지 시계열 예측을 위해 Elman 순환신경망을 적용하여 우수한 예측결과를 보임을 확인하였다.

본 연구에서는 그간 댐 운영을 통해 축적된 기상 및 수문 빅데이터를 활용하여 인공지능기법 중 하나인 순환신경망(RNN; Recurrent Neural Network) 기반의 댐 유입량 예측 모형을 개발하고, 소양강댐과 충주댐 유역을 대상으로 적용하여 그 결과를 인공신경망 모형과 비교·분석함으로써 적용성 검토를 수행하였다.

2. 이론적 배경

2.1 인공신경망

인공신경망은 인간의 뇌구조의 신경세포인 뉴런의 동작을 모방하여 고안되었으며, Fig. 1의 (a)와 같이 가장 단순한 인공신경망 구조는 입력층, 은닉층, 출력층으로 구성되어 있다. 여기서, 각 층은 인간의 신경세포를 모방한 처리소자(PE; Processing Element)로 이루어져 있으며, PE는 입력, 출력, 가중치, 뉴런함수의 네 부분으로 되어 있다. 뉴런함수는 합산(summation), 활성화(activation), 전달(transfer), 학습(learning) 의 네 가지가 있다. 합산함수는 가중치에 따라 입력을 더하고, 그 결과는 활성화함수의 입력이 된다, 전달함수는 활성화함수의 결과를 받아 이미 정해진 크기와 비교한 후, 다음 PE에게 적절한 가중치를 가진 출력을 보내준다, 학습함수는 현재의 출력과 원하는 출력을 비교하여 오차를 감소시킨다. 입력층과 출력층이 문제에서 정의된 변수에 따라 확정적인데 반해 은닉층 PE의 수는 유동적이며, 학습을 위한 대표적인 방법으로 역전파 알고리즘이 있다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F1.jpg
Fig. 1.

Comparison of artificial neural network (a) and elman recurrent neural network (b)

2.2 순환신경망

순환신경망은 인공신경망의 한 종류로, Fig. 1의 (b)와 같이 PE간 연결이 순환적 구조를 갖는 특징이 있어 상태를 내부에 저장함으로써 시간변화에 대한 동적 특징을 모델링할 수 있다. 순환신경망의 종류에는 엘만(Elman) 순환신경망, 조던(Jordan) 순환신경망, LSTM, GRU 등이 있다. 그 중 엘만 순환신경망(Elman, 1990)은 입력층, 은닉층, 맥락층(context layer), 출력층으로 구성된다. 맥락층은 은닉층의 과거상태를 저장하는 역할을 하며, 엘만 순환신경망은 맥락층의 값이 다음 단계 입력 데이터와 함께 은닉층으로 전달됨으로써 과거의 출력이 다시 입력이 되는 피드백 방식을 통해 기억능력을 보유하게 된다. 또한 엘만 순환신경망 구조에서 다중 은닉층과 맥락층을 추가하여 확장된 계층적 엘만 네트워크(Extended hierarchical Elman Network)를 구성할 수 있다. 엘만 순환신경망에서 각 PE의 연산과정을 수식으로 표현하면 아래와 같다. xt는 입력벡터, ht는 은닉층 벡터, yt는 출력층의 벡터이고, W, U, b는 가중치이며, 𝜎h, 𝜎y는 각각 은닉층의 활성화함수 및 출력층의 전달함수이다.

$$h_t=\sigma_h(W_hx_t+U_hh_{t-1}+b_h)$$ (1)
$$y_t=\sigma_y(W_yh_t+b_y)$$ (2)

엘만 순환신경망의 학습은 예측값과 목표값의 차이를 사용한 손실함수(혹은 비용함수)가 최소화 되도록 모형의 모수인 가중치 W와 U를 최적화하는 것을 의미한다. 다양한 손실함수가 가능하나 일반적으로 예측값(Pi)와 관측값(Oi)에 대해 평균제곱오차(mean square error)를 가장 많이 사용한다.

$$L(W,\;U)=\frac1N\sum_i^N(O_i-P_i)$$ (3)

일반적인 인공신경망과 유사하게 엘만 순환신경망에서 가중치 학습은 오차역전파법을 적용한 경사하강법(gradient descent)을 주로 사용하여 손실함수가 최소가 되도록 가중치를 갱신한다. 가중치의 갱신은 아래와 같이 표현할 수 있으며 이때 α를 학습율이라고 한다.

$$W\leftarrow W-\alpha\frac{\partial L(W,\;U)}{\partial W}U\leftarrow U-\alpha\frac{\partial L(W,\;U)}{\partial U}$$ (4)

3. 대상유역 및 자료

본 연구의 대상유역은 기상관측기간, 댐 유입량 관측기간, 저수용량, 유역면적을 고려하여 Fig. 2에서와 같이 한강 유역의 소양강댐 및 충주댐을 선정하였다. 두 댐은 국내 대표적 다목적댐으로 소양강댐은 유역면적은 2,703 km2, 저수용량은 2,900백만m3이며, 충주댐은 유역면적 6,648 km2, 저수용량 2,750백만m3으로 댐 용수공급의 중요한 역할을 수행하고 있다. 입력자료로는 Table 1과 같이 두 댐의 운영기간 중 관측데이터를 검토하여 소양강댐은 1974.1월~2018.7월, 충주댐은 2000.1월~2018. 7월 기간 동안 관측된 자료를 활용하였다.예측모형의 입력변수 선정을 위해 물리기반 유출모형(SSARR, PRMS)에서 사용되는 입력변수를 검토하였으며, 유입량, 강우량, 기상(기온, 일조시간, 풍속) 및 예측 강우량의 총 32개 입력변수를 최종 선정하였다. 강우량은 유출현상에 큰 영향을 미치는 요인 중 하나이며, 유입량은 자기상관 및 유역토양함수를 고려하기 위해 포함하였다. 또한 기온, 일조시간, 풍속은 증발산 및 융설을 고려하기 위하여 포함하였다. 댐 유입량 예측모형의 입력 데이터는 모두 일단위 자료이며, 출력값은 향후 10일간 댐 유입량이 된다. 이 중 댐의 일 유입량은 직접 측정이 불가능한 자료로 댐 저수량 변화 및 일평균 방류량을 활용하여 계산되며, 강우량은 티센법을 사용하여 계산된 유역 강우량을 사용하였고, 기온, 일조시간, 풍속은 인근 기상청에서 관측된 자료를 사용하였다. 또한 예측 강우량은 향후 물리기반 기상모형(K-PPM)에서 모의된 예측 강우량을 입력 데이터로 사용하기 위해 포함하였으며, 예측모형의 훈련 및 검증시 예측 강우량은 실제 관측값으로 사용하였다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F2.jpg
Fig. 2.

Location of the study area and the observation station

Table 1. Information of the Input data set

Data nameInput dataN
Dam Inflow (Q)Qt-1,Qt-2,,Qt-5,Qμt-610,Qμt-1610*7
Rainfall (R)Rt-10,Rt-9,,Rt-1,Rμt-1110,Rμt-2110*12
Predicted Rainfall (R^)R^t+0,,R^t+910
Temperature (T)Tt-11
Sunshine Duration (SD)SDt-11
Wind Speed (WS)WSt-11

*Average Dam Inflow : Qμim=1mi-m+1iQj, Average Rainfall : Rμim=1mi-m+1iRj

4. 적용 및 평가방법

4.1 분석절차

본 연구에서는 댐 유입량 예측모형 학습 및 평가를 위해 ANN 및 Elman RNN 모형을 사용하였다. 먼저 모형 학습을 위해 데이터를 표준화 한 후, 훈련자료와 검증자료로 Table 2와 같이 나누었다. 훈련자료로 예측 모형을 학습하였으며, 검증자료와 모형의 예측자료를 비교하여 예측모형의 성능을 평가하고 그 결과를 비교·분석 하였다. 학습을 위해 사용한 은닉층수, 은닉층별 PE수, 학습율, 반복횟수는 Table 3과 같다. 은닉층수는 1~3으로, 은닉층별 PE수는 입력변수 개수(32개)를 기준으로 16과 33로 지정하였으며, 학습율은 0.1~0.8, 반복횟수는 500~3000으로 지정하였다. 인공신경망의 배치사이즈는 8로 설정하였으며, 활성화함수는 두 방법 모두 시그모이드 함수를 사용하였다. 하이퍼파라메터의 조합에 따라 각 96개의 예측모형을 훈련하였고, 검증기간에 대한 예측 성능을 평가하였다. 인공신경망 모형의 학습 및 예측을 위해 deepnet R package를 사용하였으며(Rong, 2014), 엘만 순환신경망 모형의 학습 및 예측을 위해 RSNNS R package를 사용하였다(Bergmeir and Benitez, 2012).

Table 2. Period of training and validation data set

DamTrainingValidation
PeriodNPeriodN
Soyanggang1974/01/31 ~ 2016/07/0815,5002016/07/09 ~ 2018/07/08730
Chungju2000/01/24 ~ 2016/07/086,0112016/07/09 ~ 2018/07/08730

Table 3. Hyper-parameter of artificial neural network and elman recurrent neural network

MethodHidden layerPE of each hidden layerLearning RateEpoch (Iteration)
Artificial Neural Network1, 2, 316, 330.1, 0.2, 0.5, 0.8500, 1000, 2000, 3000
Elman Recurrent Neural Network1, 2, 316, 330.1, 0.2, 0.5, 0.8500, 1000, 2000, 3000

4.2 평가방법

모형의 성능 평가를 위해서 RMSE (Root Mean Square Error), NSE (Nash-Sutcliffe Efficiency) 평가 지수를 사용하였고, 각 모형으로부터 예측된 2개년(2016.7~2008.7)의 댐 유입량 자료와 비교ㆍ분석을 통해 모형의 재현성을 평가하였으며, 또한 적용된 모형의 결과와 실측자료간의 결정계수(Determination Coefficient) 값을 산정하였다.

$$RMSE=\sqrt{\frac1N\sum_{i=1}^N(O_i-P_i)^2}$$ (6)
$$NSE=1-\frac{{\displaystyle\sum_{i=1}^N}(O_i-P_i)^2}{{\displaystyle\sum_{i=1}^N}(O_i-\overline O)^2}$$ (7)

여기서, Qi는 댐 유입량을 나타내며, O는 댐 유입량의 평균, Pi는 모형별 예측 댐 유입량, P는 모형별 예측 댐 유입량의 평균을 나타낸다.

5. 적용 및 결과

5.1 예측성능 비교 분석

ANN 및 Elman RNN 모형을 전술한 입출력데이터에 대해 각 96개 하이퍼파라메터 조합으로 학습 후 검증자료로 평가하였다. 소양강 및 충주댐 유역에 대한 10일 평균 예측 결과 RMSE 및 NSE 상위 10개 모형은 Tables 4 and 5에서 볼 수 있다. 소양강댐의 ANN모형의 RMSE가 51.955, NSE는 0.8914, 엘만 순환신경망 모형의 경우 RMSE는 50.443, NSE는 0.8977가 가장 우수한 것으로 보인다. 충주댐에서는 RMSE 98.116, NS는 0.8324를 보인 ANN 모형이, Elman RNN 모형의 경우 RMSE는 89.609, NSE는 0.8602를 보인 모형이 가장 우수한 것으로 보인다. 유역별 가장 우수한 예측성능을 보인 각 모형의 1일~10일 예측 성능을 살펴본 결과는 Tables 6 and 7과 같다. 소양강댐 유역에서 10일 예측에 대한 ANN 모형의 일별 RMSE는 44.157~ 57.100, 일별 NSE는 0.8685~ 0.9223이며, Elman RNN 모형의 경우 일별 RMSE는 46.794~ 58.383, 일별 NSE는 0.8636~0.9127로 계산되었다. 충주댐 유역에 대한 ANN 모형의 RMSE는 90.317~111.682, NSE는 0.7841~ 0.8589이며 Elman RNN 모형의 RMSE는 82.899~ 97.963, NSE는 0.8335~0.8811로 계산되었다.

Table 4. Top 10 models prediction performance results (Soyanggang)

MethodRankHidden layerPE of hidden layerLearning RateEpoch (Iteration)Ten days prediction average
RMSENSE
Artificial Neural Network13330.8200051.955 0.8914
23330.5300052.002 0.8911
32330.5200052.422 0.8894
42330.8200052.548 0.8890
52330.5300052.591 0.8889
61330.5300052.615 0.8887
73160.8300052.871 0.8873
81330.8300052.936 0.8873
92160.5200053.151 0.8866
102330.8100053.210 0.8865
Elman Recurrent Neural Network12330.1300050.443 0.8977
22160.2200051.084 0.8952
33160.2300052.176 0.8903
43160.1300053.043 0.8869
52160.8200053.474 0.8838
63160.550054.107 0.8819
72160.1300054.618 0.8803
83330.1300054.637 0.8801
92330.1200055.290 0.8772
103160.2100055.916 0.8744

Table 5. Top 10 models prediction performance results (Chungju)

MethodRankHidden layerPE of hidden layerLearning RateEpoch (Iteration)Ten days prediction average
RMSENSE
Artificial Neural Network12330.8300098.116 0.8324
22330.8200099.757 0.8271
33330.83000101.110 0.8202
42160.83000102.289 0.8178
52330.53000104.638 0.8096
61330.83000107.147 0.8001
73160.83000107.661 0.7979
81330.82000108.068 0.7970
92160.82000108.812 0.7940
101160.83000108.636 0.7938
Elman Recurrent Neural Network13160.5200089.609 0.8602
23160.2300091.148 0.8557
33330.2300091.218 0.8555
43330.5300091.879 0.8523
53160.2200093.578 0.8479
63160.8300093.455 0.8472
72160.5300094.966 0.8434
82330.5300096.622 0.8377
92330.2200096.632 0.8374
102330.2300097.130 0.8360

Table 6. Daily best model prediction performance results (Soyanggang)

DAYArtificial Neural NetworkElman Recurrent Neural Network
RMSENSERMSENSE
157.100 0.8685 51.758 0.8920
254.464 0.8803 50.671 0.8964
353.668 0.8839 48.132 0.9066
450.107 0.8993 49.378 0.9022
551.846 0.8927 49.497 0.9022
649.639 0.9018 49.095 0.9039
744.157 0.9223 46.794 0.9127
854.056 0.8836 53.473 0.8861
954.283 0.8824 47.248 0.9109
1050.228 0.8990 58.383 0.8636
average51.9550.891450.4430.8977

Table 7. Daily best model prediction performance results (Chungju)

DAYArtificial Neural NetworkElman Recurrent Neural Network
RMSENSERMSENSE
1102.402 0.8182 97.578 0.8350
2103.911 0.8126 97.963 0.8335
396.265 0.8393 96.203 0.8395
494.459 0.8455 85.470 0.8735
5111.682 0.7841 87.842 0.8665
695.805 0.8412 84.210 0.8773
795.768 0.8414 88.433 0.8647
890.317 0.8589 82.899 0.8811
996.585 0.8386 90.200 0.8592
1093.963 0.8443 85.291 0.8717
average98.1160.832489.609 0.8602

유역별 모형의 예측성능을 살펴본 결과 소양강댐 유역에서는 ANN과 Elman RNN 모형 간 예측성능은 큰 차이를 보이지 않았으며, 충주댐 유역에서는 Elman RNN 모형의 예측결과가 ANN에 비해 비교적 우수한 성능을 보임을 확인할 수 있었다. 또한 Figs. 3 and 4는 각 모형별 10일후 댐 유입량에 대한 예측값과 관측값을 시계열 그래프로 표현한 결과이며, NSE 0.8 이상의 비교적 높은 재현성을 보이는 것을 확인할 수 있다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F3.jpg
Fig. 3.

Comparison of predicted and observed daily Soyanggang dam inflow of 2017 and 2018

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F4.jpg
Fig. 4.

Comparison of predicted and observed daily Chungju dam inflow of 2017 and 2018

5.2 일 유입량 예측성능 비교 분석

일 유입량에 따른 모형별 예측 성능을 알아보기 위해 Fig. 5 와 같이 유역별 일 유입량의 누적분포함수에 10일 후 예측값을 표현한 결과 전반적으로 Elman RNN 모형이 ANN 모형에 비해 상대적으로 작은 값을 예측하는 경향이 있음을 확인하였다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F5.jpg
Fig. 5.

Comparison of cumulative distribution between predicted and observed inflow

좀 더 세부적으로 살펴보기 위해 Table 8과 같이 유역별 일 유입량의 최소값, 1분위수, 3분위수, 최대값을 구하고, 이를 기준으로 일 유입량을 각각 0~25%, 25~75%, 75%~100%로 구분하여 관측값과 예측값의 잔차를 분석하였다. 각 구간별 관측값과 예측값의 잔차를 표준화한 결과에 대해 산정한 분포곡선은 Figs. 6 and 7과 같다. 표준화 잔차 분포곡선의 모양은 모두 하나의 최고점을 가지는 형태를 보였으며, 최고점에 해당하는 표준화 잔차의 값은 각각 Table 9와 같았다. 그 결과를 살펴보면, 소양강댐 및 충주댐 유역에서 모두 Elman RNN 모형이 ANN 모형에 비해 예측값이 작은 경향이 있음을 확인할 수 있다. 또한 일 유입량이 0~25% 구간에서는 Elman RNN의 예측성능이 우수한 경향이 있으며, 75~100% 구간에서는 ANN의 예측성능이 우수한 경향이 있음을 확인하였다.

Table 8. Quantiles of dam inflow

Min1Q3QMax
Soyanggang 0.0007.29845.8951788.619
Chungju 0.00017.49099.6001467.130

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F6.jpg
Fig. 6.

Comparison of standardized residuals for different inflow regimes (Soyanggang)

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F7.jpg
Fig. 7.

Comparison of standardised residuals for different inflow regimes (Chungju)

Table 9. Peaks of standardized residuals for different inflow regimes

Case0% ~25%25% ~75%75% ~100%
Soyanggang ANN-0.108-0.165-0.011
Elman RNN0.0480.1160.200
Chungju ANN-0.276-0.120-0.156
Elman RNN-0.0230.1560.583

5.3 은닉층 구성에 따른 영향 분석

ANN 모형과 Elman RNN 모형의 성능에 영향을 미치는 것으로서 적용된 모형의 은닉층의 개수와 이를 구성하는 은닉층의 PE 수에 따른 각 모형의 10일 평균 예측치를 비교함으로써 그 성능을 고찰하였다. 그 결과 다중 은닉층의 효과는 Table 10 및 Figs. 8 and 9와 같이 Elman RNN의 은닉층 수가 증가함에 따라 소양강댐 유역에서는 57.360, 50.443, 52.176으로, 충주댐 유역에서는 110.626, 94.966, 89.609로 예측 성능이 향상되었다. 하지만 은닉층을 구성하는 PE의 수에 따른 예측성능의 변화는 Table 11 및 Figs. 10 and 11과 같이 두 모형 모두 큰 차이를 보이지 않았다. 따라서 다중 은닉층 구조는 댐 유입량을 예측하는데 있어 ANN에 비해 Elman RNN에서 더 효과적인 것으로 판단된다.

Table 10. Best model prediction performance results (RMSE) of each number of hidden layers

Case123
Soyanggang ANN52.615 52.422 51.955
Elman RNN57.360 50.443 52.176
Chungju ANN107.147 98.116 101.110
Elman RNN110.626 94.966 89.609

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F8.jpg
Fig. 8.

Comparison of performance for number of hidden layers (Soyanggang)

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F9.jpg
Fig. 9.

Comparison of performance for number of hidden layers (Chungju)

Table 11. Best model prediction performance results (RMSE) of each number of hidden layer PEs

Case1633
Soyanggang ANN52.871 51.955
Elman RNN51.084 50.443
Chungju ANN102.289 98.116
Elman RNN89.609 91.218

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F10.jpg
Fig. 10.

Comparison of performance for number of hidden layer PEs (Soyanggang)

http://static.apub.kr/journalsite/sites/kwra/2018-051-12/N0200511205/images/kwra_51_12_05_F11.jpg
Fig. 11.

Comparison of performance for number of hidden layer PEs (Chungju)

6. 결 론

본 연구에서는 댐 운영을 통해 축적된 기상 및 수문 빅데이터를 활용하여 순환신경망을 이용한 댐 유입량 예측모형의 적용성을 검토하기 위한 것으로서 소양강댐 유역 및 충주댐 유역의 일자료를 대상으로 ANN과 Elman RNN 모형에 대한 평가결과를 요약하면 다음과 같다.

1) 신경망이론에서는 모형을 구성하는 입력층, 중간층 그리고 출력층의 구조와 각 층을 구성하는 PE의 수에 영향을 받는데 본 연구에서는 중간층과 각 중간층의 PE수, 학습률 등을 고려하여 96가지의 다양한 조합을 구성하여 학습 및 재현에 따른 댐 유입량의 예측을 시도한 결과 전반적으로 Elman RNN 모형이 ANN 모형에 비해 상대적으로 작은 값을 예측하는 경향이 있다는 것을 확인할 수 있었다.

2) 또한, 일 유입량 구간별 관측값과 예측값의 표준화 잔차를 분석한 결과에서, 0~25% 구간에서는 Elman RNN의 예측성능이 우수한 경향이 있으며, 75~100% 구간에서는 ANN의 예측성능이 우수한 경향이 있음을 확인할 수 있었다. 이를 통해 Elman RNN은 홍수기보다는 갈수기 댐 유입량 예측에 보다 효과적일 것으로 판단된다.

3) 이 과정에서 상대적으로 우수한 성능을 보인 상위 10가지 모형을 선정하여, RMSE 값과 NSE 값이 최소값을 보임으로써 가장 우수한 것으로 판단되는 것은 소양강댐의 경우 기존에 주로 적용되어 온 ANN 모형이었다. 이는 엘만 순환신경망과 RMSE, NSE의 차이가 각각 1.512, 0.0063로서 예측성능에서 큰 차이를 보이지 않았으며, 충주댐의 경우 RMSE는 8.507, NSE는 0.0278의 차이를 보여 RMSE만으로 비교해 보면 Elman RNN이 약간 유리한 것으로 나타났다.

4) 선정된 10가지 모형에 대한 성능 비교결과를 요약해 보면, 소양강댐 유역의 ANN 모형의 일별 RMSE는 44.157~ 57.100, 일별 NSE는 0.8685~0.9223이며, Elman RNN 모형의 경우 일별 RMSE는 46.794~58.383, 일별 NSE는 0.8636~0.9127로 계산되었고, 충주댐 유역의 ANN 모형에 대한 RMSE는 90.317~111.682, NSE는 0.7841~ 0.8589이며 Elman RNN 모형의 RMSE는 82.899~97.963, NSE는 0.8335~0.8811로 계산되었다.

5) 전반적으로 신경망의 매개변수를 결정하는데 있어 Elman RNN은 ANN에 비해 은닉층 수가 증가함에 따라 예측성능이 향상되었으나 은닉층을 구성하는 PE의 수의 변화는 예측성능에 큰 차이를 보이지 않았다. 이는 댐 유입량 예측에 있어 다중 은닉층 구조는 ANN에 비해 Elman RNN에서 더 효과적인 것으로 판단할 수 있으나 이러한 문제는 다른 매개변수의 조정이나 최적화를 통해 해결할 수 있을 것이며, 특히 수문모형화 과정에서 모형수립의 등정과정에 대한 중요성이 강조되어야 한다는 점을 시사할 뿐 아니라 신경망모형의 적용시 개선된 새로운 학습알고리즘 보다는 자료의 신뢰성이 더욱 중요하다는 점이 강조되어야 할 것으로 사료되며 딥러닝 기법간의 비교평가를 통해 적합한 알고리즘이나 적용절차에 대한 추가적인 연구가 기대된다.

References

1
Bergmeir, C., and Benitez, J.M. (2012). "Neural Networks in R Using the Stuttgart Neural Network Simulator: RSNNS." Journal of Statistical Software, Vol. 46, No. 7, pp. 1-26.
10.18637/jss.v046.i07
2
Chen, P.-A., Chang, L.-C., and Chang, F.-J. (2013). "Reinforced recurrent neural networks for multi-step-ahead flood forecasts." Journal of Hydrology, Vol. 497, pp. 71-79.
10.1016/j.jhydrol.2013.05.038
3
Chiang, Y.-M., Hsu, K.-L., Chang, F.-J., Hong, Y., and Sorooshian, S. (2007). "Merging multiple precipitation sources for flash flood forecasting." Journal of Hydrology, Vol. 340, No. 3-4, pp. 183-196.
10.1016/j.jhydrol.2007.04.007
4
Coulibaly P., and Anctil F. (1999). "Real-time short-term natural water inflows forecasting using recurrent neural networks." International Joint Conference On Neural Networks, Washington Dc, Proceedings Ijcnn'99, Vol. 6, pp. 3802-3805.
10.1109/IJCNN.1999.830759
5
Coulibaly, P., and Baldwin, C. K. (2005). "Nonstationary hydrological time series forecasting using nonlinear dynamic methods." Journal of Hydrology, Vol. 307, No. 1, pp. 164-174.
10.1016/j.jhydrol.2004.10.008
6
Elman, Jeffrey L. (1990). "Finding Structure in Time." Cognitive Science, Vol. 14, No. 2, pp. 179-211.
10.1207/s15516709cog1402_1
7
Hsu, K., Gupta, H. V., and Sorooshian, S. (1995). "Artificial Neural Network Modeling of the Rainfall-Runoff Process." Water Resources Research, Vol. 31, No. 10, pp. 2517-2530.
10.1029/95WR01955
8
Jung, S. H., Lee, D. E., and Lee, K. S. (2018). "Prediction of River Water Level Using Deep-Learning Open Library." Journal of the Korean Society of Hazard Mitigation, Vol. 18, No. 1, pp. 1-11.
10.9798/KOSHAM.2018.18.1.1
9
Jun, H. D., and Lee, J. H. (2013). "A Methodology for Flood Forecasting and Warning Based on the Characteristic of Observed Water Levels Between Upstream and Downstream." Journal of the Korean Society of Hazard Mitigation, Vol. 13, No. 6, pp. 367-374.
10.9798/KOSHAM.2013.13.6.367
10
Kim, J. H., Park, C. Y., and Kang K. W. (1992). "Nonlinear Prediction of Stream flows by Pattern Recognition Method." Journal of Korean Water Resources Association, Vol. 25, No. 3, pp. 105-113.
11
Kim, J. H. (1993). A Study on Hydrologic Forecasting of Stream flows Based on Artificial Neural Network. Ph. D. dessertation, Inha University.
12
Kwon, S. H., Lee, J. W., and Chung, G. H. (2017). "Snow Damages Estimation using Artificial Neural Network and Multiple Regression Analysis." Journal of the Korean Society of Hazard Mitigation, Vol. 17, No. 2, pp. 315-325.
10.9798/KOSHAM.2017.17.2.315
13
Lee, C. Y., and Kim, J. H. (2018), "The Prediction and Analysis of the Power Energy Time Series by Using the Elman Recurrent Neural Network." Journal of Society of Korea Industrial and Systems Engineering, Vol. 41, No. 1, pp. 84-93.
10.11627/jkise.2018.41.1.084
14
Lee, K. H., Jung, S. H., and Lee, D. E. (2018). "Comparison of physics-based and data-driven models for streamflow simulation of the Mekong river." Journal of Korea Water Resources Association, Vol. 51, No. 6, pp. 503-513.
15
Maier, H. R., and Dandy, G. C. (2000). "Neural networks for the prediction and forecasting of water resources variables: a review of modelling issues and applications." Environmental Modelling & Software, Vol. 15, No. 1, pp. 101-124.
10.1016/S1364-8152(99)00007-9
16
McCulloch, W.S., and Pitts, W. (1943). "A Logical Calculusof the Ideas Immanent in Nervous Activity." The Bulletin of Mathematical Biophysics, Vol. 5, No. 4, pp. 115-133.
10.1007/BF02478259
17
Rong, X. (2014). deepnet: deep learning toolkit in R, accessed 1 May 2018, <https://CRAN.R-project.org/package=deepnet>.
18
Rosenblatt, F. (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain." Psychological Review, Vol. 65, No. 6, pp. 386-408.
10.1037/h0042519
19
Rumelhart, D. E., Hintont, G. E., and Williams, R. J. (1986). "Learning Representations by Back-propagating Errors." NATURE, Vol. 323, No. 9, pp. 533-536.
10.1038/323533a0
20
Shoaib, M., Shamseldin, A. Y., Melville, B. W., and Khan, M. M. (2016). "A comparison between wavelet based static and dynamic neural network approaches for runoff prediction." Journal of Hydrology, Vol. 535, pp. 211-225.
10.1016/j.jhydrol.2016.01.076
21
Yaseen, Z. M., El-shafie, A., Jaafar, O., Afan, H. A., and Sayl, K. N. (2015). "Artificial intelligence based models for stream-flow forecasting: 2000-2015." Journal of Hydrology, Vol. 530, pp. 829-844.
10.1016/j.jhydrol.2015.10.038
22
Zhang, D., Hølland, E. S., Lindholm, G., and Ratnaweera, H. (2017). "Hydraulic modeling and deep learning based flow forecasting for optimizing inter catchment wastewater transfer." Journal of Hydrology. Vol. In Press, Corrected Proof,
10.1016/j.jhydrol.2017.11.029.
23
Zhang, D., Lindholm, G., and Ratnaweera, H. (2018). "Use long short-term memory to enhance Internet of Things for combined sewer overflow monitoring." Journal of Hydrology, Vol. 556, pp. 409-418.
10.1016/j.jhydrol.2017.11.018
24
Zhang, J., Zhu, Y., Zhang, X., Ye, M., and Yang, J. (2018). "Developing a Long Short-Term Memory (LSTM) based model for predicting water table depth in agricultural areas." Journal of Hydrology, Vol. 561, pp. 918-929.
10.1016/j.jhydrol.2018.04.065
페이지 상단으로 이동하기