Improvement of multi layer perceptron performance using combination of gradient descent and harmony search for prediction of ground water level

Won Jin Lee; Eui Hoon Lee

doi:10.3741/JKWRA.2022.55.11.903

Preview

Research Article

Journal of Korea Water Resources Association. 30 November 2022. 903-911
https://doi.org/10.3741/JKWRA.2022.55.11.903

Improvement of multi layer perceptron performance using combination of gradient descent and harmony search for prediction of ground water level

지하수위 예측을 위한 경사하강법과 화음탐색법의 결합을 이용한 다층퍼셉트론 성능향상

Won Jin Lee^a

Eui Hoon Lee^b^*

이 원진^a

이 의훈^b^*

^aMaster Student, Department of Civil Engineering, Chungbuk National University, Cheongju, Korea

^bAssociate Professor, School of Civil Engineering, Chungbuk National University, Cheongju, Korea

^a충북대학교 토목공학과 석사과정

^b충북대학교 토목공학부 부교수

^{*Corresponding Author}

ABSTRACT

Groundwater, one of the resources for supplying water, fluctuates in water level due to various natural factors. Recently, research has been conducted to predict fluctuations in groundwater levels using Artificial Neural Network (ANN). Previously, among operators in ANN, Gradient Descent (GD)-based Optimizers were used as Optimizer that affect learning. GD-based Optimizers have disadvantages of initial correlation dependence and absence of solution comparison and storage structure. This study developed Gradient Descent combined with Harmony Search (GDHS), a new Optimizer that combined GD and Harmony Search (HS) to improve the shortcomings of GD-based Optimizers. To evaluate the performance of GDHS, groundwater level at Icheon Yullhyeon observation station were learned and predicted using Multi Layer Perceptron (MLP). Mean Squared Error (MSE) and Mean Absolute Error (MAE) were used to compare the performance of MLP using GD and GDHS. Comparing the learning results, GDHS had lower maximum, minimum, average and Standard Deviation (SD) of MSE than GD. Comparing the prediction results, GDHS was evaluated to have a lower error in all of the evaluation index than GD.

Keywords

Prediction of ground water level

Multi layer perceptron

Optimizer

Gradient descent

Gradient descent combined with harmony search

물을 공급하기 위한 자원 중 하나인 지하수는 다양한 자연적 요인에 의해 수위의 변동이 발생한다. 최근, 인공신경망을 이용하여 지하수위의 변동을 예측하는 연구가 진행되었다. 기존에는 인공신경망 연산자 중 학습에 영향을 미치는 Optimizer로 경사하강법(Gradient Descent, GD) 기반 Optimizer를 사용하였다. GD 기반 Optimizer는 초기 상관관계 의존성과 해의 비교 및 저장 구조 부재의 단점이 존재한다. 본 연구는 GD 기반 Optimizer의 단점을 개선하기 위해 GD와 화음탐색법(Harmony Search, HS)를 결합한 새로운 Optimizer인 Gradient Descent combined with Harmony Search(GDHS)를 개발하였다. GDHS의 성능을 평가하기 위해 다층퍼셉트론(Multi Layer Perceptron, MLP)을 이용하여 이천율현 관측소의 지하수위를 학습 및 예측하였다. GD 및 GDHS를 사용한 MLP의 성능을 비교하기 위해 Mean Squared Error(MSE) 및 Mean Absolute Error(MAE)를 사용하였다. 학습결과를 비교하면, GDHS는 GD보다 MSE의 최대값, 최소값, 평균값 및 표준편차가 작았다. 예측결과를 비교하면, GDHS는 GD보다 모든 평가지표에서 오차가 작은 것으로 평가되었다.

키워드

지하수위 예측

다층퍼셉트론

Optimizer

경사하강법

Gradient Descent combined with Harmony Search

MAIN

1. 서 론
2. 연구방법
2.1 Artificial Neural Network (ANN)
2.2 Multi Layer Perceptron (MLP)
2.3 Gradient Descent (GD)
2.4 Harmony Search (HS)
2.5 Gradient Descent combined with Harmony Search (GDHS)
2.6 대상유역 및 자료구축
3. 연구결과
3.1 학습결과
3.2 예측결과
4. 결 론

1. 서 론

지하수는 식수, 농업 및 공업용수 수요를 공급하는 주요 자원 중 하나이다(Sattari et al., 2018). 지하수위는 강수 및 하천수위의 변동 등 다양한 자연적 요인에 의해 변동이 발생한다. 정확한 지하수위 예측은 지하수 자원의 지속적인 활용 및 관리를 위해 필수적이다(Sahoo and Jha, 2013). 하지만 수리지질학적 및 수문기상학적 등 비선형적 요소들로 인해 지하수위의 변동을 예측하는 것은 어려움이 있다(Sahoo et al., 2017).

지하수위의 변동을 예측하기 위한 방법으로는 역학 기반 모델과 데이터 기반 모델로 구분할 수 있다. 역학 기반 모델은 수학적으로 지하수 흐름을 설명하고 예측하는 방법이다(Kim and Lee, 2018; Knotters and Bierkens, 2000). 대표적인 역학 기반 모델로는 MODFLOW 및 MODFLOW2005-NWT 등이 있다(Batelaan et al., 2003; Yousefi et al., 2019). 하지만 역학 기반 모델을 구축하기 위해서는 다양한 시·공간적 자료가 필요하다. 역학 기반 모델은 양질의 자료를 취득하기 어려운 경우 지하수위를 정확하게 예측하는데 어려움이 있다(Barthel and Banzhaf, 2016). 또한, 지하수위를 예측하기 위해 필요한 복잡한 프로세스를 단순화하는 과정에서 발생하는 불확실성과 많은 비용 및 계산시간이 길다는 단점이 있다(White et al., 2020; Maxwell et al., 2015; Shin et al., 2020). 역학 기반 모델의 불확실성은 모델의 예측성능을 저하시키며, 장기간의 계산시간으로 인해 사용성이 떨어진다.

역학 기반 모델의 단점으로 인해 데이터 기반 모델이 사용되고 있다. 데이터 기반 모델은 관측된 자료로부터 영향인자들과 지하수위의 상관관계를 기반으로 지하수위의 변동을 예측한다. 데이터 기반 모델은 양질의 관측자료가 필요하지만, 역학 기반 모델보다 상대적으로 계산시간이 짧고 모델 구축이 간단하며 정확한 예측이 가능하다. 이러한 데이터 기반 모델의 장점으로 데이터 기반 모델을 활용한 지하수위 변동을 예측하는 연구가 진행되고 있다(Park and Chung, 2020; Suryanarayana et al., 2014; Ebrahimi and Rajaee, 2017). 대표적인 데이터 기반 모델에는 다중선형회귀분석, Support Vector Machine 및 인공신경망(Artificial Neural Network, ANN) 등이 있다(Kim et al., 2021). 다양한 데이터 기반 모델 중 ANN은 지하수위를 예측하기 위해 많이 사용된 모델 중 하나이며, 높은 신뢰도의 예측결과를 보여주었다(Daliakopoulos et al., 2005; Trichakis et al., 2011; Derbela and Nouiri, 2020).

ANN은 입력자료와 출력자료 기반 Black-box 형태로 입력자료와 출력자료간의 상관관계를 학습하고 예측하는 모델이다. McCulloch and Pitts (1943)는 ANN의 기초논리를 처음으로 수학적 기법으로 연구하였으며, Rosenblatt (1958)은 컴퓨터를 통해 구축한 신경 네트워크인 Perceptron을 제안하였다. 이후 Rumelhart et al. (1986)은 역으로 출력값을 전파하여 ANN 계산값과 실제값의 오차를 줄이는 역전파(Back-propagation)를 제안했다.

ANN의 종류로는 입력층과 출력층 사이에 한 개 이상의 은닉층이 있는 순방향 모델인 Multi Layer Perceptron (MLP), 시계열 데이터 분석에 장점이 있는 Recurrent Neural Network (RNN) 및 RNN의 장기간 의존성 문제를 개선한 Long Short-Term Memory 등이 있다. ANN의 연산자로는 Optimizer 및 활성화 함수(Activation function)가 있다. Optimizer는 입력자료와 출력자료간의 최적의 상관관계를 찾는 알고리즘이다. 활성화 함수는 ANN의 각 뉴런이 전달하는 신호를 결정한다.

ANN의 연산자 중 Optimizer는 학습 및 예측성능에 영향을 미친다(Joo et al., 2020). 기존 연구들에서는 Optimizer로 경사하강법(Gradient Descent, GD) 기반 Optimizer를 사용하였다. GD 기반 Optimizer는 수치미분을 기반으로 새로운 해를 생성한다. 따라서, GD 기반 Optimizer는 초기에 생성되는 상관관계에 절대적으로 의존하여 지역 최적값으로 수렴할 가능성이 있다는 단점이 있다(Sedki et al., 2009). GD 기반 Optimizer는 기존의 해를 저장하고 기존의 해와 새로운 해를 비교하는 구조가 없다는 단점이 있다. GD 기반 Optimizer의 구조적 단점으로 인해 학습이 진행됨에도 불구하고 전역 최적해를 찾지 못할 가능성이 있다.

본 연구에서는 GD 기반 Optimizer의 단점을 개선하기 위해 메타휴리스틱 최적화 알고리즘을 적용하였다. 메타휴리스틱 최적화 알고리즘은 전체 탐색범위에서 해를 무작위로 선택하는 전역탐색과 탐색된 해의 근처에서 새로운 해를 찾는 지역탐색을 동시에 고려할 수 있다. 메타휴리스틱 최적화 알고리즘은 전역탐색을 통해 지역 최적해에서 벗어날 수 있으며, 지역탐색을 통해 해의 미세조정을 진행하여 정밀한 해의 탐색이 가능하다. 메타휴리스틱 최적화 알고리즘은 기존의 해를 저장하고 기존의 해와 새로운 해를 비교하는 구조가 있다. 대표적인 메타휴리스틱 최적화 알고리즘은 인공 및 자연현상을 모방한 유전자 알고리즘(Genetic Algorithm), 입자군집최적화(Particle Swarm Optimization) 및 화음탐색법(Harmony Search, HS) 등이 있다(Goldberg and Holland, 1988; Kennedy and Eberhart, 1995; Geem et al., 2001). 다양한 메타휴리스틱 최적화 알고리즘 중 HS는 구조가 단순하다는 장점이 있으며 다양한 최적화 문제에 적용하여 좋은 성능을 나타냈다(Kim and Lee, 2020; Mahdavi et al., 2007).

본 연구는 GD 기반 Optimizer의 단점을 개선하기 위해 GD와 HS를 결합한 새로운 Optimizer인 Gradient Descent combined with Harmony Search (GDHS)를 개발하였다. 개발된 GDHS를 사용한 MLP의 학습 및 예측성능을 평가하기 위해 이천시에 위치한 이천율현 관측소의 지하수위를 학습 및 예측하였다. MLP 학습을 위한 자료는 2015년부터 2018년까지의 홍수기 자료를 사용하였으며, 2019년의 홍수지 자료는 MLP의 예측성능 비교를 위한 자료로 사용하였다. GDHS를 사용한 MLP의 학습 및 예측성능을 검토하기 위해 GD를 사용한 MLP의 학습 및 예측결과와 비교하였다.

2. 연구방법

2.1 Artificial Neural Network (ANN)

ANN은 사람의 신경계에서 신호를 전달하는 뉴런을 묘사한 알고리즘이다. ANN은 구축된 자료를 기반으로 입력자료와 출력자료 간의 상관관계를 반복하여 학습한다. ANN은 반복학습을 통해 ANN 출력값과 관측값간의 오차가 최소가 되는 상관관계를 탐색한다. ANN은 많은 양의 데이터 처리를 통해 역학적 관계가 파악되지 않은 경우에도 상관관계를 파악할 수 있다(Aqil et al., 2007).

2.2 Multi Layer Perceptron (MLP)

Perceptron은 Single Layer Perceptron (SLP)과 MLP로 구분할 수 있다. SLP는 입력층과 출력층 사이에 은닉층이 없는 모델이다. SLP는 입력자료와 출력자료간의 선형적 상관관계를 파악할 수 있으나, 비선형적 상관관계를 파악할 수 없다는 단점이 있다. MLP는 입력층과 출력층 사이에 하나 이상의 은닉층이 있는 모델로 SLP의 단점을 개선하기 위해 제안되었다. MLP는 비선형적 상관관계를 파악할 수 있어 요소간의 비선형적인 관계를 갖는 자연현상에 대한 해석이 가능하다. Eqs. (1) and (2)는 MLP 계산과정이다.

(1)

n e t_{j}^{k} = \sum_{j} (w_{i j}^{k - 1} o_{i}^{k - 1} + b_{j}^{k}), k = 2, 3, \dots, n

(2)

o_{j}^{k} = f (n e t_{j}^{k})

여기서, $n e t_{j}^{k}$ 는 k번째 층의 i번째 노드의 입력값, $w i j^{k - 1}$ 는 k-1번째 층의 i번째 노드와 k번째 층의 j번째 노드사이의 가중치(Weight), $b_{j}^{k}$ 는 k번째 층의 j번째 노드의 편향(Bias), $o_{i}^{k - 1}$ 는 k-1번째층의 i번째 노드의 출력값이다. 또한, $o_{j}^{k}$ 는 k번째 층의 j번째 노드의 출력값이며, f는 활성화 함수이다.

활성화 함수는 각 층에서 출력되는 값을 결정하는 함수로 대표적인 활성화 함수로는 Sigmoid, Rectified linear unit (Relu), Hyperbolic tangent (tanh) 및 Swish 등이 있다. 본 연구에서는 연산시간이 짧고 사용이 간단하다는 장점이 있는 Relu를 활성화 함수로 사용하였다(Yoo et al., 2020) Eq. (3)은 Relu 함수이다.

(3)

f (x) = \max (0, x)

여기서, x는 각 노드의 입력값이다. Fig. 1은 본 연구에서 사용된 MLP의 구조이다. Fig. 1에 따르면, 지하수위 변동을 예측하는 기존의 연구를 참조하여 MLP의 은닉층은 1개로 설정했으며 노드는 10개로 구축하였다(Affandia et al., 2007). 입력 및 출력자료 개수에 따라 MLP의 입력층 및 출력층의 노드를 각각 7개와 1개로 구축하였다.

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F1.jpg

Fig. 1.

Structure of MLP

2.3 Gradient Descent (GD)

GD는 ANN의 Optimizer 중 하나로 수치미분을 통해 상관관계의 기울기를 계산하고 계산된 기울기와 학습률을 통해 새로운 상관관계를 찾는다. GD는 기울기가 0이 되는 지점을 찾는 방법으로 최적의 상관관계를 탐색한다. Fig. 2는 GD의 해 탐색 과정이다.

Fig. 2를 보면, GD는 기존 상관관계의 기울기를 활용하여 기울기가 감소하는 방향으로 새로운 해를 탐색한다. GD는 수치미분을 이용하여 새로운 해를 탐색하기 때문에 초기에 생성된 상관관계에 절대적으로 의존한다. 수치미분 기반의 탐색과정으로 인해 GD는 지역 최적해가 많은 경우 전역 최적해를 탐색하지 못할 가능성이 있다. Eq. (4)는 GD의 해 탐색과정의 식이다.

(4)

C_{t} = C_{t - 1} - η \frac{\partial O b j}{\partial C_{t - 1}}

여기서, C_t는 새로운 상관관계, C_t-1은 이전 단계의 상관관계, Obj는 목적함수를 의미하며, η는 학습률이다.

본 연구에서 GD의 학습률은 0.01로 설정하였다. 또한, MLP의 학습 반복횟수인 Epochs는 10,000으로 설정하였으며, 학습의 안정성을 평가하기 위해 초기 가중치의 값을 임의로 설정하는 방법을 적용하여 10번 반복실행하였다.

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F2.jpg

Fig. 2.

Schematic figure of GD

2.4 Harmony Search (HS)

HS는 재즈의 즉흥연주에서 최적의 화음을 찾는 과정을 모방하여 제안된 알고리즘이다. HS는 초기에 생성된 해집합을 기반으로 전역 및 지역탐색을 통해 최적의 해를 찾는 메타휴리스틱 최적화 알고리즘이다. 즉흥연주에서 악기 연주자들은 여러 화음을 만들어내며 가장 좋은 화음을 찾는다. HS에서 연주자들은 결정변수(Variable)에 해당하며, 화음은 해(Solution)에 해당한다. 또한, 연주자들이 낼 수 있는 음역대는 결정변수의 범위에 해당하며, 가장 좋은 화음은 전역 최적해(Global optimum)에 해당한다. HS는 지역 및 전역탐색의 반복을 통해 최적해를 탐색한다. Fig. 3은 HS의 해 탐색과정이다.

Fig. 3에 따르면, HS는 초기에 Harmony Memory Size (HMS) 만큼의 Harmony Memory (HM)를 생성하고 HM을 기반으로 최적의 해를 탐색한다. HS는 첫 번째로 Harmony Memory Considering Rate (HMCR)를 통해 전역탐색을 이용한 해 탐색 또는 기존의 해를 이용한 해 탐색을 결정한다. 두 번째로 기존의 해를 이용한 해 탐색을 실시할 경우 Pitch Adjusting Rate (PAR)를 통해 미세조정의 여부를 결정한다. 세 번째로 미세조정을 할 경우 Bandwidth (Bw)만큼 미세조정을 실시한다.

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F3.jpg

Fig. 3.

Flowchart of HS

2.5 Gradient Descent combined with Harmony Search (GDHS)

본 연구에서 개발된 GDHS는 GD의 초기 상관관계 의존성과 해의 비교 및 저장 구조의 부재로 인한 단점을 개선한 ANN의 Optimizer이다. GDHS는 GD의 수치미분을 이용한 해 탐색과 HS의 발견적 탐색을 결합한 구조이다. Fig. 4는 GDHS의 해 탐색과정이다.

Fig. 4에 따르면, GDHS는 두 가지의 방법으로 새로운 해를 탐색한다. 첫 번째는 HS를 이용하여 새로운 해를 생성하고 GD를 실시하는 방법이다. 두 번째는 기존의 해집합 중 하나의 해를 선택하여 GD를 실시하는 방법이다. 이후, 두 가지의 방법 중 더 좋은 해를 새로운 해로 선택한다. 새로운 해는 기존의 해집합과의 비교를 통해 HM을 갱신한다.

본 연구에서 GDHS의 HMS, HMCR, PAR 및 Bw는 각각 2, 0.5, 0.3 및 0.001로 설정하였다. 또한, 학습률은 GD와 동일하게 0.01로 설정하였다. GDHS는 한 번의 학습으로 2개의 새로운 해를 생성하기 때문에 Epochs를 5,000번으로 설정하였으며 10번 반복실행하였다.

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F4.jpg

Fig. 4.

Flowchart of GDHS

2.6 대상유역 및 자료구축

본 연구는 개발된 GDHS를 사용한 MLP의 학습 및 예측성능을 검토하기 위해 단위면적당 지하수 이용량이 가장 많은 경기도 지자체 중 이천시에 위치한 이천율현 관측소의 지하수위를 학습 및 예측하였다. 이천율현 관측소는 1996년 09월에 설치되었으며 이천시 율현동에 위치한다. 이천율현 관측소에 가장 가깝게 위치한 하천은 복하천으로 유역면적은 309.50 km²이며 유역평균폭은 7.77 km이다(MOLIT, 2011). 이천시의 1991년부터 2020년까지의 연평균강수량은 1,154.9 mm이다.

이천율현 관측소의 지하수위 학습 및 예측을 위한 MLP 입력자료는 Liu et al. (2021)을 참고하여 이천시의 일 단위 평균기온, 일강수량, 상대습도, 일조시간, 평균지면온도, 토양습윤량 및 복하천의 수위자료를 사용하였다. MLP 출력자료는 이천율현 관측소의 일 단위 지하수위를 사용하였다. 또한, 이천율현 관측소, 복하천 수위관측소 및 기상관측소의 강기간 결측치로 인해 홍수기(6~9월) 자료를 사용하였다. 2015년부터 2018년까지의 홍수기 자료는 GD를 사용한 MLP 및 GDHS를 사용한 MLP의 학습을 위한 자료로 사용하였으며 2019년 홍수기 자료는 GD 및 GDHS의 성능 비교를 위한 자료로 사용하였다. Fig. 5는 MLP의 학습을 위해 사용한 자료의 시계열 그림이다.

Fig. 5에 따르면, 토양습윤량 및 복하천의 수위가 지하수위의 변동과 유사한 양상을 보인다. Fig. 6은 이천시 기상 관측소, 이천율현 지하수위 관측소 및 복하천 수위 관측소의 위치를 표시한 그림이다.

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F5.jpg

Fig. 5.

Learning data of MLP

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F6.jpg

Fig. 6.

Location of study sites

본 연구에서 사용된 이천시의 기상데이터는 기상청의 기상자료개방포털에서 취득하였으며, 복하천의 수위자료는 국가수자원관리종합정보시스템에서 취득하였다. 또한, 이천율현의 지하수위는 국가지하수정보센터에서 취득하였다. 취득된 자료는 원자료(Raw data)이다.

원자료를 이용한 ANN 학습 및 예측은 좋은 성능을 보여주기 어렵다(Ryu and Lee, 2022). ANN의 학습 및 예측성능을 향상시키기 위해 학습 이전에 자료를 가공하는 데이터 전처리(Data-preprocessing)가 필요하다. 본 연구는 정규화(Normalization) 및 Time Lagged Cross Correlation (TLCC)을 이용하여 데이터 전처리를 실시하였다. 정규화는 넓은 범주의 자료를 작은 범주의 자료로 변환하는 전처리 방법이며, 정규화의 수식은 Eq. (5)와 같다.

(5)

N o r_{i} = \frac{R a w_{i} - R a w_{\min}}{R a w_{\max} - R a w_{\min}}

여기서, Nor_i는 정규화된 변수의 값, Raw_i는 실제 변수의 값, Raw_max는 실제 변수의 최대값이며, Raw_min은 실제 변수의 최소값이다.

TLCC는 지체시간을 고려하기 위한 방법으로 시간을 지연시켜 입력자료와 출력자료간의 상관계수 절대값이 가장 높은 데이터로 가공하는 전처리 방법이다. 상관계수의 절대값이 1에 가까울수록 입력자료와 출력자료간의 상관도가 크며, 0에 가까울수록 상관도가 낮다. TLCC를 위해 상관계수를 구하는 수식은 Eq. (6)과 같다.

(6)

R = \frac{\sum_{i = 1}^{n} (I_{i} - I) ∙ (O_{i} - O)}{\sqrt{\sum_{i = 1}^{n} {(I_{i} - I)}^{2}} ∙ \sqrt{\sum_{i = 1}^{n} {(O_{i} - O)}^{2}}}

여기서, R은 상관계수, I_i와 O_i는 시계열 값, n은 시계열의 길이를 의미하며, $I$ 와 $O$ 는 각각 I_i와 O_i의 평균값을 의미한다. Table 1은 TLCC를 실시한 결과이며, 상관계수의 절대값이 가장 높게 나타난 지연시간 및 상관계수이다.

Table 1에 따르면, 평균기온은 지연시간 5일에서 가장 높은 상관계수의 절대값이 가장 높았다. 평균기온을 제외한 나머지 입력자료는 지연시간 1일에서 상관계수의 절대값이 가장 높았다. 따라서, 평균기온을 제외한 나머지 입력자료는 1일 지체시켰으며, 평균기온을 5일 지체시켜 학습 및 예측하였다.

Table 1.

Result of TLCC

Input data	Delay time (day)	Absolute value of correlation coefficient
Average temperature	5	0.1905
Precipitation	1	0.6107
Relative humidity	1	0.6295
Sunshine duration	1	0.3998
Average ground temperature	1	0.1146
Soil moisture	1	0.8332
Bok-stream water level	1	0.8802

3. 연구결과

GDHS를 사용한 MLP의 학습 및 예측성능을 검토하기 위해 GD를 사용한 MLP의 성능과 비교하였다. 학습 및 예측성능 비교를 위해 본 연구에서는 평균제곱오차(Mean Squared Error, MSE) 및 평균절대오차(Mean Absolute Error, MAE)를 활용하였다. MLP 학습과정에서 GD와 GDHS의 목적함수는 MSE로 설정하였다. MSE와 MAE의 수식은 각각 Eqs. (7) and (8)과 같다.

(7)

M S E = \frac{\sum_{i = 1}^{N} {(y_{i} - y_{i})}^{2}}{N}

(8)

M A E = \frac{\sum_{i = 1}^{N} |y_{i} - y_{i}|}{N}

여기서, y는 관측값, $y$ 는 ANN 예측값이며, N은 데이터의 개수이다.

3.1 학습결과

GDHS를 사용한 MLP의 학습성능을 평가하기 위해 GD를 사용한 MLP의 학습결과와 비교하였다. MLP의 학습 안정성을 평가하기 위해 10번 반복실행하였으며, 10번 반복실행의 최대값, 최소값, 평균값 및 표준편차(Standard Deviation, SD)를 비교하였다. Table 2는 GD 및 GDHS를 사용한 MLP의 학습결과이다.

Table 2에 따르면, MSE 최대값, 최소값, 평균값 및 SD는 GDHS가 GD에 비해 각각 약 19%, 4%, 8% 및 46% 낮았다. 학습결과를 통해 GDHS를 사용한 MLP의 학습성능이 GD를 사용한 MLP보다 상대적으로 우수하며 안정적인 것을 확인할 수 있었다. Fig. 7은 학습에 따른 MSE의 수렴 그래프이며, 10번 반복실행의 평균이다.

Table 2.

Training results of MLP using GD and GDHS

Optimizer	Max MSE	Min MSE	Mean MSE	SD
GD	0.01952	0.01365	0.01579	0.00176
GDHS	0.01579	0.01315	0.01448	0.00096

Fig. 7에 따르면, GD는 반복학습이 시작함과 동시에 GDHS보다 MSE가 높은 것으로 나타났다. 또한, 반복학습이 진행되는 과정에서도 GDHS가 GD보다 MSE가 낮게 수렴했다. Fig. 7을 통해 GDHS의 학습성능이 GD보다 좋은 것으로 분석된다. Fig. 8은 10번 반복횟수 중 가장 학습성능이 우수한 신경망을 이용하여 학습결과를 검증한 그래프이다.

Fig. 8에 따르면, 학습자료의 기간 중 가장 수위가 높았던 날에 GD를 사용한 MLP의 오차는 0.0756 m로 나타났다. GDHS를 사용한 MLP의 오차는 0.0095 m로 GD를 사용한 MLP 보다 낮았다. 학습결과에 따르면, GD와 HS의 결합으로 GD의 학습성능을 개선한 것으로 분석된다.

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F7.jpg

Fig. 7.

Conversion shape of GD and GDHS

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F8.jpg

Fig. 8.

Comparison of the training results

3.2 예측결과

GDHS를 사용한 MLP의 예측성능을 평가하기 위해 GD를 사용한 MLP의 예측결과와 비교하였다. 예측결과의 비교를 위해 MSE 및 MAE를 사용했다. 예측성능의 안정성을 평가하기 위해 10번 반복실행의 최대값, 최소값, 평균값 및 SD를 나타냈다. Table 3은 GD 및 GDHS를 사용한 MLP의 예측결과를 MSE로 평가한 표이다.

Table 3에 따르면, MSE 최대값, 최소값, 평균값 및 SD는 GDHS가 GD에 비해 각각 약 2%, 8%, 3% 및 19% 낮았다. Table 4는 GD 및 GDHS를 사용한 MLP의 예측결과를 MAE로 평가한 표이다.

Table 4에 따르면, MAE 최대값, 최소값, 평균값 및 SD 모두 GDHS를 사용한 MLP가 GD를 사용한 MLP보다 낮았다. 그러나 MSE에 비해 MAE는 GD와 GDHS의 큰 차이가 없었다. MAE의 차이가 크지 않은 이유는 학습과정에서 GD와 GDHS의 목적함수를 MSE로 설정하였기 때문인 것으로 분석된다. Fig. 9는 10번 반복횟수 중 가장 학습성능이 우수한 신경망을 이용하여 예측한 결과이다.

Fig. 9에 따르면, 첨두수위에서의 오차는 GD를 사용한 MLP가 0.3739 m, GDHS를 사용한 MLP는 GD를 사용한 MLP는 0.2925 m이다. GDHS를 사용한 MLP는 GD를 사용한 MLP보다 오차가 약 22% 낮았다. 예측결과를 통해 GDHS를 사용한 MLP의 예측성능이 GD를 사용한 MLP보다 상대적으로 우수한 것으로 나타났다. 또한, 학습결과와 예측결과의 비교를 통해 GDHS의 학습 오차가 GD의 학습 오차보다 낮게 나타났기 때문에, GD의 과적합(Overfitting)으로 인한 예측성능 저하는 발생하지 않은 것으로 분석된다.

Table 3.

MSE of prediction results using GD and GDHS

Optimizer	Max MSE	Min MSE	Mean MSE	SD
GD	0.07708	0.05545	0.06687	0.00817
GDHS	0.07569	0.05108	0.06466	0.00662

Table 4.

MAE of prediction results using GD and GDHS

Optimizer	Max MAE	Min MAE	Mean MAE	SD
GD	0.25984	0.21447	0.23849	0.01588
GDHS	0.25938	0.21338	0.23559	0.01306

https://cdn.apub.kr/journalsite/sites/kwra/2022-055-11/N0200551105/images/kwra_55_11_05_F9.jpg

Fig. 9.

Comparison of the prediction results

4. 결 론

본 연구는 GD의 초기 상관관계 의존성과 해의 비교 및 저장 구조의 부재로 인한 단점을 개선하기 위해 새로운 ANN의 Optimizer인 GDHS를 개발하였다. GD 및 GDHS를 사용한 MLP의 학습 및 예측성능 검토를 위해 이천율현 관측소의 지하수위를 학습 및 예측하였다. MLP의 학습 및 예측성능 향상을 위해 정규화 및 TLCC를 이용하여 데이터 전처리를 실시하였다.

MLP 학습결과를 비교하면, GDHS를 사용한 MLP가 GD를 사용한 MLP보다 MSE 최대값, 최소값, 평균값 및 SD 모두 낮았다. 학습결과를 통해, 제안된 GDHS는 GD의 단점을 개선하였으며, 학습성능의 안정성까지 개선한 것을 확인할 수 있었다.

MLP 예측결과를 비교하면, GDHS를 사용한 MLP가 GD를 사용한 MLP보다 좋은 예측성능을 보여주었다. 또한, 첨두수위에서의 오차도 GDHS를 사용한 MLP가 GD를 사용한 MLP보다 낮았다. 예측결과를 통해, GDHS를 사용한 MLP의 예측성능이 GD를 사용한 MLP보다 우수한 것으로 분석된다.

본 연구에서 제안된 GDHS는 메타휴리스틱 최적화 알고리즘 중 구조가 간단한 HS를 사용하였다. 추후 연구에서 다양한 메타휴리스틱 최적화 알고리즘들과 GD의 결합한다면, GDHS보다 성능이 개선된 새로운 Optimizer를 개발할 수 있을 것이다. 또한, MLP가 학습자료에만 최적화 되어 발생하는 과적합을 해결하기 위해 은닉층 및 은닉층의 노드 개수와 같은 MLP의 초매개변수(Hyper parameter)를 다양화하여 MLP의 구조에 따른 GDHS의 학습 및 예측성능을 분석할 필요가 있다.

Acknowledgements

본 연구는 2022년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구입니다. 이에 감사드립니다(NRF-2019R1I1A3A01059929).

Conflicts of Interest

The authors declare no conflict of interest.

References

Affandia, AK., Watanabe, K., and Tirtomihardjo, H. (2007). "Application of an artificial neural network to estimate groundwater level fluctuation." Journal of Spatial Hydrology, Vol. 7, No. 2, pp. 17-32.

Aqil, M., Kita, I., Yano, A., and Nishiyama, S. (2007). "A comparative study of artificial neural networks and neuro-fuzzy in continuous modeling of the daily and hourly behaviour of runoff." Journal of Hydrology, Vol. 337, No. 1-2, pp. 22-34. 10.1016/j.jhydrol.2007.01.013

Barthel, R., and Banzhaf, S. (2016). "Groundwater and surface water interaction at the regional-scale - a review with focus on regional integrated models." Water Resources Management, Vol. 30, No. 1, pp. 1-32. 10.1007/s11269-015-1163-z

Batelaan, O., De Smedt, F., and Triest, L. (2003). "Regional groundwater discharge: phreatophyte mapping, groundwater modelling and impact analysis of land-use change." Journal of Hydrology, Vol. 275, No. 1-2, pp. 86-108. 10.1016/S0022-1694(03)00018-0

Daliakopoulos, I.N., Coulibaly, P., and Tsanis, I.K. (2005). "Groundwater level forecasting using artificial neural networks." Journal of Hydrology, Vol. 309, No. 1-4, pp. 229-240. 10.1016/j.jhydrol.2004.12.001

Derbela, M., and Nouiri, I. (2020). "Intelligent approach to predict future groundwater level based on artificial neural networks (ANN)." Euro-Mediterranean Journal for Environmental Integration, Vol. 5, No. 3, pp. 1-11. 10.1007/s41207-020-00185-9

Ebrahimi, H., and Rajaee, T. (2017). "Simulation of groundwater level variations using wavelet combined with neural network, linear regression and support vector machine." Global and Planetary Change, Vol. 148, pp. 181-191. 10.1016/j.gloplacha.2016.11.014

Geem, Z.W., Kim, J.H., and Loganathan, G.V. (2001). "A new heuristic optimization algorithm: harmony search." Simulation, Vol. 76, No. 2, pp. 60-68. 10.1177/003754970107600201

Goldberg, D.E., and Holland, J.H. (1988). "Genetic algorithms and machine learning." Machine Learning, Vol. 3, pp. 95-99. 10.1023/A:1022602019183

Joo, G., Park, C., and Im, H. (2020). "Performance evaluation of machine learning optimizers." Journal of Korean Electrical and Electronics Engineers, Vol. 24, No. 3, pp. 766-776.

Kennedy, J., and Eberhart, R. (1995). "Particle swarm optimization." Proceedings of the IEEE International Conference on Neural Networks, Indianapolis, IN, Vol. 4, pp. 1942-1948.

Kim, I., and Lee, J. (2018). "Prediction model for spatial and temporal variation of groundwater level based on river stage." Journal of Hydrologic Engineering, Vol. 23, No. 6, 06018002. 10.1061/(ASCE)HE.1943-5584.0001658

Kim, I., Lee, J., Kim, J., Lee, H., and Lee, J. (2021). "Analysis of groundwater level prediction performance with influencing factors by artificial neural network." Journal of the Korean Geotechnical Society, Vol. 37, No. 5, pp. 19-31.

Kim, Y.N., and Lee, E.H. (2020). "Development of the meta-heuristic optimization algorithm: Exponential bandwidth harmony search with centralized global search." Journal of the Korea Academia-Industrial cooperation Society, Vol. 21, No. 2, pp. 8-18.

Knotters, M., and Bierkens, M.F. (2000). "Physical basis of time series models for water table depths." Water Resources Research, Vol. 36, No. 1, pp. 181-188. 10.1029/1999WR900288

Liu, Q., Jian, W., and Nie, W. (2021). "Rainstorm-induced landslides early warning system in mountainous cities based on groundwater level change fast prediction." Sustainable Cities and Society, Vol. 69, 102817. 10.1016/j.scs.2021.102817

Mahdavi, M., Fesanghary, M., and Damangir, E. (2007). "An improved harmony search algorithm for solving optimization problems." Applied mathematics and computation, Vol. 188, No. 2, pp. 1567-1579. 10.1016/j.amc.2006.11.033

Maxwell, R.M., Condon, L.E., and Kollet, S.J. (2015). "A high-resolution simulation of groundwater and surface water over most of the continental US with the integrated hydrologic model ParFlow v3." Geoscientific Model Development, Vol. 8, No. 3, pp. 923-937. 10.5194/gmd-8-923-2015

McCulloch, W.S., and Pitts, W. (1943). "A logical calculus of the ideas immanent in nervous activity." The Bulletin of Mathematical Biophysics, Vol. 5, No. 4, pp. 115-133. 10.1007/BF02478259

Ministry of Land, Infrastructure and Transport (MOLIT) (2011). Bok-stream basic plan (change) report, p. 34.

Park, C., and Chung, I.M. (2020). "Evaluating the groundwater prediction using LSTM model." Journal of Korea Water Resources Association, Vol. 53, No. 4, pp. 273-283. 10.3741/JKWRA.2020.53.4.273

Rosenblatt, F. (1958). "The perceptron: a probabilistic model for information storage and organization in the brain." Psychological Review, Vol. 65, No. 6, 386.

Rumelhart, D.E., Hinton, G.E., and Williams, R.J. (1986). "Learning representations by back-propagating errors." Nature, Vol. 323, No. 6088, pp. 533-536. 10.1038/323533a0

Ryu, Y.M., and Lee, E.H. (2022). "Application of neural networks to predict Daecheong Dam water levels." Journal of the Korean Society of Hazard Mitigation, Vol. 22, No. 1, pp. 67-78. 10.9798/KOSHAM.2022.22.1.67

Sahoo, S., and Jha, M.K. (2013). "Groundwater-level prediction using multiple linear regression and artificial neural network techniques: a comparative assessment." Hydrogeology Journal, Vol. 21, No. 8, pp. 1865-1887. 10.1007/s10040-013-1029-5

Sahoo, S., Russo, T.A., Elliott, J., and Foster, I. (2017). "Machine learning algorithms for modeling groundwater level changes in agricultural regions of the US." Water Resources Research, Vol. 53, No. 5, pp. 3878-3895. 10.1002/2016WR019933

Sattari, M.T., Mirabbasi, R., Sushab, R.S., and Abraham, J. (2018). "Prediction of groundwater level in Ardebil plain using support vector regression and M5 tree model." Groundwater, Vol. 56, No. 4, pp. 636-646. 10.1111/gwat.1262029193047

Sedki, A., Ouazar, D., and El Mazoudi, E. (2009). "Evolving neural network using real coded genetic algorithm for daily rainfall - runoff forecasting." Expert Systems with Applications, Vol. 36, No. 3, pp. 4523-4527. 10.1016/j.eswa.2008.05.024

Shin, M.J., Moon, S.H., Kang, K.G., Moon, D.C., and Koh, H.J. (2020). "Analysis of groundwater level variations caused by the changes in groundwater withdrawals using long short-term memory network." Hydrology, Vol. 7, No. 3, 64. 10.3390/hydrology7030064

Suryanarayana, C., Sudheer, C., Mahammood, V., and Panigrahi, B.K. (2014). "An integrated wavelet-support vector machine for groundwater level prediction in Visakhapatnam, India." Neurocomputing, Vol. 145, pp. 324-335. 10.1016/j.neucom.2014.05.026

Trichakis, I.C., Nikolos, I.K., and Karatzas, G.P. (2011). "Artificial neural network (ANN) based modeling for karstic groundwater level simulation." Water Resources Management, Vol. 25, No. 4, pp. 1143-1152. 10.1007/s11269-010-9628-6

White, J.T., Knowling, M.J., and Moore, C.R. (2020). "Consequences of groundwater-model vertical discretization in risk-based decision-Making." Groundwater, Vol. 58, No. 5, pp. 695-709. 10.1111/gwat.1295731667821

Yoo, Y., Kim, D., and Lee, J. (2020). "Performance analysis of various activation functions in super resolution model." Proceedings of the Korea Information Processing Society Conference, KIPS, Vol. 27, No. 1, pp. 504-507.

Yousefi, H., Zahedi, S., Niksokhan, M.H., and Momeni, M. (2019). "Ten-year prediction of groundwater level in Karaj plain (Iran) using MODFLOW2005-NWT in MATLAB." Environmental Earth Sciences, Vol. 78, No. 12, pp. 1-14. 10.1007/s12665-019-8340-y

Journal of Korea Water Resources Association ISSN:2799-8746(Print) 2799-8754(Online) 한국수자원학회 논문집

Preview

Improvement of multi layer perceptron performance using combination of gradient descent and harmony search for prediction of ground water level

ABSTRACT

MAIN

(1)

(2)

(3)

Fig. 1.

Structure of MLP

(4)

Fig. 2.

Schematic figure of GD

Fig. 3.

Flowchart of HS

Fig. 4.

Flowchart of GDHS

Fig. 5.

Learning data of MLP

Fig. 6.

Location of study sites

(5)

(6)

Table 1.

Result of TLCC

(7)

(8)

Table 2.

Training results of MLP using GD and GDHS

Fig. 7.

Conversion shape of GD and GDHS

Fig. 8.

Comparison of the training results

Table 3.

MSE of prediction results using GD and GDHS

Table 4.

MAE of prediction results using GD and GDHS

Fig. 9.

Comparison of the prediction results

Acknowledgements

Conflicts of Interest

References