Research Article

Journal of Korea Water Resources Association. 30 September 2023. 563-574
https://doi.org/10.3741/JKWRA.2023.56.9.563

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 연구자료

  • 3. 연구방법

  •   3.1 기계학습 강우-유출 모의

  •   3.2 개념적 강우-유출 모형 GR6J

  •   3.3 계측 유역 유출예측 기법

  •   3.4 미계측 유역 유출예측 기법

  •   3.5 모형의 평가방법

  • 4. 연구 결과

  •   4.1 계측 유역에서의 일 유출량 모의 결과

  •   4.2 미계측 유역에서의 일 유출량 모의 결과

  •   4.3 각 모형의 모의 성능에 대한 Paired t-test 검정

  •   4.4 미계측 유역의 유출 예측을 위한 인접성 기반 지역화 기법의 적용성

  •   4.5 한 계

  • 5. 결 론

1. 서 론

기후변화에 관한 정부간협의체(Intergovernmental Panel on Climate Change; IPCC, 2023)의 6차 보고서에 따르면 인간 활동으로 인한 기후변화는 대기, 해양, 육지에 광범위하고 중대한 영향을 미치는 것으로 확인되었다. 산업혁명 이후 온실가스 배출량의 지속적인 증가와 토지 이용의 변화는 전 세계적인 기후변화를 주도했다. 온실가스에 의한 지역적 반응은 특정 지역의 피드백 메커니즘으로 인해 비선형적이고 불균일하여 일부 지역의 온도는 다른 지역보다 더 급격하게 상승할 것이다(Zittis et al., 2022). 극단적인 기상재해의 일상화와 함께 일부 지역에서는 가뭄의 빈도와 강도 증가(Caloiero et al., 2018; Güner Bacanli, 2017; Nastos et al., 2013; Spinoni et al., 2019)하는 반면 일부 지역에서는 강수량의 증가 및 폭우 일수의 증가(Alpert et al., 2002; Founda et al., 2013)가 나타나고 있다. 이러한 기후 변화는 수문기상 시스템에 큰 영향을 미치고 잠재적으로 수자원 인프라의 재해위험 관리능력을 떨어뜨린다(Georgakakos et al., 2012; Raje and Mujumdar, 2011).

수자원 인프라에 미치는 기후변화의 영향을 평가하기 위해 강우-유출 모의는 필수적인 과정이다(Kim et al., 2019). 유역에 내린 강우가 얼마나 빨리 유출되는지는 선제적 수자원 인프라 운영을 위하여 반드시 필요하기 때문에 다양한 관점, 규모, 기후조건에서 강우-유출 모형에 대한 연구가 활발하게 진행되어왔다(Młyński et al., 2018; Moussa and Chahinian, 2009; Smakhtin and Toulouse, 1998). 전통적인 강우-유출 모의기법으로 유역 내 물 순환과정을 간단한 개념 공식으로 조합하여 유출을 예측하는 개념적 모형을 들 수 있다(Perrin et al., 2003; Beven, 1997; Nielsen and Hansen, 1973). 물리적 과정을 단순화하여 모의하지만 강우에 대한 유역 전체의 반응을 소수의 매개변수로 대표하며 유역특성의 공간변화를 고려하는 접근보다 성능이 좋은 경우도 많다(Hrachowitz and Clark, 2017). 유역 반응을 모사하는 매개변수는 일반적으로 모형이 계측 유역의 관측 유출 자료를 재생산할 수 있도록 최적화 기법을 이용하여 추정하고 미계측 유역의 경우 계측 유역의 매개변수를 이용하여 추정하는 방법을 사용한다(Hrachowitz et al., 2013).

한편 최근에는 기상자료와 하천 유출 사이의 비선형적 관계를 포착하는 도구로 기계학습 기법이 자주 사용되고 있다(Ghiggi et al., 2019, 2021; Mohammadi, 2021). 이는 개념적 모형과는 달리 가정이 많은 확정론적 이론을 사용하지 않고 관측 데이터에 숨어있는 입-출력 관계를 직접 찾아내기 때문에 개념적 모형으로는 포착할 수 없는 유역의 반응을 재생산할 수 있는 장점을 가지고 있다(Ghiggi et al., 2021).

기계학습 모형은 관측 자료에 적응하는 능력에서 강력한 이점을 제공하지만 몇 가지 우려가 존재한다(Nearing et al., 2021; Dawson et al., 2006). 첫째, 유역의 물리적 프로세스를 설명할 수 없는 이론이 검증되지 않은 데이터 중심적인 모형이기 때문에 모형의 신뢰도가 떨어진다. 또한 데이터에 크게 의존하기 때문에 미계측 유역의 제한된 데이터 적용성 문제에 직면하게 되며 특히, 데이터에 이상치가 포함된 경우 예측력이 크게 약화될 수 있다. 이러한 불확실성을 고려하여 지금까지 개념적 모형과 기계학습 모형의 많은 비교 연구가 있었지만 아직 개념적 모형과 기계학습 모형의 미계측 유역에서의 성능은 충분히 비교되지 않은 상태라 할 수 있다. 이에 본 연구에서는 유출 예측에 사용되는 대표적인 개념적 모형과 기계학습 모형을 선정하여 한국의 38개 계측 유역에 대해 두 모형의 성능을 비교평가한 뒤 해당 모형을 다시 미계측 유역에 적용했을 때 나타나는 성능변화를 비교하였다.

2. 연구자료

연구 대상 유역은 관측 유출 자료에 비교적 인간 개입이 적은 것으로 판단되는 38개 자연유역을 선정했다(Fig. 1). 한국은 Köppen-Geiger 기후 분류체계에 따라 북부는 습윤한 대륙성 기후이고 남부와 동부 해안지역은 습윤한 아열대 기후이다(Rhee and Cho, 2016). 한국 연 평균기온의 평년값은 7.1-16.9℃의 분포를 보이며 여름철에는 18.5-25.7℃, 겨울철에는 -5.3-8.3℃의 분포를 보인다. 또한 연 평균 상대습도의 평년값은 59.1-79.0%의 분포를 보이며 7월 전라남도 흑산도의 경우 92.9%로 가장 높고, 12월 강원도 강릉의 경우 45.6%로 가장 낮다. 여름철에는 북태평양 고기압의 영향으로 습도와 기온이 높으며 겨울철에는 시베리아 고기압의 영향으로 습도와 기온이 낮다. 연 강수량의 평년값은 787.3-4,381 mm의 분포를 보이며 여름철에는 431.5-1,752.6 mm, 겨울철에는 43.5-479.7 mm의 분포를 보인다(KMA, 2020). 일반적으로 한국 하천의 연 최대 유량은 장마와 태풍의 영향으로 여름철 중순에 발생한다. 연구유역의 유량자료는 국가 수자원 관리종합정보 시스템(Water Management Information System, WAMIS)에서 2007-2020년 기간의 26개 수위관측소의 유량자료와 12개소 댐 유입량 자료를 사용하였다.

본 연구에 사용된 기상자료는 Jeong and Eum (2015)의 방법을 통해 생산되었다. 본 방법은 60개 관측소의 종관기상관측(Automated Synoptic Observation System, ASOS) 자료를 Parameter-elevation Regression on Independent Slopes Model (PRISM; Daly et al., 2008) 방법으로 공간보간 후 역거리법(Inverse Distance Weighting)으로 이상치를 보간 하여 생산하는 방법이다. 이는 PRISM 방법으로만 보간 하는 방법에 비해 편의가 적게 일어나는 장점이 있다(Daly et al., 2008; Jeong and Eum, 2015). 연구에 사용된 기상자료로 Jeong and Eum (2015)의 방법을 통해 3 km 해상도의 격자형 데이터로 생산된 일 강수, 일 최고기온, 일 최저기온 자료를 선정하였다. 또한 잠재증발산(Potential Evaporation, PET) 계산을 위해 일 상대습도, 일 풍속 자료를 추가로 선정하였다. 이 자료는 동일한 60개 관측소의 ASOS 자료를 역거리법으로 보간 하여 생산되었다. 수집된 격자형 기상자료들은 각 유역별로 공간평균하여 강우-유출 모형의 입력 자료로 사용되었다. 2007-2020년 기간 중 2012-2020년을 모형의 학습기간으로, 2007-2011년을 모형의 평가기간으로 사용하였다. 연구기간에 대한 수문기상학적 특성 및 유역 특성은 Table 1에 요약하였다.

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F1.jpg
Fig. 1.

The boundaries, elevation profile and the outlet locations of study catchments (white triangles)

Table 1.

Summary of hydro-meteorological features during 2007-2020, calculated using spatial averages of grid data in study catchments

Avg CVb Min 25% Med 75% Max
Area (km2) 939.4 1.39 65.9 208.5 487.8 1041.5 6652.3
Elevation (m a.s.l.) 347.2 0.58 64.2 193.3 274.6 513.2 761.6
Mean annual prcp (mm/yr) 1348.5 0.14 1034.1 1232.0 1255.8 1450.0 1973.6
Mean annual temp (℃) 11.7 0.13 8.8 11.1 12.0 12.7 13.8
Mean annual Flow (mm/yr) 776.1 0.20 522.6 669.4 757.2 824.9 1220.5
Aridity Indexa 1.72 0.14 1.23 1.59 1.66 1.81 2.62

a Ratio of total precipitation to total potential evaporation proposed by UNEP (1997).

b Coefficient of variation, the ratio of standard deviation to mean.

3. 연구방법

본 연구의 개요를 Fig. 2에 요약했다.

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F2.jpg
Fig. 2.

The Flowchart of this study. (a) For prediction runoff in gauged basins, each model was calibrated or trained using data obtained directly from the target basin. (b) For prediction runoff in ungauged basins, input data were extrapolated from surrounding basins and output data were estimated through the average of the results. The number of surrounding basins was be determined to be 5. (c) The hydrological indicators used were NSE, LNSE, KGE and KGE detailed indicators

3.1 기계학습 강우-유출 모의

기계학습 일 유출량 모의 기법으로 Random Forest (RF; Breiman, 2001) 회귀 모형을 이용했다. RF는 회귀 및 분류에 적용 가능한 다중 의사결정 나무를 사용하는 앙상블 학습기법으로 관측 데이터에서 무작위로 부스트랩 샘플을 추출하여 의사결정 나무를 생성한다. 이때, 각 노드에서 무작위로 선택된 예측 변수를 사용하여 하위 의사결정 나무를 추출하며 이 과정은 추출된 의사결정 나무가 목적함수에 대해 최적화 될 때까지 반복된다. 이후 일 유출량 모의와 같은 회귀 분석의 경우 생성된 값은 평균화되어 예측을 제공한다. RF는 데이터의 가정 및 너무 많은 예측 변수의 선정 없이 수문 시스템의 비선형성을 잘 포착하며 모형의 과적합 위험이 낮다(Liaw and Wiener, 2002; Tyralis et al., 2019).

RF 모형의 예측변수로 일 강수의 이동 합(Roll_P), PET, 건조지수(Aridity Index, AI), 일 수(Day of Year, J)를 선정했다. 여기서, Roll_P는 일 강수자료의 간헐성을 제거하기 위하여 연속적인 유출 자료와 가장 높은 상관성을 갖는 Time windows의 길이를 이용해 계산되었다. PET는 유역의 물 수요 혹은 손실을 나타내는 간단한 예측변수로 Priestley and Taylor (1972) 공식을 통해 산정되었다. Priestley and Taylor 계수(α)는 1.10을 적용했다(Ma et al., 2021). AI는 유역의 강수와 증발의 균형을 고려하여 유역의 기후특성을 설명해주는 예측변수로 UNEP (1997)에서 제시한 방법을 통해 산정되었다. J는 유역 반응의 주기성을 확인하기 위해 추가된 예측변수이다. 예측변수 간 다중공선성은 Variance Inflation Factor (VIF)로 평가하였고 10이하로 매우 작게 나타나 통계적으로 제외할 변수는 없는 것을 확인하였다(El-Mottaleb et al., 2022).

3.2 개념적 강우-유출 모형 GR6J

개념적 강우-유출 모형을 통한 일 유출량 모의를 위해 GR6J (Pushpalatha et al., 2011)를 이용했다. GR6J는 강우-유출 과정을 설명하는 4개의 매개변수를 사용하여 강우에 대한 유역의 반응을 개념화하는 GR4J (Perrin et al., 2003)의 기저유출 재현능력을 개선한 모형이다. GR4J의 매개변수는 상층 토양 수분함량을 개념적으로 정의하는 매개변수 X1, 유역의 외부로부터 지하수 유입 및 유출을 정의하는 매개변수 X2, 하층 저류능력을 개념적으로 나타내며 비선형 유역반응 함수와 결합된 매개변수 X3, Fast Response와 Slow Response 단위도의 기저시간을 정의하는 매개변수 X4로 구성된다. GR6J의 경우 기존 GR4J의 매개변수에 유역 외부유입량을 조절하는 매개변수 X5, Exponential Store의 세밀한 기저유출 모의를 조절하는 매개변수 X6가 추가된 모형이다(Kim et al., 2022).

3.3 계측 유역 유출예측 기법

GR6J 모형의 경우 유역별로 Kling-Gupta Efficiency (KGE; Gupta et al., 2009)를 최대화하여 매개변수를 추정하였으며 매개변수 최적화를 위해 AirGR 패키지의 Calibration Michel (CM; Coron et al., 2017) 알고리즘을 이용하였다. 본 연구에서는 CM 알고리즘으로 각 유역별로 관측된 수문곡선의 매개변수를 최적화하였으며 이를 통한 계측 유역의 유출 모의 결과는 이후 ‘GR6J_Dir’라고 표기하였다.

GR6J_Dir와 동일하게 RF 모형 역시 동일한 목적함수 KGE를 사용하여 하이퍼 파라미터를 최적화하였다. 이를 위해 Python Scikit-Learn 패키지의 Randomized Search (Grisel et al., 2023)와 Python Scikit-Optimize 패키지의 Bayesian Search (Head et al., 2021) 알고리즘을 이용했다. Randomized Search는 지정된 범위 내에서 하이퍼 파라미터를 무작위로 조합하여 빠른 시간 내 최적의 세트를 식별하는 반면 Bayesian Search는 이전 iteration의 하이퍼 파라미터 확률 분포를 반복적으로 갱신하는 확률론적 접근 방식을 사용하기 때문에 오랜 시간이 소요되지만 더 정확한 결과를 산출하는 것으로 알려져 있다. 본 연구에서는 이 둘을 조합하여 전체 탐색 범위에 대해 Randomized Search를 사용하여 최적의 하이퍼 파라미터의 범위를 개략적으로 확인한 후 그 범위에서 Bayesian Search를 적용하여 최적의 하이퍼 파라미터를 결정하였다. ‘GR6J_Dir’와 대응하여 최적화된 RF 하이퍼 파라미터를 통해 계측 유역의 유출 모의 결과는 이후 ‘RF_Dir’로 표기하였다.

3.4 미계측 유역 유출예측 기법

미계측 유역의 모델링을 위해서는 지역화 과정을 통한 매개변수의 추정이 필요하다. 고전적인 지역화 기법에는 (a) 인접성 기반 지역화 기법(Oudin et al., 2008); (b) 유사성 기반 지역화 기법(McIntyre et al., 2005); (c) 계측 유역의 매개변수와 물리적 특성 사이의 회귀를 통한 지역화 기법(Kim and Kaluarachchi, 2008)이 일반적으로 사용된다. Parajka et al. (2013)은 복잡성이 낮은 모형을 통해 습윤한 기후 지역의 모델링을 하는 경우 인접성 기반 지역화 기법이 경쟁력 있는 모의 성능을 가진다고 보고했다. 이에 간단한 매개변수를 갖는 모형을 통해 반-습윤 기후 지역의 일 유출량을 모의하는 본 연구의 모델링 조건을 고려하여 인접성 기반 지역화 기법을 채택했다. 각 유역을 미계측 유역으로 가정하고 인접 유역의 GR6J_Dir 및 RF_Dir 모형을 통해 유출을 예측하기 위하여 LOOCV 기법을 적용하였다.

GR6J 모형의 인접성 기반 지역화 기법을 위한 인접유역의 수를 5개로 결정하였다. Kim et al. (2017)은 한국 미계측 유역에서의 인접성 기반 지역화를 위한 최적의 인접유역의 수로 5개를 제안했으며 인접유역의 수를 더 추가하더라도 요구되는 계산시간에 비해 더 높은 성능을 얻을 가능성은 낮은 것으로 평가하였다. 따라서 5개 인접유역의 매개변수를 이용해 각 유역의 유출을 모의하였고 이를 평균하여 미계측 유역의 유출량을 예측하였다. 인접성 기반 지역화 기법을 통한 GR6J 결과는 이후 ‘GR6J_Prox’로 표기하였다.

RF 모형의 경우도 동일하게 5개의 인접유역 RF 모형에 미계측 유역의 기상자료를 입력하여 유출을 모의하였고 그 결과를 평균하여 미계측 유역의 유출량을 추정하였다. 인접성 기반 지역화 기법을 통한 RF 결과는 이후 ‘RF_Prox’로 표기하였다.

3.5 모형의 평가방법

본 연구에서는 계측 유역과 미계측 유역 강우-유출 모의 결과에 다양한 평가지표를 사용하여 각 모형을 평가했다. 선정된 평가지표는 Nash-Sutcliffe Efficiency (NSE), Logarithmic Nash-Sutcliffe Efficiency (LNSE), KGE이다. NSE는 일반적으로 사용되는 수문 모형의 평가지표로 고유량의 재현성을 주로 평가하며 LNSE는 NSE와 비슷한 평가지표로 저유량 모의 성능에 민감하게 반응하는 지표이다. 그러나 NSE와 LNSE는 극단적인 예측이나 관측값에 예민하게 반응하기 때문에 모형의 성능을 부정확하게 평가할 우려가 있다(Krause et al., 2005). 따라서 모형의 최적화에 사용된 목적함수임과 동시에 상관성, 편향, 변동성을 균형 잡힌 방식으로 결합하여 수문 모형의 전반적인 모의 성능을 평가하는 지표인 KGE를 추가로 선정하였다. 이후 모형의 세부적인 평가를 위해 KGE의 세부 지표인 피어슨 상관계수(Pearson correlation coefficient; R), Beta (β), Alpha (α)를 선정하였다. 여기서, R은 관측 값과 모의 값 사이의 상관성을 나타내고, β는 관측 값과 모의 값 평균의 비율로 편향 정도를 나타내며, α는 모의 값과 관측 값의 변동계수의 비율로 유역의 변동성을 포착하는 능력을 나타낸다. 평가지표 및 세부지표는 Eqs. (1)~(4)과 같다.

(1)
NSE=1-Qobs-Qsim2Qobs-Qobs2
(2)
LNSE=1-lnQobs-lnQsim2lnQobs-lnQobs2
(3)
KGE=1-R-12+α-12+β-12
(4)
R=CorrQsim,Qobs,α=CVsimCVobs,β=QobsQsim

여기서, Qobs: 관측된 유출량, Qsim: 모의된 유출량, Qobs¯: 관측된 유출량의 평균, CVobs: 관측치의 변동계수, CVsim: 모의치의 변동계수.

이후 성능 평가지표에 대한 Paired t-test를 통해 추가적인 평가를 수행했다. Paired t-test는 성능 평가지표의 Box Plot에서는 알 수 없는 다양한 가설의 통계적 유의성을 확인 할 수 있게 한다. 본 연구에서는 ‘계측 유역에서 RF_Dir이 GR6J_Dir보다 좋은 성능을 보이는가?’와 같은 단순한 가설에 대한 평가를 넘어서 ‘계측 유역에서 나타났던 RF 모형의 높은 입-출력 상관성이 미계측 유역에서도 재현되었는가?’와 같은 복잡한 가설에 대한 평가를 수행했다. Paired t-test는 유의수준 5%에서 수행되었다.

4. 연구 결과

4.1 계측 유역에서의 일 유출량 모의 결과

Fig. 3는 Box Plot을 사용하여 모형의 성능을 나타낸다. 평가기간 동안 평가지표 NSE, LNSE, KGE에 대하여 RF_Dir (0.77, 0.50, 0.73)가 모든 평가지표에서 GR6J_Dir (0.53, -0.32, 0.68)보다 높은 평균 모의성능을 나타냈다. 또한 분산의 경우 RF_Dir (0.01, 0.02, 0.01)가 GR6J_Dir (0.15, 2.17, 0.04)보다 일관된 모의 성능을 보였다. Fig. 4은 KGE 지표의 세부 지표인 R, β, α의 Box Plot을 나타낸다. β의 경우 RF_Dir (0.98)와 GR6J_Dir (0.98) 모두 유사한 성능을 보여주었다. 이는 두 모형 모두 약한 음의 편향을 보임을 의미한다. 그러나 R의 경우 RF_Dir (0.89)가 GR6J_Dir (0.80)보다 우수했던 반면 α는 GR6J_Dir (1.03)가 RF_Dir (0.83)보다 우수했다. 이는 RF_Dir의 경우 관측 값과 모의 값 사이에 강한 상관성을 보여주는 반면 GR6J_Dir는 유역 반응에 의한 유출량의 변동을 포착하는 능력이 우수함을 나타낸다.

Fig. 5는 강우-유출 상관관계와 평가지표의 관계를 보여주는 산점도와 회귀선을 함께 나타냈다. 이는 모형의 성능이 입출력 데이터 상관성과 얼마나 밀접하게 연관되어 있는지 보여준다. 본 연구에 경우 유역의 강우-유출 상관계수가 넓은 범위(0.30-0.77)에 분포하고 있어 모형의 성능이 입출력 데이터 상관성에 너무 강하게 의존한다면 일관된 모의성능이 보장되지 않을 수 있다. 특히, LNSE에서 GR6J_Dir는 입출력 데이터 상관관계에 강하게 의존(12.31; Fig. 5의 각 그래프 상단 값은 기울기를 나타내며 기울기가 클수록 강하게 의존함을 의미함)함을 확인했다. GR6J_Dir의 LNSE에서 나타난 큰 분산(2.17)은 모형이 일관된 저유량 재현성능을 갖지 못함을 의미하는데 이는 GR6J_Dir의 저유량 재현성능이 입출력 데이터 상관관계에 강하게 의존하기 때문인 것으로 판단된다. 모형의 성능이 입출력 데이터 상관성과 연관되는 것은 자연스러운 현상이지만 너무 강한 의존성은 모형의 불확실성을 증가시킬 우려가 있다.

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F3.jpg
Fig. 3.

Box plot of GR6J_Dir & RF_Dir evaluation indicators at the 38 gauged basins. The yellow points show the mean of each indicator

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F4.jpg
Fig. 4.

Same as KGE in Fig. 2, but with R, Beta, and Alpha. The yellow dots show the mean of each indicator

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F5.jpg
Fig. 5.

Scatter plots between the rainfall-runoff correlation and NSE, LNSE and KGE values for gauged basins. The title of each table means the slope of the regression line

4.2 미계측 유역에서의 일 유출량 모의 결과

미계측 유역에서는 계측 유역과 반대의 결과를 보였다. Fig. 6의 평가지표(NSE, LNSE, KGE)에서 GR6J_Prox (0.47, 0.43, 0.62)는 RF_Prox (0.38, 0.41, 0.42)보다 높은 평균 모의성능을 나타냈다. 특히, LNSE의 경우 GR6J_Prox의 평균 모의성능이 GR6J_Dir에 비해 크게 증가(-0.32 → 0.43) 하였으며 분산은 크게 감소(2.17 → 0.02)하여 모형의 저유량 재현 성능 및 불확실성이 크게 개선되었다. 반면, RF_Prox의 경우 모든 평가지표(NSE, LNSE, KGE)에서 평균 모의성능이 감소(0.77, 0.50, 0.73 → 0.38, 0.41, 0.42)했다. Fig. 7의 세부지표(R, β, α)의 경우 GR6J_Prox (0.81, 1.00, 1.02)와 GR6J_Dir (0.80, 0.98, 1.03)가 비슷한 성능을 보인 반면 RF_Prox (0.67, 1.06, 0.69)는 RF_Dir (0.89, 0.98, 0.83)에 비해 편향(β)을 제외한 모든 세부지표에서 성능이 감소하여 GR6J_Prox가 RF_Prox를 능가하였다. GR6J는 계측 유역에서 나타난 유역의 반응을 포착하는 능력(α)이 미계측 유역의 유출 예측에서 나타났지만, RF는 계측 유역에서 나타난 관측 값과 모의 값이 갖는 높은 상관성(R)이 미계측 유역의 결과에서는 확인되지 않았다.

Fig. 8Fig. 5에서 확인된 저유량 재현성능이 입출력 상관성에 의존하는 정도가 약화(12.31→ 2.28)되었음을 보여주며 감소된 의존성은 저유량 재현성능 불확실성의 감소(2.17→ 0.02)로 나타났다. 이는 인접성 기반 지역화 기법이 GR6J_ Prox의 저유량 모의 불확실성 개선에 크게 기여했기 때문인 것으로 보인다. 반면 RF_Prox의 경우 NSE, KGE 지표와 입출력 상관성의 기울기가 약간 증가(0.88, 0.93 → 1.49, 1.65)하였으며 해당 지표의 불확실성 역시 소폭 증가(0.01, 0.01 → 0.03, 0.03)하였다.

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F6.jpg
Fig. 6.

Box plot of GR6J_Prox & RF_Prox evaluation indicators at the 38 gauged basins. The yellow points show the mean of each indicator

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F7.jpg
Fig. 7.

Same as KGE in Fig. 5, but with R, Beta and Alpha. The yellow points show the mean of each indicator

https://static.apub.kr/journalsite/sites/kwra/2023-056-09/N0200560904/images/kwra_56_09_04_F8.jpg
Fig. 8.

Scatter plots between the rainfall-runoff correlation and NSE, LNSE and KGE values for ungauged basins. The title of each table means the slope of the regression line

4.3 각 모형의 모의 성능에 대한 Paired t-test 검정

본 연구에서는 Paired-t test를 통해 여러 가설에 대한 통계적 유의성을 평가하였다. 다양한 가설에 대한 검정 결과를 Table 2에 요약했다. Q. 1은 RF_Dir의 고유량 및 저유량 재현성능이 95%의 신뢰수준에서 GR6J_Dir를 능가했으나 전반적인 성능을 고려했을 때 두 기법사이에 유의미한 차이가 확인되지 않음을 보여준다. 반면 Q. 2는 GR6J_Prox의 전반적인 모의 성능이 RF_Prox를 능가했음에도 불구하고 고유량 및 저유량 재현성능에서는 유의미한 차이가 확인되지 않았음을 보여준다.

4.4 미계측 유역의 유출 예측을 위한 인접성 기반 지역화 기법의 적용성

Kim et al. (2017)은 한국에서 계측 유역의 시간정보를 포함할 수 있는 인접성 기반 지역화 기법의 적용가능성이 높다고 보고했다. 유사한 모형인 GR6J는 계측 유역과 미계측 유역 유출량 예측기법 사이의 평균 모의성능 차이가 크지 않았으며 인접성 기반 지역화 기법을 통해 모형의 모의성능이 강우-유출 상관성에 의존하는 정도가 약해져 모형의 불확실성이 개선되었음을 확인했다.

기계학습 모형의 경우 미계측 유역의 유출 모의 시 모의성능이 크게 감소하는 것으로 나타났다. RF는 유역의 입-출력 관계에 적합되는 모형이기 때문에 데이터가 부족한 미계측 유역의 유출을 정확하게 예측할 수 있는 보장이 없다. Table 2의 Q.3은 RF_Dir에서 나타난 관측 값과 모의 값 사이의 높은 상관성이 RF_Prox에서 재현되지 않았음을 나타낸다. 반면 Q.4에서는 GR6J_Dir에서 확인되었던 유역의 유출 변동성을 포착하는 능력이 GR6J_Prox에서도 재현되었다. 이는 미계측 유역 일 유출량 예측 기법을 통한 GR6J_Prox의 높은 적용가능성을 나타낸다.

Table 2.

Result of the paired t-test

Hypothesis Corresponding pair PMaPMbSEc Answer
Q.1 RF_Dir outperformed GR6J_Dir in gauged basins. RF_Dir - GR6J_Dir NSE 0.24 0.009 Yes*
LNSE 0.82 0.038 Yes*
KGE 0.05 0.005 Unlikely*
Q.2 GR6J_Prox outperformed RF_Prox in ungauged
basins.
GR6J_Prox - RF_Prox NSE 0.09 0.010 Unlikely*
LNSE 0.01 0.006 Unlikely*
KGE 0.19 0.007 Yes*
Q.3 The high correlation between simulated and
observed value of RF in gauged basins was not
reproduced in ungauged basins.
RF_Dir - RF_Prox R 0.23 0.002 Yes*
Q.4 GR6J_Dir and GR6J_Prox have differences in
catchments behavior reproduction performance.
GR6J_Dir - GR6J_Prox α 0.04d 0.003 Unlikely*

a Performance metric used for paired t-test.

b Mean PM difference between RF_Dir-Prox_Dir.

c Standard error of △PM.

d Since optimal value of α is 1, the evaluation was conducted through difference between absolute values of 1-α. Larger △PM means lower performance because it is far from 1.

*PM is significantly different from zero. The significance was evaluated at 95% confidence levels.

4.5 한 계

본 연구에서는 미계측 유역의 강우-유출 모의를 위해 인접성 기반 지역화 기법을 통해 인접 유역의 데이터를 외삽했다. 이러한 지역화 기법은 지역화 방법에 따라 불확실성의 원인이 다를 수 있고 계측 밀도가 낮고 데이터 품질이 낮은 지역의 경우 큰 불확실성을 가질 수 있다(Guo et al., 2021; Li and Zhang, 2017). 그러나 본 연구에서는 각 모형에 대한 지역화 기법, 모형의 특성, 데이터 품질 사이의 불확실성 평가 없이 동일한 지역화 기법을 적용했다. 본 연구의 비교 평가는 모델링 조건이 두 모형에 대해 동일해야 한다는 기본 전제를 기반으로 하였다.

아울러 모형의 보정 및 학습에 사용된 입-출력 데이터의 불확실성을 고려하지 않았다. McMillan et al. (2012)은 중앙값 이상의 고유량 조건에서는 10-20%, 중앙값 이하의 저유량 조건에서는 50-100% 정도의 오차가 존재한다고 분석했다. 또한 Westerberg et al. (2011, 2014)은 입-출력 데이터의 불확실성을 객관적으로 고려하는 모형이 성능과 등가성을 더 잘 평가할 수 있다고 제안했다. 본 연구에서는 데이터의 불확실성에 대한 고려 없이 강우-유출 모의 성능을 평가하였다.

5. 결 론

본 연구에서는 한국의 자연유역에 해당하는 38개 연구유역을 대상으로 ASOS 격자기반 기상자료와 국가 수자원 정보 시스템의 유량자료를 이용하여 개념적 모형인 GR6J와 기계학습 모형인 RF 모형의 모의 성능을 계측 유역과 미계측 유역에 적용되는 기법을 구분하여 평가하였다. 계측 유역 예측기법은 관측 강우-유출 관계를 직접 학습하는 방법을, 미계측 유역 예측기법은 주변 5개 유역에서 학습모형에 미계측 유역의 기상 데이터를 입력해 예측하는 지역화 기법이 적용되었다.

성능 평가결과, GR6J_Prox 모형의 경우 미계측 유역에 대한 강우-유출 모의에 높은 예측 성능을 보여 인접성 기반 지역화 기법의 높은 적용가능성을 보여주었다. 특히, 계측 유역과 미계측 유역의 결과에 일관성이 있었으며 RF_Prox에 비해 유역의 고유한 유출특성을 재현하는 능력이 우수했다. 반면 RF_Dir 모형의 경우 계측 유역에 대한 강우-유출 모의에 높은 모의 성능 및 낮은 불확실성을 보였다. 연구유역의 강우-유출 상관계수가 넓게 분포하고 있었음에도 불구하고 유역 간 성능차이가 크게 나타나지 않아 계측 유역에서 높은 적용가능성을 보였다.

본 연구의 성능 비교는 최근 많은 분야에서 자주 사용되고 있는 기계학습 기법이 학습되지 않은 지역에서 사용되었을 때 충분한 성능이 나타나지 않은 수 있음을 시사한다. 학습을 위한 자료가 있는 지역에서의 RF 모형은 전통적인 개념적 모형보다 성능이 우수할 수 있으나 인접성 기반 지역화 기법을 적용하여 미계측 유역 일 유출을 모의했을 때는 그 성능이 유지되지 않았다. 특히, 개념적 모형인 GR6J는 유역 반응의 변동성을 더 잘 재현하는 반면 RF 모형의 계측 유역에서의 높은 성능은 기계학습 모형이 가지는 강력한 입-출력 관계 재현성 때문일 뿐 유역의 유출 특성을 재현하는 능력이 낮았다. 따라서 기계학습 모형은 학습 자료가 부족한 미래예측이나 타지역 예측에 사용되었을 때 개념적 모형보다 더 큰 불확실성을 가질 수 있다.

Acknowledgements

본 연구는 한국수자원공사(K-water)의 개방형 혁신 R&D (OTSK_2022_021) 사업의 일환으로 수행되었습니다.

Conflicts of Interest

The authors declare no conflict of interest.

References

1
Alpert, P., Ben-Gai, T., Bahard, A., Benjamini, Y., Yekutieli, D., Colacino, M., Diodato, L., Ramis, C., Homar, V., Romero, R., Michaelides, S., and Manes, A. (2002). "The paradoxical increase of Mediterranean extreme daily rainfall in spite of decrease in total values." Geophysical Research Letters, Vol. 29, No. 11, pp. 31-1-31-4. doi: 10.1029/2001gl013554. 10.1029/2001GL013554
2
Beven, K. (1997). "TOPMODEL: A critique." Hydrological Processes, Vol. 11, No. 9, pp. 1069-1085. doi: 10.1002/(SICI)1099-1085(199707)11:9<1069::AID-HYP545>3.0.CO;2-O. 10.1002/(SICI)1099-1085(199707)11:9<1069::AID-HYP545>3.0.CO;2-O
3
Breiman, L. (2001). "Random forest." Machine Learning, Vol. 45, No. 1, pp. 5-32. doi: 10.1023/a:1010933404324. 10.1023/A:1010933404324
4
Caloiero, T., Veltri, S., Caloiero, P., and Frustaci, F. (2018). "Drought analysis in Europe and in the Mediterranean Basin Using the standardized precipitation index." Water, Vol. 10, No. 8, 1043. doi: 10.3390/w10081043. 10.3390/w10081043
5
Coron, L., Thirel, G., Delaigue, O., Perrin, C., and Andréassian, V. (2017). "The suite of lumped GR hydrological models in an R package." Environmental Modelling & Software, Vol. 94, pp. 166-171. doi: 10.1016/j.envsoft.2017.05.002. 10.1016/j.envsoft.2017.05.002
6
Daly, C., Halbleib, M., Smith, J.I., Gibson, W.P., Doggett, M.K., Taylor, G.H., Curtis, J., and Pasteris, P.P. (2008). "Physiographically sensitive mapping of climatological temperature and precipitation across the conterminous United States." International Journal of Climatology, Vol. 28, No. 15, pp. 2031-2064. doi: 10.1002/joc.1688. 10.1002/joc.1688
7
Dawson, C.W., Abrahart, R.J., Shamseldin, A.Y., and Wilby, R.L. (2006). "Flood estimation at ungauged sites using artificial neural networks." Journal of Hydrology, Vol. 319, No. 1, pp. 391-409. doi: 10.1016/j.jhydrol.2005.07.032. 10.1016/j.jhydrol.2005.07.032
8
El-Mottaleb, S.A.A., Métwalli, A., Chehri, A., Ahmed, H.Y., Zeghid, M., and Khan, A.N. (2022). "A QoS classifier based on machine learning for next-generation optical communication." Electronics, Vol. 11, No. 16, 2619. doi: 10.3390/electronics11162619. 10.3390/electronics11162619
9
Founda, D., Giannakopoulos, C., Pierros, F., Kalimeris, A., and Petrakis, M. (2013). "Observed and projected precipitation variability in Athens over a 2.5 century period." Atmospheric Science Letters, Vol. 14, No. 2, pp. 72-78. doi: 10.1002/asl2.419. 10.1002/asl2.419
10
Georgakakos, A.P., Yao, H., Kistenmacher, M., Georgakakos, K.P., Graham, N.E., Cheng, F.Y., Spencer, C., and Shamir, E. (2012). "Value of adaptive water resources management in Northern California under climatic variability and change: Reservoir management." Journal of Hydrology, Vol. 412-413, pp. 34-46. doi: 10.1016/j.jhydrol.2011.04.038. 10.1016/j.jhydrol.2011.04.038
11
Ghiggi, G., Humphrey, V., Seneviratne, S.I., and Gudmundsson, L. (2019). "GRUN: An observation-based global gridded runoff dataset from 1902 to 2014." Earth System Science Data, Vol. 11, No. 4, pp. 1655-1674. doi: 10.5194/essd-11-1655-2019. 10.5194/essd-11-1655-2019
12
Ghiggi, G., Humphrey, V., Seneviratne, S.I., and Gudmundsson, L. (2021). "GRUN ENSEMBLE: A multi forcing observation based global runoff reanalysis." Water Resources Research, Vol. 57, No. 5, e2020WR028787. doi: 10.1029/2020wr028787. 10.1029/2020WR028787
13
Grisel, O., Mueller. A., Lars, Gramfort, A., Louppe, G., Thomas, J.F., Prettenhofer, P., Blondel, M., Niculae, V., Nothman, J., Joly, A., Lemaitre, G., Vanderplas, J., Estève, L., du Boisberranger, J., Kumar, M., Qin, H., Hug, N., Varoquaux, N., Layton, R., Metzen, J.H., Jalali, A., Rajagopalan, V.R., Schönberger, J., Yurchak, R., Jerphanion, J., la Tour, T.D., Li, W., Marmo, C., and Woolam, C. (2023). scikit-learn/scikit-learn: Scikit-learn 1.3.0, accessed 18 August 2023, <https://doi.org/10.5281/zenodo.8098905>.
14
Güner Bacanli, Ü. (2017). "Trend analysis of precipitation and drought in the Aegean region, Turkey." Meteorological Applications, Vol. 24, No. 2, pp. 239-249. doi: 10.1002/met.1622. 10.1002/met.1622
15
Guo, Y., Zhang, Y., Zhang, L., and Wang, Z. (2021). "Regionalization of hydrological modeling for predicting streamflow in ungauged catchments: A comprehensive review." WIREs Water, Vol. 8, No. 1, e1487. doi: 10.1002/wat2.1487. 10.1002/wat2.1487
16
Gupta, H.V., Kling, H., Yilmaz, K.K., and Martinez, G.F. (2009). "Decomposition of the mean squared error and NSE performance criteria: Implications for improving hydrological modelling." Journal of Hydrology, Vol. 377, No. 1, pp. 80-91. doi: 10.1016/j.jhydrol.2009.08.003. 10.1016/j.jhydrol.2009.08.003
17
Head, T., Kumar, M., Nahrstaedt, H., Louppe, G., and Shcherbatyi, I. (2021). scikit-optimize/scikit-optimize, accessed 18 August 2023, <https://doi.org/10.5281/zenodo.5565057>.
18
Hrachowitz, M., and Clark, M.P. (2017). "HESS Opinions: The complementary merits of competing modelling philosophies in hydrology." Hydrology and Earth System Sciences, Vol. 21, No. 8, pp. 3953-3973. doi: 10.5194/hess-21-3953-2017. 10.5194/hess-21-3953-2017
19
Hrachowitz, M., Savenije, H.H.G., Blöschl, G., McDonnell, J.J., Sivapalan, M., Pomeroy, J.W., Arheimer, B., Blume, T., Clark, M.P., Ehret, U., Fenicia, F., Freer, J.E., Gelfan, A., Gupta, H.V., Hughes, D.A., Hut, R.W., Montanari, A., Pande, S., Tetzlaff, D., Troch, P.A., Uhlenbrook, S., Wagener T., Winsemius, H.C., Woods, R.A., Zegh E., and Cudennec, C. (2013). "A decade of Predictions in Ungauged Basins (PUB) - a review." Hydrological Sciences Journal, Vol. 58, No. 6, pp. 1198-1255. doi: 10.1080/02626667.2013.803183. 10.1080/02626667.2013.803183
20
Intergovernmental Panel on Climate Change (IPCC) (2023). Climate change 2022: Impacts, adaptation and vulnerability. Cambridge University Press, Cambridge, UK and New York, NY, U.S., pp. 1-3056, doi: 10.1017/9781009325844. 10.1017/9781009325844
21
Jeong, Y.M., and Eum, H.I. (2015). "Application of a statistical interpolation method to correct extreme values in high-resolution gridded climate variables." Journal of Climate Change Research, Vol. 6, No. 4, pp. 331-344. doi: 10.15531/ksccr. 2015.6.4.331 10.15531/ksccr.2015.6.4.331
22
Kim, D., Chun, J.A., and Choi, S.J. (2019). "Incorporating the logistic regression into a decision-centric assessment of climate change impacts on a complex river system." Hydrology and Earth System Sciences, Vol. 23, No. 2, pp. 1145-1162. doi: 10.5194/hess-23-1145-2019. 10.5194/hess-23-1145-2019
23
Kim, D., Jung, I.W., and Chun, J.A. (2017). "A comparative assessment of rainfall-runoff modelling against regional flow duration curves for ungauged catchments." Hydrology and Earth System Sciences, Vol. 21, No. 11, pp. 5647-5661. doi: 10.5194/hess-21-5647-2017. 10.5194/hess-21-5647-2017
24
Kim, D., Kim, E., Lee, S.C., Kim, E., and Shin, J. (2022). "A decision-centric impact assessment of operational performance of the Yongdam Dam, South Korea." Journal of Korea Water Resources, Vol. 55, No. 3, pp. 205-215. doi: 10.3741/jkwra.2022.55.3.205.
25
Kim, U., and Kaluarachchi, J.J. (2008). "Application of parameter estimation and regionalization methodologies to ungauged basins of the Upper Blue Nile River Basin, Ethiopia." Journal of Hydrology, Vol. 362, No. 1, pp. 39-56. doi: 10.1016/j.jhydrol.2008.08.016 10.1016/j.jhydrol.2008.08.016
26
Korea Meteorological Administration (KMA) (2020). Climatological normals of Korea (1991-2020), accessed 1 May 2023, <https://data.kma.go.kr/resources/normals/pdf_data/korea_pdf_0310.pdf>.
27
Krause, P., Boyle, D.P., and Bäse, F. (2005). "Comparison of different efficiency criteria for hydrological model assessment." Advances in Geosciences, Vol. 5, pp. 89-97. doi: 10.5194/adgeo-5-89-2005. 10.5194/adgeo-5-89-2005
28
Li, H., and Zhang, Y. (2017). "Regionalising rainfall-runoff modelling for predicting daily runoff: Comparing gridded spatial proximity and gridded integrated similarity approaches against their lumped counterparts." Journal of Hydrology, Vol. 550, pp. 279-293. doi: 10.1016/j.jhydrol.2017.05.015. 10.1016/j.jhydrol.2017.05.015
29
Liaw, A., and Wiener, M. (2002). "Classification and regression by randomForest." R News, Vol. 2, No. 3, pp. 18-22.
30
Ma, N., Szilagyi, J., and Zhang, Y. (2021). "Calibration-free complementary relationship estimates terrestrial evapotranspiration globally." Water Resources Research, Vol. 57, No. 9, e2021WR029691. doi: 10.1029/2021wr029691 10.1029/2021WR029691
31
McIntyre, N., Lee, H., Wheater, H., Young, A., and Wagener, T. (2005). "Ensemble predictions of runoff in ungauged catchments." Water Resources Research, Vol. 41, No. 12, W12434. doi: 10.1029/2005wr004289. 10.1029/2005WR004289
32
McMillan, H., Krueger, T., and Freer, J. (2012). "Benchmarking observational uncertainties for hydrology: Rainfall, river discharge and water quality." Hydrological Processes, Vol. 26, No. 26, pp. 4078-4111. doi: 10.1002/hyp.9384. 10.1002/hyp.9384
33
Młyński, D., Petroselli, A., and Wałęga, A. (2018). "Flood frequency analysis by an event-based rainfall-runoff model in selected catchments of Southern Poland." Soil & Water, Vol. 13, No. 3, pp. 170-176. doi: 10.17221/153/2017. 10.17221/153/2017-SWR
34
Mohammadi, B. (2021). "A review on the applications of machine learning for runoff modeling." Sustainable Water Resources Management, Vol. 7, No. 6, 98. doi: 10.1007/s40899-021-00584-y 10.1007/s40899-021-00584-y
35
Moussa, R., and Chahinian, N. (2009). "Comparison of different multi-objective calibration criteria using a conceptual rainfall-runoff model of flood events." Hydrology and Earth System Sciences, Vol. 13, No. 4, pp. 519-535. doi: 10.5194/hess-13-519-2009. 10.5194/hess-13-519-2009
36
Nastos, P.T., Politi, N., and Kapsomenakis, J. (2013). "Spatial and temporal variability of the Aridity Index in Greece." Atmospheric Research, Vol. 119, pp. 140-152. doi: 10.1016/j.atmosres.2011.06.017. 10.1016/j.atmosres.2011.06.017
37
Nearing, G.S., Kratzert, F., Sampson, A.K., Pelissier, C.S., Klotz, D., Frame, J.M., Prieto, C., and Gupta, H.V. (2021). "What role does hydrological science play in the age of machine learning?." Water Resources Research, Vol. 57, No. 3, e2020WR028091. doi: 10.1029/2020wr028091. 10.1029/2020WR028091
38
Nielsen, S.A., and Hansen, E. (1973). "Numerical simulation of the rainfall-runoff process on a daily basis." Hydrology Research, Vol. 4, No. 3, pp. 171-190. doi: 10.2166/nh.1973.0013. 10.2166/nh.1973.0013
39
Oudin, L., Andréassian, V., Perrin, C., Michel, C., and Le Moine, N. (2008). "Spatial proximity, physical similarity, regression and ungaged catchments: A comparison of regionalization approaches based on 913 French catchments." Water Resources Research, Vol. 44, No. 3, W03413. doi: 10.1029/2007wr006240. 10.1029/2007WR006240
40
Parajka, J., Viglione, A., Rogger, M., Salinas, J.L., Sivapalan, M., and Blöschl, G. (2013). "Comparative assessment of predictions in ungauged basins-Part 1: Runoff-hydrograph studies." Hydrology and Earth System Sciences, Vol. 17, No. 5, pp. 1783-1795. doi: 10.5194/hess-17-1783-2013. 10.5194/hess-17-1783-2013
41
Perrin, C., Michel, C., and Andréassian, V. (2003). "Improvement of a parsimonious model for streamflow simulation." Journal of Hydrology, Vol. 279, No. 1, pp. 275-289. doi: 10.1016/S0022-1694(03)00225-7. 10.1016/S0022-1694(03)00225-7
42
Priestley, C.H.B., and Taylor, R.J. (1972). "On the assessment of surface heat flux and evaporation using large-scale parameters." Monthly Weather Review, Vol. 100, No. 2, pp. 81-92. doi: 10.1175/1520-0493(1972)100<0081:OTAOSH>2.3.CO;2. 10.1175/1520-0493(1972)100<0081:OTAOSH>2.3.CO;2
43
Pushpalatha, R., Perrin, C., Le Moine, N., Mathevet, T., and Andréassian, V. (2011). "A downward structural sensitivity analysis of hydrological models to improve low-flow simulation." Journal of Hydrology, Vol. 411, No. 1, pp. 66-76. doi: 10.1016/j.jhydrol.2011.09.034. 10.1016/j.jhydrol.2011.09.034
44
Raje, D., and Mujumdar, P.P. (2011). "A comparison of three methods for downscaling daily precipitation in the Punjab region." Hydrological Processes, Vol. 25, No. 23, pp. 3575-3589. doi: 10.1002/hyp.8083. 10.1002/hyp.8083
45
Rhee, J., and Cho, J. (2016). "Future changes in drought characteristics: Regional analysis for South Korea under CMIP5 projections." Journal of Hydrometeorology, Vol. 17, No. 1, pp. 437-451. doi: 10.1175/jhm-d-15-0027.1. 10.1175/JHM-D-15-0027.1
46
Smakhtin, V., and Toulouse, M. (1998). "Relationships between low-flow characteristics of South African streams." WATER SA-PRETORIA-24, Vol. 24, No. 2, pp. 107-112.
47
Spinoni, J., Barbosa, P., De Jager, A., McCormick, N., Naumann, G., Vogt, J.V., Magni, D., Masante, D., and Mazzeschi, M. (2019). "A new global database of meteorological drought events from 1951 to 2016." Journal of Hydrology: Regional Studies, Vol. 22, 100593. doi: 10.1016/j.ejrh.2019.100593. 10.1016/j.ejrh.2019.10059332257820PMC7099764
48
Tyralis, H., Papacharalampous, G., and Langousis, A. (2019). "A brief review of random forests for water scientists and practitioners and their recent history in water resources." Water, Vol. 11, No. 5, 910. doi: 10.3390/w11050910. 10.3390/w11050910
49
United Nations Environment Programme (UNEP) (1997). World atlas of desertification: Second edition. Knowledge Repository - UNEP, Nairobi, Kenya, p. 16.
50
Westerberg, I.K., Gong, L., Beven, K.J., Seibert, J., Semedo, A., Xu, C.Y., and Halldin, S. (2014). "Regional water balance modelling using flow-duration curves with observational uncertainties." Hydrology and Earth System Sciences, Vol. 18, No. 8, pp. 2993-3013. doi: 10.5194/hess-18-2993-2014. 10.5194/hess-18-2993-2014
51
Westerberg, I.K., Guerrero, J.L., Younger, P.M., Beven, K.J., Seibert, J., Halldin, S., Freer, J.E., and Xu, C.Y. (2011). "Calibration of hydrological models using flow-duration curves." Hydrology and Earth System Sciences, Vol. 15, No. 7, pp. 2205-2227. doi: 10.5194/hess-15-2205-2011. 10.5194/hess-15-2205-2011
52
Zittis, G., Almazroui, M., Alpert, P., Ciais, P., Cramer, W., Dahdal, Y., Fnais, M., Francis, D., Hadjinicolaou, P., Howari, F., Jrrar, A., Kaskaoutis, D.G., Kulmala, M., Lazoglou, G., Mihalopoulos, N., Lin, X., Rudich, Y., Sciare, J., Stenchikov, G., Xoplaki, E., and Lelieveld, J. (2022). "Climate change and weather extremes in the eastern mediterranean and middle east." Reviews of Geophysics, Vol. 60, No. 3, e2021RG000762. doi: 10.1029/2021rg000762 10.1029/2021RG000762
페이지 상단으로 이동하기