Research Article

Journal of Korea Water Resources Association. 30 November 2018. 1067-1078
https://doi.org/10.3741/JKWRA.2018.51.S-1.1067

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 불확실성 분해

  •   2.1 분산분석 모형

  •   2.2 교호작용 효과

  •   2.3 분산분석 모형 기반 불확실성 계량화

  •   2.4 교호작용을 고려한 불확실성 분해

  • 3. 자료 분석

  •   3.1 자료

  •   3.2 불확실성 분해 결과

  • 4. 결론

1. 서 론

기후변화에 따른 수자원 변화의 전망(projection)은 큰 규모의 불확실성(uncertainty)을 수반하는데, 전망 모형의 불완전성, 온실 가스 배출 예측의 불완전성, 예측할 수 없는 기후 시스템의 변동 등 다양한 요소가 불확실성의 원천으로 존재한다(Kay et al., 2009). 미래 수자원에 대한 예측은 장기 수자원 관리에 있어 매우 중요한 요소이며, 따라서 상당한 불확실성이 존재함에도 불구하고 대부분의 미래 수자원 관리에 관한 의사결정 전략은 전망 결과를 기반으로 이루어지고 있다(Dessai and Hulme, 2007; Milly et al., 2008; Gay and Estrada 2010). 강건(robust)하면서 효율적인 의사결정을 위해서 수자원 전망의 불확실성을 적절하게 고려해야 하며, 이에 많은 연구자들과 의사결정자들은 불확실성의 계량화를 중요한 문제로 인식하고 있다.

기후 변화에 따른 수자원 전망은 여러 단계의 시나리오, 모형, 기법 등을 조합하여 이루어진다. 일반적으로 온실 가스 배출을 예측하는 배출 시나리오(emission scenario), 미래 기후에 대한 전지구적 순환모형(global circulation model, GCM), 전지구적 순환 모형으로 예측한 기후를 특정 지역의 기후로 변환하기 위한 상세화 기법(downscaling technique), 그리고 예측된 기후에서 유량 변동을 계산하는 수문 모형(hydrological model) 등의 단계로 구성된다. Fig. 1은 2개의 배출 시나리오 5개의 GCM, 3개의 상세화 기법, 4개의 수문모형으로 구성된 수자원 전망의 예로, 모든 시나리오/모형/기법 조합을 고려하면 120개의 수자원 전망 결과가 산출된다. 서술의 편의를 위해 앞으로 개개의 배출 시나리오 및 GCM, 상세화 기법, 수문 모형을 모두 시나리오라 지칭하겠다. 각 단계가 최종 수자원 전망에 기여하기 때문에 수자원 전망의 총 불확실성(total uncertainty)은 개별 단계에서 발생하는 불확실성들이 반영되어 결정된다고 볼 수 있다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-11S/N020051S103/images/kwra_51_S-1_03_F1.jpg
Fig. 1.

An example of the streamflow projection consisting of four stages

최근의 많은 연구들은 수자원 전망의 총 불확실성뿐만 아니라 개별 전망 단계의 불확실성을 계량화하여 보고하고 있다. 수자원 전망에서 가장 큰 불확실성을 가지는 부분을 진단하고, 이를 불확실성 저감 계획에 반영할 수 있게 하려는 것이 이러한 분석의 목적이다. Minville et al. (2008)은 배출 시나리오와 GCM의 불확실성을 산점도(scatter plot)를 이용하여 개략적으로 비교하였다. Mandal and Simonovic (2017) 또한 배출 시나리오, GCM, 상세화 기법의 불확실성을 그래프를 이용하여 비교하였는데, 각 단계별로 전망값들의 분포가 선택한 시나리오에 따라 변하는 정도를 그림으로 확인하고, 이 변하는 정도가 가장 큰 단계를 불확실성이 가장 큰 단계라고 결론지었다. N´obrega et al. (2011)과 Dobler et al. (2012)은 각 전망 단계마다 대표 시나리오를 하나씩 지정한 후 개별 전망 단계의 불확실성을 다른 전망 단계의 대표 시나리오가 주어진 상태에서 해당 전망 단계의 시나리오를 변경하면서 산출되는 전망값들의 산포로 정의하였다. Chen et al. (2011)은 개별 단계에서 시나리오를 기준으로 하여 전망값들을 여러 집단으로 나눈 후, 집단별 평균 전망값이 통계적으로 유의하게 다른지를 t-검정(t-test)을 수행하여 확인하였다. 이 과정을 모든 전망 단계에 대하여 반복한 후, t-검정의 p값(p-value)의 크기를 비교하여 p값이 작은 단계를 가장 불확실한 단계로 보았다. Lee et al. (2017)와 Lee (2018)은 개별 시나리오의 불확실성을 해당 시나리오가 사용된 전망값의 산포로 정의한 후 전망 단계의 불확실성을 전망 단계에 속한 시나리오들의 불확실성의 평균 혹은 최댓값으로 계량화하였다.

하지만 살펴본 바와 같이 대부분의 연구들은 전망 단계의 불확실성을 독립적으로 계량화하며, 따라서 전망 단계의 불확실성을 일관된 방식으로 비교하지 못한다. 특히 위의 연구들은 계량화한 전망 단계의 불확실성의 합이 총 불확실성과 동일하다는 것을 보장하지 않기 때문에 개별 전망 단계가 총 불확실성에 상대적으로 기여하는 정도를 평가할 수 없게 된다. 이에 수자원 전망의 전체 수행 단계를 고려하여 포괄적으로 전망 단계의 불확실성을 평가함으로써 각 전망 단계의 불확실성이 전체 불확실성에서 차지하는 비중을 파악할 수 있게 하는 방법이 요구된다. 이와 같은 작업을 불확실성 분해(uncertainty decomposition)이라고 부른다. Jones (2000)는 전망 단계 과정에서 불확실성이 전파(propagation)되는 과정 전반을 고려하여 불확실성 분석을 수행해야 함을 강조하였으며, 이는 불확실성 분해 개념과 상통하는 것이다.

기후변화를 고려한 전망은 여러 단계가 관여하기 때문에 특정 단계가 전망 결과에 미치는 경로나 영향을 직접적으로 알기 어렵다. 이와 같은 지식의 불완전성으로 인해 불확실성 분해는 일반적으로 적절한 확률적 가정을 내포하는 통계 모형을 통해 이루어진다. 가장 널리 활용되는 모형은 분산분석(analysis of variance, ANOVA) 모형으로 결과에 미치는 요인이 다양할 때, 개별 요인의 영향력을 분석하는데 널리 활용되는 통계 모형이다. 분산분석 방법은 수자원 전망값의 분산(variance)을 전망 단계의 주효과(main effect)와 전망 단계들 사이의 교호작용 효과(interaction effect), 그리고 오차(error)에 의한 분산으로 분해한다. Yip et al. (2011)은 총 불확실성을 배출 시나리오와 GCM, 그리고 두 단계의 교호작용에 의한 불확실성으로 분해하였으며, Bosshard et al. (2013)은 총 불확실성을 GCM과 상세화 기법, 수문 모형, 그리고 전망 단계들 간의 교호작용에 의한 불확실성으로 분해하였다. Lee and Bae (2016)는 총 불확실성을 지역기후모형(regional climate model, RCM)과 통계적 후처리 기법(statistical post processing), 수문 모형, 그리고 전망 단계들 간의 교호작용에 의한 불확실성으로 분해하였다. 하지만 언급한 논문들은 교호작용의 효과를 전망 단계의 불확실성으로 할당하는 방법에 대해서 고려하지 않았다. 한편 Déqué et al. (2007)은 분산분석을 통해 계산된 각 전망 단계와 전망 단계들 사이의 교호작용으로 인한 분산을 계산하고, 전망 단계의 불확실성을 주효과와 교호작용 효과를 포함하여 해당 전망 단계가 연관된 모든 효과로 인한 분산의 합으로 정의하였다. 이 경우 전망 단계별 불확실성의 상대적인 크기는 비교할 수 있으나, 전망 단계별 불확실성의 합은 총 불확실성과 같지 않게 된다.

분산분석 방법은 몇 가지 단점이 존재하는데, 우선 자료의 정규성을 가정하기 때문에 이상치(outlier)에 민감하다. 즉 이상치가 존재하면 불확실성 분해 결과가 크게 달라질 수 있다. 또한 불확실성 분해 결과가 사용된 분산분석 모형에 따라 크게 달라질 수 있는데, 특정 모형이 다른 모형에 비해 불확실성 분해에 더 적합한지 판단하기 어렵다는 문제가 있다. 이에 Kim et al. (2018)은 분산분석 기반 방법과 달리 통계 모형을 가정하지 않는 불확실성 분해 방법을 제안하였다. 그들의 방법은 이상치에 민감하지 않은 불확실성 척도를 사용할 수 있으며 모형 선택 과정이 필요없다는 장점이 있다.

그러나 Kim et al. (2018)의 방법은 분산분석 모형에 적용하였을 때, 교호작용 효과의 불확실성을 처리하는 문제에 있어 논쟁의 여지를 가진다. 그들이 제안한 방법은 교호작용 효과에 의한 불확실성을 전망 과정에서 상대적으로 먼저 수행되는 단계로 할당한다. 예컨대 배출 시나리오와 상세화 기법의 교호작용 효과로 인한 불확실성은 배출 시나리오의 불확실성으로 할당된다. 따라서 앞선 전망 단계의 불확실성은 과대 추정되고 추후 단계의 불확실성은 과소 추정되는 문제가 발생할 수 있다.

본 연구는 Kim et al. (2018)의 방법과 다른 방식으로 교호작용으로 인한 불확실성을 개별 단계에 할당하는 방법을 제안하고자 한다. 교호작용 효과란 두 개 이상의 요인의 조합에서 생기는 효과를 의미하는데 한 요인이 결과에 미치는 영향이 다른 요인의 상태에 따라 달라지는 상황에서 나타난다. 기후변화에 따른 수자원 전망의 경우, 다른 전망 단계에서 시나리오를 선택하는 것과 관계없이 특정 전망 단계의 시나리오를 다른 것으로 바꿀 때 전망값이 일정한 크기로 변한다면 이는 전망 단계 사이에 교호작용이 존재하지 않는다고 할 수 있다. 그러나 시나리오 선택에 의한 결과가 다른 전망 단계에서 선택된 시나리오 조합에 따라 크게 달라진다면 교호작용의 효과가 크다고 할 수 있다. 이러한 교호작용 역시도 총 불확실성의 원천이라 볼 수 있으며 따라서 교호작용 효과 역시도 불확실성을 분해할 때 고려하여야 한다.

본 논문은 다음과 같이 구성되어 있다. 2장에서는 분산분석에 기반한 불확실성 분해 방법을 설명하고, 이에 따른 전망 단계별 불확실성과 교호작용에 의한 불확실성을 계량화하는 방법에 대하여 설명한다. 그리고 이를 바탕으로 교호작용으로 인한 불확실성을 불확실성 분해 과정에서 고려하는 방안을 제안한다. 3장에서는 제안한 방법을 실제 자료에 적용한 결과를 제시하고 4장에 결론을 제시한다.

2. 불확실성 분해

2.1 분산분석 모형

K는 전망 단계의 수를 의미한다. 예를 들어 배출 시나리오, GCM, 상세화 기법, 수문 모형 4개의 전망 단계로 구성되어 있는 수자원 전망의 경우 K=4이다. k=1, …, K에 대하여 k번째 전망 단계라 함은 이전 k-1번째 전망 단계에서 생성된 결과를 기반으로 그 다음 k+1번째 전망 단계에 사용되는 입력을 생성하는 전망 단계를 의미한다. 수자원 전망의 예에서 배출 시나리오는 첫 번째 전망 단계가 되고, 수문 모형은 네 번째 전망 단계가 된다. k번째 전망 단계에서 고려된 시나리오들의 집합을 Mk라고 하자. 모든 전망 단계에서 하나씩 시나리오를 택하여 구성한 시나리오 조합 x=(x1,,xK)k=1KMk 에 대하여 Yxx가 생성한 수자원 전망값을 의미한다. nk는 집합 Mk의 원소 수를 의미한다. 모든 가능한 시나리오 조합의 수는 k=1KMk개가 있으며 각 조합이 1개의 전망결과를 산출하는 경우를 생각 한다. 따라서 전망값의 수도 역시 k=1Knk개가 된다.

각 단계는 전망 결과에 영향을 미치는 요인이 되며, 각 단계에서 어떤 시나리오를 선택하는지에 따른 전망 결과의 변동이 존재한다. 이 변동의 크기가 큰 단계가 전망 결과의 불확실성에 가장 크게 기여하는 단계라 볼 수 있다. K개의 단계의 기여도를 비교하기 위한 통계 분석을 위해서는 요인의 효과에 대한 모집단 모형이 필요하다. 일반적으로 다음과 같은 형태를 지닌 모형을 생각한다.

$$Y_x=\mu_x+\in_x,\;x\in\prod_{k=1}^KM_k$$ (1)

여기서 𝜇xx에 따라 그 값이 달라지는 상수이며, 𝜖x는 평균이 0이고 분산이 𝜎2인 특정 분포를 동일하게 따르는 확률변수로, 다른 모든 확률변수와 독립이다. 이러한 확률모형 하에서 E(Yx)=𝜇x인데, 즉 𝜇x는 시나리오 조합 x가 생성하는 전망값의 기댓값을 의미하고 𝜖x는 오차를 의미한다. 여기서 오차는 선택된 시나리오 조합을 바탕으로 전망값을 산출하는 과정에 내재된 내부변동성(internal variability)에 의하여 발생한다고 가정한다.

불확실성 분석을 위한 통계모형은 𝜇xx에 대한 적절한 함수 형태로 표현함으로써 전망값의 변동에 미치는 전망 단계의 영향을 파악하고자 한다. 통계모형의 일종인 분산분석 모형은 각 전망 단계의 주효과와 전망 단계 간의 교호작용 효과의 합으로 𝜇x를 모형화한다. 가장 단순한 분산분석 모형은 주효과 분산분석 모형(main effect ANOVA model)으로 이는 𝜇xx를 구성하는 시나리오들에 의한 주효과의 합이라고 가정하는 모형이다. K개의 전망 단계를 가지는 전망 자료를 분석하기 위한 주효과 분산분석 모형은 다음과 같이 표현된다.

$$\mu_x=\mu_0+\sum_{k=1}^K\beta_{x_k}^{(k)}.$$ (2)

여기서 𝜇0는 전체 평균이며 βxk(k)는 시나리오 xk를 선택함으로써 전망결과가 달라지는 정도를 의미한다. βxk(k), xkMkk번째 전망 단계가 전망에 미치는 주효과를 나타내는 항들이다. 모형의 식별성(identifiability)를 위해, 즉 𝜇0βxk(k), xkMk가 자료에서부터 유일하게 추정되게 하기 위해 xkMkβXk(k)=0이라는 조건을 가정한다.

다음으로 2차 교호작용(second order interaction)의 효과까지를 포함한 2차 교호작용 분산분석 모형(second order interaction ANOVA model)을 생각하자. 2차 교호작용은 두 전망 단계가 관련된 교호작용을 의미한다. K개의 전망 단계를 가지는 전망 자료를 분석하기 위한 2차 교호작용 분산분석 모형은 다음과 같다.

$$\mu_x=\mu_0+\sum_{k=1}^K\beta_{x_k}^{(k)}+\sum_{l=1}^{K-1}\sum_{m=l+1}^K\beta_{x_l,\;x_m}^{(l,\;m)}.$$ (3)

여기서 βxl,xm(l,m)l번째 전망 단계에서 시나리오 xl을 선택하고 m번째 전망 단계에서 시나리오 xm을 선택함으로써 발생하는 효과를 나타낸다. 식별성을 위하여 모든 xmMm에 대하여 xlMlβxl,xm(l,m)=0을, 모든 xlMl에 대하여 xmMmβxl,xm(l,m)=0을 가정한다.

2.2 교호작용 효과

주효과 분산분석 모형에서 E(Yx)=μ0+k=1Kβxk(k)가 되므로 k번째 단계의 각 시나리오에서의 기댓값의 차이는 다른 전망 단계에서의 시나리오 선택에 무관하게 된다. 예를 들어 k번째 단계에서 시나리오 xkx'k를 사용하였을 때의 기댓값의 차이는 다른 전망 단계의 모든 시나리오 조합에 대하여 μ0+βxk(k)+lkβxl(l)-μ0+βx'k(k)+lkβxl(l)=βxk(k)-βx'k(k)로 변함이 없다.

반면 2차 교호작용 분산분석 모형에서는 특정 단계에서 다른 시나리오를 사용하였을 때의 기댓값의 차이는 다른 전망 단계의 모든 시나리오 조합에 따라 달라지게 된다. 예를 들어 k번째 단계에서 시나리오 xkx'k를 사용하였을 때의 기댓값의 차이는 βxk(k)-βx'k(k)+lkβxk,xl(k,l)-βxk,xl(k,l)이 되어 다른 단계의 시나리오 선택에 따라 그 값이 달라짐을 알 수 있다.

두 모형의 차이를 간단한 예제 데이터와 그림을 통해 살펴보도록 하자. 예제 데이터는 배출 시나리오와 GCM의 두 전망 단계로 이루어져 있으며 2개의 배출 시나리오와 3개의 GCM로 구성되어 있으며 각각을 ES1, ES2, GCM1, GCM2, GCM3로 표기하도록 한다. 따라서 총 6개의 전망 결과가 있으며 그 결과가 YES1, GCM1=10, YES1, GCM2=90, YES1, GCM3=50, YES2, GCM1=40, YES2, GCM2=10, YES2, GCM3=60으로 주어져 있다고 가정하자. Fig. 2는 사용한 시나리오 조합에 따른 Yx의 기댓값인 𝜇x를 두 분산분석 모형에 기반하여 추정한 결과를 나타낸 것이다. 그림의 y축은 𝜇x의 추정값을 나타내며 x축은 사용한 GCM을 나타낸다. 사용한 배출 시나리오에 따라 점의 모양과 색을 다르게 표시하였다. (a)는 주효과 분산분석 모형으로 예제 자료를 분석한 결과이고, (b)는 2차 교호작용 모형으로 분석한 결과이다. 주효과 분산분석 모형은 ES1을 사용한 경우와 ES2를 사용할 때의 전망의 기댓값의 차이를 GCM 선택에 관계없이 동일하게 추정하나, 2차 교호작용 분산분석 모형은 기댓값의 차이를 GCM 선택에 따라 다르게 추정한다. 두 그림을 비교하면 추정 결과가 상당히 다름을 알 수 있는데, 예제 자료와 같이 교호작용이 강하게 나타나는 자료를 분석하는 경우 모형 선택에 따라 불확실성 분석 결과가 크게 달라질 수 있음을 알 수 있다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-11S/N020051S103/images/kwra_51_S-1_03_F2.jpg
Fig. 2.

Example of estimation results based on two ANOVA models

2.3 분산분석 모형 기반 불확실성 계량화

X=(X1, …, XK)를 k=1KMk 상에서 균등하게 분포(uniformly distributed)하는 확률벡터(random vector)라고 하자. 즉 Xk=1Knk개의 모든 시나리오 조합 중 하나의 값을 같은 확률로 가지게 된다.

주효과 분산분석 모형에서 전망값의 총 분산과 개별 효과의 분산은 다음과 같은 관계를 가진다.

$$Var(Y_X)=\sum_{k=1}^KVar\left(\beta_{X_k}^{(k)}\right)+\sigma^2$$ (4)

여기서 Var(YX)은 수자원 전망의 총 불확실성이라 볼 수 있다. 𝜎2는 내부변동성에 의한 불확실성으로 해석할 수 있다. 한편 VarβXk(k)k번째 전망 단계로 인한 불확실성이라 볼 수 있는데, 이는 k번째 전망 단계의 시나리오 선택에 의해서 발생하는 불확실성이라 볼 수 있다. 주효과 분산분석 모형을 기반으로 하여 불확실성 분해를 수행하는 경우 총 불확실성을 전망 단계의 주효과에 의한 불확실성과 내부변동성에 의한 불확실성으로 분해한다.

분산분석 모형에서 내부변동성에 의한 불확실성은 시나리오 조합에 대해 모두 동일하다고 가정한다. 내부변동성이 모든 시나리오 조합에 대해 동일하다는 가정은 시나리오마다 내부변동성이 다를 가능성을 무시하며, 따라서 큰 내부변동성을 가진 시나리오가 존재함에도 내부변동성을 과소평가할 수 있는 위험이 존재한다. 그러나 시나리오 조합 당 하나의 전망이 산출되는 자료의 한계로 인하여 이와 같은 가정은 불가피한 측면이 있다. 개별 시나리오 조합의 내부변동성은 여러 초기값에 대하여 모의실험을 반복 수행한 결과를 통해 추정되거나(Sansom et al., 2013), 장기간에 걸친 안정적인 기후에 대한 모의실험을 수행함으로써 추정될 수 있다(Räisänen, 2001). 개별 시나리오 조합의 내부변동성을 추정할 수 있으면 가중최소제곱법(weighted least squares) 분산분석을 이용하여 불확실성 분석을 수행할 수 있다.

2차 교호작용 분산분석 모형에서 총 불확실성은 다음과 같이 분해된다.

$$Var(Y_X)=\sum_{k=1}^KVar\left(\beta_{X_k}^{(k)}\right)+\sum_{l=1}^{K-1}\sum_{m=l+1}^KVar\left(\beta_{X_l,\;X_m}^{(l,\;m)}\right)+\sigma^2$$ (5)

2차 교호작용 분산분석 모형은 주효과 분산분석 모형과 달리 2차 교호작용 효과로 인한 불확실성 VarβXl,Xm(l,m)을 고려하게 된다.

널리 알려진 분산분석 모형 이론(Moser, 1996; von Storch and Zwiers, 1999)에 따르면 주효과 모형과 2차 교호작용 모형은 모두 각각의 식별성 조건 하에서 주효과에 의한 불확실성 VarβXk(k)을 동일하게 계량화한다. 반면 내부변동성에 의한 불확실성은 다르게 계량화 하는데, 주효과 모형 하에서 내부변동성에 의한 불확실성은 2차 교호작용 모형 하에서의 교호작용 효과에 의한 불확실성과 내부변동성에 의한 불확실성의 합과 동일하다. 다시 말해 2차 교호작용 모형은 주효과 모형의 𝜎2βXl,Xm(l,m), l=1, m=l+1, …, K𝜎2로 분해한다. 유사하게 3차 교호작용까지를 포함한 모형이 계량화한 주효과와 2차 교호작용 효과에 의한 불확실성은 2차 교호작용까지를 포함한 모형이 계량화한 것과 동일하며, 2차 교호작용 모형이 계량화하는 내부변동성에 의한 불확실성은 3차 교호작용 모형이 계량화한 3차 교호작용 효과에 의한 불확실성과 내부변동성에 의한 불확실성의 합과 동일하다. 이와 같이 더 높은 차수의 교호작용을 포함한 분산분석 모형은 내부변동성에 의한 불확실성 중 일부분을 높은 차수의 교호작용 효과에 의한 불확실성으로 계량화하고, 남은 부분을 내부변동성에 의한 불확실성으로 다시 정의한다. 모든 차수의 교호작용을 포함한 분산분석 모형, 즉 K차 교호작용까지를 포함한 모형은 총 불확실성을 주효과와 교호작용 효과에 의한 불확실성으로 분해하며, 내부변동성에 의한 불확실성은 0으로 계량화한다.

주어진 전망자료를 통해 주효과와 교호작용 효과에 의한 불확실성을 계산하는 방법은 다음과 같다. Yxk(k)¯k번째 전망 단계에서 시나리오 xk를 사용한 모든 전망값의 평균이라고 하자. 또한 Yxl,xm(l,m)¯l번째 전망 단계에서 시나리오 xl을 사용하고, m번째 전망 단계에서 시나리오 xm을 사용한 모든 전망값의 평균이라고 하자. 이 때 k번째 단계의 주효과에 의한 불확실성은 분산분석 모형은 Yxk(k)¯,xkMk의 분산으로 계산된다. 즉,

$$\widehat{Var}\left(\beta_{X_k}^{(k)}\right)=\frac1{n_k}\sum_{x_k\in M_k}\left(\overline{Y_{x_k}^{(k)}}-\overline Y\right)^2$$ (6)

여기서 Y¯는 전망값의 전체 평균이다. ^기호는 주어진 자료를 이용하여 알 수 없는 값을 추정하였다는 의미로, 예를 들어 θ^는 어떤 미지의 값 𝜃를 주어진 자료를 이용하여 추정한 값을 의미한다. 한편 l번째 전망 단계와 m번째 전망 단계의 교호작용 효과에 의한 불확실성은 다음과 같이 계량화된다:

$$\widehat{Var}\left(\beta_{X_l,\;X_m}^{(l,\;m)}\right)=\frac1{n_ln_m}\sum_{x_l\in M_l}\sum_{x_m\in M_m}\left(\overline{Y_{x_l,\;x_m}^{(l,\;m)}}-\overline{Y_{x_l}^{(l)}}-\overline{Y_{x_m}^{(m)}}-\overline Y\right)^2$$ (7)

내부변동성에 의한 불확실성은 총 불확실성에서 선택한 분산분석 모형이 고려하는 주효과와 교호작용 효과의 불확실성을 뺀 값으로 계량화한다.

2.4 교호작용을 고려한 불확실성 분해

교호작용에 의한 불확실성을 불확실성 분해에 반영하는 방법으로 선행 연구에서 제안된 것은 크게 세 가지로, 교호작용 효과로 인한 불확실성을 별개로 보고하거나(Yip et al., 2011; Bosshard et al., 2013; Lee and Bae, 2016), 이를 전망 단계별 불확실성에 모두 더해준 후 보고하는 방안(Déqué et al., 2007), 마지막으로 교호작용 효과로 인한 불확실성을 관련된 전망 단계 중 하나의 전망 단계에 온전하게 할당하는 방법(Kim et al., 2018)이다. Yip et al. (2011)과 Bosshard et al. (2013), Lee and Bae (2016)의 연구는 모든 차수의 교호작용 효과를 포함한 분산분석 모형을 고려하였다. 따라서 이들은 내부변동성에 의한 불확실성을 0으로 추정하였으며 총 불확실성에서 주효과에 의한 불확실성을 제외한 나머지를 모두 교호작용 효과에 의한 불확실성으로 간주하였다. 결과적으로 그들은 총 불확실성을 전망 단계별 주효과에 의한 불확실성과 모든 교호작용 효과에 의한 불확실성로 분해하였다. 이는 전망 단계의 불확실성을 전망 단계의 주효과만을 반영하는 방식으로 정의하였다는 특징이 있다. Déqué et al. (2007)은 개별 전망 단계의 불확실성을 해당 전망 단계의 주 효과와 해당 전망 단계가 관련된 모든 차수의 교호작용 효과에 의한 불확실성의 합으로 정의하였다. 이와 같은 정의는 특정 전망 단계의 불확실성은 교호작용을 효과를 포함하여 해당 전망 단계가 전망에 미치는 모든 영향을 고려하여 정의되어야 한다는 관점을 반영한 것이다. 그러나 전망 단계의 불확실성들의 합은 총 불확실성과 같지 않게 됨으로 인해 불확실성의 상대적인 기여를 계량화하지 못한다는 단점이 있다. Kim et al. (2018)은 교호작용 효과에 의한 불확실성을 연관된 전망 단계들 중 가장 앞선 전망 단계에 전부 할당함으로써 전망 단계의 불화실성들의 합이 총 불확실성과 동일하도록 하였다. 예컨대 배출 시나리오와 상세화 기법의 교호작용 효과로 인한 불확실성은 배출 시나리오의 불확실성으로 여겨진다. 이 방법은 교호작용 효과에는 여러 전망 단계가 관여한다는 사실과 배치된다는 문제가 있다.

본 연구에서는 선행 연구와 달리 교호작용의 효과에 의한 불확실성을 분해하여 전망 단계의 불확실성으로 할당하는 방안을 제안하고자 한다. 이를 통해 주효과와 교호작용 효과를 모두 고려하여 전망 단계별 불확실성을 계량화함과 동시에 전망 단계별 불확실성의 총 불확실성에 대한 상대적 기여를 평가할 수 있도록 한다. 제안하는 방법은 2차 교호작용 분산분석 모형에 기반으로 한다. 2차 교호작용 분산분석 모형에서 각 전망 단계의 주효과에 의한 불확실성 VarβXk(k)와, 2차 교호작용에 의한 불확실성 VarβXl,Xm(l,m), 그리고 내부변동성으로 인한 불확실성 𝜎2를 계량화한다. 계량화 방법은 2.3절에 서술된 것과 같다. 이를 바탕으로 전망 단계별 불확실성 Uk를 다음과 같이 정의한다.

$$U_k=Var\left(\beta_{X_k}^{(k)}\right)+\frac12\sum_{l\neq k}Var\left(\beta_{X_{k,}\;X_l}^{(k,\;l)}\right)$$ (8)

즉 전망 단계별 불확실성은 주효과에 의한 불확실성과, 해당 전망 단계가 관련된 모든 교호작용에 의한 불확실성 합의 절반을 더한 것으로 정의된다. 즉 교호작용 효과로 인한 불확실성에 1/2를 곱하여 두 전망단계가 관련된 2차 교호작용의 불확실성을 연관된 두 전망 단계에 동등하게 분배하는 방식이다. 많은 경우 각 단계의 불확실성에 대한 사전 정보가 없으므로 이러한 동등 분배 방식은 합리적인 것으로 볼 수 있다.

위와 같은 정의 하에서 다음의 관계가 성립한다.

$$Var\left(Y_x\right)=\sum_{k=1}^KU_k+\sigma^2$$ (9)

제안된 방법에 따르면 총 불확실성은 전망 단계별 불확실성과 내부 변동성에 의한 불확실성으로 분해되며, 전망 단계별 불확실성은 주효과와 교호작용 효과를 모두 고려하여 결정되게 된다.

본 연구에서는 Eq. (8)과 같이 교호작용 효과로 인한 불확실성을 연관 단계에 절반씩 분배하는 방법을 제안했으나, 다른 가중치를 가지게 분배하는 방안을 고려할 수 있다. 하나의 대안으로 교호작용 효과에 의한 불확실성을 주효과에 의한 불확실성 크기에 비례하여 분배하는 방법이 있다. 이는 교호작용에 의한 불확실성에 기여하는 정도는 두 단계가 동등한 것이 아니라 더 불확실한 단계의 기여도가 덜 불확실한 단계의 기여도보다 클 것이라는 생각에 기반한다. 배출 시나리오의 주효과에 의한 불확실성이 50, GCM의 주효과에 의한 불확실성이 10, 두 단계의 교호작용에 의한 불확실성이 60인 예를 생각하여 보자. 동등하게 교호작용 효과에 의한 불확실성을 분배한다면 배출 시나리오와 GCM의 불확실성은 각각 80, 40이 된다. 여기서 80은 배출 시나리오의 주효과에 의한 불확실성이 50에 교호작용 효과에 의한 불확실성의 절반인 30을 더한 값이고, 40도 같은 방식으로 계산된 값이다. 주효과에 의한 불확실성 크기에 따라 교호작용 효과에 의한 불확실성을 분해한다면, 그 비율이 5:1이므로 교호작용 효과에 의한 불확실성 60은 배출 시나리오와 GCM에 각각 50, 10으로 분배된다. 따라서 배출시나리오의 불확실성은 100, GCM의 불확실성은 20이 된다.

3. 자료 분석

3.1 자료

분석에 사용된 자료는 충주댐의 월별 유량을 전망한 자료이다. 이 자료는 Lee et al. (2017), Kim et al. (2018)에서 분석한 자료로, 본 연구가 Kim et al. (2018)의 후속 연구 성격을 지님을 고려하여, 결과의 비교를 위해 같은 자료를 사용하였다. Fig. 3는 대상 유역인 충주댐의 위치를 지도에 표시한 것이다. 전망 기간은 2030년 1월부터 2059년 12월까지이다. 분석은 여름(7-9월)과 겨울(12, 1, 2월) 두 계절을 대상으로 하였다. 각 계절에 대하여 30년 평균 유량을 계산하여 이를 불확실성 분석에 사용하였다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-11S/N020051S103/images/kwra_51_S-1_03_F3.jpg
Fig. 3.

Chungju Dam in the study basin

전망에 사용된 배출 시나리오는 IPCC Special Report on Emission Scenarios (SRES) Fourth Annual Report (AR4)에서 제시한 A2와 B1 시나리오를 사용하였다. IPCC 20C3M에 근거한 19개의 GCM 중 한반도에 적합한 4개를 선택하였다. GCM 선택에 대한 자세한 과정은 Lee et al. (2017)을 참조한다. 상세화 기법은 2개의 통계적 기법을 선택하였는데 하나는 이중선형 회귀(bilinear regression, BR; Kilsby et al. 1998) 방법이고 하나는 인공신경망(artificial neural network, ANN; Gardner and Dorling, 1998) 방법이다. 마지막으로 수문모형으로는 수자원 전망에 널리 사용되는 2개의 모형인 abcd와 GR2M을 사용하였다(Wolock and McCabe 1999). 이를 정리하면 Table 1과 같다. 선정된 시나리오들을 조합하여 총 32개의 수자원 전망을 산출하였다. 사용된 상세화 기법과 수문모형에 대한 보다 자세한 설명은 Lee (2013)을 참조한다.

Table 1. Scenarios, models and methods used in the study

StageDescription
Emission scenariosA2, B1
GCMsCSIRO-Mk30, MPI-M-ECHAM5, MIUB-ECHO-G, MRI-M-CGCM232
Downscaling techniquesBR, ANN
Hydrological modelabcd, GR2M

Fig. 4은 계절별 유량 전망을 시나리오별로 나타낸 것이다. 예를 들어 좌상단 그림에서 “A2” 배출 시나리오 위의 찍힌 점들은 A2 배출 시나리오를 사용한 전망값들을 나타낸다. 붉은 다이아몬드 형태의 점은 이 값들의 평균값을 의미하며, 주황색 사각형 형태의 점은 중앙값(median)을 의미한다. 점들을 이은 선분은 해당 단계 이외의 모든 단계의 시나리오 조합이 같은 전망들을 연결한 것이다. 예를 들어 좌상단 그림에서 연결된 두 점은 배출 시나리오를 제외한 나머지 단계의 시나리오들이 모두 같은 두 시나리오 조합에서 산출된 전망값을 나타낸다.

http://static.apub.kr/journalsite/sites/kwra/2018-051-11S/N020051S103/images/kwra_51_S-1_03_F4.jpg
Fig. 4.

Streamflow projection values based on scenarios for each stage in two seasons. ES stands for emission scenario, GCM for global circulation model, DS for downscaling technique and HM for hydrological model.

여름과 겨울 계절 모두 GCM 선택에 따라 전망값이 많이 달라짐을 확인할 수 있었다. 특히 여름의 경우 네 개의 GCM은 평균적으로 상당히 다른 값을 전망하였다. 반면 수문 모형의 경우 abcd나 GR2M은 어떤 것을 사용하더라도 상당히 비슷한 값을 전망하였다. 배출 시나리오 역시도 마찬가지로, 시나리오 선택이 전망값에 큰 영향을 주지 않았다. 이는 GCM 단계의 불확실성은 크고, 배출 시나리오와 수문 모형 단계의 불확실성은 작을 것이라고 추측하게 한다. 상세화 기법의 경우 두 기법에 따른 변화가 여름과 겨울이 상이하였는데, 여름의 경우 BR이 더 높은 유량을 전망한 반면, 겨울의 경우 더 낮게 전망하였다.

3.2 불확실성 분해 결과

Table 2는 2차 교호작용 분산분석 모형을 기반으로 전망값의 총 분산을 분해한 결과이다. 총 불확실성은 각 전망 단계의 주효과와 단계 간의 2차 교호작용, 그리고 내부변동성에 의한 불확실성으로 분해된다. 괄호 안의 백분율은 총 불확실성에서 해당 요인에 의한 불확실성이 차지하는 비중을 나타낸다. 여름의 경우 GCM의 주효과에 의한 불확실성이 가장 컸고 그 다음으로 상세화 기법의 주효과에 의한 불확실성, GCM과 상세화 기법의 교호작용 효과에 의한 불확실성이 그 뒤를 이었다. GCM과 상세화 기법의 주효과와 2차 교호작용 효과에 의한 불확실성은 각각 총 불확실성의 68.9%, 13.3%, 5.5%를 차지하는데, 이를 모두 더하게 되면 총 불확실성의 87.7%를 차지하여 두 단계가 전체 불확실성에서 대부분의 비중을 차지하고 있음을 확인할 수 있었다. 한편 겨울의 경우 상세화 기법의 주효과에 의한 불확실성이 가장 컸고 그 다음으로 GCM과 상세화 기법의 교호작용 효과에 의한 불확실성, GCM의 주효과에 의한 불확실성 그 뒤를 따랐다. 여름과 마찬가지로 GCM과 상세화 기법이 총 불확실성에 가장 크게 기여하는 요인이었으며, 두 전망 단계의 주효과와 2차 교호작용 효과로 인한 불확실성을 모두 더하면 총 불확실성의 93.1%를 차지하였다.

Table 2. Uncertainties from main and interaction effects of four stages and from internal variability for two seasons. The percentage in the bracket indicates the proportion of the uncertainty of each stage contributed to the total uncertainty. ES stands for emission scenario, GCM for global circulation model, DS for downscaling technique and HM for hydrological model. `:’ notation indicates interaction between two stages.

Season
EffectsSummerWinter
ES868.4 (3.6%)2.6 (0.1%)
GCM16454.2 (68.9%)496.8 (17.5%)
DS3179.4 (13.3%)1493.5 (52.8%)
HM84 (0.4%)3.2 (0.1%)
ES:GCM1007.4 (4.2%)76.1 (2.7%)
ES:DS33.1 (0.1%)14.3 (0.5%)
ES:HM0 (0%)0.1 (0%)
GCM:DS1323.4 (5.5%)646.9 (22.8%)
GCM:HM158.2 (0.7%)10.8 (0.4%)
DS:HM1.1 (0%)9.1 (0.3%)
Internal variability769.4 (3.2%)78.2 (2.8%)
Total23878.6 (100%)2831.44 (100%)

배출 시나리오와 수문 모형의 주효과에 의한 불확실성과 이 두 전망 단계가 관련된 교호작용에 의한 불확실성은 총 불확실성에서 차지하는 비중이 두 계절 모두에서 작은 편이었다. Table 2에서 여름의 경우 교호작용 효과에 의한 불확실성을 모두 더하면 총 불확실성에서 10.5%를 차지하는 것을 알 수 있으며, 겨울의 경우 교호작용 효과에 의한 불확실성은 총 불확실성에서 26.7%를 차지하였다. 여름보다 겨울에서 교호작용 효과에 의한 불확실성이 총 불확실성에서 차지하는 비중이 큰 것으로 나타났다. 본 논문에서 다룬 충주댐 유량전망 자료의 경우 교호작용 효과에 의한 불확실성은 주효과에 의한 불확실성과 비교하였을 때 총 불확실성에서 차지하는 비중이 작았으나, 분석 유역에 따라 이 비중은 다르게 나타날 수 있다. 추후 연구에서 타 유역에서의 불확실성 분석을 통해 수자원 전망의 불확실성 분석에서 교호작용 효과를 고려하는 것의 중요성을 판단할 수 있을 것이다.

한편 내부변동성에 의한 불확실성은 두 계절 모두에서 약 3%를 차지하였다. 이 결과는 총 불확실성의 대부분은 전망을 위한 시나리오 선택에서 발생함을 의미한다.

Table 3은 주효과 분산분석 모형에 기반한 불확실성 분해, Kim et al. (2018)이 제안한 방법에 따른 불확실성 분해, 그리고 본 연구에서 제안한 교호작용 효과를 고려한 불확실성 분해 방법 3가지를 적용한 결과를 나타낸 것이다. Kim et al. (2018)의 방법은 먼저 첫 번째 단계부터 k번째 단계까지의 누적 불확실성을 다음과 같이 정의한다.

$$CU_k\frac1{{\displaystyle\prod_{l=k+1}^K}n_l}\sum_{x_{k+1}^\ast\in M_{k+1}}\cdots\sum_{x_K^\ast\in M_K}U\left(\left\{Y_x:x_{k+1}=x_{k+1}^\ast,\;\cdots,\;x_K=x_K^\ast\right\}\right)$$ (10)

여기서 U는 불확실성을 측정하는 측도로 범위(range), 분산 등을 사용할 수 있다. 집합 Yx:xk+1=xk+1*,,xK=xK*k+1번째부터 마지막까지의 전망 단계에서 시나리오 xk+1=xk+1*,,xK=xK*을 사용한 전망값들의 집합이다. 따라서 첫 번째 단계부터 k번째 단계까지의 누적 불확실성은 k번째 단계보다 뒤에 오는 단계들의 시나리오 조합을 고정한 후 측정한 불확실성 값들의 평균으로 이해할 수 있다. Kim et al. (2018)은 개별 단계의 불확실성을 누적 불확실성의 차이로 정의하였는데, k번째 단계의 불확실성은 k번째 단계까지의 누적 불확실성과 k-1번째 단계까지의 누적 불확실성의 차이로 정의하였다. 이는 CU0=0이라 두었을 때 다음과 같이 표현할 수 있다.

$$U_k=CU_k-CU_{(k-1)}$$ (11)

Table 3. Uncertainties from four stages and internal variability for two seasons using the three methods. The percentage in the bracket indicates the proportion of the uncertainty of each stage contributed to the total uncertainty.

StageMethod
main effect ANOVACumulative uncertainty methodProposed method
Summer
Emission scenario868.4 (3.6%)2645.9 (11%)1388.7 (5.8%)
GCM16454.2 (68.9%)17968.3 (75.2%)17698.7 (74.1%)
Downscaling technique3179.4 (13.3%)3180.4 (13.3%)3858.2 (16.2%)
Hydrological model84 (0.4%)84 (0.4%)163.7 (0.7%)
Internal variability3292.6 (13.8%)-769.4 (3.2%)
Total23878.6 (100%)23878.6 (100%)23878.6 (100%)
Winter
Emission scenario2.6 (0.1%)159.7 (5.6%)47.9 (1.7%)
GCM496.8 (17.5%)1166 (41.2%)863.7 (30.5%)
Downscaling technique1493.5 (52.7%)1502.5 (53.1%)1828.6 (64.6%)
Hydrological model3.2 (0.1%)3.2 (0.1%)13.1 (0.5%)
Internal variability835.4 (29.5%)-78.2 (2.8%)
Total2831.4 (100%)2831.4 (100%)2831.4 (100%)

이와 같이 Kim et al. (2018)이 제안한 불확실성 분해 방법은 개별 단계의 불확실성을 누적 불확실성을 통하여 정의하기 때문에 누적 불확실성 방법이라 부른다. 누적 불확실성 방법 에서 불확실성 측도는 동등한 비교를 위해 분산 척도를 사용하였다.

세 가지 방법 모두에서 여름의 경우 GCM으로 인한 불확실성이 총 불확실성에 기여하는 정도가 가장 컸으며, 상세화 기법, 배출 시나리오, 내부변동성, 수문 모형 순으로 불확실성이 컸다. 겨울의 경우 상세화 기법에 의한 불확실성이 총 불확실성에 가장 크게 기여하였으며, GCM, 내부 변동성, 배출 시나리오, 수문 모형 순으로 불확실성이 큰 것으로 나타났다.

교호작용 효과를 고려하는 방법에 따라 분해 결과가 달라지는데, 그 정도는 겨울이 여름에 비해 컸다. 겨울에서 교호작용 효과를 고려하지 않은 주효과 분산분석 모형 기반 방법은 GCM의 불확실성이 총 불확실성의 17.5%만큼 기여하는 것으로 분석하였으나 교호작용 효과를 고려한 제안 방법은 30.5%만큼 기여하는 것으로 분석하였다. 상세화 기법의 불확실성은 주효과 분산분석 모형 기반 방법이 52.7%로 평가한 반면 교호작용을 고려한 제안 방법은 64.6%로 평가하여 어느 정도 차이가 존재하였다. 교호작용 고려 여부에 따라 불확실한 단계의 순서가 변하지는 않았으나 정량적인 기여도 평가에서는 교호작용 고려 여부가 상당한 영향을 미치는 것으로 나타난 것이다. 2.3절에서 언급하였듯이 주효과 분산분석 모형은 주효과에 의한 불확실성을 제외한 나머지 변동을 모두 내부 변동성에 의한 불확실성으로 간주한다. 따라서 내부 변동성에 의한 불확실성을 과대 추정할 위험이 존재하며 실제로도 교호작용 효과에 의한 불확실성을 고려한 방법에 비해 내부 변동성에 의한 불확실성을 상당히 크게 추정하였다. 교호작용 효과에 의한 불확실성이 총 불확실성에서 차지하는 비중이 매우 큰 편은 아니었으나 이를 합리적으로 처리하는 것이 내부 변동성 및 전망 단계들이 총 불확실성에 기여하는 정도를 이해하는데 중요하다고 볼 수 있다. 한편 누적 불확실성 방법은 교호작용 효과로 인한 불확실성을 연관된 두 단계 중 앞선 전망 단계에 할당하기 때문에 배출시나리오와 GCM의 불확실성을 다른 두 방법에 비해 크게 평가하는 것으로 나타났다.

4. 결론

본 연구에서는 수자원 전망 단계들의 교호작용을 고려하여 총 불확실성을 분해하는 방법론을 제안하였다. 제안하는 방법론은 기존의 불확실성 분해 방법들과 달리 전망 단계 간의 교호작용 효과에 의한 불확실성을 각 전망 단계로 분해하여 할당한 후 이를 주효과에 의한 불확실성과 합하여 전망 단계별 불확실성을 계량화한다. 제안하는 방법은 전망 단계별 불확실성을 주효과와 교호작용 효과를 모두 고려하여 계량화할 뿐만 아니라, 전망 단계별 불확실성의 합이 총 불확실성과 같아지는 특성을 가짐으로 인하여 각 전망 단계가 총 불확실성에 기여하는 정도를 정량적으로 평가할 수 있게 한다는 장점이 있다.

제안한 방법의 타당성과 적용 가능성을 살펴보기 위해 본 연구는 충주댐 유역의 미래 유량 전망 자료에 제안한 방법을 적용한 결과를 보고하였다. 교호작용 효과에 의한 불확실성의 경우 여름과 겨울 두 계절 모두에서 주 효과에 의한 불확실성에 비해 작은 것으로 분석되었는데, 여름의 경우 총 불확실성의 10.5%가 교호작용 효과에서 발생한 것으로 분석되었으며, 겨울의 경우 26.7%가 교호작용 효과에서 유래한 것으로 나타났다. 또한 유량 전망의 총 불확실성에서 각 전망 단계가 차지하는 비중을 계량화하였으며, 두 계절 모두 GCM과 상세화 기법이 가장 큰 비중을 차지하는 것으로 나타났다. 특히 여름철의 경우 GCM으로 인한 불확실성이 총 불확실성의 74.1%로 가장 크게 평가되었으며, 겨울철의 경우 상세화 기법의 불확실성이 64.6%로 가장 큰 불확실성 요인인 것으로 나타났다.

여러 단계의 시나리오가 관여하는 수자원 전망의 특성상 전망 단계 간의 교호작용 효과를 분석하는 것은 전망 결과를 이해하는데 필수적이다. 특히 교호작용 효과를 고려하는 방법에 따라 불확실성 분석 시 그 결과가 상당히 달라질 수 있다. 그러나 교호작용 효과 문제를 고려한 불확실성 분석 가이드라인은 전무한 실정이다. 이러한 상황에서 본 연구는 연구자와 의사결정자들이 불확실성 분석 시 교호작용 효과를 처리하는데 참고할 수 있는 가이드라인으로 사용될 수 있다.

본 연구는 불확실성을 분산으로 측정하는 경우에 한하여 교호작용 효과의 문제를 다루었다. 분산 측도는 이상치에 취약하다는 단점이 있는 것으로 알려져 있으며(Wilcox, 2011), 이에 대한 대안으로 이상치에 둔감한 평균 절대편차(mean absolute deviation), 사분범위(interquartile range)등의 측도를 사용할 수 있다. 이러한 분산 이외의 불확실성 측도를 사용하였을 때 교호작용에 의한 불확실성을 계량화하는 방법은 추후 연구를 통해 규명하도록 한다.

Acknowledgements

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(과제번호 18AWMP-B083066-05).

References

1
Bosshard, T., Carambia, M., Goergen, K., Kotlarski, S., Krahe, P., Zappa, M., and Sch¨ar, C. (2013). "Quantifying uncertainty sources in an ensemble of hydrological climate-impact projections." Water Resources Research, Vol. 49, No. 3, pp. 1523-1536.
10.1029/2011WR011533
2
Chen, J., Brissette, F. P., Poulin, A., and Leconte, R. (2011). "Overall uncertainty study of the hydrological impacts of climate change for a Canadian watershed." Water Resources Research, Vol. 47, No. 12.
10.1029/2011WR010602
3
Déqué, M., Rowell, D. P., Lüthi, D., Giorgi, F., Christensen, J. H., Rockel, B., Jacob, D., Kjellström, E., de Castro, M., and van den Hurk, B. (2007). "An intercomparison of regional climate simulations for Europe: assessing uncertainties in model projections." Climatic Change, Vol. 81, No. 1, pp. 53-70.
10.1007/s10584-006-9228-x
4
Dessai, S., and Hulme, M. (2007), "Assessing the robustness of adaptation decisions to climate change uncertainties: A case study on water resources management in the east of England." Global Environmental Change, Vol. 17, No. 1, pp. 59-72.
10.1016/j.gloenvcha.2006.11.005
5
Dobler, C., Hagemann, S., Wilby, R., and St¨otter, J. (2012). "Quantifying different sources of uncertainty in hydrological projections in an alpine watershed." Hydrology and Earth System Sciences, Vol. 16, No. 11, pp. 4343-4360.
10.5194/hess-16-4343-2012
6
Gardner, M. W., and Dorling, S. (1998). "Artificial neural networks (the multilayer perceptron): a review of applications in the atmospheric sciences." Atmospheric Environment, Vol. 32, No. 14. pp. 2627-2636.
10.1016/S1352-2310(97)00447-0
7
Gay, C., and Estrada, F. (2010). "Objective probabilities about future climate are a matter of opinion." Climatic Change, Vol. 99, No. 1-2, pp. 27-46.
10.1007/s10584-009-9681-4
8
Jones, R. N. (2000). "Managing uncertainty in climate change projections: issues for impact assessment." Climatic change, Vol. 45, No. 3-4, pp. 403-419.
10.1023/A:1005551626280
9
Kay, A., Davies, H., Bell, V., and Jones, R. (2009). "Comparison of uncertainty sources for climate change impacts: flood frequency in England." Climatic Change, Vol. 92, No. 1, pp. 41-63.
10.1007/s10584-008-9471-4
10
Kilsby, C., Cowpertwait, P., O'connell, P., and Jones, P. (1998). "Predicting rainfall statistics in England and Wales using atmospheric circulation variables." International Journal of Climatology, Vol. 18, No. 5 pp. 523-539.
10.1002/(SICI)1097-0088(199804)18:5<523::AID-JOC268>3.0.CO;2-X
11
Kim, Y., Ohn, I., Lee, J.-K., and Kim, Y. O. (2017). "Generalizing uncertainty decomposition theory in climate change impact assessments." Unpublished manuscript.
12
Lee J. K. (2018). "Uncertainty analysis of quantitative rainfall estimation process based on hydrological and meteorological radars." Journal of Korea Water Resources Association, Vol. 51, No. 5, pp. 439-449.
13
Lee J. K., (2013). Scenario Selection and Uncertainty Quantifcation for Climate Change Impact Assessments in Water Resources. PhD thesis, Seoul National University, Korea.
14
Lee, J. K., Kim, Y. O., and Kim, Y. (2017). "A new uncertainty analysis in the climate change impact assessment." International Journal of Climatology, Vol. 37, No. 10, pp. 3837-3846.
10.1002/joc.4957
15
Lee, M. H., and Bae, D. H. (2016). "Future projection and uncertainty analysis of low flow on climate change in dam basins." Journal of Climate Change Research, Vol. 7, No. 4, pp. 407-419.
10.15531/ksccr.2016.7.4.407
16
Mandal, S., and Simonovic, S. P. (2017). "Quantification of uncertainty in the assessment of future streamflow under changing climate conditions.", Hydrological Processes. Vol. 31, pp. 2076-2097.
10.1002/hyp.11174
17
Milly, P. C. D., Betancourt, J., Falkenmark, M., Hirsch, R. M., Kundzewicz, Z. W., Lettenmaier, D. P., and Stouffer, R. J. (2008). "Stationarity is dead: Whither water management?" Science, Vol. 319, No. 5863, pp. 573-574.
10.1126/science.115191518239110
18
Minville, M., Brissette, F., and Leconte, R. (2008). "Uncertainty of the impact of climate change on the hydrology of a Nordic watershed." Journal of hydrology, Vol. 358, No. 1, pp. 70-83.
10.1016/j.jhydrol.2008.05.033
19
Moser, W. R. (1996). Linear models: a mean model approach. Academic Press, California, USA.
20
N´obrega, M., Collischonn, W., Tucci, C., and Paz, A. (2011). "Uncertainty in climate change impacts on water resources in the Rio Grande basin, Brazil." Hydrology and Earth System Sciences, Vol. 15, No. 2, pp. 585-595.
10.5194/hess-15-585-2011
21
Räisänen, J. (2001). "CO2-induced climate change in CMIP2 experiments: Quantification of agreement and role of internal variability." Journal of Climate, Vol. 14, No. 9, pp. 2088-2104.
10.1175/1520-0442(2001)014<2088:CICCIC>2.0.CO;2
22
Sansom, P. G., Stephenson, D. B., Ferro, C. A., Zappa, G., & Shaffrey, L. (2013). "Simple uncertainty frameworks for selecting weighting schemes and interpreting multimodel ensemble climate change experiments." Journal of Climate, Vol. 26, No. 12, pp. 4017-4037.
10.1175/JCLI-D-12-00462.1
23
von Storch H., and Zwiers, F. W. (1999) Statistical analysis in climate research. Cambridge University Press, UK.
10.1017/CBO9780511612336
24
Wilcox, R. R. (2011). Introduction to robust estimation and hypothesis testing. Academic press.
25
Wolock, D. M,. and McCabe, G. J. (1999). "Estimates of runoff using waterbalance and atmospheric general circulation models." Journal of the American Water Resources Association, Vol. 35, No. 6, pp. 1341-1350.
10.1111/j.1752-1688.1999.tb04219.x
26
Yip, S., Ferro, C. A., Stephenson, D. B., and Hawkins, E. (2011). "A simple, coherent framework for partitioning uncertainty in climate predictions." Journal of Climate, Vol. 24, No. 17, pp. 4634-4643.
10.1175/2011JCLI4085.1
페이지 상단으로 이동하기