Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1225-7672(Print)
ISSN : 2287-822X(Online)
Journal of the Korean Society of Water and Wastewater Vol.35 No.1 pp.93-100
DOI : https://doi.org/10.11001/jksww.2021.35.1.093

Predicting flux of forward osmosis membrane module using deep learning

Jaeyoon Kim, Jongmin Jeon, Noori Kim, Suhan Kim*
Department of Civil Engineering, Pukyong National University
*Corresponding author : Suhan Kim (E-mail: suhankim@pknu.ac.kr)

29/12/2020 21/01/2021 29/01/2021

Abstract


Forward osmosis (FO) process is a chemical potential driven process, where highly concentrated draw solution (DS) is used to take water through semi-permeable membrane from feed solution (FS) with lower concentration. Recently, commercial FO membrane modules have been developed so that full-scale FO process can be applied to seawater desalination or water reuse. In order to design a real-scale FO plant, the performance prediction of FO membrane modules installed in the plant is essential. Especially, the flux prediction is the most important task because the amount of diluted draw solution and concentrate solution flowing out of FO modules can be expected from the flux. Through a previous study, a theoretical based FO module model to predict flux was developed. However it needs an intensive numerical calculation work and a fitting process to reflect a complex module geometry. The idea of this work is to introduce deep learning to predict flux of FO membrane modules using 116 experimental data set, which include six input variables (flow rate, pressure, and ion concentration of DS and FS) and one output variable (flux). The procedure of optimizing a deep learning model to minimize prediction error and overfitting problem was developed and tested. The optimized deep learning model (error of 3.87%) was found to predict flux better than the theoretical based FO module model (error of 10.13%) in the data set which were not used in machine learning.



딥러닝을 이용한 정삼투 막모듈의 플럭스 예측

김 재윤, 전 종민, 김 누리, 김 수한*
부경대학교 토목공학과

초록


    Pukyong National University(PKNU)

    1. 서 론

    딥러닝(Deep learning)은 기계학습(Machine learning) 의 한 가지 방법으로 컴퓨터가 데이터를 학습하여 분 류하거나 예측하는 등의 작업을 하는 기술이다. 컴퓨 터가 데이터를 분류 또는 예측하기 위한 대표적인 방 법 중 하나는 인공신경망이다. 인공신경망은 신경을 구현하기 위해 만든 머신러닝의 기법이다. 딥러닝은 인공신경망을 기반으로 하여 컴퓨터가 다양한 입력 및 출력 데이터를 학습하는 방법이다 (Ciresan et al., 2012). 기술 개발의 발달로 컴퓨터 연산 성능의 발전 과 인공신경망에 사용하는 함수의 개발로 높은 성능 을 기대할 수 있어 미디어 분야 등 다양한 분야에서 예측, 분석하는 연구가 활발히 진행되고 있다 (Lee et al., 2020a). 수처리 분야에서도 일유량 예측이나 강에 서의 클로로필-a 농도를 예측하는데 활용된 연구 사례 가 있다 (Kum et al., 2020; Lee et al., 2020b).

    딥러닝의 기본 개념은 원하는 결과 값 예측에 영향 을 미치는 독립변수 데이터를 인공신경망 모델에 입 력하여 예측 결과값을 얻는 것인데, 은닉층, 뉴런 수 등 파라미터를 조정하여 모델 최적화를 시행할 수 있 다. 본 연구에서 딥러닝이 적용될 정삼투(Forward osmosis, FO) 공정의 경우 막모듈에 유입되는 흐름의 특성에 따라 평균 플럭스가 결정되기 때문에 딥러닝 을 적용하기에 적합하다.

    FO 공정은 고농도 용액과 저농도 용액이 분리막을 사이에 두고 흐를 때, 삼투압을 구동력으로 하여 저농 도 용액에서 고농도 용액으로 물이 투과되는 공정이 다. FO 공정은 하수처리와 담수화 같은 수처리 분야 나 식품 공정 등과 같은 다양한 분야에 적용하기 위 한 연구가 진행되고 있다 (Kim et al., 2015;Jeon et al., 2018a). FO 공정의 경우 모듈 실험과 모델링 연구가 활발히 진행되고 있지만(Kim et al., 2017;Kim et al., 2018), RO 공정과는 달리 막모듈 제조사가 많지 않고 공개된 설계프로그램도 없는 실정이다. FO 공정을 설 계하기 위해서는 모듈을 직렬 또는 병렬로 배열했을 때 유량, 압력의 변동을 예측해야 한다. 이를 위해 FO 막모듈의 성능을 예측할 수 있는 모델의 개발이 필수 적이다.

    본 연구팀은 FO 막모듈 성능 예측을 위한 이론 기 반 모델을 개발하였다 (Lee et al., 2017;Jeon et al., 2018b). FO 막 내외부에서 발생하는 농도분극 현상을 모델링하여 랩 스케일에서 검증하여 높은 정확도의 예측 성능을 확인하였고(Lee et al., 2017), 이를 모듈 스케일로 확대하여 모듈 실험 데이터와 비교하였다 (Jeon et al., 2018b). 모듈 스케일에서는 랩 스케일에서 와 달리 FS와 DS 유로 형태의 복잡성으로 인해 정확 도에 한계가 있었기 때문에, 모듈 실험 데이터를 활용 한 fitting process를 이용해 이를 보완하였다. 또한, 20 여개의 비선형 수식들을 연립하여 계산하기 위한 알 고리즘의 계산 시간이 많이 소요되는(1분 이상) 단점 도 무시할 수 없었다.

    RO 공정 설계 프로그램의 계산 시간은 수 초 내외 이기 때문에, FO 설계 프로그램의 활용도를 높이기 위해서는 계산 시간을 줄이는 것이 유리하다. 또한, 정확도를 높이기 위해 fitting process를 도입해야 한다 면, 긴 계산 시간을 필요로 하는 이론 수식을 배제하 고 fitting process를 전체적으로 도입하는 회귀 모델을 도입하는 아이디어도 고려해 볼 수 있다. 본 연구팀에 서는 이론 기반 모델을 개발하고 검증하는 데 사용된 실험 데이터 셋 116개를 가지고, FO 막모듈의 플럭스 를 예측하는 회귀 모델을 개발하였다 (Jeon et al., 2019). 회귀 모델의 계산 시간은 1초 미만으로 이론 기반 모델의 단점을 해소하였고 예측 오차도 더 우수 하였지만, 모델의 성능을 높이기 위한 적절한 회귀식 을 결정하는 절차가 단순하지 않았다. 그러나, 딥러닝 을 적용한다면 회귀식의 형태를 결정하는 고민 대신, 모델 예측 성능에 영향을 주는 파라미터에 대한 최적 화를 실시함으로써 예측 오차를 비약적으로 감소시킬 수 있을 것으로 기대된다. 따라서, 본 연구에서는 딥 러닝을 적용하여 FO 막모듈의 플럭스를 예측하는 모 델을 개발, 최적화 하고, 이를 기존의 두 모델(즉, 이 론 기반 모델과 회귀 모델)과 비교하여, FO 공정 모델 링 분야에서의 딥러닝의 적용성을 평가하고자 한다.

    2. 연구 방법

    2.1. 딥러닝에 사용된 FO 막모듈 실험 데이터

    Fig. 1은 FO 막모듈에 유입되는 유도용액(Draw solution, DS), 원수(Feed solution, FS)와 유출되는 희석 유도용액(Diluted DS), 농축수(Concentrate)를 나타낸 것이고, Q, C, P 는 각각 유량, 농도, 압력을 나타내 며 아래첨자 f , c, d, dd는 각각 FS, 농축수, DS, 희석 유도용액을 의미한다. 플럭스(Jw)는 DS와 FS의 농도 차로 인한 삼투압에 의해 발생되며, 플럭스로 인해 DS와 FS가 모듈 내 유로를 따라 흐르면서 각각 희석, 농축된다. 따라서, 모듈 입구에서 멀어질수록 DS와 FS의 농도차가 줄어들어 플럭스가 감소한다.

    서론에서 언급했듯이 본 연구팀은 FO 막 내외부에 서 발생하는 농도분극 현상 등이론 수식을 이용한 이 론 기반 모델을 개발하였고 이를 모델 스케일로 확장 시켰다 (Lee et al., 2017;Jeon et al., 2018b). FO 막모 듈 내부 유로의 복잡성으로 인한 모델 예측 성능의 저하를 막기 위해 116개의 실험 데이터(Fig. 2)를 사용 한 fitting process를 거쳤는데(Jeon et al., 2018b), 본 연 구에서는 이들 데이터를 활용해 이론 수식을 배제한 딥러닝 모델을 개발하였다.

    Fig. 2는 DS와 FS의 농도차에 따른 플럭스를 보여 주고 있는데, 농도차가 증가할수록 대체로 플럭스가 증가하는 패턴을 보여주고 있지만, 압력, 유량 등 다 른 실험 조건에 따라 플럭스 변동이 발생하게 된다. FS와 DS의 농도, 압력, 유량이 플럭스에 미치는 구체 적인 영향은 본 연구팀이 출판한 기존 문헌에 정리되 어 있다 (Jeon et al., 2018a;Jeon et al., 2018b). 딥러닝 모델을 구축할 때는 이러한 구체적인 영향이 무엇인 지 모르더라도 FO 막모듈에 유입되는 DS와 FS의 농 도, 유량, 압력이 모두 플럭스에 영향을 준다는 사실 만 파악한다면, 이들 6개의 변수들을 플럭스를 예측하 기 위한 입력 변수로 설정해야 한다는 것을 알 수 있 다. Table 1은 딥러닝에 사용된 116개의 데이터 셋을 입력 변수(DS와 FS의 농도, 유량, 압력)와 결과 변수 (플럭스)로 나누고, 그 값들의 범위를 나타낸 것이다.

    2.2 딥러닝 모델 구축

    Table 1에 언급된 입력, 결과 변수와 Google의 Tensorflow를 사용하여 딥러닝 모델을 구축하였다 (www.tensorflow.org). 딥러닝 모델 적용 시 예측 성능 을 높이기 위해서 모델 구축 전에 입력 변수 데이터 를 정규화(Normalization)하는 과정이 필요하다. 정규 화는 데이터에 인자마다 크기 범위가 다른 것을 수식 을 통해 가공하여 성능을 올리는 과정이다. 정규화를 위한 방법 중 min-max 방법을 통해 데이터의 정규화 를 진행하였으며, 식 1은 min-max 방법을 계산하는 식 이다 (Jo, 2019).

    X n o r m = x X min X max X min
    (1)

    Fig. 3은 인공신경망의 개념을 나타낸 것이다. 입력 층(Input layer)에서 입력 변수 값을 받아 은닉층 (Hidden Layer)에서 학습한 후 출력층(Output Layer)에 서 결과 변수(플럭스)를 출력한다. 학습은 은닉층 내 의 뉴런(Neuron)에서 진행되며, 각 입력 변수의 값과 입력 변수 별 가중치(인공신경망 모델의 목적은 예측 오차를 최소화 시키도록 반복 수행을 통해 가중치 값 을 조정하는 것)의 곱들의 합을 활성화 함수 (Activation function)를 통해 변환하게 된다. 최종 결과 값을 반환하기 위해서는 각 뉴런에 있는 활성화함수 값이 다음 단계로 넘어가면서 각각의 가중치 조정을 계속 진행한다. 가중치 조정 크기는 학습률(Learning rate)에 의해 결정되고, 조정 방향은 옵티마이저 (Optimizer)에 의해 오차를 가장 잘 줄일 수 있는 방향 으로 결정된다. 이러한 학습을 반복하는 것을 학습횟 수(Epochs)라고 하며 최종적으로 결정된 값은 출력층 으로 출력된다. 이때 인공신경망의 은닉층의 개수가 2 개 이상인 것을 통상 딥러닝이라 부르고 있다.

    본 연구에서 활성화 함수과 옵티마이저는 성능이 좋고 속도가 빨라 주로 선호되고 있는 Rectified Linear Unit(Relu, 식 2)와 adaptive moment estimation(Adam)을 각각 사용하였다 (Cho et al., 2016;Joo et al., 2020).

    f ( x ) = max ( 0 , x )
    (2)

    여기서 x는 각 입력 변수의 값과 입력 변수별 가중 치의 곱들의 합이다.

    딥러닝 모델의 예측 오차를 최소화하기 위해 모델 성능에 영향을 주는 학습률, 은닉층 수, 뉴런 수, 학습 횟수를 변동하는 과정을 수행하였다. 변동 시 기본 조 건으로는 활성화 함수 relu, 은닉층 수 2층, 뉴런 수 32, 옵티마이저 adam의 학습률 0.01, 학습횟수 200번 으로 결정하였다. 은닉층 수(2층, 3층, 4층, 5층), 뉴런 수(16, 32, 64, 128), 학습률(0.01, 0.005, 0.0025, 0.001), 학습횟수(100, 200, 400, 800)를 변동 시키면서 normalized root mean square of errors(NRMSE)를 계산하여(식 3) 예측 오차를 비교하였다.

    N R M S E ( % ) = R M S E M e a n × 100
    (3)

    여기서, Mean은 각 독립변수의 평균값을 의미하고 RMSE는 평균제곱근오차로 식 6과 같이 나타낼 수 있 으며 Jw, exp는 플럭스 실측값이고 Jw, mod는 플럭스 예 측값이다.

    R M S E = 1 N i = 1 N ( J w , exp ( i ) J w , mod ( i ) ) 2
    (4)

    2.3 딥러닝 모델의 변동성 및 과적합 분석

    딥러닝을 통해 예측 모델을 구현할 때는 확률적 경사 하강법(Stochastic gradient decent)을 통해 오차함수의 값 을 최소화하는 과정을 거친다. 전체 데이터(Batch)에 대 한 오차 함수의 최소값을 최소 자승법을 통해 찾아내는 회귀 모델 구현과는 달리, 확률적 경사하강법에서는 계 산량을 줄이기 위해 학습회수별로 무작위적으로 선별 된 일부 데이터(Mini batch)에 대한 오차 함수의 최소값 을 찾아가도록 가중치를 조정한다. 따라서, 수식의 형태 가 결정되고 동일한 데이터 집합을 사용한다면 항상 동 일한 모델이 만들어지는 회귀 모델과는 달리, 딥러닝 모델은 구축 때마다 예측 성능이 달라지는 별개의 모델 이 만들어지게 된다. 이를 딥러닝 모델의 변동성이라 정의하고, 식 5와 같이 변동계수를 통해 나타낸다.

    C V ( % ) = S t a n d a r d d e v i a t i o n M e a n × 100
    (5)

    여기에서, 평균(Mean)과 표준편차(Standard deviation) 는 구축된 딥러닝 모델들(본 연구의 경우에서는 100 개 구축)의 NRMSE를 이용해서 구한다.

    과적합이란 학습 대상 데이터(Train data)에 대한 예 측 정확도가 높지만 학습에 사용되지 않은 데이터 (Test data)에 대한 예측 정확도가 낮은 것을 말한다. 과적합은 딥러닝 모델에서 데이터의 수가 너무 적은 경우, 학습을 너무 많이 진행한 경우, 모델이 너무 복 잡하거나 단순한 경우에 발생하며, 과적합 현상이 수 반되는 모델은 성능이 좋은 모델이라고 할 수 없다 (Caruana et al., 2000). 따라서, 딥러닝 모델 구축 시 과 적합 문제에 대한 분석이 중요한 요소라고 할 수 있다.

    과적합 정도를 분석하기 위해서는 학습용 데이터 (Train data)와 검증용 데이터(Test data)의 예측 오차 (NRMSE)를 비교해야 한다. 딥러닝 모델 구축 시 가용 할 수 있는 데이터(본 연구의 경우 116개)를 train data 와 test data로 나눠서 과적합 정도를 분석하는데, 기계 학습 시 마다 모델의 성능이 변하기 때문에 모델 구 축 작업을 100회 실시하여 각 오차의 평균값을 비교 하게 된다. 모델 구축 시마다 train data는 원하는 수 (10-90개)가 될 때까지 무작위로 추출하여 데이터 편 중(Bias)이 되지 않도록 주의한다.

    3. 결과 및 토의

    3.1 딥러닝 모델의 변동성 평가 및 최소화 방안

    2.2절에 언급된 학습률, 은닉층 수, 뉴런 수, 학습횟 수 조건별로 116개의 데이터를 모두 학습에 사용하여 학습 오차를 최소화하기 위한 조건을 찾은 결과, 은닉 층 5층, 학습률 0.005, 뉴런 수 128개, 학습횟수 800회 인 것으로 나타났다. 2.3절에서 언급된 딥러닝 모델의 변동성을 고려하여 각 조건별로 모델을 100회 구축하 여 평균 NRMSE를 구해 비교하였고, 위 조건에서의 평균 NRMSE는 2.17%로 나타났다.

    Fig. 4는 학습 오차를 최소화 하기 위한 조건에서 모델을 100회 구축하여 각 모델별로 NRMSE를 나타 낸 것이다. 최소, 최대 NRMSE는 각각 1.27, 6.81%로 평균 NRMSE(2.17%)와 큰 차이를 보였다. 변동계수 (Coefficient of variation, CV, 식 5)는 41.32% 였는데, 이를 줄이기 위한 모델 인자를 찾는 것이 중요하다.

    딥러닝 모델의 변동성은 2.2절에서 언급한 조건들 중에 학습률과 학습횟수에 변화에 크게 영향을 받는다. 딥러닝은 손실 함수의 최소값을 찾아가는 것을 목표로 하면서 모델을 구축한다. 손실 함수는 모델이 예측한 값과 목표값의 차이를 계산하는 비선형 함수이다. 가 중치 조정 크기(학습률, Learning rate)를 큰 폭으로 설 정한다면 손실 함수가 최소가 되는 전역 최소값 (Global minimum)을 지나쳐 버릴 수도 있다. 반대로 너무 작게 설정한다면 국소한 범위내의 최소값(Local minimum)에 빠져버려 전역 최소값을 찾지 못할 수도 있다. 따라서, 딥러닝 모델 구축 시 데이터에 맞는 학 습률 설정이 중요하다 (Ji et al., 2020). 또한, 학습횟수 (epoch)에 따라 오차함수의 최소값 최종 위치가 달라 지므로 변동성에 영향을 줄 수 있다.

    변동성을 최소화하기 위한 학습률과 학습횟수를 찾 기 위해 학습 데이터를 116개로 고정하고, 이들 인자를 바꾸어 가면서 변동계수(CV) 값이 가장 낮은 조건을 찾았다. Fig. 5 (a)에 의하면 변동계수는 학습률이 0.001 인 경우 6.38%로 가장 낮았다. 예측 오차가 가장 작은 경우의 학습률은 0.005이었지만, 이 경우에는 변동계 수 값이 23.29%로 높기때문에 적절하지 않다. Fig. 5 (b)에 의하면 적정 학습횟수는 200으로 나타났다.

    3.2 검증 오차를 최소화하기 위한 딥러닝 모델 최적화

    3.1절에서 딥러닝 모델의 변동성을 평가하고 이를 최소화하기 위한 학습률과 학습횟수를 각각 0.001과 200으로 결정하였다. 이들 조건을 고정하여 변동성을 최소화한 다음 단계는 모델의 예측 성능을 높이는 것 이다. 예측 성능을 평가함에 있어서 학습에 사용된 데 이터(Train data)에 대한 예측오차(NRMSE) 값을 사용 하는 것보다는 학습에 사용되지 않은 검증 데이터 (Test data)에 대한 예측오차(즉, 검증오차)를 활용하는 것이 타당하다.

    학습률과 학습횟수 외에 모델 성능에 영향을 미치 는 인자에는 은닉층 수와 뉴런 수가 있다. 이들을 변 화시켜가며 검증 오차를 최소화하기 위한 모델 최적 화 과정을 수행하였다. 학습에 사용된 train data는 70 개, 검증에 사용된 test data는 46개로 구분하였고, 모 델 구축은 100회 시행하였으며, 모델 구축 시마다 train data와 test data는 무작위적으로 선정하였다.

    Fig. 6(a)는 은닉층 수와 뉴런 수의 변화에 따른 test data의 NRMSE(즉, 검증오차)를 나타낸 것이다. 이때 NRMSE 값은 각 조건별로 100회 구축된 딥러닝 모델 의 평균값을 의미한다. 은닉층 수가 같을 때 뉴런수가 증가할수록 test data의 NRMSE는 감소하며, 뉴런 수가 같을 때 은닉층 수가 증가할수록 대체적으로 test data 의 NRMSE가 감소한다. 하지만, 뉴런 수가 1,024개일 때 은닉층 수가 4층에서 5층으로 증가하면서 NRMSE 가 증가하였는데, 이는 모델의 은닉층 수와 뉴런 수가 너무 많아지면서 모델 성능이 하락한 것으로 해석된다. 필요이상의 은닉층 수와 뉴런수는 과적합 문제를 발 생시킬 수도 있으며 수행 속도를 저하시키므로 적절 한 은닉층 수와 뉴런 수를 설정하는 것이 중요하다 (Jang and Wee, 2001;Bae et al., 2016).

    Fig. 6(a)에 의하면 은닉층 수가 4개이고, 뉴런 수가 1,024개일 경우 검증오차가 5.08%로 가장 낮았기 때문 에 최적 조건이라 볼 수 있다. Fig. 6(b)는 최적 조건에서 의 플럭스 실험값과 최적 딥러닝 모델에서의 예측값을 70개의 train data와 46개의 test data에 대해 각각 도시한 것이다. 딥러닝 모델의 검증 오차가 학습 오차보다 크기 때문에 test data의 예측값이 실험값을 벗어나는 경향이 train data의 경우보다 더 큰 것을 알 수 있다.

    3.3 딥러닝 모델의 과적합 분석

    3.1절에서는 본 연구에서 가용한 모든 데이터 셋 (116개)을 이용하여 학습 오차를 최소화하는 딥러닝 모델(Deep learning model 1)의 구축 조건을 학습률 0.005, 학습횟수 800회, 은닉층 수 5개, 뉴런 수 128개 로 결정하였고, 3.2절에서는 train data와 test data를 각 각 70개와 46개로 무작위적으로 구분하여 검증 오차 를 최소화하는 딥러닝 모델(Deep learning model 2)의 구축 조건을 학습률 0.001, 학습횟수 200회, 은닉층 수 4층, 뉴런 수 1,024개로 결정하였다.

    FO 막모듈의 플럭스를 예측하는 회귀 모델을 개발 한 본 연구팀의 기존 연구(Jeon et al., 2019)에서 다루 었듯이, 이론 수식들을 배제하고 실험데이터 기반으 로 구축된 모델(회귀 모델, 딥러닝 모델)의 단점은 과 적합 문제이다. 과적합도를 해결하기 위해서는 충분 히 많은 데이터를 통한 기계학습이 필수적이지만, 본 연구에서 활용할 수 있는 데이터 수가 116개로 제한 되어 있어 train data의 수를 10-90개로 변화시켜가며 학습데이터 수에 따른 과적합 정도를 분석하였고, 이 를 본 연구팀에서 기존에 개발했던 이론 기반 모델과 회귀 모델과 비교하였다 (Table 2).

    Table 2의 NRMSE 값은 각 조건별로 100회씩 구축 된 모델의 학습(Train) 오차와 검증(Test) 오차 평 균값을 나타낸 것이다. 모델이 구축될 때마다 무 작위적으로 train data와 test data가 구분되었다. 과적합 정도는 검증 오차와 학습 오차의 차이로 평가할 수 있다. 서론에서 언급되었듯이 이론기 반 모델도 FO 막모듈 내부 유로의 복잡성을 극 복하기 위한 실험값 기반 fitting process가 들어가 기 때문에 과적합이 발생할 수 있다. 그러나, 이 론식으로 플럭스를 계산한 후 실험값을 통해 보 정하는 방식이기 때문에(Jeon et al., 2018b), 타 모 델들 대비 과적합 정도가 낮은 것으로 나타났다.

    Table 2에 따르면 과적합 정도는 앞서 예상한 대로 학습데이터 수가 늘어날수록 감소하는 경향이 나타났 고, 회귀 모델보다 딥러닝 모델들의 과적합 정도가 높 은 경향을 보였다. 이는 딥러닝 모델들의 학습 능력이 기존 회귀 모델보다 높아서 학습오차가 더 낮아지기 때문으로 풀이된다. 비록 과적합 정도가 높긴 하지만 이는 회귀 모델에서도 나타나는 현상이고, 딥러닝 모 델들은 train data 수가 30개 이상인 경우에는 검증 오 차가 회귀 모델보다 더 낮기때문에 회귀 모델 대비 활용도는 더욱 높을 것으로 기대된다.

    딥러닝 모델들에서는 학습데이터 수가 늘어날수록 과적합 정도가 크게 감소하는 경향을 나타내었다. 이는 학습데이터 수가 늘어나 좀 더 다양한 조건에 대한 학습 이 이루어질수록, 학습에 사용되지 않은 조건에서의 예 측 능력이 올라가기(즉, 검증 오차가 감소하기) 때문이 다. Deep learning model 1과 2를 비교해보면, 학습오차 를 최소화시키는 모델구축 조건(Deep learning model 1) 보다 검증오차를 최소화시키는 모델구축 조건(Deep learning model 2)이 과적합 정도를 줄이고, 검증 성능을 향상시키는 데 훨씬 효과적임을 알 수 있다. 따라서, 딥 러닝 모델을 최적화할 때는 검증 오차를 최소화할 수 있도록 모델 구축 조건을 결정해야 할 것이다.

    4. 결 론

    본 논문에서는 FO 막모듈의 플럭스를 예측하기 위한 기존 모델을 개선하기 위해 최근 각광받고 있는 딥러닝 을 적용한 모델을 개발하여 최적화하는 과정을 다루었 다. 딥러닝 모델의 변동성을 최소화하기 위한 학습률, 학습횟수 조건을 먼저 결정하고, 검증 오차를 최소화하 기 위한 은닉층 수, 뉴런 수를 결정하는 방법(Deep learning model 2 구축 방법)이 과적합도를 줄이는 등 모델 의 성능 향상을 위해서 유리하다는 결론을 끌어내었다.

    딥러닝 모델은 과적합도가 약간 높은 단점은 있지 만, 이는 회귀 모델에서도 피할 수 없는 현상이고, 동 일 조건의 회귀 모델 대비 검증 오차를 최대 3.35%까 지 줄일 수 있어 회귀 모델보다 적용성이 높을 것으 로 기대된다.

    딥러닝 모델의 과적합 정도는 학습 데이터 수를 증 가시킬수록 하락하였다. 본 연구에서 사용된 데이터 셋 수의 한계(총 116개)로 인해 명확한 결론을 내릴 수는 없지만 학습 데이터 수를 충분히 늘리면 딥러닝 모델의 유일한 단점인 과적합도 해결될 가능성이 있 고, 이것이 실현된다면 다양한 공정 모델링 분야에서 딥러닝 모델의 적용성이 높아질 것이다.

    사 사

    이 논문은 부경대학교 자율창의학술 연구비(2019 년)에 의하여 연구되었음.

    Figure

    JKSWW-35-1-93_F1.gif

    Pressure, flow, and ion concentrations of four different streams in FO membrane modules.

    JKSWW-35-1-93_F2.gif

    Experimental flux according to the salt concentration difference between draw and feed solutions.

    JKSWW-35-1-93_F3.gif

    The concept of artificial neural network.

    JKSWW-35-1-93_F4.gif

    NRMSE of deep learning model 1 according to the number of model development trials.

    JKSWW-35-1-93_F5.gif

    Effects of (a) learning rate and (b) No. of epochs on coefficient of variation (CV) and NRMSE of the deep learning model.

    JKSWW-35-1-93_F6.gif

    Effects of the numbers of neurons and hidden layers on NRMSE of the test data.

    Table

    Ranges of deep learning input data (flow rate, salt concentration, and pressure of feed and draw solutions) and output data (experimental flux)

    Comparison of theoretical based model, regression model, and two deep learning models in terms of the train and test errors

    References

    1. Bae, K.T. , Kim, C.J. (2016). An agricultural estimate price model of artificial neural network by optimizing hidden layer, J. Korean Inst. Inform. Technol., 14(12), 161-169.
    2. Caruana, R. , Lawrence, S. , and Giles, L. (2002). Overfitting in neural nets: backpropagation, conjugate gradient, and early stopping, Adv. Neural. Inf. Process. Syst., 402-408.
    3. Cho, Y.H. , Seo, Y.D. , Park, D.J. , and Jeong, J.C. (2016). Study on the activation functions for efficient learning in DNN, J. Inst. Electron. Inform. Eng., 800-803.
    4. Cireşan, D.C. , and Giusti, A. (2012). Deep neural networks segment neuronal membranes in electron microscopy images, Adv. Neural. Inf. Process. Syst., 12(2), 2843-2851.
    5. Ciresan, D.C. , Meier, U. , and Masci, J. (2012). Multi-Column Deep Neural Network for Traffic Sign Classification, Neural. Netw., 32, 333-338.
    6. Jang, I.D. and Wee, S.M. (2001). The analysis telecommunication service market with data mining, J. Korea Inform. Sci. Soc., 28(2), 1-3.
    7. Jeon, J. , Choi, J.Y. , Sohn, J. , and Kim, S. (2018a). Performance analysis of a spiral wound forward osmosis membrane module, J. Korea Soc. Environ. Eng., 40(12), 481-486.
    8. Jeon, J. , Kim, N. , Choi, J.Y. , and Kim, S. (2019). Applicability of statistics-based forward osmosis module models, J. Korea Soc. Environ. Eng., 41(11), 611-618.
    9. Jeon, J. , Jung, J. , Lee, S. , Choi, J.Y. , and Kim, S. (2018b). A simple modeling approach for a forward osmosis system with a spiral wound module, Desalination, 433, 120-131.
    10. Ji, S. , Park, J. (2020). Improvement of existing machine learning methods of digital signal by changing the step-size, J. Digit. Converg., 18(2), 261-268.
    11. Jo, J.M. (2019). Effectiveness of normalization pre-processing of big data to the machine learning performances, J. Inst. Electron. Inform. Sci., 14(3), 547-552.
    12. Joo, G. , Park, C. , and Im, H. (2020). Performances evaluation of machine learning optimizers, J. Inst. Korean Electr. Electron. Eng., 24(3), 766-776.
    13. Kim, J.E. , Blandin, G. , Phuntsho, S. , Verliefde, A. , Le-Clech, P. , and Shon, H.K. (2017). Practical considerations for operability of an 8“ spiral wound forward osmosis module: Hydrodynamics, fouling behaviour and cleaning strategy, Desalination, 404, 249-258.
    14. Kim, J.E. , Phuntsho, S. , Ali, S.M. , Choi, J.Y. , and Shon, H.K. (2018). Forward osmosis membrane modular configurations for osmotic dilution of seawater by forward osmosis and reverse osmosis hybrid system, Water Res., 128, 183–192.
    15. Kim, S. , Paudel, S. , and Seo, G.T. (2015). Forward osmosis membrane filtration for microalgae harvesting cultivated in sewage effluent, Environ. Eng. Res., 20, 99-104.
    16. Kum, D. , Ryu, J. , Sung, Y. , Han, J. , and Lim, K.J. (2017). Development and Assessment for extended daily streamflow regression equation of TMDL station using Machine Learning, Korean Soc. Water Environ., 289-290.
    17. Lee, D.Y. , and Chang, B.H. (2020a). A study on development of a prediction model for Korean music box office based on deep learning, Int. J. Cotents, 20(8), 10-18.
    18. Lee, J. , Choi, J.Y. , Choi, J.S. , and Kim, S. (2017). A statistics-based forward osmosis membrane characterization method without pressurized reverse osmosis experiment, Desalination, 403, 36-45.
    19. Lee, S.M. , Park, K.D. , and Kim, I.K. (2020b). Comparison of machine learning algorithms for Chl-a prediction in the middle of Nakdong River (focusing on water quality and quantity factors), J. Korean Soc. Water Wastewater, 34(4), 277-288.
    20. Google Tensorflow.https://www.tensorflow.org (December 22, 2020).