Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1225-7672(Print)
ISSN : 2287-822X(Online)
Journal of the Korean Society of Water and Wastewater Vol.34 No.6 pp.495-502
DOI : https://doi.org/10.11001/jksww.2020.34.6.495

A study on the priorities through weight analysis for each index of performance evaluation of public sewage operation agency

Mikyung Wi, Chulhwi Park*
Department of Environment of Engineering, University of Seoul
*Corresponding author: Chulhwi Park(E-mail : chpark@uos.ac.kr)

26/08/2020 27/10/2020 24/11/2020

Abstract


The 37 indicators for performance evaluation of public sewage management agencies are divided into four major categories (agency manpower management ability, wastewater treatment plant operation and management, sludge and water reuse, service quality) in the first stage, and the necessity and score acquisition for the detailed indicators by each major category in the second stages. Priority was investigated through the Analytic Hierarchy Process (AHP) analysis technique for ease and relevance of company efforts. Also, based on the results of this analysis, integrated type weighting and relative importance were analyzed. As a result of the analysis, the weight and relative importance of the first stage classification were in the order of wastewater treatment plant operation and maintenance, operation agency manpower management ability, sludge and water reuse, and service quality. As a result of analyzing the weights and priorities of the detailed performance indicators in the second stage, it was found that operator’s career years, the percentage of certification holding rate in operators, compliance with the effluent water quality standards, training times for operators, and efforts to manage hazardous chemicals were important. Some of the indicators of operation agency performance evaluation may include indicators in which the performance of the company's efforts is underestimated or overestimated. In order to improve this, it is necessary to give weights in consideration of the necessity of the indicator, the relevance of the company's efforts, and the ease of obtaining scores.



공공하수도 관리대행 성과평가 지표별 가중치분석을 통한 우선순위에 대한 연구

위 미경, 박 철휘*
서울시립대학교 환경공학부

초록


    1. 서 론

    2018년말 기준, 전국 4,113개소의 공공하수처리시설 중 약 3,551개소가 관리대행 중으로 관리대행의 비율 은 제도 도입 이후 지속적으로 증가하고 있고, 전국 7개 지방환경관서의 장에 등록한 관리대행업체수는 198개 소에 이른다. 2013년 도입된 공공하수도 관리대행업 제도에 따라, 지방자치단체의 장은 공공하수도의 운 영․관리를 관리대행업자에게 대행하게 할 수 있다. 이 에 따라 지방자치단체의 장과 계약체결하여 공공하수 도를 운영․관리하는 관리대행업자는 하수도법시행령 제15조의 4에 근거하여 단순관리는 매 1년마다, 복합 관리는 매 5년마다 성과평가를 받아야 한다. 성과평가 는 평가대상기간동안의 관리대행업자의 운영성과에 대해 평가시설별로 정해진 성과평가항목에 따라 점수 를 부여하는 방식이며, 대행성과평가 결과가 부진한 경우 개선대책을 수립하여 조치하도록 하고, 계약이 만료되는 시설의 경우 계약기간의 관리대행성과 평가 점수를 평균으로 하여 계약갱신의 근거로 활용하거 나, 입찰참여시 가․감점을 받을 수 있는 제도이다. 따 라서 성과평가의 지표는 가급적 정성적 지표보다는 정량적 지표를 중심으로 합리적인 평가가 이루어져야 하고, 이러한 요건을 충족할 수 있는 성과평가의 지표 의 설정은 매우 중요하다.

    관리대행 성과평가 제도의 시초는 국제물협회가 2003년 하수도분야의 성과평가를 개발하여 발표한 이 래, 국제표준화기구(ISO)가 상하수도 서비스 표준 (ISO24510~12)을 제정하면서 여러 국가에서 자국의 실 정에 따라 지표를 보완, 추가지표를 개발하여 다양한 목적으로 사용하고 있으나 이는 상하수도 서비스에 대 한 평가의 목적으로 관리대행기관에 대한 평가지표라 고는 할 수 없다 (Yoon, 2016). 이에 반해 민간위탁이 활성화된 프랑스, 일본 등의 국가에서 관리대행의 의사 결정을 위한 운영성과지표를 개발하고 이를 활용하고 있고, 우리나라도 이러한 기준들을 근거로 하여 2008년 「공공하수도시설 관리업무 위탁지침」을 제정하였다 (Lim, 2017). 이후 2010년부터 성과평가제도를 도입하 였으며, 2013년 관리대행업 등록제도를 도입하면서 본 격적인 성과평가제도가 활성화되었다고 할 수 있다.

    최초 환경부에서 작성된 평가지표는 52개에 달했으 나, 이 중 26개의 지표가 민간위탁 서비스평가에 적합 하지 않은 것으로 평가되었다 (Bae, 2011). 이러한 관 리대행성과평가제도는 그간 6차례에 걸쳐 적용성이 떨어지는 지표의 개정, 정책 순응도의 측정, 지표 변 별력을 높이기 위한 배점기준 조정 등에 대한 개정이 이루어졌다. 그러나 이러한 개정에도 불구하고 성과 평가 지표의 합리성에 대해서는 평가대상 시설별 평 가지표의 적정성, 평가지표별 가중치, 평가대상시설별 적용률과 변별성 등의 문제를 내포하고 있다. 평가지 표별 가중치는 환경부의 하수도 정책기조에 따라 조 정된 경향이 있었으며, 지표설정에 대한 명확한 근거 가 부족하다고 할 수 있다. 관리대행 성과평가를 통해 관리대행업체는 해당 관리시설의 재개약이나 실적으 로 이용할 수 있는데, 지표별 가중치가 0.6~2.0까지 다 양하여 최초 평가점수에서 최종점수의 차이가 발생하 고, 이는 관리대행업체의 성과를 과소 또는 과대측정 하는 결과로 이어질 수 있다.

    한편, 최근에는 정책적 의사결정시 우선순위 또는 가 중치를 도출하기 위한 논리적인 수단으로 계층화분석 법(AHP ; Analytic Hierarchy Process) 분석법이 활용되는 사례가 많다. 계층화분석법(AHP)의 적용은 정부정책의 결정, 각종 갈등관리 및 해소, 예비타당성 조사 및 타당 성 평가, 예산의 최적배분, BSC(Balanced Scored) 등과 같은 성과평가 등 거의 모든 분야를 망라하고 있다 (Kang, 2011). 하수처리시설에 적합한 공법 선정방법을 개선하기 위해 계층화분석법(AHP)을 적용하여 가중치 (우선순위)가 가장 높은 대안을 선정하는데 활용하기도 하였다 (Jeong, 2016). 그 외에도 Lee et al. (2007)은 계층 화분석법(AHP)을 통해 도시재생사업의 성과를 위한 평 가지료를 토대로 지표별 우선순위를 정하기 위해, 도시 재생사업의 지속 및 확산을 위한 평가지료를 도출하였 고, 각 평가지표들을 유형화, 계층화하여 평가항목의 상 대적인 우선순위를 파악하는데 활용하기도 하였다. 또 한, 지자체에서 관리하는 농업용 저수지의 정기점검 리 스트 선정에 있어, 저수지의 파괴 및 손상요인을 종합하 여 점검항목을 결정하는데 계층화분석법(AHP)이 이용 되었다 (Shin, 2013).

    본 연구에서는 공공하수처리시설을 평가하는 37개 항목에 대해 평가지표의 필요성, 점수획득 용이성, 업 체노력 연관성으로 구분하여 계층화분석법을 이용하 여 분석하고, 그 결과를 성과평가지표별 우선순위 및 가중치 설정의 합리적 근거를 마련하여, 가중치 조정 등 평가체계 개선에 활용할 수 있도록 하는데 목적을 두고 있다.

    2. 연구방법 혹은 재료 및 실험방법

    2.1 계층화분석법(AHP)

    본 연구를 수행하기 위한 방법론인 공공하수도 관리 대행 성과평가 항목에 대한 가중치 및 우선순위를 결정 하기 위한 방법으로 계층화분석법(AHP ; Analytic Hierarchy Process)기법을 이용하고자 하였다. 계층화분 석법(AHP)은 다수의 목적을 포함하는 의사결정 기법으 로 의사결정에 영향을 미치는 요인들을 대분류, 중분류 및 소분류의 계층적인 구조로 파악하는 것이 특징으로, 정량적 요소와 정성적 요소를 동시에 평가하는 것이 가 능하고, 개인의 판단과 가치들을 논리적인 방법으로 통 합함으로써 무형의 것을 측정할 수 있는 척도와 우선순 위 설정을 위한 방법을 제공하므로, 상이한 척도를 가진 요소들의 비교, 통합을 할 수 있다. 또한, 평가자들의 판단에 대한 논리적 일관성을 검증할 수 있어 논리적 일관성 유지 여부를 확인할 수 있다. 마지막으로 계층화 분석법(AHP)은 다수평가자의 다양한 의견과 판단을 합 의나 수치적 통합을 통해 각 대안의 종합된 최종 우선순 위를 도출할 수 있게 해주므로, 의사결정자의 의견을 합리적, 논리적으로 통합하여 집단의 의사결정을 도출 할 수 있다 (Lim, 2017).

    2.2 분석방법

    ‘공공하수도 관리대행 성과평가’제도의 중요도 및 지표개선을 위하여 현행 공공하수처리시설에 적용하 는 37개 지표 구성은 Table 1과 같다.

    지표별 우선순위 선정을 위해 1단계로 4개의 대분 류(대행업체, 하수처리시설, 하수찌꺼기 및 재이용, 서 비스질)로 구분하고, 대분류내 2단계 세부항목인 37개 성과지표에 대하여 필요성, 점수획득 용이성과 업체 노력 연관성에 대하여 조사하고, 이를 통합하여 우선 순위를 조사하였다.

    성과지표에 대한 필요성, 점수획득용이성과 업체노 력 연관성을 조사하기 위해 ‘전혀 필요 없음’부터 ‘매 우 필요’, ‘매우 어려움’부터 ‘매우 용이’까지 5점 척 도로 측정하였으며 성과지표의 우선순위를 조사하기 위해 계층화분석법(AHP)을 활용하였다.

    분석에 사용한 계층화분석법(AHP)은 서로 비슷한 특징을 가진 요인별로 분류하여 계층화를 하고, 각 요 인별 1:1 쌍대 비교를 통해 상대적 중요도를 결정한 다. 상대적 중요도를 결정한 후 각 요인별 가중치를 산정하고 응답의 일치성을 검증한다.

    이를 위한 분석방법과 절차는 Fig. 1과 같다.

    2.3 자료수집 및 분석대상 선정

    계층화분석법(AHP) 평가를 위한 전문가 설문조사 는 Table 2에서 보는 것처럼 관리대행업체 본사, 사업 장, 성과평가 전문기관 평가자 및 성과평가 위원 등을 대상으로 실시하였다 (Table 2). 71명의 전문가를 대상 으로 설문을 실시하였으며, 불성실하게 응답하였다고 판단되는 3부와 계층화분석법(AHP)을 이용한 분석에 있어 평가한 중요도가 일관성이 있는지 알아보기 위 한 일관성 지수가 각 성과평가지표에 공통적으로 10%를 초과한 17부를 제외하고 총 53부를 대상으로 계층화분석법(AHP)을 실시하였다.

    공공하수처리시설 성과평가를 위한 지표에 대하여 계층분석 구조도를 만들기 위해 상위수준으로 4개의 카테고리(관리대행업체, 하수처리시설, 하수찌꺼기 및 재이용, 서비스 질)을 만들고, 하위수준으로 카테고리 별 성과지표로 구성하였다.

    3. 결과 및 고찰

    3.1 평가지표 우선순위 분석 결과

    3.1.1 1단계 대분류의 우선순위

    본 연구에 적용된 계층화분석법(AHP)은 평가항목간 가중치 계산 결과에 의해 우선순위가 도출되므로 관리 대행 성과평가에 관련된 각종 전문가들의 의견을 종합 하여 반영하는 것이 필요하고 그에 대한 방안으로 결과 를 적용하는 것이 가능하다고 판단되었다. 따라서 계층 화분석법을 1단계로 4개의 대분류(대행업체, 하수처리 시설, 하수찌꺼기 및 재이용, 서비스질)에 대하여 평가 지표로서의 필요성, 점수획득용이성, 업체노력 연관성 을 평가하기 위해 각각 5점 척도로 조사하여 빈도분석 및 평균점수를 나타낸 결과, 필요성에 대한 평균점수는 하수처리시설 운영관리가 4.4점으로 가장 높았으며 다 음으로 대행업체 인력관리능력 4.3점, 하수찌꺼기 및 재 이용 3.9점, 서비스 질 3.6점 순으로 나타났다. 이는 공공 하수처리시설에서 가장 중요한 부문은 하수처리시설의 운영관리이기 때문이며, 대행업체의 인력관리능력은 평가지표 37개중 어느 처리시설에서도 빠짐없이 평가 되기 때문이라고 판단된다. 2014년도에 실시한 성과평 가결과를 통한 Key-PIO(Key-performance indicator for operation) 선정연구결과에 따르면, 시설용량에 따른 성 과지표 적용율에 있어 18개의 Key-PIO를 선정하였는데 관리대행업체의 인력관리능력을 평가하는 운영요원의 근무년수, 자격보유율, 교육시간의 3개지표는 이에 해 당한다 (Yoon, 2016). 서비스질의 평가항목은 운영관리 중인 시설의 관리대행업무 범위 내에는 들어있지 않지 만, 하수도서비스를 위한 부가적 요인으로 평가받기 때 문에 평가 필요성에서 낮게 평가된 것으로 판단된다. 점수획득용이성 평가에서는, 필요성과 달리 대행업체 인력관리능력과 서비스 질 부문의 평가지표가 3.4로 공 통적으로 높았으며, 다음으로 하수찌꺼기 및 재이용 3.0, 하수처리시설 운영관리 2.7 순으로 나타났다. 이는 하수처리시설의 운영관리에 있어서는 유입하수량, 오 염물질부하량, 기타 외부적 환경요인으로 인하여 평가 대상년도마다 관리노력의 차이가 발생하기 때문으로 판단된다. 업체노력 연관성에서는 서비스질 부문의 평 가지표가 3.5로 가장 높았으며, 대행업체 인력관리 능력 3.4, 하수처리시설 운영관리 3.0, 하수찌꺼기 및 재이용 2.9 순으로 나타났으며, 전체 결과는 Table 3와 같다. 하 수찌꺼기 및 재이용의 우선순위가 가장 낮게 평가된 것 은, 하수찌꺼기를 재이용 하는데 있어 발주청인 지자체 의 요구사항 또는 외부적 요인으로 인해 찌꺼기 처리 및 재활용에 있어 제한을 받고 있고(폐기물위탁처리업 체에서 반입량 제한 등), 물재이용 지표에 있어서도 처 리장 내에서 재이용을 할 수 있는 대상범위가 한정적이 기 때문으로 판단된다.

    3.1.2 2단계 세부 성과평가지표 필요성, 점수획득용이성과 업체노력 연관성 평가

    2단계 대분류내 세부 성과평가 지표의 필요성, 점 수획득용이성과 업체노력 연관성을 평가하기 위해 각 각 5점 척도로 조사하여 빈도분석 및 평균점수를 분 석하였다. 이는 실질적으로 관리대행업체가 평가받는 성과지표에 대한 우선순위를 정하기 위함이다. 먼저, 1단계 대분류의 대행업체 인력관리능력의 세부 성과 지표중 필요성에 대한 평균점수는 운영요원 자격보유 율과 운영요원 교육시간이 4.3으로 가장 높게 나타났 다. 점수획득 용이성과 업체노력 연관성에서도 운영 요원 교육시간 성과지표가 4.4, 4.3으로 높게 나타났 다. 이는 투입된 인력에 대하여 관리대행업체가 통제 할 수 있는 지표이기 때문이다.

    다음으로 하수처리시설 운영관리의 세부대책 유형 의 필요성을 평가한 결과, 방류수 수질기준 준수가 4.8로 가장 높았으며, 점수획득의 용이성에 대한 평균 점수는 수질분석 및 자료관리가 3.8로 가장 높았고, 업체노력의 연관성을 평가한 결과, 업체노력 연관성 에 대한 평균점수는 수질분석 및 자료관리가 3.9로 가 장 높아, 필요성과 점수획득용이성, 업체노력의 연관 성과는 차이가 있는 것을 나타내고 있다. 공공하수처 리시설의 가장 핵심적인 준수사항은 방류수 수질기준 이다. 따라서 이에 대한 필요성은 모든 전문가가 가장 우선순위를 두는 것으로 판단되나, 수질기준 준수를 위한 유입수량, 수질의 환경적 요인을 고려할 때 점수 획득 용이성과 업체노력연관성에서는 낮게 평가된 것 으로 판단된다.

    세 번째, 하수찌꺼기 및 재이용부문의 성과지표 필요 성에서는 악취 배출시설 기준 준수율이 4.3으로 가장 높았고, 점수획득 용이성에서도 마찬가지로 악취배출 준수율이 3.7로 높게 나타났으며, 업체노력 연관성에서 는 유해화학물질 관리노력이 3.8로 가장 높았다. 최근의 공공하수도의 과제 중 하나인 악취관리는 처리시설을 운영관리하는데 중요한 요소이다. 따라서 악취 배출시 설 기준 준수는 민원과도 직결되는 사항이므로 이에 대 한 평가 필요성이 높게 평가된 것으로 판단된다.

    마지막으로, 서비스질 부문의 성과지표에서는 필요 성, 점수획득용이성, 업체노력연관성 3개 부문에서 위 기관리 대처를 위한 지침서 및 훈련이 평균점수 4.4, 4.0, 3.9로 가장 높게 나타났다.

    그 외 평가지표에 대한 정보수집 및 관리의 애로사 항에 대한 다중응답에 대하여 빈도 및 응답퍼센트, 케이스 퍼센트로 분석한 결과, 정보관리의 어려움과 정보관리에 대한 사전지식이 부족하다는 응답이 공통 적으로 도출되었으며 그 내용은 Table 4와 같다.

    3.2 성과지표별 가중치 및 상대적 중요도 분석

    공공하수도 관리대행 성과평가 제도의 중요성 및 지표개선을 위한 대분류별 성과지표 1단계 우선순위 를 분석한 결과, 하수처리시설 운영관리가 가장 중요 하게 나타났으며 그 다음으로 관리대행업체 인력관리 능력, 하수찌꺼기 및 재이용, 서비스 질 순으로 그 결 과는 Table 5에 나타내었다. 또한, 설문응답자들이 설 문문항에 일관성 있는 응답을 했는지 알아보기 위해 일관성지수(Consistency Index)를 조사하였다. 일관성 지수는 응답의 논리적 모순을 검증하는 지표로 0.1이 하이면 일관성있게 비교했다는 의미로, 본 연구조사 결과에서는 그 값이 0.0044로 나타나 설문응답에 있어 일관성이 유지된 것을 알 수 있었다.

    다음으로 1단계 우선순위 분석을 실시하여 높은 중 요도를 나타내는 순서대로 2단계 세부평가지표별 우 선순위 분석을 실시하였고, 이 분석결과를 바탕으로 통합유형가중치 및 상대적 중요도를 분석하였다. 분 석결과 37개 세부유형 중 중요도 상위 5개는 운영요 원 근무년수가 0.092756으로 가장 중요하다고 나타났 으며, 운영요원 자격보유율이 0.078123으로 두 번째, 방류수 수질기준 준수가 0.070090으로 세 번째, 운영 요원 교육시간이 0.062973으로 네 번째, 유해화학물질 관리노력이 0.056860으로 다섯 번째였다. 이에 반해 중요도 하위 5개를 살펴보면 주민친화적 시설 이용이 0.007741로 가장 덜 중요하다고 나타났으며 민원처리 소요시간 0.008352, 민원발생 감소율 0.009485, 모니터 시행횟수 0.009712, 환경서비스 질 제고 노력 0.010138 순으로 나타났다.

    4. 결 론

    본 연구에서는 현재 적용되고 있는 공공하수처리시 설에 대한 성과평가지표 37개 지표에 대한 우선순위 선정을 위해 평가지표의 필요성, 점수획득용이성, 업 체노력연관성으로 구분하여 계층화분석법(AHP)을 적 용한 결과 다음과 같은 결론을 얻을 수 있었다.

    • 1) 1단계 관리대행 성과지표 대분류별 가중치 및 상대적 중요도는 하수처리시설 운영관리, 관리 대행업체 인력관리능력, 하수찌꺼기 및 재이용, 서비스 질의 순으로 나타났다.

    • 2) 2단계에서 세부지표별 가중치 및 상대적 중요도 를 고려하여 각 단계별 전체 복합 가중치와 우 선순위를 분석한 결과 운영요원 근무년수, 운영 요원 자격보유율, 방류수 수질기준 준수, 운영요 원 교육시간, 유해화학물질 관리노력, 수질분석 및 자료관리 순으로 나타났고, 37개 지표에 대해 상대적 우선순위를 도출할 수 있었다.

    관리대행 성과평가는 해당시설을 관리운영하는 관 리대행업체의 평가대상기간동안의 성과를 평가하는 것이다. 그러나 관리대행시설이 모두 동일한 조건의 시설은 아니기때문에, 내외부적인 요인에 따라 평가 지표중 일부는 업체의 노력과는 무관하거나 노력에 대한 성과가 과소 또는 과다 평가되는 지표에 대해서 는 개선이 필요하다. 이에 대한 개선을 위해 현행 37 개 평가지표로서의 필요성, 업체노력 연관성, 점수획 득 용이성을 고려하여 우선순위를 산정함으로써 지표 의 특성을 고려한 관리대행업체의 성과를 측정할 수 있을 것으로 판단되며, 평가지표의 설정과 가중치 부 여에 대한 논리적 근거를 제시할 수 있었다.

    Figure

    JKSWW-34-6-495_F1.gif

    Establishment of analysis tools for improvement management by performance evaluation indicator of operation agency.

    Table

    37 Performance indicators for performance evaluation

    Classification of professional groups for AHP survey

    Operation agency performance evaluation indicator’s necessity for major categories, ease of score acquisition, evaluation of relevance of operation agency’efforts, and average score

    Analysis of multiple responses to difficulties when collecting or managing information

    Results of the analysis of the relative importance of the major categories of performance evaluation

    References

    1. Bae, S.K. (2011). A development of the service evaluation indicators for contracting out of sewage facility, J. Korean Soc. Water Wastewater, B-27, 141-142.
    2. Jeong, D.H. (2016). A study on AHP application of selection method for the best treatment technology of public sewage treatment works, J. Korean Soc. Water Wastewater, 30(4), 427-440.
    3. Kang, H.S. (2011). Decision Science, For the correct use of the AHP methodology, http://www.expertchoice.co.kr (October 23, 2020).
    4. Lee, J.D. (2017). A study on the development of assessment index for urban regeneration project using AHP, J. Resid. Environ. Inst. Korea, 15(3), 347-248.
    5. Lim, B.K. (2004). A Study on the Priority Analysis for Socio-Economic Elements of EIA on Dam Project in Korea by Using the AHP Methodology, Master’s Thesis, Yonsei University, 26-34.
    6. Lim, J.Y. (2017). The investigation and improvement plan of contracting-out municipal wastewater treatment plant system in Korea, J. Wetl. Res., 19(2), 211-213.
    7. Sewerage Act (2020).
    8. Shin, E.C. (2013). Determination of agricultural reservoirs checklist by analysis of the weights, J. Korean Geosynth. Soc., 12(3), 81-83.
    9. Yoon, Y.C. (2016). Development of a Model for the Efficiency Analysis and Performance Indicator Selection for Sewage Treatment Plant, Doctoral’s Thesis, University of Seoul, 14-15.