코로나 19는 2019년 12월 중국 후베이(湖北)성 우한(武漢)에서 처음 발생한 뒤 중국 전역과 전 세계로 확산한 호흡기 감염질환인데, 세계보건기구(WHO)가 2020년 1월 9일 해당 폐렴의 원인이 새로운 유형의 코로나바이러스(SARS-Cov-2)로 명명하였다. 2020년 1월 21일 후한 의료진 15명이 확진 판정됨으로써 사람 간 감염 가능성을 공식 확인 후 감염 확산세가 이어지자, WHO는 1월 30일 ‘국제적 공중보건 비상사태(PHEIC)’를 선포함으로써 3월 11일에 홍콩 독감(1968), 신종플루(2009)에 이어 사상 세 번째로 코로나 19에 대해 대유행(pandemic)을 선포했다. 이 감염병을 처음에는 ’우한 폐렴’으로 불렸으나 세계보건기구의 2015년 권고에 따라 ’신종코로나바이러스 감염증’으로 불렀다가 2020년 2월 11일 공식 명칭을 ’COVID-19’로 정했다. 이에 우리나라 정부도 2월 12일 ‘신종코로나바이러스 감염증’의 한글 공식 명칭을 ‘코로나바이러스 감염증-19’(국문 약칭 ’코로나 19‘)로 명명한다고 발표하여 지금까지 사용하고 있다. 이러한 코로나 19에 대한 정부의 각종 활동은 다양한 정책 활동으로 추진해 오면서 국내외적으로 이에 관한 평가연구들이 이루어지고 있음을 본다. 이들 정부 정책에는 대표적으로 코로나 19 방역 정책, 경제정책, 사회복지정책, 외교정책 등으로 다양하며, 그 규모도 과제(project) 수준에서부터 사업(program) 수준 더 나아가서 정책(policy) 수준으로 다양하다.
코로나 19 감염병의 대유행으로 인한 정부 활동에 관한 대표적인 평가연구가 각종 방역 활동에 대한 평가를 들 수 있고, 이어서 코로나 19 전염병의 대유행으로 인해 초래되는 경제문제, 사회복지 문제에 관한 평가가 점증하고 있다. 게다가 이에 대한 국제적 또는 범세계적인 협력적 대응 활동에 대한 평가도 이어지고 있다. 더 나아가서 코로나 19 이후 정치, 경제, 사회, 문화, 교육 등에 대한 정책들에 대한 평가가 불가피하게 요구되고 있다. 그 밖에도 이들 정책의 하위정책들에 대한 평가뿐만 아니라 관련된 복합적 문제들의 규명과 대책 모색을 위한 평가가 이어지고 있다.
그런데 코로나 19와 관련된 정부 정책에 관한 평가를 수행하는 연구 중 구체적으로 코로나 19 방역 활동의 효과 평가, 코로나 19로 인한 재난지원금 효과 평가 등이 주류를 이루는데, 이들 연구가 평가방법론상의 아주 기본적인 사항들(bolts and nuts)을 무시한 채 이루어져서 평가 결과에 대한 신뢰성과 타당성에 의심을 초래하게 될 가능성이 없지 않아 관련 후속되는 동종의 연구들이 겪게 될 오류의 대유행을 방지하기 위하여 평가 방법의 기본에 대한 이해와 숙지가 요구된다.
첫째, 평가의 대상 정책에 대한 분석 수준(the level of analysis)과 함께 평가 가능성(evaluability) 검토가 부재하여 평가 결과가 평가대상을 제대로 설명하고 있지 못하는 문제가 발생한다. 이는 평가의 원인분석에 차질이 초래된다. 많은 평가연구가 측정 가능한 변수와 변수들의 인과관계 규명의 복잡성 등으로 논리적으로 평가할 수 없거나 매우 어려운 것을 무시하고 임의 정책에 대한 평가를 시도함으로써 잘못된 평가를 초래하게 된다.
둘째, 평가목적에 관한 이론적 틀로서 평가설계가 제대로 제시되지 않은 채 분석의 기법으로만 접근하여 논리적 비약을 초래하는 문제가 노정 된다. 이는 정책대안을 찾는 정책분석에 그치고 있어 방법의 전환은 다른 결과를 초래할 수밖에 없다.
셋째, 분석의 기법과 자료의 연계성에 대한 파악이 제대로 이루어지지 않고, 특히 양적 자료가 아닌 질적 자료를 사용함으로써 지나칠 정도로 주관적 판단으로 평가를 대신에 하는 경향이 보인다. 많은 경우 연구가설을 검증할 만한 실증분석이 부재한 논리적 추정에 기초하여 평가 결과의 다의성을 초래한다.
넷째, 평가설계와 평가모형 및 그에 적합한 평가 방법 및 기법 그리고 그에 따른 변수 및 척도를 제대로 나타내는 자료의 활용을 통한 분석에 따라 결론에 도출하기보다 결론을 전제로 한 분석을 통해 객관적 평가로 오인하는 문제를 초래하고 있다. 여기서 정부 정책 활동을 평가하기 위한 이론적 분석 틀인 평가설계가 부재한 채 그에 맞는 평가모형이 없이 자료의 분석기법에 의존하여 분석하고 더욱이 연구가설에 맞는 측정 가능한 변수의 척도가 다의적이거나 다차원적이어서 인과관계를 규명하는데 오류를 초래하게 된다.
끝으로, 평가대상 정책의 시간적 범위에 대한 명확성 결여로 해당 정책의 실제 효과를 분석 및 평가하는데 미흡함을 드러낸다. 정책평가는 정책의 간여 시점의 명확성이 무엇보다도 중요하고 그에 맞는 자료의 수집 및 활용이 요구되는데, 이를 간과한 경우 엉뚱한 효과를 정책효과로 평정하는 오류를 초래하게 된다. 게다가 그 정책 간여 시점에서의 다양한 타당성의 위협요인(threats to validity) 중 가장 중요한 대안적 가설(alternative hypothesis)이나 대안적 설명(alternative explanation)에 해당하는 교란변수나 허위변수의 식별·제거의 노력이 부재한 평가 결과는 문제의 본질 파악 및 정책 개선 방향을 오도할 위험성이 크다.
따라서 적어도 정책평가라는 이름의 회고적인 지적 분석 활동을 수행하는 경우 상술한 정책평가의 기본요소들에 대한 보다 철저하게 검토하고 담보하지 않는 한 오히려 위험한 평가가 될 수밖에 없음을 유의하고 신중히 처리할 것이 절대적으로 요구된다.