Archives of Design Research

폴리에니 외(Foglieni et al., 2018)에 따르면, 서비스 평가에는 3가지 관점이 있다. 서비스 제공 전의 활동을 포함한 단기의 서비스 프로세스 평가, 중기의 서비스와 사용자 간 상호작용과 관련한 서비스 제공 평가, 마지막으로 서비스의 특정 맥락 및 목표와 관련해 제공된 서비스의 결과를 장기적으로 확인하는 영향력 평가가 그것이다. 즉, 서비스 평가는 개발 과정부터 서비스 후 시점까지 전체 과정에서 체계적으로 설계되어야 한다. 이때, 평가 기준 수립에 있어, 평가로 얻고자 하는 것이 무엇인지, 무엇을 평가할 것인지, 누가 평가할 것인지, 어떤 단계에 평가를 적용할 것인지를 고려해야 하며, 양적 및 질적 평가 도구와 방법을 사용해야 한다(Foglieni et al., 2014; Maffei et al., 2013). 즉, 효과성 평가 설계에 있어서는 i)평가 목표, ii)평가 대상, iii)평가 주체, iv)평가 시기, v)평가 방법이 총체적으로 고려되어야 하며, 이는 평가의 기준으로 삼을 수 있는 요소라고 할 수 있다.

본 절에서는 이러한 기준을 토대로 사회문제해결디자인에 적용할 수 있는 구체적 내용을 도출하고자 문헌 연구를 진행하였다.

앞서 언급한 대로 사회문제해결디자인은 인간중심적인 서비스디자인 관점에 기반하고 있다. 이에 효과성 평가에 있어서도 서비스디자인 관점에서의 평가 방법을 알아보기 위해, 서비스디자인의 원리를 살펴보고 이에 따른 구체적 평가 방식을 사례와 함께 살펴보고자 한다.

첫째, 서비스디자인은 ‘사용자 중심의 공동 창작’을 기반으로 한다(Steen et al., 2011; Sangiorgi et al., 2015). 서비스디자인의 가장 중요한 목표는 사용자의 니즈를 충족시키는 서비스 설계이며, 이를 위해 사용자와 이해관계자를 공동의 창작자로 디자인 프로세스에 긴밀하게 참여시키는 것이 중요하다. 따라서 평가 단계에서도 프로세스의 핵심 당사자인 평가 설계자나 관리자 및 직원뿐 아니라 이해관계자, 사용자, 프로세스 참여자 등을 평가 주체로 해야 한다(Foglieni et al., 2014). RIE(Rapid Impact Evaluation) 시범 운영의 경우에는, 복합적 이해관계에 대한 새로운 관점을 통해 다양한 평가 주체를 선정하여 평가에 필요한 주요 요소를 식별하고, 전문가 설문조사와 인터뷰를 통해 이해관계자 기반의 신속한 평가를 가능하게 하였다(Rowe, 2019). 또한, 영국의 디자인 카운슬에서 진행한 트랜스폼에이징(Transform Ageing, 2017-~2020)에서는 서비스디자인의 접근 방법을 통한 사회적, 경제적 영향력을 확인하기 위해 프로그램에 참여한 사회적 기업가¹⁾ 및 시민 수²⁾를 제시하고 있으며, 본 프로그램으로 인해 창출되는 일자리의 개수를 통해 경제적 영향력에 대한 증거를 제시하고 있다³⁾(Design council, 2020).

둘째, 서비스디자인은 서비스 자체뿐 아니라 그것이 이루어지는 환경을 복합적으로 고려하는 ‘통합적’ 특징을 지니고 있다(Alessandro et al., 2012; Bellos & Kavadias, 2017). 따라서 다양한 유형의 터치포인트 및 고객 인터랙션과 총체적 관점에서의 연결성을 확인해야 한다(Polaine et al., 2013). 이에 결과로 산출된 하드웨어, 소프트웨어, 휴먼웨어 솔루션을 통합적으로 고려하여 평가 대상으로 선정해야 한다. 또한, 시민의 공동 창작을 바탕으로 한다는 점에서 시민참여의 과정 또한 통합적 차원에서 평가 대상으로 다뤄야 한다(Trischler et al., 2018).

셋째, 서비스디자인 과정은 ‘반복적’으로 이루어진다(Sarmento & Patrício, 2014; Miettinen, 2016). 디자인 과정에서의 지속적 피드백을 통한 과정의 반복과 시행착오는 서비스디자인의 중요 요소이다(Vacek et al., 2019). 따라서 평가 시기 역시 서비스디자인 프로세스의 전-중-후에 걸쳐 반복적으로 진행함으로써 프로젝트가 궁극적으로 목표하는 가치에 지속적으로 상응하고 있는지 모니터링할 수 있다(Foglieni et al., 2014). 서비스디자인 평가 시스템(Service Design Evaluation Systems; SDES)의 경우, 사업 개발 중 제공자의 자가 진단을 위한 체크리스트의 역할을 제공하여 사업 시행 후뿐만 아니라 사업 프로세스에서의 검증을 진행하였다(Kim, 2014).

넷째, 서비스디자인은 ‘질적’인 방법을 활용한다(Thoelen et al., 2015). 서비스디자이너는 고객 관점의 진정성 있는 니즈를 발견하기 위해 디자인 에스노그라피, 포커스 그룹 인터뷰 및 페르소나(Persona)와 같은 질적 기법을 통해 사용자 관점에서 통찰력을 도출한다(Hosono, 2009; Stickdorn et al., 2018). 이러한 사용자 조사를 위한 서비스디자인 방법론은 평가 단계에서도 사용될 수 있으며, 이를 통해 정성적 방법으로 사용자 중심의 효과성을 평가할 수 있다. 다양한 평가 방법을 사용한 예시로, 서비스 사용성 지표(Service Usability Index; SU)는 소비자의 만족도에 초점을 둔 기존의 측정 모델과 달리, 사용자의 경험에 미치는 영향을 알아내는 데 중점을 두기 위해 심층 인터뷰와 같은 질적 평가 방법을 사용하고 있다(Lovile et al., 2008).

공공서비스 평가와 관련한 선행 지표를 통해서도 사회문제해결디자인의 효과성 평가에 적용할 수 있는 요인들을 도출할 수 있다. 본 연구에서는 공공서비스를 평가하기 위해 다양한 지표와 방법을 제시하고 있는 서울시 서비스지수(Seoul Service Index; SSI)와 공공기관 고객만족도 지수(Public-Service Customer Satisfaction Index; PCSI)를 살펴보고자 한다. SSI는 지역사회와의 관계 및 시민의 삶의 질, 행복감과 관련된 지표를 통해 장기적 관점에서 시민 중심의 영향력을 측정하며, PCSI 역시 공공측면에서의 결과물에 대한 시민 만족도 및 국민 행복도 향상 등의 지표를 측정해 시민 관점에서의 효과성을 평가한다. 이러한 지표들은 모두 장기적으로 시민 중심의 영향력을 알아볼 수 있다는 점에서 사회문제해결디자인의 장기적 평가 목표에 적용할 수 있다.

또한, SSI의 경우, 시민과 전문가 평가를 동시에 도입하여 다양한 평가 주체를 확보하고 있으며, 시민 주도의 평가를 통해 ‘과정(Process)’ 차원에서 시민 중심의 참여 및 협력 정도를 평가할 수 있다(Han et al., 2009). 이는 시민의 공동 참여 과정이 그들의 요구를 보다 잘 충족시키고 더 혁신적인 서비스를 만들어낼 수 있다는 점에서 사회문제해결디자인의 효과성 평가에 있어 중요하게 고려해야 하는 지표라 볼 수 있다(Steen et al., 2011; Chang & Taylor, 2016).

타당한 평가 목표의 형성은 평가의 최소 조건으로, 평가하고자 하는 목적에 맞춰 평가 지표를 설정하는 것이 가장 중요하다(Wholey, 1994). 사회적 가치평가에 있어 평가 지표는 혁신, 실험, 사회적 영향(Social impact)과 같은 요소를 말하며, 이는 구체적인 사업성과로만 파악하기에 힘들다는 난점을 가지고 있다(Paton, 2003). 이에 따라 다양한 기관에서는 평가하고자 하는 목적에 맞춰 사회적 가치를 측정할 수 있는 지표 체계를 개발해 활용하고 있다. 사회투자수익률(Social Return of Investment; SROI)은 대표적인 사회적 가치 측정 도구로, 사회적 기업이 창출한 사회적, 환경적, 경제적 가치를 관리하기 위해 고안되었다(Millar & Hall, 2013). 영향 또는 공헌(impact or contribution)을 기반으로 광범위한 사회적 영향력을 평가하기 위해, 고용 창출이나 환경정책 유무 등의 지표를 제시한다. 사회적 가치 지표(Social Value Index; SVI)는 조직의 사회적 성과와 그 영향을 보다 종합적이고 객관적으로 측정하기 위한 것으로, 경제적 성과와 함께 사업 진행에 있어 시민들의 의견을 수렴했는지, 지역사회와 얼마나 협력했는지 등의 과정에 대한 시민참여를 측정할 수 있는 지표를 제시하고 있다(고용노동부, 2020). 지속가능발전목표(Susrainable Development Goals; SDGs)는 ’15년 UN 총회에서 발표된 글로벌 차원의 측정 기준으로, 국제기구의 기준에서 제시한 측정 항목을 포괄하고 있다(UN, 2015; UNRISD, 2018). SDGs는 인간, 지구, 번영, 평화, 파트너십이라는 5개 영역에서 인류가 나아가야 할 방향성을 제시하고 있으며, 장기적 영향력 측정을 위해 불평등 감소나 지속가능발전, 시민의 건강과 웰빙 등의 지표를 제시하고 있다(UN, 2015).

이러한 내용을 통해 평가가 진행되는 시기와 목적에 따라 측정할 수 있는 지표가 달라질 수 있음을 확인하였다. 즉, 평가 지표는 사회문제해결디자인 효과성 평가에서의 단·중·장기별 평가 목표에 따라 적합하게 설정되어야 한다. 이때, 사회적 가치평가의 선행 지표들은 시민참여나 협력의 경우, 단기적 프로세스 관점에서, 불평등 감소나 고용 창출 등 사회적 영향력의 경우, 장기적 관점에서의 평가에 참고할 수 있다.

범죄예방디자인이란 디자인을 통해 범죄 심리를 위축시켜 사전에 범죄를 예방하는 것으로, 범죄 행동을 선제적으로 분석 및 예측하여 예방 차원의 디자인을 도시 곳곳에 적용한 것이다(Park et al., 2013; SMG, 2020b). 서울시에서는 ’12년 마포구 염리동을 시작으로 ’19년까지 매년 범죄 발생 위험이 큰 지역의 2~6개소를 대상으로 사업을 확대해왔으며, 총 26개의 세부 사업 중 23개 사업에 대해 효과성 평가가 진행되었다.

범죄예방디자인의 효과성 평가 현황을 분석한 결과, ’12년도 첫 사업지인 마포구 염리동이 불특정 다수 주민 대상으로 평가를 진행한 이후에는 사전/사후 가능한 동일인을 설문함으로써 신뢰성을 높임을 알 수 있었다. 또한, 사업에 대한 주민 만족도, 범죄에 대한 두려움 등 설문을 통한 조사에 더해 ’16년도 이후에는 112 신고 통계를 활용해 범죄 신고 건수, 범죄 발생률 비교 등 사업의 목적에 맞는 보다 체계적이고 객관적인 평가가 시행되었다. 평가기관에 있어서는 일관적으로 관련 전문기관인 한국형사정책연구원이 평가를 진행하여 지속성과 전문성을 구축하고 있었다.

본 연구에서는 첫 사업지이자 평가 내용이 비교적 상세히 공개된 ’12년 마포구 염리동 사업 예시를 통해 그 특성을 더욱 세부적으로 살펴보았다[Table 3]. 본 사업은 전형적인 달동네의 특성을 가지고 있는 노후주택밀집지역의 범죄예방을 목적으로 하며, 1.7Km의 골목길에 운동기구와 CCTV 안내 사인을 설치한 소금길을 조성하고, 위급 시 도움을 청할 수 있는 지킴이집을 운영하였다(Park et al., 2013; SMG, 2021; Lee, 2015, September). 사업에 대한 효과성 평가는 사전과 사후 동네 환경에 대한 다양한 지표를 통해 이루어졌으며, 사후 범죄율을 측정하여 장기적 범죄예방효과를 측정하였다(SMG, 2021).

평가 목표로는 범죄에 대한 시민 인식을 사전-사후 비교하기 위하여 범죄에 대한 두려움, 동네 환경에 대한 인식 등의 사후 효과 측정 지표를 미리 가정하고, 사전 조사 때 동일 항목을 평가하였다. 추가로 사후 조사에는 사업에 대한 인지도와 경험 정도, 그에 따른 만족도 등의 평가 목표를 추가하여 시민 관점에서의 효과성을 측정하였다. 평가 대상은 염리동 소금길과 주변 공간 및 시설물 등의 하드웨어 솔루션 위주로 선정되었다. 평가 주체는 주민으로 한정되었으며, 대상지의 거주 여부와 관계없이 불특정 다수 주민을 주체로 선정하여 평가의 일관성이 없다는 한계가 보였다. 평가 시기에 있어서는 여타의 범죄예방디자인 효과성 평가가 사후 평가를 1년 이내에 시행한 것과 달리 1년 후 재평가를 실시해 장기적인 범죄율 변화를 측정하였다. 평가 방법은 주민 대상의 설문조사와 인터뷰, 현장 관찰조사로 이루어져 정량/정석적인 평가 방법이 진행되었다.

청소년문제해결디자인은 학교폭력 등 다양한 청소년 문제의 복합적 원인을 분석해 공간 조성 및 프로그램 시범운영 등을 통해 건전한 청소년 문화 조성에 기여하고자 하는 디자인이다(Han et al., 2018; SMG, 2020d). 서울시에서는 ’14년도 은평구 충암중을 시작으로, ’19년 금천구 동일여고와 도봉구 정의여고까지 매년 초, 중, 고 대상지를 선정하여 또래 간, 세대 간 소통의 기회를 마련하는 솔루션을 도출해왔으며, 7개 세부 사업 중 6개 사업에 대해 효과성 평가를 진행하였다.

청소년문제해결디자인의 효과성 평가 현황을 분석한 결과, ’14년도 첫 사업지인 은평구 충암중의 경우, 학생을 대상으로 평가가 이루어졌으며, 이후 사업부터 평가 주체를 확장해 주요 수혜자인 학생을 비롯해 그들과 밀접한 연관이 있는 교사를 대상으로 평가가 진행되었음을 확인하였다. 또한, 관련 전문기관인 이화여대 학교폭력예방연구소에서 사업에 대한 인식과 만족도, 학교생활 특성, 문제행동 및 정서 관련 특성 등을 지속적으로 조사해 평가의 일관성 및 전문성을 구축하고 있었다. 평가 방법으로는 설문조사 등의 정량적 조사에 더해 프로그램 참여 행태 관찰 및 인터뷰 등의 정성적 조사를 병행하고 있었다.

다음으로, 평가 내용이 비교적 상세히 공개되어있는 ’17년도 광진구 용마초, 동작구 영화초 사업을 예시로 청소년문제해결디자인의 효과성 평가 현황의 구체적 특성을 살펴보았다[Table 4]. 용마초 사례는 학교폭력의 원인으로 지목되는 부정적 소속감을 긍정적 소속감으로 바꿔 학교폭력을 예방하는 것을 목적으로 친구들과 자유롭게 창작 활동을 할 수 있는 학생들만을 위한 놀이커뮤니티 공간을 조성하였다. 이와 함께 올바른 청소년 문화를 형성할 수 있는 오픈 스페이스, 언컨퍼런스 룸 등의 공간을 디자인 결과물로 개발하였다.

영화초 사례에서는 서로에 대한 막연한 두려움과 부정적 인식을 가진 세 학교를 대상으로 긍정적 이미지를 심어주기 위한 공간을 조성하였다. 등하교 시 맞닥뜨리는 노후된 공간에 다양한 예술작품을 설치하여 지역 환경을 개선함으로써 두려움을 감소시키고 학교폭력을 예방하고자 하였다(Han et al., 2018; SMG, 2020b; SMG, 2020d; Lee, 2021, April). 이후, 시설물에 대한 효과성 평가를 통해서는 청소년의 자아존중감 증가와 학교폭력에 대한 두려움 감소에 도움이 되었다는 점을 확인하고, 시설물 고참여 집단과 저참여 집단을 비교함으로써 시설물의 정서개선 효과를 측정하였다(SMG, 2021).

평가 목표로는 디자인에 대한 만족도, 주변 환경에 대한 인식 등의 지표를 통해 주로 사업에 대한 시민의 만족도와 인식도를 측정하고 있었다. 평가 대상은 대부분의 사업과 비슷하게 디자인 솔루션인 공간과 활동 프로그램으로 설정되어 측정되었고, 사업 개발 프로세스는 대상으로 선정되지 않았다. 평가 주체의 경우, 사전 조사 때는 학생뿐 아니라 학부모, 교사, 지역주민에 의해 평가가 진행되었고, 사후에는 학생과 교사가 사업의 효과성을 측정하였다. 평가 시기에 있어서는 사전 조사 1년 후 사후 조사가 실시되었지만, 학교폭력 관련 설문조사의 특성상 개인정보 수집의 한계로 인해 동일 학생의 사전/사후 측정 점수를 비교하는 데에는 제한점이 있었다. 평가 방법에 있어 일부 사례에서는 현장 관찰 등 정성적 평가 방법이 사용되었지만, 주로 설문조사만 사용되었다는 한계가 드러났다.

스트레스해소디자인은 시민의 정신건강을 주제로 한 사업으로, 현대인의 높은 스트레스를 일상 속에서 효율적으로 관리할 수 있는 방안을 모색하고 생애주기별, 상황별 스트레스에 대한 진단을 바탕으로 이를 해소할 수 있는 디자인 솔루션을 제공하는 것이다(SMG, 2020b; SMG, 2020e). 서울시에서는 ’16년 청소년 스트레스프리디자인 개발을 시작으로, ’19년까지 매년 학교, 지하철, 복지관 등 다양한 공간을 기반으로 사업을 추진해왔으며, 진행한 4개 사업에 대해 모두 효과성 평가를 진행한 것으로 확인되었다.

스트레스해소디자인의 효과성 평가 현황을 분석한 결과, 각 사업의 테마와 관련한 전문기관에서 사업 시행 전, 후 적절한 정량적, 정성적 방법을 통해 평가를 진행하는 양상을 발견하였다. 스트레스 감소율, 경험 만족도 등 설문조사를 통한 정량적 조사에 더해 현장 방문 등 정성적 조사가 진행되었고, 더 나아가 뇌파 측정을 통한 과학적 평가 방법도 함께 이루어져 사업의 효과성을 보다 통합적이고 신뢰성 있게 평가하고자 하였다.

이 중 다양한 평가 방법의 활용을 확인할 수 있으며, 평가에 관해 비교적 상세한 내용이 공개되어있는 ‘17년도 지하철 동대문역사문화공원역을 대상으로 진행한 효과성 평가를 예시로 스트레스해소디자인의 효과성 평가 현황 특성을 세부적으로 분석해보았다[Table 5]. 본 사업은 역사 내 이용자 여정에 따른 스트레스 해소를 위해 이용자 중심 정보, 질서유지/안전, 편의/휴식, 에티켓/캠페인의 4개 테마로 환승구간 방향 사인, 승하차 대기 사인, 스트레스 프리 존 등 총 14가지의 솔루션을 개발하고 적용하였다(Hongik Univ. SDE Lab., 2018; SMG, 2020b; SMG, 2020e; Keum, 2018, October). 효과성 평가를 위해 정량과 정성 평가를 병행하였는데, 정량 평가를 통해 정기적/간헐적 이용자별 지각된 스트레스 감소율 및 경험 만족도 등을 분석하였으며, 정성 평가를 통해 사전과 사후 ‘역사 내 헤매는 시간과 사람 수’, ‘올바른 위치에 선 대기자 수’ 등의 지표를 비교함으로써 디자인의 효과를 측정하였다(SMG, 2021).

평가 목표로는 솔루션의 스트레스 감소에 대한 실질적 효과를 알아보기 위해 이용자의 경험 만족도나 지각된 스트레스 감소율뿐만 아니라, 역사 내 방향 찾기 소요 시간, 스크린도어 앞 올바른 위치의 대기자 수 등 구체적이고 정량적 지표가 측정되었다. 평가 대상으로는 새롭게 조성된 공간 및 사인물, 캠페인 등 도출된 하드웨어, 소프트웨어, 휴먼웨어 솔루션이 선정되었지만, 다른 사례와 마찬가지로 프로세스는 다뤄지지 않았다. 평가 주체에 있어서는 주로 대상지 시민으로 선정되어 서울시, 디자인 시공사, 전문가 등 관련 이해관계자들이 폭넓게 선정되지 못했다는 한계점이 발견되었다. 평가 시기의 경우, 사후 평가는 사업 완료 시점으로부터 6개월 정도의 짧은 기간을 두고 진행되어 단기적인 산출물 및 결과 위주로 평가가 이루어졌다. 평가 방법으로 사업의 디자인 요인이 이용자를 중심으로 원활하게 활용되고 있는지 알아보기 위해 이용자의 여정에 맞는 경로를 구성하여 설문이 진행되었고, 비디오 에스노그라피, 포커스 그룹 인터뷰 등의 정성적 평가가 병행되었다.

인지건강디자인은 급속한 고령화, 치매노인 급증에 따른 고령자의 행태, 심리를 반영하는 주거와 지역 환경 디자인 개발의 중요성이 증가함에 따라 등장한 것으로, 인지건강 저해 요소를 낮추며, 보행 안전, 도전 유도, 행동 지원을 통해 오감을 촉진하는 인지건강 환경을 조성하는 디자인 사업이다(KDA, 2015; SMG, 2020c). 서울시에서는 ’14년 양천구 신월1동을 시작으로 ’20년까지 인지건강디자인을 통해 안전한 보행 공간 및 인지능력을 자극하는 환경을 조성하고, 이웃 간 소통의 기회를 마련해왔으며, 진행한 전체 사업 중 5개 사업에서 효과성 평가를 진행하였다.

인지건강디자인의 효과성 평가 현황 분석 결과, 길 찾기의 용이성, 산책 범위 확장성, 시각/촉각 등의 감각 다양성 등 사용자의 만족도 파악을 위해 대상지의 주민 설문조사뿐만 아니라 비디오 영상 판독 등을 통한 행동 변화 관찰 및 인터뷰와 같은 정성적 평가 방법을 사용하고 있음을 확인하였다. 또한, 경도인지장애 평가를 위한 양적 검증으로 몬트리올 인지평가와 같은 전문적 방법을 사용하기도 하였다. 평가기관으로는 대한치매학회, 한국주거학회, 한국의료복지건축학회 등 해마다 다양한 기관이 건강 특성, 외부 활동 특성, 사업에 대한 이용 현황 및 만족도 등 사업의 효과성 평가 조사를 해오고 있었다. 또한, 평가 시기에 있어서는 주로 사전, 사후의 단발적 평가가 이루어졌고, 사후 평가의 시기는 사업 완료 후 3~4개월의 짧은 경과 후에 이루어져 중장기적 결과 및 영향력에 대한 평가가 이루어지지 않았다는 한계점이 발견되었다.

다음으로, 효과성 평가에 관한 세부 내용이 공개되어있고 비교적 다양한 질적 방법의 병행을 통해 평가를 진행한 ’14년 양천구 신월1동 사업을 통해 인지건강디자인 효과성 평가의 구체적 특성을 분석하였다[Table 6]. 본 사업은 어르신들의 잔존 인지능력을 강화하고, 안심할 수 있는 환경을 조성하는 것을 목적으로, 산책로와 쉼터, 운동 공간을 디자인 솔루션으로 개발하였다. 산책로에는 교차로 색인지 포인트, 기억쉼터, 기억운동터를 설치해 인지력을 강화할 수 있도록 하였으며, 동네 지리에 밝은 슈퍼나 부동산 등의 점포를 ‘길반장’으로 지정하여 어르신들이 길을 잃었을 때 도움을 줄 수 있는 인적 서비스를 마련하였다(KDA, 2015; SMG, 2020b; SMG, 2020c; Choi, 2016, November). 효과성 평가에서는 동네에 대한 인식을 알아보기 위한 지표인 ‘길을 잘 찾게 되었다’, ‘사거리 혼란이 줄었다’ 등과 같은 요인을 통해 시민의 인지적 효과를 측정하였다(SMG, 2021).

평가 목표로는 주민들의 인지 및 심리적 변화를 측정하기 위해 주로 건강 특성, 만족도와 정서 등 단·중기적 산출물 및 결과 위주의 지표가 설정되었다. 평가 대상의 경우, 다른 사업들과 마찬가지로 개선된 실내/실외 공간과 프로그램 등의 하드웨어와 소프트웨어 산출물이 주로 설정되었고, 과정 자체를 다루고 있지는 않았다. 평가 주체는 대체로 주민에 한정되었으며, 실내 가정 환경과 외부 지역 환경 두 가지 방향으로 진행됨에 따라 각각 다르게 선정되었다. 평가 시기에 있어서는 사후 평가 시기가 사업 완료 시점에서 1~4개월 정도 후로, 사업에 대한 인지도 및 만족도 등 산출물 및 결과에 대한 평가가 주 항목으로 구성되었다. 또한, 사후 평가가 12월에 진행되어 계절적인 영향이 하나의 변수가 될 수 있음(e.g. 외출 빈도 변화가 사업의 효과 때문이 아닌 추워진 계절의 영향일 수 있음)이 드러나 결과 신뢰성에 대한 한계점이 관찰되었다. 평가 방법으로는 실내 가정 환경 개선에 관한 평가를 위해 대면 설문조사뿐만 아니라 일정 기간 카메라를 설치해 촬영한 영상을 바탕으로 질적 분석을 진행하였다. 이때, 개선이 이루어진 공간에 따라 구체적인 TASK를 수행하는 데 소요되는 시간의 사전 사후 변화를 비교하여 효과성에 대한 구체적이고 명확한 근거를 제시하는 방식으로 진행되었다.

디자인 거버넌스는 시민이 직접 사회문제를 발견하고, 다양한 주체(시민, 전문가, 디자이너, 기업 등)가 참여해 서비스디자인 과정을 통해 문제를 해결해가는 민관 협력 체계로, 이웃 간 갈등 해소, 공공 환경 개선, 재난안전 등의 다양한 사회적 주제들을 다루고 있다(SMG, 2018; SMG, 2020b). 서울시에서는 시민이 체감할 수 있는 현장 맞춤형 디자인사업에 대한 요구가 증대됨에 따라 ’15년도 서울랜드 점자 지도 툴킷 디자인 등 디자인 거버넌스를 통한 4개 사업 추진을 시작으로, ’19년까지 매년 4~5개의 사업을 진행해왔다. 디자인 거버넌스 운영 및 효과성 평가에 대한 체계는 아직 마련되어있지 않았으나, 서울시 정보소통광장에 공개된 ‘2020디자인 거버넌스 추진 계획(서울시 문화본부 디자인정책과)’을 토대로 디자인 거버넌스 사업 자체의 효과성 평가 현황에 대해 간접적으로 분석해보고자 하였다.

그 결과, 사업 인지도, 효과적인 협업, 사업 이후 프로젝트 심화를 위해 사업 참가 팀원 간 간담회나 ‘디자인 거버넌스 모니터링단’을 구성하여 시민 참여자가 직접 결과물을 모니터링하고, 유지 상태 및 솔루션 효과성을 측정하고 있음을 확인할 수 있었다. 이때, 사업에 참여한 시민의 수, 홍보 SNS 팔로워 수, 개별 사업 확산상태 등을 파악하여 사업의 효과성을 분석하고 있었다.

다음으로, 평가에 관한 내용이 비교적 상세히 공개되어있는 ‘16년도 이웃 간 갈등 해소를 위한 커뮤니케이션디자인’ 사례를 통해 디자인 거버넌스 사업의 효과성 평가 특성을 자세히 알아보았다[Table 7]. 본 사업의 결과물은 이웃에게 미리 양해를 구하는 데 활용할 수 있는 우편함 카드 11종 등 이웃과의 커뮤니케이션을 돕는 툴킷으로, 긍정적이고 자연스러운 소통 문화를 조성하는 것을 목적으로 하였다(SMG, 2018; SMG, 2020a; SMG, 2020b; Hong, 2019, December).

평가 목표로는 솔루션에 대한 인지도, 사용 여부, 유지 관리 상태 등의 정량적 지표와 함께 사용자 및 관리자의 만족도와 보완점과 같은 정성적 지표를 다루고 있었다. 평가 대상의 경우, 시민참여가 중심이 되는 사업인데도 불구, 단기적이고 정량적인 산출물을 주로 다루고 있었으며, 시민참여 및 이해관계자 협력 정도 등 프로세스는 다뤄지지 않았다는 문제점을 발견하였다. 평가 주체 역시 시민에 한정되어 다양한 이해관계자의 관점이 고려되지 않고 있었고, 사후 평가만 진행되어 진행 중의 평가는 이루어지지 않았다. 평가 방법에 있어서는 주로 양적인 방법이 사용되었지만, 인터뷰나 현장 방문 조사 등 질적 방법도 함께 사용되었음을 확인하였다.