Archives of Design Research
[ Article ]
Archives of Design Research - Vol. 28, No. 1, pp.219-231
ISSN: 1226-8046 (Print) 2288-2987 (Online)
Print publication date Feb 2015
Received 21 May 2014 Revised 28 Aug 2014 Accepted 28 Aug 2014
DOI: https://doi.org/10.15187/adr.2015.02.113.1.219

Effect of Mechanical Perspective-Taking Method on Evaluating User Experience

OhDongwoo ; 오동우 ; JooJaewoo ; 주재우
NEXT Institute, NHN NEXT, Pangyo, Korea 넥스트인스티튜트, 판교, 대한민국 College of Business Administration, Kookmin University, Seoul, Korea 국민대학교 경영대학, 서울, 대한민국
사용자 경험 평가를 개선하는 물리적 입장 바꾸기

Correspondence to: Jaewoo Joo designmarketinglab@gmail.com

Background Designers often evaluate user experience incorrectly because they take into account less diagnostic information. We propose the mechanical perspective-taking method to control less diagnostic information and improve the evaluation accuracy of user experience.

Methods We conducted an experiment. We manipulated mechanical perspective-taking by changing the point of view without changing the content of the video game; half of the participants watched a video game from the first person point of view and the other half watched it from the third person point of view. Then, all of the participants evaluated one of the two types of airport use experience; one with positive, less diagnostic information and the other with negative, less diagnostic information.

Result For the airport use experience with positive, less diagnostic information, the participants watching it from the first person point of view evaluated it less positively than the participants watching a video game from the third person point of view. However, the opposite pattern was obtained for the airport use experience with negative, less diagnostic information; the former group evaluated it less negatively than the latter group.

Conclusion We demonstrated that the mechanical perspective-taking method controls less diagnostic information effectively, which can help people focus on the target experience.

초록

연구배경 본 연구에서는 사용자 경험 (UX) 연구자가 사용자 경험을 평가하는 과정에서 진단가(Diagnosticity)가 낮은 정보들을 함께 고려함으로서 오류가 발생한다고 가정한다. 이에 따라 진단가가 낮은 정보들을 효과적으로 통제하여 사용자 경험을 더욱 정확하게 평가하기 위한 기법으로 물리적 입장 바꾸기를 제안한다.

연구방법 사용자 경험 평가의 오류와 물리적 입장 바꾸기의 효과를 검증하기 위하여, 하나의 실험을 진행하였다. 실험 참가자들은 동일한 자동차 경주 게임 영상을 두 개의 입장 중 (1인칭 시점 vs. 3인칭 시점) 하나의 입장에서 시청한 뒤, 두 개의 진단가가 낮은 정보들 중에서 (긍정적 여행 vs. 부정적 여행) 하나의 정보가 더해진 동일한 공항 이용 경험을 평가하도록 했다.

연구결과 실험 결과, 진단가가 낮은 긍정적인 정보가 더해진 공항 이용 경험에 관해서는 (멕시코의 휴양지에 놀러 가는 경우), 1인칭 시점으로 영상을 시청한 실험 참가자들이 3인칭 시점으로 영상을 시청한 참가자들에 비해, 공항 이용을 덜 긍정적으로 평가하였다. 이와 반대로, 진단가가 낮은 부정적인 정보가 더해진 공항 이용 경험에 관해서는 (심심한 도시에 비즈니스 미팅을 하러 가는 경우), 1인칭 시점의 참가자들이 3인칭 시점의 참가자들에 비해 공항 이용을 덜 부정적으로 평가하였다.

결론 본 연구는 사용자 경험 (공항 이용 경험) 을 평가할 때, 물리적 입장 바꾸기 방법이 진단가가 낮은 정보 (공항 이후의 경험)를 통제함으로써, 평가 목표로 삼은 사용자 경험에 집중할 수 있도록 해 준다는 점을 실증적으로 입증했다는데 의의가 있다.

Keywords:

Mechanical Perspective-Taking, User Experience Evaluation, Diagnosticity, 물리적 입장 바꾸기, 사용자 경험, 평가, 진단가

1. 서론

1. 1. 연구 배경

서비스/제품 개발에 있어 사용자 경험(UX)에 대한 인식이 증대됨에 따라 사용자 경험의 과학적 평가 방법에 관한 학술 연구의 필요성이 높아지고 있다. 현재 활용되고 있는 다수의 사용자 경험 평가 방법론은 HCI 영역의 사용성 평가 방법들로부터 파생되어 발전해 왔다(Law, 2011). 이러한 이유로 사용자 경험(UX)과 사용성(Usability)에 대한 개념의 혼용이 연구자들 사이에서 종종 발견되었으나, 최근 사용자 경험에 대한 연구가 발전됨에 따라 사용성과 분명하게 구분되는 경향이 있다(Liu & Clemmensen, 2012; Oh & Joo, 2012). 예로, 오브리스트(Obrist et al., 2009)는 사용자 경험은 주관성이 내재된 까닭에 기존의 사용성 측정 기법으로는 올바른 평가가 어렵다고 주장하며, 사용자 경험 평가를 위한 방법론 개발의 필요성을 제기하였다. 또한, 국제 표준화 기구(International Organization for Standardization, ISO)는 ISO 9241-210에서 사용성을 “사용자들이 목표를 이루기 위해 특정한 상황에서 사용하는 시스템, 제품, 또는 서비스에 대한 유효성, 효율성, 그리고 만족도의 범위”라고 정의하고, 사용자 경험을 “제품, 서비스, 또는 시스템에 속하거나 그것을 사용함으로서 얻어지는 개인의 반응과 지각”이라고 다르게 정의함으로써 두 개념의 경계를 명확히 하고 있다. 이러한 배경은 사용자 경험 평가 지표의 개발에도 영향을 주었으며, 정량 및 정성 평가에 대한 오래된 논의와 더불어 사용자 경험에 특화된 경험 평가 방법론의 연구가 활발히 진행되고 있다(Law et al., 2010; Obrits et al, 2011; Pirker & Bernhaupt, 2011; Law et al., 2014). 하지만, 이러한 사용자 경험 평가에 관한 연구 경향은 평가 지표의 개발에 초점이 맞추어져 있으며 리서치 수행 과정에서 발생하는 문제에 관한 연구는 상대적으로 미흡하다. 하지만, 실제 UX리서치에서 나타나는 문제점의 다수는 연구자의 내재적 요인(미숙한 방법론 전개, 데이터 관리 미흡, 정보 왜곡 등)에 기인한다. 본 연구에서는 사용자 경험 정보의 왜곡에 초점을 맞추어, 이러한 문제점을 해결하기 위한 방법으로 물리적 입장 바꾸기를 제안하고자 한다.

1. 2. 연구 목적

본 연구의 목적은 1) 사용자 경험 조사자의 사용자 경험 평가 과정에서, 조사 대상이 되는 특정 사용자 경험뿐 아니라 그 이후의 (진단가가 없는) 경험도 함께 고려한다는 점을 가정하고, 2) 이러한 문제점을 해결하고 평가의 대상이 되는 특정 사용자 경험에 집중하기 위한 방법으로 물리적 입장 바꾸기(Mechanical Perspective-Taking)의 효과를 제안하고 이를 검증하는 것이다.

일반적으로 사용자 경험 조사자는 사용자의 특정 경험과 이후의 경험을 구분하지 못하지만, 사용자와 입장을 바꾸려는 시도를 통해 그 오류를 줄일 수 있다. 즉, 사용자와 입장 바꾸기를 시도한 조사자는 그렇지 않은 조사자에 비해 사용자의 특정 경험에 더욱 집중하여, 경험 이후의 상황이 경험을 평가하는 데에 미치는 영향을 줄일 (통제할) 것이라는 가설을 제기한다. 본 연구는 기존의 사용자 경험 평가 방법 연구에서 주로 다루어온 사용자 경험 환경의 외적 요인에 대한 평가 방법(프로세스와 경험 환경 평가 요인 개발)에서 벗어나, 계획된 실험을 통해 사용자 경험 평가의 내적 요인에 관한 가설을 검증하는 것에 목적이 있다. 또한, 디자인 연구의 한 분야인 사용자 경험 평가에 관한 심리학적 요인을 활용한 실험 연구를 통해 디자인 실험연구의 예시를 만들고자 한다.

1. 3. 연구 방법

본 연구는 2010년 봄 학기 기간 중, 북미의 한 대학교 내 행동 실험실 (Behavioral Lab)에서 이루어졌다. 물리적 입장 바꾸기의 효과를 검증하기 위하여 피험자간 설계(2x2 between-subjects design)를 적용한 실험이 계획되었다. 본 실험에서는, 하나의 동일한 자동차 경주 게임을 2개의 다른 입장(1인칭 vs. 3인칭)으로 다시 보기(Replay)를 통해 시청한 뒤, 2개의 다른 방식(긍정 vs. 부정)으로 조작된 하나의 동일한 공항 경험을 평가하는 방식으로 진행되었다. 결과적으로 하나의 실험 데이터를 통해 물리적 입장 바꾸기가 특정 경험 자체에 대한 평가에 영향력이 있음을 실증적으로 증명하였다.


2. 문헌 조사

2. 1. 사용자 경험 평가 방법의 외적 요인: 사용자 경험 품질 요인과 평가 방법의 분류

사용자 경험의 평가 방법 개발에 앞서 연구자들은 사용자 경험의 평가 지표를 정의하기 위해 경험 품질에 영향을 미치는 요인을 분석하였다. 브라가스아빌라와 혼백(Bargas-Avila & Hoenbaek, 2011)은 2005년에서 2009년 기간 동안 ACM Digital Library, ISI Web of Knowledge(WoW) 그리고, Science Direct(ScD) 3군데를 통해 발행된 사용자 경험 연구 논문 51개를 선별하여 분석한 결과, 사용자 경험 평가를 위해 전통적인 정성 평가와 더불어 투사 기법(projective technique)과 구성적 평가 방법(constructive method)의 혼용이 증가하고 있음을 밝혔으며, 로우(Law, 2011)는 그 연구 내용을 토대로 측정 가능한 사용자 경험 품질 요인으로 6가지 경험 요소와 측정 방법을 제시하였다.

5 Measures of UX qualities (Law, 2011)

그 외, 카라파노스 외(Karapanos at al., 2009)는 사용자 경험은 동적이며 시간과 기억 역시 사용자 경험에 영향을 주는 요인이라 주장하였다. 또한, 버미런 외(Vermeeren at al., 2010)은 UXEM’08 및 CHI’09 학회에 참석한 약 100명의 전문가들로부터 그들이 사용하고 있는 96개의 사용자 경험 평가 방법을 취합하여 분석한 결과, 다수의 평가 방법들이 단일 에피소드와 테스트 세션에 중점을 두고 있음을 밝혔다. 또한, 각 평가 방법론의 특성을 분류하여 5가지의 유형으로 정리하였다.

Requirement type scheme for analyzing the methods (Vermeeren, 2011)

하지만, 지금까지 논의된 사용자 경험 평가 연구는 평가 대상 및 경험 환경에 관한 평가 방법을 중심으로 논의되었다. 또한, 사용자 경험 평가를 위한 외적 요인 연구가 주류를 이루고 있으며, 이를 위해 합리적 프로세스 및 평가에 필요한 경험 요소의 속성을 정의하는데 연구의 초점이 맞추어져 있다(Walsh at al., 2013). 외적 요인에 관한 연구가 활발히 이루어진데 반하여, 개발된 평가 프로세스와 그로부터 얻어지는 경험 정보가 관찰자에 의해 올바르게 취득되었는지에 관한 내적 요인 연구는 아직 부족한 실정이다. 본 연구에서는 적절한 사용자 경험 정보의 취득을 위한 효과적인 방법으로서 물리적 입장 바꾸기 방법에 관해 논의하고자 한다.

2. 2. 사용자 경험 평가 방법의 내적 요인

하센잘(Hassenzahl, 2008)은 사용자 경험을 “어떤 서비스 또는 제품과의 인터랙션 과정에서 발생하는 것으로 순간의 좋고, 나쁜 느낌에 대하여 평가하려는 본질적인 사용자 감성” 이라고 정의했다. 이에 따라, 그는 UX 연구가 주요 관심 대상을 대상물(서비스, 제품)이나 구성요소(컨텐츠, 기능, 표현, 상호작용)로부터 벗어나서, 사용자들이 서비스 또는 제품과 관계함으로써 발생하는 주관적인 내적 요인으로 옮겨야 한다고 주장한다.

일례로, 일부 연구자들 사이에서는 사용자 경험 구성 요소 중, 시계열에 따른 경험의 중첩성에 대한 논의가 꾸준히 진행되고 있다. 레델미어와 카네먼(Redelmeier & Kahneman, 1996)은 입원 및 수술 과정을 경험한 환자가 만들어내는 시간이 흐름에 따라 중첩되는 경험들을 예시로 들며 실시간 경험과 회고된 경험의 차이를 강조하였다. 또한, 로토 외(Roto at al., 2011)는 [그림1]과 같이 사용자의 경험은 선행된 경험에 의해 현재 경험이 영향을 받는 시계열의 흐름에 따른 경험모델을 제시하였다.

Figure 1

Time span of user experience and the internal process (Roto, 2011)

이러한 경험의 중첩 속성은 사용자 경험 평가 초기 단계의 경험 데이터 취득의 단계에서도 중요한 통제 요인 중 하나이다. 사용자들은 특정 서비스 제품 또는 유사 환경에 대한 직간접 경험을 지니고 있다. 이러한 경험 정보들은 경험 평가를 위한 데이터 취합 단계에서 진행되는 관찰, 인터뷰 등 초기 데이터 수집 과정에도 영향을 미친다.

2. 3. 사용자 경험 정보와 진단가(Diagnosticity)

정보의 진단가(Diagnosticity) 라는 개념은 심리학에서 등장한 개념으로, 특정 정보가 판단, 의사결정, 예측 과정에 얼마나 큰 영향을 주는가를 의미한다(Feldman & Lynch, 1988). 진단가(diagnosticity)에 대한 설명은 미엘(Meehl, 1958)의 “다리가 부러졌다는 정보(broken-leg cue)” 예시로 이해할 수 있다. 관찰자의 입장에서 액션 영화를 좋아하는 어떤 사람이 내일 영화를 볼 것인지를 예측한다고 가정하자. 관찰자가 현재 상영 중인 영화가 액션 영화라는 정보를 얻었다면, 그가 영화를 보러갈 것이라고 예측할 것이다. 하지만 조금 전에 그가 다리가 부러졌다는 정보를 얻는다면, 영화를 보러가지 않을 것이라고 예측할 확률이 크게 올라갈 것이다. 즉, 다리가 부러졌다는 정보는 액션 장르의 영화가 상영된다는 정보보다 관찰 대상자가 영화를 보러갈 것인지 예측을 하는데 더욱 큰 도움을 주기 때문에 진단가가 높다고 볼 수 있다. 참고로, 이처럼 특정 상황에서 “다리가 부러졌다는 정보(broken-leg cue)”는 진단가가 매우 높은 정보이다.

하지만 많은 사람들은 진단가가 낮은 정보들에 영향을 받고, 이에 따라 현재의 의사결정이나 예측에 있어서 오류를 범하는 경우가 있다. 특히, UX리서치 과정 중 사용자 경험 평가 시, 사용자나 연구자의 이전 경험이나 이후의 예상 경험에 따라서 현재의 경험을 왜곡하여 평가하는 사례를 종종 발견한다. 이러한 현상은 진단가와 관련된 심리학 연구에서 설명된다. 가령, 배심원들이 지인을 살해한 혐의가 있는 범법자를 판결할 때, “범법자가 지인과 말다툼을 벌인 경험이 있다”는 진단가가 높은 정보만을 바탕으로 내린 판결에 비해, “범법자가 평균적인 키와 시력을 지녔다”는 진단가가 전혀 없는 정보가 추가로 제공되었을 때 내린 판결은 관대해지는 것으로 밝혀졌다(Zukier & Jennings, 1983). 즉, 배심원들은 가치가 없는 정보로부터 무언가 가치를 찾아내려는 노력을 했으며 이에 따라 판단이 변경된 것이다.

이러한 주관적 경험(subjective experience)으로서 진단가(diagnosticity)에 관한 연구는 다음과 같다. 슈왈츠 외(Schwarz at al., 1991)는 인지된 진단가(percieved diagnosticity)의 조작 실험을 통해 실험 참가자들의 회상(recall)과정 즉, 주관적 경험(subjective experience)에 조작된 진단가가 영향을 미치는 것을 확인하였다. 다시 말해, 진단가는 사람의 기억 또는 회상에 영향을 미치며, 유사 경험 또는 대상에 관한 관심도가 낮을 경우, 추가 정보의 객관적 평가 성향이 약해져 의사결정이나 예측에 영향을 미칠 가능성이 높다. 그와 반대로 관심도가 높은 경우, 추가 정보를 객관적으로 평가함으로써 의사 결정이나 판단에 엄격하며 시간도 오래 걸린다.

현재까지 연구된 다수의 사용자 경험 평가 방법론들은 경험 평가를 위해 초기의 관찰 단계에서부터 사용자 경험 정보를 취급한다. 따라서, 사용자가 내리는 판단, 의사결정, 예측 등의 다양한 사용자 경험 결과를 정확하게 평가하기 위해서는, 특정한 경험 정보의 진단가가 높은지 파악하고, 만약 진단가가 낮다면 이를 통제해야만 한다.

다시 말해, 본 연구에서는 진단가를 사용자 경험 평가 과정에서 내재된 주관적인 평가 요인으로 규정하고, 보다 정확한 사용자 경험 정보를 취득하기 위하여 진단가가 낮은 정보를 통제할 필요가 있음을 주장한다.

2. 4. 물리적 입장 바꾸기(Mechanical Perspective-Taking Method)

심리학에 기반을 둔 입장 바꾸기 연구는 일반적으로 사람들(관찰자)이 타인(행위자)의 특정 행동의 원인을 부정확하게 설명하는 원인에 대한 귀인(attribution)연구에서부터 발전되었다. 이러한 행위자와 관찰자 사이의 귀인의 차이는 심리학의 중요한 연구 주제이며, 이후 귀인의 차이를 줄이기 위한 연구에서 입장 바꾸기가 하나의 효과적인 대안으로 제시되었다(Gilbert & Malone, 1995; Regan & Totten, 1975). 즉, 행위자의 특정 행동에 대한 귀인은 입장 바꾸기를 통하여 예측 가능한 방향으로 변경될 수 있다는 점을 밝혀냈다. 또한 입장 바꾸기 연구는 행위자가 관찰자로 입장을 바꾸는 방법과 관찰자가 행위자로 입장을 바꾸는 방법이 진행되고 있으며 최근의 발전된 연구 결과로는 타인(행위자)이 취한 과거의 특정 행동이 어디에서 비롯되었는지 이해하는 것뿐만 아니라 타인(행위자)이 가지고 있는 현재 생각의 추론 또는 미래 행동의 예측에도 효과가 있음이 밝혀졌다 (Galinsky & Moskowitz, 2000; Caruso, Epley, & Bazerman, 2008). 예를 들어 “타인과 입장을 바꾸라(please take the perspective of others)”는 간단한 요구를 받은 이후에는, 응답자들이 타인을 평가할 때 고정관념을 덜 사용하고 정형화된 생각과 비교하여 다른 생각에 대해 더욱 잘 처리하며 (예, 노인은 느리게 움직인다), 어려운 사람을 보면 도와주려는 친사회적인 행동(prosocial behavior)을 더욱 많이 보이기도 한다. 이러한 입장 바꾸기에 관한 심리학적 연구 결과들은 사용자 경험 조사 과정에서 발생하는 사용자 경험 조사자와 일반 사용자 간의 관계로 투영이 가능하며, 사용자 경험 조사 기법으로서 입장 바꾸기 기법의 효과가 연구되었다(Oh & Joo, 2012). 본 실험에 사용된 전통적인 입장 바꾸기와 물리적인 입장 바꾸기의 차이는 다음과 같이 정의한다.

Differences between Perspective-Taking and Mechanical Perspective-Taking Method

본 연구에서는 입장 바꾸기에 관한 선행 연구에서 검증된 연구 결과를 토대로 기존의 연구에서 다루지 않았던 사용자 경험 정보와 정보의 진단가 간의 상관관계에 관한 실험연구를 계획하였다. 즉, 사용자 경험 정보에 포함된 진단가(diagnosticity)를 통제함으로써 일반적인 사용자 경험 데이터 분석 단계에서 간과하기 쉬운 경험 정보의 내적 특성에 의해 관찰자가 파악한 사용자 경험 정보에 영향을 미치는가에 관한 디자인 실험이다.


3. 실험

기존 입장 바꾸기에 관한 심리학 연구는, 입장 바꾸기를 시도한 그룹과 입장 바꾸기를 시도하지 않은 그룹 간 타인의 행동에 대한 이해 (타인의 과거 행동의 원인이나 타인의 미래 행동)에 차이가 있다는 점을 실증적으로 검증했다. 본 연구에서도, 기존 심리학 연구에서 수행된 실험을 통한 가설검증 양식을 따랐다. 특히, 본 연구에서는 기존 연구에서 사용한 간접적인 입장 바꾸기가 아닌, 직접적인 물리적 입장 바꾸기를 시도하였다. 즉, 기존 연구에서는 외적 요인 변수의 효과를 최대한 배제하기 위하여 간단한 문장 읽기를 통해 실험 참가자가 스스로의 입장을 바꾸도록 요구하였으나(Davis et al. 1996; Oh & Joo, 2012), 본 연구에서는 참가자 스스로가 아닌 강제적 조작에 의해 관찰자의 시점을 물리적으로 변화시켜 동일한 경험을 다른 시점에서 보도록 요구한 뒤, 조작된 경험을 평가하도록 요구했다. 즉, 입장이 바뀌지 않은 (3인칭)참가자와 입장이 물리적으로 바뀐 (1인칭)참가자 간 진단가가 낮은 긍정/부정 경험이 더해진 사용자 경험을 평가하도록 요구하고 그 차이를 실증적 데이터로 증명하여, 사용자 경험을 조사하는 방법으로서 물리적 입장 바꾸기의 타당성에 관한 가설을 검증하였다. 정리하자면, 본 연구에서는 학술적 접근 자세는 기존의 심리학 연구의 기조를 따르며, 새로운 과학적 사실을 발견하기 보다는 디자인 연구자 또는 사용자 경험 디자이너로서 심도 깊은 검증과정 없이 채택해 온 관찰조사 기법에 있어서 시점(perspective)이라는 변수의 조작을 통한 가설 검증에 초점을 맞추었다.

3. 1. 실험 가설

본 연구에서 사용자 경험 조사 방법으로서 물리적 입장 바꾸기의 효과에 대한 가설은 다음과 같다.

가설1:

사용자 경험에 진단가가 낮은 긍정적인 정보가 더해진 경우, 물리적으로 입장을 바꾼 사람들은 (1인칭 시점) 물리적으로 입장을 바꾸지 않은 사람들에 비하여 (3인칭 시점), 사용자 경험을 덜 긍정적으로 평가할 것이다.

가설2:

사용자 경험에 진단가가 낮은 부정적인 정보가 더해진 경우, 물리적으로 입장을 바꾼 사람들은 (1인칭 시점) 물리적으로 입장을 바꾸지 않은 사람들에 비하여 (3인칭 시점), 사용자 경험을 덜 부정적으로 평가할 것이다.

3. 2. 실험 개요

입장 바꾸기의 사용자 경험 평가에 대한 효과를 확인하기 위하여 피험자 간 설계{2 (입장 바꾸기: 1인칭 vs. 3인칭) x 2 (진단가 낮은 경험: 긍정 vs. 부정) between-subjects design}로 구성된 실험을 실행하였다.

먼저, 절반의 참가자들은 물리적으로 입장이 바뀐 1인칭 시점에서 자동차 경주 게임을 시청하는 실험 그룹에 속했으며, 나머지 절반의 참가자들은 물리적으로 입장이 바뀌지 않은 3인칭 시점에서 동일한 자동차 경주 게임을 시청하는 대조 그룹에 속했다.

Figure 2

Third-person perspective game video

Figure 3

First-person perspective game video

다음으로, 절반의 참가자들은 공항 이용 이후 긍정적인 경험이 더해진 상황을 알려주었다. 실험 참가자들이 영어권 참가자들인 까닭에 아래와 같이 내용을 전달하였다.

Suppose that the driver, Mr. Irwin flies to Cancun, Mexico to have a three-day trip with his friends. At Cancun, Mr. Irwin plans to have fun with scuba dive, swimming with dolphins, a famous show, and going clubbing at nights.

(긍정적인 경험은, 친구와 함께 멕시코의 칸쿤으로 3일 동안 여행을 가서, 스쿠버 다이브, 돌고래와 수영, 유명 쇼 즐기기, 야간 클럽 가기 등의 다양한 즐거운 활동을 할 것으로 예상했다.)

다른 절반의 참가자들은 공항 이용 이후 부정적인 경험이 더해진 상황을 알려주었다. 이전 실험과 마찬가지로, 실험 참가자들이 영어권 참가자들인 까닭에 아래와 같이 내용을 전달하였다.

Suppose that the driver, Mr. Irwin, meets his picky promoter at an airport and fly to a small, boring city to attend a series of business meetings. In this city, Mr. Irwin follows the order of his picky promoter and, what is worse, there is nothing to enjoy over there at night.

(부정적 경험은, 까다로운 프로모터와 함께 작고, 심심한 도시에 가서 여러 비즈니스 미팅에 참여하며, 그곳에서 프로모터의 명령에 따라야 하며, 저녁에는 즐길 것이 없다는 것으로 설명되었다.)

3. 3. 실험 절차

실험 참가자들은 북미의 대학에 재학 중인 101명의 학부생으로 구성되었다. 실험은 무작위(random)로 구성된 16개의 세션으로 진행되었으며(각 조건 당 4개의 세션), 각 세션 당 최대 8명의 참가자가 참여했다. 실험자가 실험실에 입장하면, 연구자는 약 10분가량 실험에 관한 기본적인 설명을 진행했다. 이 시간 동안, 실험 참가자에게 간단한 인사말을 통해 스스로가 공항을 이용하는 비행기 탑승객의 경험을 조사하는 사용자 경험 조사자라는 가정을 하도록 유도했다. 다음으로, 3개의 질문이 포함된 두 페이지의 응답 설문지를 건네준 뒤, 첫 번째 페이지에 나와 있는 첫 번째 질문에 대한 응답을 요구했다. 첫 번째 질문에 대한 응답이 끝나면, 프로젝터를 통해 자동차 경주의 다시보기 장면을 보여주었고, 마지막으로 다음 페이지에 나와 있는 나머지 2개의 질문에 대한 응답을 요구했다.

좀 더 구체적으로 설명하자면, 첫째, 설문지의 첫 장 가장 처음에 진단가가 낮은, 조작된 공항 이후의 경험이 들어있었다. 따라서 절반의 참가자들은 긍정적이지만 진단가가 낮은 공항 이후의 경험을 읽고 질문에 응답했으며, 다른 절반의 참가자는 부정적이지만 진단가가 낮은 공항 이후의 경험을 읽고 다음 질문에 7점 척도로 응답하였다.

(1) 그의 공항 경험을 얼마나 긍정적으로 평가할 수 있는가(What is the positive evaluation of his airport experience)?

첫 번째 장의 공항 이후의 경험에 대한 응답을 마친 뒤, 녹화된 자동차 경주 게임의 다시 보기를 시청했다(You will watch a racing game, F1 World Grand Prix II, which was played and saved by a game player. He selected a white McLaren Mercedes). 경기장을 한 바퀴 도는 자동차 경주 게임에서, 주인공이 탄 하얀색 맥라린 메르세데스(McLaren Mercedes)는 6등으로 경주를 시작하여, 다수의 차량에 추월당하거나 추월한 뒤 8등으로 경주를 마쳤으며 이 경주 게임은 총 1분 41초 동안 보여주었다. 녹화된 경주 게임을 시청한 뒤, 두 번째 장에 들어있는 다음 2개의 질문에 7점 척도로 응답하는 것으로 실험은 완결되었다.

(2) 그의 공항 경험을 전반적으로 어떻게 평가하는가(What is the overall evaluation of his airport experience)?

(3) 스스로가 얼마나 공항 이용자로서 경험했는가(To what extent did you experience yourself as the airport user)?

실험이 끝난 후, 연구자는 무기명으로 응답된 설문지를 수집한 뒤, 각 응답을 코딩하고, 통계도구(SPSS)를 통하여 응답을 분석하였다. 연구자는 무작위 배분으로 이루어진 두 그룹의 참가자들에 관한 개인 정보(성별, 인종, 학번, 학년, 이름)를 수집할 수도 없고 열람할 수 없었으나, 모든 응답자들이 실험 참가에 대한 보상으로 학점을 인정받았으므로 응답 표본의 인구 통계학적 동질성은 기존 심리학 연구에서와 같이 인정된다고 볼 수 있다.

3. 4. 측정 항목

참가자들이 응답한 3개의 질문은 각각 다른 것을 측정하도록 만들어졌다. 질문 1을 통하여 진단가가 낮은 공항 이후의 경험이 성공적으로 조작되었는지 측정했고, 질문 2를 통하여 진단가가 낮은 공항 이후의 경험이 더해졌을 때 공항 경험 평가가 영향을 받는지 측정했고, 질문 3을 통하여 물리적 입장 바꾸기가 성공적으로 조작되었는지 측정했다. 참고로, 질문 3은 자동차 경주 게임 시청의 물리적 시점을 바꾸는 것이 입장 바꾸기 효과가 있었는지 확인하는 질문으로서, 기존 심리학 연구에서 사용되는 표준적인 진단 도구를 실험에 맞게 변형하여 7점 척도로 측정하였다. 대부분의 기존 연구에서는 하나의 질문을 통해 입장이 바뀌었는지를 참가자가 스스로 보고하도록 유도했으며, 이에 따라 본 실험에서도 결과 도출과정의 오류를 줄이고자 기 검증된 측정방식을 따랐다(Batson & Shaw, 1991; Cialdini et al., 1997; Davis, Conklin, Smith, & Luce 1996; Galinsky & Moskowitz, 2000). 실험을 통해 측정된 3개의 변수는 SPSS를 이용하여 분산분석(Analysis of Variance: ANOVA)을 실시하였다.

3. 5. 실험 결과

본 실험의 결과는 3개의 질문에 대한 응답을 집단 별로 통계 분석하는 것으로 이루어진다.

The evaluation of airport use experience before using Mechanical Perspective-Taking (question 1)

먼저 질문 1에 대한 응답을 분석하여 추가 경험의 긍정/부정 조작이 성공했음을 알 수 있었다. 즉, 긍정적인 상황이 기다리는 경험이 부정적인 상황이 기다리는 경험에 비하여 긍정적으로 평가되었다. 긍정적인 경험이 더해진 공항 경험은 1인칭으로 게임을 시청했거나 3인칭으로 게임을 시청했거나 상관없이(1인칭 = 3.84, 3인칭 = 4.50), 부정적인 경험이 더해진 공항 경험에 비하여(1인칭 = 3.02, 3인칭 = 2.90) 더욱 긍정적이라고 생각했다(F(1.97) = 16.85, p < .01). 추가 경험을 조작하는 것은 입장을 바꾸는 조작과 상관이 없는 것으로 나타났다.

The degree of taking perspectives after using Mechanical Perspective-Taking (question 3)

다음으로, 질문 3에 대한 응답을 분석하여 동일한 자동차 경주 게임을 물리적으로 다른 시점에서 시청하는 것이 입장을 바꾸는 효과가 있음이 확인되어 1인칭/3인칭 조작이 성공했음을 알 수 있었다. 1인칭으로 게임을 시청한 참가자들은, 공항 이후의 경험이 긍정적이든 부정적이든 상관없이(긍정 = 3.02, 부정 = 4.61), 3인칭으로 게임을 시청한 참가자들에 비하여(긍정 = 2.32, 부정 = 2.30), 스스로 공항 이용자로서 경험했다는 응답이 높았다(F(1.50) = 4.44, p < .05). 입장을 바꾸는 조작은 추가 경험을 조작하는 것과 상관이 없는 것으로 나타났다.

결론적으로, 질문 1과 질문 3에 대한 응답은 실험에 사용된 두 개의 변수(진단가가 낮은 경험의 조작과 입장 바꾸기 조작)가 예상대로 조작되었음을 보여주었고, 특히 두 개의 변수가 서로 독립적으로 조작되었음이 밝혀져 실험의 오류가 없다는 점이 입증되었다.

The evaluation of airport use experience after using Mechanical Perspective-Taking (question 2)

마지막으로, 질문 2의 응답을 분석하여 입장을 바꾸는 것과 공항 이후의 경험을 조작하는 것 사이에 통계적으로 유의미한 상호작용(interaction effect)이 있다는 점이 발견되었다(F(1,97) = 3.36, p < .10). 먼저, 긍정적인 경험이 기다리는 공항 경험에 대해서는 1인칭으로 입장을 바꾼 그룹이 3인칭 그룹에 비하여 공항 경험을 낮게 평가했다(1인칭 = 3.96 vs. 3인칭 = 4.77). 이와 반대로 부정적인 경험이 기다리는 공항 경험에 대해서는, 1인칭으로 입장을 바꾼 그룹이 3인칭 그룹에 비하여 공항 경험을 높게 평가했다(1인칭 = 3.25 vs. 3인칭 = 2.96). 즉, 1인칭으로 입장을 바꾸는 경우에는, 기다리는 경험의 긍정/부정에 영향을 덜 받는다는 점을 확인할 수 있었다.

그러나 공항 이후의 경험을 긍정/부정으로 조작하는 것은 공항 경험에 여전히 영향을 끼치고 있었다(공항 이후 경험의 조작: F(1,97) = 17.69, p < .01). 즉, 입장 바꾸기와 상관없이, 긍정 경험이 기다리는 공항 경험은 부정 경험이 기다리는 공항 경험에 비하여, 긍정적으로 평가받는다는 점도 발견되었다.

다시 말해, 공항 이후의 경험을 조작하는 것은 공항 경험에 여전히 영향을 끼치고 있었다(공항 이후 경험의 조작: F(1,97) = 17.69, p < .01). 따라서, 부정적인 공항 이후 경험이 기다리는 공항 경험을 1인칭 시점에서 평가하는 것은 긍정적인 공항 이후 경험이 기다리는 공항 경험을 1인칭 시점에서 평가하는 것 보다는 부정적으로 평가받는다는 점도 밝혀졌다.

The evaluation of airport use experience after using Mechanical Perspective-Taking (question 2)

결론적으로, 3개의 변수에 대한 분석을 종합하면 다음과 같다. 사후 경험을 긍정/부정으로 조작하면 평가 대상이 되는 경험 평가가 긍정/부정으로 변하고(질문 1), 동일한 게임이라도 물리적으로 시점을 달리 제공하면 입장이 3인칭에서 1인칭으로 바뀔 수 있다(질문 3). 이처럼 추가 경험과 입장 바꾸기가 조작된 경우, 평가 대상이 되는 경험 평가가 달라질 수 있다. 즉, 물리적으로 시점을 바꾸어 1인칭의 입장이 되는 경우, 긍정 경험이 기다리는 경험을 덜 긍정적으로 평가하고(가설 1), 부정 경험이 기다리는 경험을 덜 부정적으로 평가한다는(가설 2) 점을 발견했다. 즉, 1인칭 시점으로 게임을 시청한 실험 그룹은 3인칭 시점으로 게임을 시청한 대조 그룹에 비하여, 공항 경험을 평가하는데 공항 이후의 긍정/부정 경험들에 영향을 덜 받는다는(평가에 있어서 추가 경험을 조작한 효과가 줄어든다) 사실을 발견함으로서, 물리적으로 입장을 3인칭에서 1인칭으로 바꾸면 사용자 경험과 관련 낮은(진단가가 낮은) 추가 경험들에 영향을 덜 받고 평가 대상이 되는 사용자 경험에만 집중할 수 있게 해 준다는 사실을 밝혀냈다.


4. 결론

사용자 경험 조사자는 사용자의 특정 경험뿐만 아니라 특정 경험 이후의 사용자 경험도 함께 고려하는 경향이 있다. 이에 따라 특정 사용자의 경험만을 평가할 때에는 오류가 발생할 수 있다. 따라서 사용자 경험 조사자가 특정 사용자 경험에 집중하기 위한 하나의 방법으로 물리적 입장 바꾸기를 제안하였다.

본 연구에서는 하나의 실험을 통하여, 물리적 입장 바꾸기의 사용자 경험 평가에 관한 효과를 검증하였다. 실험을 통하여, 물리적 입장 바꾸기는 경험 정보 취득의 초기단계에서 진단가가 낮은 경험을 통제함으로써, 공항을 이용한 이후에 이루어지는 긍정/부정 경험들이 공항 경험을 평가할 때 끼치는 영향을 줄여준다는 점을 확인했다. 이러한 결과를 통해, 물리적 입장 바꾸기는 사용자 경험과 직접적 관련이 없는 사후 행위들에 대한 사용자의 주관적 판단에 영향을 받지 않고 사용자 경험 자체에 집중할 수 있게 해 준다는 결론을 도출함으로써, 물리적 입장 바꾸기가 사용자 경험 조사에 도움을 준다는 점을 실험으로 증명했다.

Notes

Citation: Oh, D., & Joo, J. (2015). Effect of Mechanical Perspective-Taking Method on Evaluating User Experience. Archives of Design Research, 28(1), 219-231.

Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

References

  • Bevan, N. (2009, August). What is the difference between the purpose of usability and user experience evaluation methods. In Proceedings of the Workshop UXEM.
  • Davis, M. H., Conklin, L., Smith, A., &Luce, C. (1996). Effect of perspective taking on the cognitive representation of persons: a merging of self and other. Journal of personality and social psychology, 70(4), 713. [https://doi.org/10.1037//0022-3514.70.4.713]
  • Galinsky, A. D., &Moskowitz, G. B. (2000). Perspective-taking: decreasing stereotype expression, stereotype accessibility, and in-group favoritism. Journal of personality and social psychology, 78(4), 708-724. [https://doi.org/10.1037//0022-3514.78.4.708]
  • Gehlert, A., Braun, R., &Esswein, W. (2004). Temporal Aspects in Business Processes-An Application to E-Government. In EMISA, pp. 234-245.
  • Gilbert, D. T., & Malone, P. S. (1995). The correspondence bias. Psychological bulletin, 117(1), 21-38. [https://doi.org/10.1037//0033-2909.117.1.21]
  • Griffin, A., & Hauser, J. R. (1993). The voice of the customer. Marketing science, 12(1), 1-27. [https://doi.org/10.1287/mksc.12.1.1]
  • Hassenzahl, M. (2008). Hassenzahl, M. (2008, September). User experience (UX): towards an experiential perspective on product quality. In Proceedings of the 20th International Conference of the Association Francophone d'Interaction Homme-Machine (pp. 11-15).
  • Heider, F. (2013). The psychology of interpersonal relations. Psychology Press. [https://doi.org/10.1037/10628-000]
  • Jones, E., & Davis, E. (1965). From Acts to Dispositions: The Attribution Proces in Social Psychology. in L. Berkowitz (ed.), Advances in Experimental Social Psychology, 2, pp. 219-266, New York: Academic Press.
  • Kahneman, D. (1999). 1 Objective Happiness. Well-being: Foundations of hedonic psychology, 1.
  • Karapanos, E., Zimmerman, J., Forlizzi, J., & Martens, J. (2009). User Experience Over Time: An Initial Framework. In CHI 2009, April 4-9, Boston, Massachusetts, USA, ACM Press, pp. 729-738.
  • Kelley, H. H. (1967). Attribution theory in social psychology. In Nebraska symposium on motivation. University of Nebraska Press.
  • Kruger, J., & Evans, M. (2004). If you don't want to be late, enumerate: Unpacking reduces the planning fallacy. Journal of Experimental Social Psychology, 40(5), 586-598. [https://doi.org/10.1016/j.jesp.2003.11.001]
  • ermeeren, A. P., Law, E. L. C., Roto, V., Obrist, M., Hoonhout, J., &Väänänen-Vainio-Mattila, K. (2010, October). User experience evaluation methods: current state and development needs. In Proceedings of the 6th Nordic Conference on Human-Computer Interaction: Extending Boundaries (pp. 521-530). ACM.
  • Law, E. L. C. (2011, June). The measurability and predictability of user experience. In Proceedings of the 3rd ACM SIGCHI symposium on Engineering interactive computing systems (pp. 1-10). ACM. [https://doi.org/10.1145/1996461.1996485]
  • Law, E. L. C., van Schaik, P., & Roto, V. (2014). Attitudes towards user experience (UX) measurement. International Journal of Human-Computer Studies, 72(6), 526-541. [https://doi.org/10.1016/j.ijhcs.2013.09.006]
  • Meehl, P. E. (1971). What, then, is man?: A symposium of theology, psychology, and psychiatry (No. 3). Concordia Pub. House.
  • Obrist, M., Roto, V., &Väänänen-Vainio-Mattila, K. (2009, April). User experience evaluation: do you know which method to use?. In CHI'09 Extended Abstracts on Human Factors in Computing Systems (pp. 2763-2766). ACM. [https://doi.org/10.1145/1520340.1520401]
  • Obrist, M., Law, E.L-C., Vaananen-Vainio-Mattila, K., Roto, V., Vermeeren, A., & Kuutti, K. (2011). UX research-which theoretical roots do we build on - if any. In Extended Abstract CHI 2011.
  • Oh, D., & Joo, J. (2012). Perpective-Taking Method for User Experience Research. Journal of Korean Society of Design Science, 25(3), 234-245.
  • Patrício, L., Fisk, R. P., & E Cunha, J. F. (2008). Designing multi-interface service experiences the service experience blueprint. Journal of Service Research, 10(4), 318-334. [https://doi.org/10.1177/1094670508314264]
  • Regan, D. T., & Totten, J. (1975). Empathy and attribution: turning observers into actors. Journal of Personality and social Psychology, 32(5), 850-856. [https://doi.org/10.1037//0022-3514.32.5.850]
  • Pirker, M., & Bernhaupt, R. (2011). Providing Feedback to UX Designers Using UX Evaluation Methods. In CHI 2011, May, Vancouver, BC, Canada, 7-12.
  • Rohrer, C. (2008), Research methods by Data source vs. Approach vs. Context of Product Use. Retrieved May, 2014, from http://www.useit.com/alertbox/user-research-methods.html.
  • Roto, V., Obrist, M., & Väänänen-Vainio-Mattila, K. (2009, August). User experience evaluation methods in academic and industrial contexts. In Interact 2009 conference, User Experience Evaluation Methods in Product Development (UXEM'09), Uppsala, Sweden.
  • Roto, V., Law, E., Vermeeren, A. P. O. S., & Hoonhout, J. (2011). User experience white paper. Bringing clarity to the concept of user experience. Result from Dagstuhl Seminar on Demarcating User Experience, September 15-18 (2010).
  • Sako, M., McKenna, C., Molloy, E., & Ventresca, M. (2006, May). Grand Challenges in Services. In Proceedings of the GCS workshop held on 18, (p.19).
  • Schwarz, N., Bless, H., Strack, F., Klumpp, G., Rittenauer-Schatka, H., & Simons, A. (1991). Ease of retrieval as information: Another look at the availability heuristic. Journal of Personality and Social psychology, 61(2), 195-202. [https://doi.org/10.1037//0022-3514.61.2.195]
  • Shermer, M., & Marshall, J. C. (1997). Why People Believe Weird Things: Pseudoscience, Superstition, and Other Confusions of Our Time. REASON-SANTA BARBARA THEN LOS ANGELES-, 29, 62-64.
  • Smith, R. A., & Houston, M. J. (1985). A psychometric assessment of measures of scripts in consumer memory. Journal of Consumer Research, 12(2), 214-224. [https://doi.org/10.1086/208510]
  • Storms, M. D. (1973). Videotape and the attribution process: reversing actors' and observers' points of view. Journal of personality and social psychology, 27(2), 165. [https://doi.org/10.1037/h0034782]
  • Vermeeren, A. P., Law, E. L. C., Roto, V., Obrist, M., Hoonhout, J., & Väänänen-Vainio-Mattila, K. (2010, October). User experience evaluation methods: current state and development needs. In Proceedings of the 6th Nordic Conference on Human-Computer Interaction: Extending Boundaries (pp. 521-530). ACM. [https://doi.org/10.1145/1868914.1868973]
  • Walsh, T., Nurkka, P., Petrie, H., & Olsson, J. (2013, November). The effect of language in answering qualitative questions in user experience evaluation web-surveys. In Proceedings of the 25th Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration (pp. 73-82). ACM. [https://doi.org/10.1145/2541016.2541049]

Figure 1

Figure 1
Time span of user experience and the internal process (Roto, 2011)

Figure 2

Figure 2
Third-person perspective game video

Figure 3

Figure 3
First-person perspective game video

Table 1

5 Measures of UX qualities (Law, 2011)

사용자 경험 품질 요소 측정 방법 예시
감성(Affect) 척도 자가 평가 마네킹 척도
(Self-Assessment Manikin,SAM)
감정(Emotion) 정신생리학 심박수, 아이 트래킹
즐거움(Fun) 척도 게임 분류, 즐거움에 관한 기록
심미(Aesthetics) 척도 외적인 매력, 끌림
쾌락(Hedonic) 척도 사용자 감성 평가 질의항목 (AttrakDiff)
몰입(Flow) 척도 스포츠몰입상태척도(Flow State Scale-FSS)

Table 2

Requirement type scheme for analyzing the methods (Vermeeren, 2011)

속성 분류 예시
과학적 품질
(Scientific quality)
심리 측정 속성(Psychometric properties)을 기반한 평가
평가를 위한 관찰
(Scoping)
실제 환경에서의 다양한 UX 요인들을 다루는 평가
(예, 감정 유형)
실행 가능성
(Practicability)
사용성 (Usability), 실현가능성(feasibility), 동기(motivation)에 관한 평가
유용성
(Utility)
(각 이해관계자들에게 전달되는) 평가 결과의 유용함에 대한 평가
특화성
(Specificity)
명확한 영역이나 사용자 그룹에 초점을 맞춘 평가

Table 3

Differences between Perspective-Taking and Mechanical Perspective-Taking Method

구분 시점(perspective) 통제 특징
전통적인 입장 바꾸기
(Perspecrtive-Taking)
관찰자의 시점을
관찰자 스스로 통제함
행위자와 관찰자 간의 귀인 차를 줄이기 위한 기법
물리적 입장 바꾸기
(Mechanical Perspective-Taking)
관찰자의 시점이 강제적으로 통제됨 행위자와 관찰자 간의 귀인 차를 진단가 조절을 통해 확인하는 기법

Table 4

The evaluation of airport use experience before using Mechanical Perspective-Taking (question 1)

물리적 입장 바꾸기
1인칭 3인칭
공항 이후 경험 긍정 3.84 4.50 Main effect (F(1,97) = 16.85, P < .01)
부정 3.02 2.90
n.s. (not significant)

Table 5

The degree of taking perspectives after using Mechanical Perspective-Taking (question 3)

물리적 입장 바꾸기
1인칭 3인칭
공항 이후 경험 긍정 3.02 2.32 n.s. (not significant)
부정 4.61 2.30
Main effect (F(1,50) = 4.44, P < .05)

Table 6

The evaluation of airport use experience after using Mechanical Perspective-Taking (question 2)

물리적 입장 바꾸기
1인칭 3인칭
공항 이후 경험 긍정 3.96 4.77 Main effect (F(1,97) = 17.69, P < .01)
부정 3.25 2.96
n.s.
(not significant)
Interaction effect (F(1,97) = 3.36, P < .10)

Table 7

The evaluation of airport use experience after using Mechanical Perspective-Taking (question 2)

Source Sum of Squares df Mean Square F Sig.
Intercept 1396.887 1 1396.887 618.614 .000
공항 이후 경험 39.954 1 39.954 17.694 .000
물리적 입장 바꾸기 1.679 1 1.679 .744 .391
공항 이후 경험 *
물리적 입장 바꾸기
7.588 1 7.588 3.360 .070
Error
Total 219.035 97 2.258
1650.000 101