Archives of Design Research
[ Article ]
Archives of Design Research - Vol. 30, No. 3, pp.113-125
ISSN: 1226-8046 (Print) 2288-2987 (Online)
Print publication date 31 Aug 2017
Received 25 Apr 2017 Revised 26 Jul 2017 Accepted 26 Jul 2017
DOI: https://doi.org/10.15187/adr.2017.08.30.3.113

How Does Kinetic Interaction Change Gaming Experience in A Mixed Reality Environment?

LeeNarae ; 이나래 ; LeeYoungHo ; 이영호 ; LeeWoohun ; 이우훈
Department of Industrial Design, KAIST, Daejeon, Korea KAIST 산업디자인학과, 대전, 대한민국 Department of Industrial Design, KAIST, Daejeon, Korea AKA Intelligence, Seoul, Korea KAIST 산업디자인학과, 대전, 대한민국 아카 인텔리전스, 서울, 대한민국 Department of Industrial Design, KAIST, Daejeon, Korea KAIST 산업디자인학과, 대전, 대한민국
혼합현실환경에서 역학적 상호작용은 게임경험을 어떻게 변화시키나?

Correspondence to: Woohun Lee woohun.lee@kaist.ac.kr

Background Video games are usually played only in a virtual world. However, developments in mixed reality and shape-changing user interface have started to bridge the gap between the virtual game and the physical world via kinetic interaction. We incorporated kinetic interaction based on mixed reality (MR) into the game content and we investigated how kinetic interaction based on MR changes users’ gaming experience.

Methods We built an MR-based game environment with kinetic interactions (kinetically dynamic game, KDG) utilizing a shape-changing tabletop and we developed a counterpart game without kinetic interactions (kinetically static game, KSG). Ten groups of two participants were required to play by alternating their roles in offense and defense in KDG and KSG, respectively. In the experiment, we measured participant’s degree of concentration with a functional near infrared spectroscopy (FNIRS) system and an arousal level with a heartbeat rate analyzer. Gaming scenes were recorded to investigate the relationships between micro-interactions in the game and participants’ excitement. We asked participants to answer the In-Game Experience Questionnaire (iGEQ) after they played a game three times in each condition.

Results The players with an offensive role controlled a virtual character in both KDG and KSG. They did not show any significant differences across experiment conditions. On the other hand, players with a defensive role in KDG could perform kinetic interactions, leading them to experience a more positive affect and immersion in the game than players in KSG.

Conclusion The experiment results indicated that kinetic interactions in a mixed reality environment can enhance users’ gaming experience. We found practical potentials of kinetic interaction in a mixed reality game environment.

초록

연구배경 통상 게임은 가상세계의 것이었다. 하지만 최근 혼합현실과 형태변형 인터페이스 기술의 발전으로 가상의 게임 콘텐츠와 실제 세계가 역학적 상호작용을 통해 접점을 갖게 되었다. 우리는 혼합현실 기반 역학적 상호작용을 게임 콘텐츠에 적용할 경우 그것이 게임 경험에 어떠한 영향을 미치는지 알아보고자 했다.

연구방법 우리는 형태변형 테이블톱을 이용해 역학적 상호작용이 가능한 혼합현실 게임 환경(KDG)을 만들었고, 대조실험조건으로 동일한 게임 콘텐츠에 역학적 상호작용이 없는 실험환경(KSG)을 조성하였다. 20명의 실험참가자는 2인 1조로 나누어 KDG와 KSG에서 각각 공격과 방어 역할을 번갈아 수행하며, 전부 4가지 조건을 경험하게 했다. 게임을 수행하는 도중 FNIRS를 이용해 주의집중 정도를 측정하고 심박수를 측정하여 각성정도를 파악했다. 또한 게임하는 과정을 비디오 녹화하여 게임에서 미세 상호작용과 표정변화 사이의 관계를 분석했다. 아울러 각 조건별로 3회씩 게임을 수행하게 하고 iGEQ를 이용해 실험참가자에게 게임경험에 대한 주관적 평정을 실시하게 했다.

연구결과 공격 역할을 수행하는 플레이어의 경우 모든 조건에서 가상 캐릭터를 조정하여 게임을 했기 때문에 KSG와 KDG 사이에서 명확한 차이를 보이지 않았다. 하지만 방어 역할을 담당한 플레이어의 경우 KDG 조건에서 실제 캐릭터로 직접 역학적 상호작용을 만들었기 때문에 가상 캐릭터를 조작한 KSG 상황에 비해 긍정적 감성과 흥미 차원에서 유의하게 향상된 게임 경험을 한 것으로 나타났다.

결론 실험을 통해 혼합현실 게임 환경에서 역학적 상호작용이 사용자 경험을 긍정적으로 향상시킬 수 있음을 알았다. 이 연구를 통해 우리는 역학적 상호작용 혼합현실 게임이 실질적 가능성을 내포하고 있음을 확인할 수 있었다.

Keywords:

Kinetic Interaction, Mixed Reality, Gaming Experience, 역학적 상호작용, 혼합현실, 게임경험

1. 연구배경

1940년대 컴퓨터가 등장한 이래 우리는 아날로그 세계에서 하던 활동을 디지털 세계로 옮기기 위해 부단히 노력해왔다. 문서편집, 그림 그리기, 프리젠테이션, 메일 교신, 정보공유, 쇼핑, 소셜 네트워킹 등 인간의 대부분 활동은 컴퓨터 스크린 속에서 가능하게 되었다. 기술발달덕분에 이제 스크린 속 가상세계에서 불가능한 일이란 거의 없다. 하지만 사용자에게 있어 스크린 속 가상세계는 정보를 파악하기 어렵고 직관적인 조작에 어려움을 겪는 경우가 적지 않다. 이런 이유 때문에 1990년대 중반에 접어들며 우리는 역으로 디지털 정보를 실제세계로 침투시키고자 노력하기 시작했다.

Mark Weiser(1991)는 편재적 컴퓨팅(ubiquitous computing)의 개념을 제창하였고, 선구적인 인간-컴퓨터 상호작용(Human- Computer Interaction, HCI) 연구자들은 가상의 컴퓨팅 세계와 현실의 물리적 세계와의 경계를 없앰으로써 보다 직관적인 상호작용을 구현하기 위해 노력했다. Fitzmaurice 등(1995)의 그래스퍼블 유저 인터페이스(graspable user interface), Ishii 등(1997)의 탠저블 유저 인터페이스(tangible user interface)와 형태변형 인터페이스(shape-changing interface), Rekimoto 등(1997, 1999)의 실세계지향 인터페이스(real-world oriented interface)와 증강현실(augmented realty), Goldstein 등(2005)의 클레이트로닉스(Claytronics) 등의 개념이 대표적인 사례들이다. 이런 선구적 연구의 등장으로부터 최근에 이르기까지 HCI 분야에서는 스크린상의 가상성(virtuality)을 극복하기 위해 직관적 물리성(physicality)을 추구하는 흐름이 있었다.

1958년 미국 브룩헤이븐 연구소의 William Higinbotham(2015)이 아날로그 컴퓨터와 실험용 오실로스코프를 전용하여 테니스 포 투(Tennis for two)라는 최초의 비디오 게임을 만들었다. 그 후 게임은 전 세계적으로 큰 산업으로 성장하였고 디지털 기술의 발달과 함께 비약적인 진화를 거듭했다. 게임이 탄생하고 약 60년이 지난 현재 고성능 스마트폰의 보급으로 가상현실과 증강현실 게임 콘텐츠도 일반화되었으며, 사람들은 게임을 통해 예전과는 다른 높은 수준의 시각적 몰입감과 임장감을 경험할 수 있게 되었다.

앞으로 게임에는 어떤 진화의 가능성이 있을까? HCI 분야 연구에서 그간 추구해온 상호작용에서 물리성 확장이 하나의 답이 될 수도 있을 것이다. 본 연구는 물리성 확장을 위해 혼합현실 환경에서 역학적 상호작용(kinetic interaction)을 구현하고 이것이 디지털 게임 콘텐츠와 만났을 때 어떤 새로운 사용자 경험을 만들어낼 수 있는지에 대해 탐구하고자 하였다.


2. 역학적 상호작용과 디지털 콘텐츠의 만남

2. 1. 혼합현실과 역학적 상호작용

우리는 일상에서 매순간 역학적 상호작용을 경험한다. 물체가 힘을 받으면 운동을 시작하고, 다른 물체에 충돌하거나 마찰하면 속도가 떨어지며 에너지가 물체사이에서 전달되는 일련의 물리현상들이 모두 역학적 상호작용이다. 인터랙션 디자인에서 역학적 상호작용에 대한 일반적 정의는 없다. 본 연구에서는 질량을 갖는 물체들이 힘에 의해 운동을 만들어냄으로써 서로 영향을 주고받는 물리현상을 역학적 상호작용이라고 정의한다. 게임에서는 이런 현상을 물리엔진(physics engine)으로 계산하여 화면에 표시해주기 때문에 우리는 놀라운 실재감을 느낄 수 있다. 그런데 컴퓨터 화면 속이 아니라 실제세계에서 역학적 상호작용을 게임의 요소로 활용할 수는 없을까?

이 주제는 컴퓨터로 만든 가상 오브젝트와 실제 오브젝트 간의 공간적 정합(registration)을 기반으로 하는 혼합현실(mixed reality, MR)영역에서 주로 연구되어 왔다. Aoki 등(2005)이 제안한 Kobito라는 프로젝트에서 테이블 위에 찻통을 놓으면 작은 가상 요정들이 나타나 밀고 다닌다 (Figure 1의 좌측). 테이블 위에 놓인 카메라가 찻통의 위치를 파악하고, 가상 요정들의 움직임에 맞추어 테이블 밑에는 XY 이송장치가 자력으로 찻통을 움직인다. 사람들은 테이블 옆에 놓인 디스플레이를 통해서 가상과 실제가 합성된 놀라운 장면을 감상할 수 있다. IncreTable(Leitner et al., 2008)은 보다 다양한 물리적 오브젝트 간의 역학적 상호작용을 포함한다. 사람들은 테이블에 실제 도미노를 세우고 그 끝에 포털을 위치시킬 수 있다. 도미노가 연속적으로 넘어져 포털에 다다르면 포털은 도미노의 넘어짐을 감지하고 포털 반대쪽에 프로젝션되어 있는 가상 도미노를 연속해서 넘어뜨린다. 사용자는 테이블 위 원하는 위치에 실제와 가상 도미노를 위치시키고, 다른 오브젝트들을 올려놓아 지형을 바꾸기도 하며, 골드버그장치와 같은 풍부한 역학적 상호작용을 디자인하고 감상할 수 있다 (Figure 1의 중앙). Room Racers(van Velthoven, 2012)에서는 사람들이 방안에 있는 물건들을 플로어 위에 늘어놓아 자동차가 경주하는 레이싱 서킷을 만든다. 천정에 위치한 카메라가 사물들의 위치를 실시간으로 파악하기 때문에, 자동차가 오브젝트에 출동하면 그 역학적 상호작용을 시뮬레이션하여 프로젝터로 플로어 위에 표시한다 (Figure 1의 우측). 사용자는 리모트 컨트롤로 가상의 차를 운전하여 일상 사물로 만든 모형 레이싱 서킷에서 박진감 있는 게임을 즐길 수 있다.

Figure 1

Kobito(left), IncreTable(middle), and Room Racers (right)

우리는 실제 사물 사이나 가상 오브젝트간의 역학적 상호작용에 대해서 이미 익숙하다. 하지만 가상과 실제 오브젝트 사이의 상호작용을 일상에서 경험하기는 어렵다. 따라서 상기한 3 가지 프로젝트에서 가상과 실제 오브젝트 사이의 역학적 상호작용을 목격했을 때 마술과 같은 신기함을 느끼게 된다. 이런 마술적 경험(magical experience)을 일으키는 상호작용은 게임 콘텐츠 디자인에 잘 활용될 수 있을 것이다. 그런데 문제는 역학적 상호작용을 구현하기 위해 실제 오브젝트를 움직이는 것이 그렇게 간단하지 않다는 것이다.

2. 2. 형태변형 테이블톱을 이용한 역학적 상호작용 구현방법 탐색

이런 문제를 해결하기 위해 우리는 형태변형 테이블톱 (shape- changing tabletop)에 주목하게 되었다. 형태변형 테이블톱은 통상 2차원 핀 배열을 갖고 각 핀이 상하로 움직이며 3차원 형태를 표시한다. 컴퓨터 스크린이 광학적 화소로 2차원 이미지를 표시하는데 반해, 형태변형 테이블톱은 물리적 픽셀이 실제 3차원 형상을 나타낸다. 아직 초보적이기는 하지만 Lumen(Poupyrev et al., 2004), Relief(Leithinger & Ishii, 2010), MoleBot(Lee et al., 2011), inFORM(Follmer et al., 2013) 등과 같이 다양한 핀스크린 기반 형태변형 테이블톱이 제안되었다 (Figure 2). 이 중에서 MoleBot과 inFORM은 디스플레이의 해상도가 충분히 높아 테이블 위에 놓여 있는 물리적인 오브젝트와 역학적 상호작용을 기반으로 하는 다양한 응용들을 제안했다 (Figure 2의 아래). 이 두 연구는 상기한 Kobito나 IncreTable에 비해 물리적 오브젝트에 대해 훨씬 풍부한 역학적 상호작용성(kinetic interactivity)을 갖는다. 우리는 MoleBot 테이블을 이용하여 역학적 상호작용이 가능한 새로운 형식의 테이블톱 혼합현실 게임을 개발하여 연구를 수행했다.

Figure 2

Lumen(top left), Relief (top right), MoleBot(bottom left), and inFORM(bottom right)


3. 역학적 상호작용 기반 혼합현실 게임 개발

서론에서 언급한 바와 같이 본 연구는 디지털 콘텐츠인 게임에 역학적 상호작용을 적용할 경우 사용자 경험에 어떤 영향을 미치는지에 초점을 맞추고 있다. 하지만 디지털 가상 세계가 아니라 현실 세계에서 역학적 상호작용을 구현하는 것은 상당히 어렵고 아직 초보적인 연구단계다. 우리는 MoleBot 테이블 (vimeo.com/24155036)을 연구에 활용하기로 했다. MoleBot 테이블은 상하로 움직이는 15,000개의 물리적인 픽셀로 이루어진 가로와 세로 길이가 각각 70cm인 테이블이다. 현재까지 개발된 형태변형 테이블톱 중에서 가장 높은 해상도와 넓이를 갖고 있다. 형태변형으로 표시할 수 있는 3차원 형상이 오직 두더지 무덤(molehill, 본 논문에서는 두더지라고 약칭함)과 같은 약 5cm 가량의 범프(bump)뿐이라는 단점이 있다. 하지만 사용자는 두더지를 움직여 테이블 위에 놓인 사물과 상당히 정교한 역학적 상호작용이 가능하기 때문에 실험용 플랫폼으로 적절하다고 판단했다. Sony PS Vita용 게임 Little Deviants(GameSpot, 2011)와 거의 유사한 게임이 현실 공간에서 가능한 것이다.

3. 1. 실험용 게임 하드웨어 개발

우리는 MoleBot 테이블에 2인용 대전 경쟁 게임 2종을 개발했다. 한 쪽은 역학적 상호작용이 존재하는 게임이고 다른 하나는 없는 것이다. MoleBot 테이블 위에는 Room Racers와 같이 작은 물건들을 올려 자유롭게 배열할 수 있다. 게임 도중 두더지가 움직이면 물리적인 실제 오브젝트들은 어디로든 이동이 가능하다. 또한 가상 플레이어 캐릭터나 가상 오브젝트는 실제 오브젝트에 부딪치는 등 역학적인 상호작용이 가능하다. 이를 구현하기 위해 우리는 MoleBot 테이블 표면으로부터 약 1.5미터 상단에 마이크로소프트 Kinect와 빔 프로젝터를 설치했다. Kinect는 테이블에 놓인 오브젝트의 위치를 실시간으로 파악하여 가상 플레이어 캐릭터나 가상 오브젝트와의 역학적 상호작용을 모사할 수 있게 하였다. 플레이어들은 조이스틱을 이용해 캐릭터를 움직이며 게임을 할 수 있다.

실험환경은 동적 게임(kinetically dynamic game, KDG)과 정적 게임(kinetically static game, KSG) 두 가지로 구분된다 (Figure 3)

Figure 3

Kinetically static game environment(top) and kinetically dynamic game environment(bottom)

KDG(Figure 3의 aFigure 4)는 하나의 물리적인 플레이어 캐릭터(두더지)를 갖는다. 플레이어는 두더지를 움직여 실제 오브젝트를 움직일 수 있기 때문에 역학적으로 동적인 게임 환경을 만든다. 이 환경에서 두더지와 실제 오브젝트들은 가상 캐릭터나 가상 오브젝트들과 풍부한 역학적 상호작용이 가능하다.

KSG(Figure 3의 b)는 두더지가 물리적 플레이어 캐릭터에서 가상 캐릭터로 대체된 것으로 제외하고 KDG와 완전히 동일하다. 공격과 방어를 담당하는 두 가상 캐릭터(경주용 자동차와 두더지)와 가상 오브젝트 그리고 가상 아이템들이 테이블 면에 프로젝터로 투사된다. 가상 캐릭터인 두더지가 실제세계에서 역학적으로 어떠한 움직임도 만들어내지 않는다. 따라서 물리적인 오브젝트들은 전혀 움직이지 않고 장애물 역할만 하기 때문에 Room Racers와 거의 유사한 혼합현실 게임 환경이라고 할 수 있다. 물론 플레이어는 본인의 취향에 맞게 테이블 위에 있는 물리적 오브젝트를 재배치할 수 있다.

Figure 4

Scene from KDG(kinetically dynamic game) condition

3. 2. 실험용 게임 콘텐츠 개발

실험용 게임 콘텐츠 개발을 위해 우리는 Unity라는 게임엔진을 이용했다. Kinect에서 실시간으로 스캔하는 MoleBot 테이블 위의 3차원 지형정보와 물리 시뮬레이션 알고리즘을 바탕으로 캐릭터와 오브젝트 사이의 역학적 상호작용을 계산하고 시각화하게 했다. 우리는 역학적 상호작용 구현을 위해 실제 캐릭터(두더지/physical player character, PC), 가상 캐릭터(virtual player character, VC), 실제 오브젝트(physical object, PO), 가상 오브젝트(virtual object, VO)간의 유효한 역학적 상호작용을 Table 1과 같이 정의했다. 작용체와 반작용체의 관계로 볼 때 실제 캐릭터와 오브젝트는 가상 캐릭터와 오브젝트에 영향을 미치지만, 역방향은 역학적으로 유효하지 않도록 설계하였다. 즉 가상 캐릭터나 오브젝트는 실제 캐릭터나 오브젝트를 움직일 수는 없고, 다른 가상 캐릭터나 오브젝트에만 경우에 따라 역학적 영향을 줄 수 있게 하였다.

실험용 콘텐츠는 2인용 대전 경쟁 게임으로 개발하였다. KSG의 경우 경주용 자동차와 두더지 두 개의 가상 플레이어 캐릭터가 등장한다. 반면 KDG의 경우 두더지라는 실제 물리적 캐릭터 하나와 경주용 자동차라는 가상 캐릭터 하나가 등장한다. MoleBot 테이블이 동시에 2개의 물리적 플레이어 캐릭터(두더지)를 지원하지 않기 때문에 경주용 자동차와 두더지가 서로 공격과 방어를 하는 비대칭 게임의 형식으로 개발하였다.

KDG에서 두더지가 물리적인 오브젝트를 옮길 수 있다는 것을 제외하고, KSG와 KDG의 게임 룰은 동일하다. 경주용 자동차는 테이블 위에서 장애물(실제 또는 가상 오브젝트)을 피해 움직이며 정해진 시간 내에 주 아이템을 10개를 획득하면 게임에서 승리한다. 두더지를 움직이는 플레이어는 경주용 자동차가 아이템을 얻지 못하도록 가상 오브젝트를 움직여 방어벽을 설치한다. 경주용 자동차는 공격을, 두더지는 방어의 역할을 수행한다. 게임은 플레이어에게 두 종류의 파워업 아이템(power-up item)을 제공한다. 하나는 자동차를 위한 연료보충 아이템이고 다른 하나는 두더지를 위한 얼음 아이템이다. 두더지가 얼음 아이템을 획득하면 일시적으로 자동차의 움직임이 정지하고, 플레이어는 자동차의 움직임을 방해할 수 있는 방어벽을 설치할 여유시간을 제공받는다. 방어를 담당하는 플레이어는 테이블 위에 놓여있는 실제 오브젝트들을 자신이 원하는 대로 배치할 수 있다. 하지만 게임 도중 손으로 오브젝트를 옮기는 것은 금지하였다. 따라서 게임 중에 실제 오브젝트를 옮기는 것은 KDG 조건에서 두더지를 컨트롤하는 플레이어만 가능했다.


4. 실험방법

4. 1. 실험설계

역학적 상호작용이 게임경험에 어떤 영향을 미치는지 연구질문에 답하기 위해 KDG와 KSG에서의 게임 경험을 비교하는 방식으로 실험을 디자인했다. 또한 비대칭 게임이기 때문에 조작하는 캐릭터의 역할(공격과 방어)이 게임 경험에 어떠한 영향을 미치는지도 동시에 알아보았다. 즉 게임의 종류 2 종류(KDG와 KSG) 그리고 플레이어 캐릭터의 역할(공격과 방어) 2 종류에 대해 실험자내 완전요인설계(within-subject factorial design)를 실시하여 Table 2와 같이 총 4가지 실험조건을 생성하였다. 실험조건 제시 순서는 무선화하여 순서효과를 없애고자 했다.

Action-reaction matrix between game components

2*2 within-subject factorial design for the experiment

4. 2. 실험방법

우리는 총 20명의 실험참가자(평균연령:27.6세, 남성 9명)를 모집하여 2인 1조로 팀을 구성했다. 각 팀은 무선화된 순서에 의해 4가지 조건의 게임을 모두 플레이하도록 했다. 예를 들어 KDG에서 한 명이 공격 역할을 하면 다른 한 명은 방어 역할을 하고, 그 다음에는 서로 역할을 바꾸어 플레이를 하는 것이다. 게임 종류를 KSG로 전환해서도 서로 역할을 바꾸며 2가지 조건을 경험하게 된다. 2인 1조의 실험참가자 그룹은 우선 게임의 룰과 조작방법에 대한 설명을 듣고 연습 세션을 거치게 했다. 그런 다음 각 조건 당 3번씩 플레이를 하게 했다.

우리는 실험을 수행하며 3 종류의 데이터를 수집했다. 우선 게임경험에 대한 주관평가를 위해 iGEQ(in-game Game Experience Questionnaire/ Ijsselsteijn et al., 2013)를 활용했다. 각 조건 당 3번의 태스크 수행을 마치고, 다음 조건으로 전환하기 전에 팀원 2인에 대해 각각 iGEQ 설문을 실시했다. 다음은 기능적 근적외선분광법(Functional near infrared spectroscopy, FNIRS) 기기인 Spectratech OEG-16로 게임도중 주의집중에 의한 실험참가자의 뇌활성도(브로드만 영역 10번)변화를 측정했다. 아울러 펄스센서 모듈(pulsesensor.com)을 이용해 참가자의 각성상태를 파악하기 위해 심박수도 측정했다. 마지막으로 게임 도중 참가자들의 표정과 행동변화를 기록하기 위해 모든 세션을 비디오로 녹화하였다.

FNIRS와 심박수 데이터 수집은 장비의 수가 제한적이어서 한 팀의 실험 참가자중 한 명만을 무작위로 골라 실시했다. 실험조건을 동일하게 유지하기 위해 피측정자 외 다른 참가자에게는 유사한 무게와 크기의 측정장비 모형을 머리와 손가락에 착용하고 실험에 임하게 했다.

모든 실험을 마친 후 팀별로 종합 인터뷰를 약 20분간 실시하였다. 전통적인 게임과 비교하여 본 연구에서 제안한 새로운 게임의 특징과 장단점에 대해 다양한 의견을 수집하였다.

4. 3. 실험결과 분석방법

FNIRS은 적외선을 이용하여 전전두엽의 활성도를 헤모글로빈의 산화정도로 측정하는 방법이다. 주의집중을 담당하는 영역인 브로드만 10번 영역을 측정하는 Spectratech OEG-16의 채널 6번과 9번의 산화도 데이터를 수집했다. 호흡 및 움직임 요소를 배제하기 위해 MATLAB으로 데이터 처리과정을 거친 후 각 조건별 평균값을 도출하여 실험결과로 활용하였다.

실험과정에 대한 비디오 녹화 데이터는 실험참가자인 게임 플레이어의 리액션을 포함하고 있다. 우리는 2명의 연구보조원을 고용해 플레이어의 표정이 변하거나 소리를 내는 등 명확히 흥분하는 리액션이 있는 경우를 찾도록 요청했다. 2명이 독립적으로 리액션을 분석한 결과 96%의 일치도를 보였고, 양자의 응답이 일치한 상황만을 대상으로 흥분 반응에서 게임 요소 간에 어떤 미세 상호작용(micro interaction)이 있었는지 Table 1의 행렬표에 의거하여 분석하였다.


5. 실험결과

5. 1. 게임경험에 대한 주관적 평가결과

iGEQ 7가지 평가차원에 대한 Friedman 테스트 결과 긍정적 감성(positive affect), 몰입(flow), 흥미(sensory and imaginative immersion)에 대해 게임의 유형과 플레이어의 역할이 유의미한 효과를 미치는 것으로 나타냈다 (χ2(3)=10.075, p=0.018; χ2(3)=9.130, p=0.028; χ2(3)=9.664, p=0.022). 사후검정(Wilcoxon 순위검정) 결과, 긍정적 감성 차원의 경우 KDG/방어와 KSG/방어, KDG/공격과 KSG/방어와 사이에 유의한 차이가 발견되었다 (z=2.762, p=0.006, 양방검정; z=2.635, p=0.008, 양방검정). 흥미 차원의 경우 KDG/방어와 KSG/방어 사이에서도 유의차가 발견되었다 (z=2.676, p=0.007, 양방검정). 전반적으로 역학적 상호작용이 있는 KDG 상황이 플레이어들로부터 긍정적 감성과 흥미를 더 유발했고, 역학적 상호작용이 없는 KSG에서 두더지로 방어의 역할을 할 경우 상기한 3가지 차원에서 저조한 경험을 보였다.

Figure 5

Results of iGEQ evaluation (error bar: standard deviation)

Figure 6

Results of FNIRS test (error bar: standard deviation)

Figure 7

Results of heartbeat rate analysis of participants (error bar: standard deviation)

5. 2. 생리적 반응에 대한 분석결과

생리적 반응으로 게임도중 플레이어의 주의집중을 측정한 FNIRS와 각성상태를 알려주는 심박수를 측정하여 분석하였다. FNIRS의 경우 Friedman 테스트 결과 게임 종류와 플레이어 역할이 주의집중 정도에 유의한 영향을 미치고 있음을 알 수 있었다 (χ2(3) = 17.760, p < 0.0005). 사후검정(Wilcoxon 순위검정) 결과, KDG/방어와 KSG/방어, KDG/공격과 KSG/방어 사이에 유의차가 있음을 확인할 수 있었다 (z=2.701, p=0.007, 양방검정; z=2.803, p=0.005, 양방검정). 즉, 역학적 상호작용이 있는 게임 환경(KDG)에서 플레이어들이 더 주의집중을 하였고, KSG에서 가상 두더지로 방어역할을 할 때 덜 집중하는 상태임을 알 수 있었다.

심박수의 경우 Friedman 테스트 결과 실험조건이 유의한 효과를 미치는 것으로 나타났다 (χ2(3) = 12.818, p = 0.005). 사후검정(Wilcoxon 순위검정) 결과, KDG/방어와 KSG/방어 사이에 유의차가 있음을 알 수 있었다 (z=2.666, p=0.008, 양방검정). 두 종류의 생리적 반응에서 공통적으로 발견되는 특징은 두더지로 방어 역할을 하는 플레이어가 역학적 상호작용이 있는 KDG 상황에서 상대적으로 더 주의집중하고 각성한다는 것이다.

Figure 5의 iGEQ 평가결과에서도 알 수 있듯이 난이도(challenge)차원에서 유의차는 없지만, 실제 두더지로 플레이한 KDG/공격 조건에서 상대적으로 높은 점수를 나타냈다. 상기한 실험결과는 이와 같은 iGEQ 설문결과와도 궤를 같이 하는 것으로 보인다.

Figure 8

Frequency of excitement according to the game conditions (error bar: standard deviation)

Frequency of excitement based on action-reaction matrix

5. 3. 표정변화에 의한 분석결과

각 실험참가자 팀의 흥분반응 빈도를 게임 종류(KDG/KSG) 별로 카운트한 결과 그림 8의 결과를 얻었다. 역학적 상호작용이 있는 KDG에서는 평균 39.0회(표준편차: 16.7) 그리고 KSG에서는 18.4회(표준편차: 8.6)를 기록하여 Wilcoxon 순위검정결과 두 조건 간에 유의차가 발견되었다 (z=2.809, p=0.005, 양방검정).

우리는 흥분반응을 게임 요소 간 작용-반작용 행렬표에 의거해 세분한 결과, 표3과 같은 결과를 얻을 수 있었다. KDG의 경우 실제와 가상 캐릭터(PC와 VC)가 만든 액션에 실제와 가상 오브젝트(PO와 VO)들이 리액션하는 경우 또는 실제 캐릭터(PC)가 가상 캐릭터(VC)에 영향을 주는 경우 플레이어의 흥분반응을 관찰할 수 있었다. 특히 PC와 PO 사이(164회/42.1%), PO와 VC사이(115회/29.5%), PC와 VC 사이(63회/16.2%)에서 흥분반응이 많이 나타났다. 방어를 담당하는 PC(두더지)가 직접 VC(자동차)를 가로막거나 또는 PO를 매개로 VC를 방어할 때 뚜렷한 흥분반응을 보였다. 한편 KSG 조건의 경우 VC와 VC 사이(100회/54.3%)와 VC와 VO 사이(61회/33.2%)에서만 흥분반응이 나타나 흥미로운 상황이 한정적임을 알 수 있었다.


6. 고찰

실험을 마친 후 참가자를 대상으로 한 인터뷰에서 몇 가지 공통적인 반응을 확인할 수 있었다. 그 중 하나가 실제 캐릭터인 두더지를 움직여 실제 오브젝트를 움직일 때 겪는 어려움에 대한 것이었다. “실제 두더지가 블럭을 움직일 수 있다는 게 게임을 복잡하게 만든 것 같아요.”(8번 팀 1번 참가자) “프로젝션으로 있는 거는 내가 생각한대로 가상 두더지를 움직였을 때 이 박스가 그래도 좀 생각한대로 움직이는 것 같았거든요? ... 근데, 실제 두더지는 지나간다고 해서 이렇게 다 밀리는 게 아니고, 내가 생각한대로 움직이기가 조금 더 힘들었거든요.”(1번 팀의 1번 참가자)

이런 어려움이 iGEQ의 난이도(challenge)차원에서 KDG/방어가 상대적으로 높은 값(고난도)을 보였지만, 몰입(flow)과 흥미(immersion)차원에서 높은 값을 나타내어 게임 경험을 향상하고 있는 것으로 나타났다. "자동차 역할(가상 캐릭터)을 할 때는 이게 있을 때나 없을 때나 느낌이 비슷했어요. 근데, (두더지를 조작할 때는) 내가 생각한 거랑 조금은 다르게 움직이잖아요. 아무도 예측을 똑 같이 못하잖아요. 그러니까 그런 게 좀 재미있었어요.”(2번 팀 2번 참가자) 유사한 맥락에서 KDG의 두더지가 제공하는 실체감이 게임에서 플레이어에게 좀 더 몰입감을 유발한다는 반응들도 있었다. “실질적으로 움직이는 것도 보이고 소리도 들리니까, 조금 더 플레이에 집중할 수 있는 것 같아요.”(8번 팀의 2번 참가자) “훨씬 더 역동적이었던 것 같고 ... 진짜 방해받는 것 같고, 그래서 진짜 저 두더지를 넘어야 할 것 같고.”(10번 팀의 1번 참가자)

형태변형 테이블톱에서 물리적 플레이어 캐릭터가 만들어내는 풍부한 역학적 상호작용은 화면 속 가상 게임과는 달리 공간적 실체감이 있고 더 낮은 예측가능성을 보였다. 이로 인해 비록 KDG에서 게임의 난도는 다소 높아졌지만 플레이어들은 게임에 더 몰입하고 열광하는 반응을 보였던 것으로 해석된다.

자동차로 공격을 담당하는 플레이어의 경우 둘 다 가상 캐릭터로 게임을 했기 때문에 KSG와 KDG 사이에서 명확한 차이를 보이지 않았다. 하지만 두더지로 방어역할을 하는 플레이어의 경우 KSG보다는 KDG에서 유의미하게 향상된 게임 경험을 하고 있는 것으로 보였다. 즉 역학적 상호작용을 만들어 내는 플레이어가 게임에 더 몰입하고 흥미를 갖으며 긍정적인 반응을 보이는 것으로 해석할 수 있다.

KSG는 Room Racers와 거의 유사한 시스템 설정을 갖는 혼합현실 게임이다. 마이크로소프트의 Kinect나 HoloLens와 같은 실시간 3차원 스캔기술이 발전함에 따라 혼합현실 게임은 근미래 다양하게 실용화될 전망이다 (Izadi et al., 2011; Chen et al., 2015). KDG는 여기에 역학적 상호작용을 추가한 혼합현실 게임이다. 동일한 게임이라도 역학적 상호작용을 추가함에 따라 플레이어의 게임경험을 상당히 향상시키실 수 있음을 실험을 통해 알 수 있었다.


7. 결론

모바일 컴퓨팅 기술의 발전으로 혼합현실 게임은 점점 현실로 다가오고 있다. 통상 혼합현실 게임에서 가상 요소들은 동적이고 물리적 환경은 수동적이다. 본 연구는 MoloBot이라는 형태변형 테이블톱을 활용해 게임에 역학적 상호작용성을 부여했을 때 사용자 경험에 어떤 변화가 발생하는지 실험을 통해 알아보았다.

연구결과 전반적으로 역학적 상호작용이 있는 KDG에서 플레이어들은 게임에 상대적으로 더 흥미를 느끼며 긍정적인 반응을 보였다. 실험참가자의 주관적인 평정과 생리적 반응에서 모두 일관성 있는 결과를 얻었다. 그 중에서 특히 역학적 상호작용을 만들어 방어역할을 수행했던 KDG 플레이어의 경우 가상 캐릭터로 동일한 역할을 수행했던 KSG 플레이어와 비교했을 때 게임 경험이 유의하게 향상되었음을 알 수 있었다. 즉 역학적 상호작용이 게임 경험에 긍정적인 영향을 미친 것이다.

본 연구에서 게임에서 역학적 상호작용을 구현하기 위해 활용한 것은 형태변형 테이블톱 기술이었다. 현 단계의 기술은 우리가 상상하는 역학적 상호작용을 충분히 구현하기에는 한계가 있었다. 본 연구에서 2명의 플레이어가 공격과 방어를 각각 담당하도록 비대칭 게임을 만들어 연구를 수행했던 것도 그런 이유에서다. 향후 관련기술이 발전한다면 이런 제한을 극복하고 좀 더 풍부한 역학적 상호작용이 가능한 게임을 대상으로 심화된 연구가 가능할 것을 기대한다.

Acknowledgments

This work was supported by the National Research Foundation of Korea Grant funded by the Korean government (NRF-2013S1A5A01018733)

Notes

Citation : Lee, N., Lee, Y., & Lee, W. (2017). How Does Kinetic Interaction Change Gaming Experience in A Mixed Reality Environment?. Archives of Design Research, 30(3), 113-125.

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

References

  • Aoki, T. (2005). Kobito-Virtual Brownies-Art and Science. In Proceedings of SIGGRAPH'05 ACM SIGGRAPH 2005 Emerging Technologies Arficle No, 11(1).
  • Chen, H., Lee, A. S., Swift, M., & Tang, J. C. (2015, October). 3D collaboration method over HoloLens™ and Skype™ end points. In Proceedings of the 3rd International Workshop on Immersive Media Experiences (pp. 27-30). ACM, [https://doi.org/10.1145/2814347.2814350] .
  • Fitzmaurice, G., Ishii, H. & Buxton, W. (1995). Laying the Foundation for Graspable User Interfaces. In Proceedings of the CHI'95 (pp.442-449). ACM, [https://doi.org/10.1145/223904.223964] .
  • Follmer, S., Leithinger, D., Olwal, A., Hogge, A., & Ishii, H. (2013, October). inFORM: dynamic physical affordances and constraints through shape and object actuation. In Uist (Vol. 13, pp. 417-426).
  • GameSpot. (2011, January 27). Little Deviants NGP (PSP 2) Gameplay Movie. Retrieved from https://www.youtube.com/watch?v=Z5AkjLwqm6I.
  • Goldstein, S. C., Campbell, J. D. & Mowry, T. C. (2005). Programmable matter. Computer, 38, 99-101, [https://doi.org/10.1109/MC.2005.198] .
  • Higingbotham, W. (2015, February, 18). Tennis for Two. Retrieved from http://videogamehistory.wikia.com/wiki/ Tennis_for_Two.
  • Ijsselsteijn, W. A., de Kort, Y. A. W., & Poels, K. (2013). The Game Experience Questionnaire. Eindhoven: Technische Universiteit Eindhoven.
  • Ishii, H., & Ullmer, B. (1997, March). Tangible bits: towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human factors in computing systems (pp. 234-241). ACM, [https://doi.org/10.1145/258549.258715] .
  • Izadi, S., Kim, D., Hilliges, O., Molyneaux, D., Newcombe, R., Kohli, P., ... & Fitzgibbon, A. (2011, October). KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera. In Proceedings of the 24th annual ACM symposium on User interface software and technology (pp. 559-568). ACM, [https://doi.org/10.1145/2047196.2047270] .
  • Lee, N., Kim, J., Lee, J., Shin, M., & Lee, W. (2011, August). Molebot: mole in a table. In ACM SIGGRAPH 2011 Emerging Technologies (p. 9). ACM, [https://doi.org/10.1145/2048259.2048268] .
  • Leithinger, D., & Ishii, H. (2010, January). Relief: a scalable actuated shape display. In Proceedings of the fourth international conference on Tangible, embedded, and embodied interaction (pp. 221-222). ACM, [https://doi.org/10.1145/1709886.1709928] .
  • Leitner, J., Haller, M., Yun, K., Woo, W., Sugimoto, M., & Inami, M. (2008, December). IncreTable, a mixed reality tabletop game experience. In Proceedings of the 2008 International Conference on Advances in Computer Entertainment Technology (pp. 9-16). ACM, [https://doi.org/10.1145/1501750.1501753] .
  • Poupyrev, I., Nashida, T., Maruyama, S., Rekimoto, J., & Yamaji, Y. (2004, August). Lumen: interactive visual and shape display for calm computing. In ACM SIGGRAPH 2004 Emerging technologies (p. 17). ACM, [https://doi.org/10.1145/1186155.1186173] .
  • Rekimoto, J. (1997, October). Pick-and-drop: a direct manipulation technique for multiple computer environments. In Proceedings of the 10th annual ACM symposium on User interface software and technology (pp. 31-39). ACM, [https://doi.org/10.1145/263407.263505] .
  • Rekimoto, J., & Saitoh, M. (1999, May). Augmented surfaces: a spatially continuous work space for hybrid computing environments. In Proceedings of the SIGCHI conference on Human Factors in Computing Systems (pp. 378-385). ACM, [https://doi.org/10.1145/302979.303113] .
  • van Velthoven, L. (2012). Room Racers: Design and Evaluation of a Mixed Reality Game Prototype. Master's thesis, Media Technology, Leiden University, the Netherlands.
  • Weiser, M. (1991). The computer for the 21st century. Sci. Am., 265, 94-104, [https://doi.org/10.1038/scientificamerican0991-94] .

Figure 1

Figure 1
Kobito(left), IncreTable(middle), and Room Racers (right)

Figure 2

Figure 2
Lumen(top left), Relief (top right), MoleBot(bottom left), and inFORM(bottom right)

Figure 3

Figure 3
Kinetically static game environment(top) and kinetically dynamic game environment(bottom)

Figure 4

Figure 4
Scene from KDG(kinetically dynamic game) condition

Figure 5

Figure 5
Results of iGEQ evaluation (error bar: standard deviation)

Figure 6

Figure 6
Results of FNIRS test (error bar: standard deviation)

Figure 7

Figure 7
Results of heartbeat rate analysis of participants (error bar: standard deviation)

Figure 8

Figure 8
Frequency of excitement according to the game conditions (error bar: standard deviation)

Table 1

Action-reaction matrix between game components

반작용체 PC (physical character) VC (virtual character) PO (physical object) VO (virtual object)
작용체
PC (physical character)
VC (virtual character)
PO (physical object)
VO (virtual object)

Table 2

2*2 within-subject factorial design for the experiment

Game Kinetically dynamic game (KDG) Kinetically static game (KSG)
구분
Offense 1
(Racing car / virtual player character)
2
(Racing car / virtual player character)
Defense 3
(Molehill / physical player character)
4
(Molehill / virtual player character)

Table 3

Frequency of excitement based on action-reaction matrix

reaction PC VC PO VO reaction PC VC PO VO
action action
   (KDG: Kinetically dynamic game)              (KDG: Kinetically dynamic game)
PC 63 (16.2%) 164 (42.1%) 9 (2.3%) PC
VC 16 (4.1%) VC 100 (54.3%) 61 (33.2%)
PO 115 (29.5%) PO
VO VO