Archives of Design Research
[ Article ]
Archives of Design Research - Vol. 30, No. 3, pp.85-97
ISSN: 1226-8046 (Print) 2288-2987 (Online)
Print publication date 31 Aug 2017
Received 30 Jun 2017 Revised 17 Jul 2017 Accepted 28 Jul 2017
DOI: https://doi.org/10.15187/adr.2017.08.30.3.85

On-Body Interaction Design of Skin-Based Input with the Thigh

YuZhou ; 우주 ; YooHoonsik ; 유훈식 ; PanYounghwan ; 반영환
Graduate School of Techno Design, Kookmin University, Seoul, Korea 국민대학교 테크노디자인전문대학원 인터랙션디자인전공, 서울, 대한민국 Technology and Design Research Center, Yonsei University, Incheon, Korea 연세대학교 기술과 디자인 연구 센터, 인천, 대한민국 Graduate School of Techno Design, Kookmin University, Seoul, Korea 국민대학교 테크노디자인전문대학원 인터랙션디자인전공, 서울, 대한민국
허벅지 부위를 중심으로 피부 기반 입력의 온바디 인터랙션 디자인

Correspondence to: Pan, Younghwan peterpan@kookmin.ac.kr

Background There is a usability issue for a mobile and wearable device input method and input surface area change. To solve these problems, we propose the use of skin as an input surface on-body interaction method. In comparison with the technical problems, this paper focuses on non-technical users. The purpose of this study is to extract skin–based gestures from the thigh through a survey and to verify a usability evaluation and a music functions gestures design.

Methods We examined the theory of on-body interaction through advanced research and we found that it is worth to study on-body interaction of the thigh. During the experiment, we obtained the on-body interaction gesture of the skin-based input when the 20 participants remained sitting in the laboratory. We defined each gesture separately. We also commented and detected the usability and music functions gestures design through the users’ research and we analyzed the results through the statistic analysis and the interview content.

Results Through the experiment, we extracted a total of 11 skin–based input gestures on the thigh. The 11 gestures were found to becorrelated for comfort and social acceptance. The more changes in the surface of the skin made by gesture, the less comfort we feel. If gesture made negative effect on yourself or others around you, the gesture became less receptive. We verified a total of two mapping factors when designing the gestures to music functions.

Conclusion We hope that this study will provide users with new experiences and will be studied further in other posture situations. This paper is expected to contribute to the development of on–body interaction research.

초록

연구배경 최근 모바일이나 웨어러블 디바이스 입력 방식과 입력 표면적의 변화에 대한 사용성 이슈가 발생하고 있다. 이러한 문제 해결을 위해 피부를 통해 입력하는 온바디 인터랙션 방식이 제안되고 있다. 본 연구는 기술적인 측면에 대한 고려보다는 비기술적인 사용자 입장에 집중한다. 허벅지 부위에서 가능한 피부 기반 제스처를 사용자 조사를 통하여 추출하고, 추출된 제스처에 대한 사용성 평가 및 음악 기능 조작 디자인 제안하는 것을 목적으로 한다.

연구방법 첫째, 선행연구를 통해 온바디 인터랙션의 이론을 고찰하였으며, 허벅지 부위의 온바디 인터랙션에 대해 연구할 가치가 있음을 발견하였다. 둘째, 연구실에서 사용자 20명을 대상으로 실험을 통해 앉아있을 때 허벅지 부위에 피부 기반 입력의 온바디 인터랙션 제스처를 도출하였다. 각 제스처를 정의하고 제스처에 대한 사용성 및 기능성에 대한 사용자 조사로 평가 및 디자인을 진행하였으며, 통계 분석과 인터뷰 내용을 이용하여 결과를 분석하였다.

연구결과 실험을 통해 앉아있을 때 허벅지 부위에 피부 기반 입력 제스처는 총 11개로 추출되었다. 11개 제스처는 편안성과 사회적 수용성의 상관관계가 있다는 것으로 발견하였다. 피부 표면의 변화가 많을수록 편안성이 낮고, 제스처 수행 시 자신이나 주변 사람에게 영향을 있다면 수용성이 떨어진다. 제스처와 음악 기능 조작에 대해 설계할 때 총 2개 맵핑요소를 확인되었다.

결론 본 연구는를 통해 사용자에게 새로운 경험을 제공해주고 이후에도 다른 자세 상황에서 더 많이 연구되기를 바라는 바이다. 본 연구가 온바디 인터랙션 연구의 발전에 기여할 수 있을 것으로 기대된다.

Keywords:

On-body Interactions, Skin-base Gesture, Gesture Input, User Experience, Thigh, 온바디 인터랙션, 피부 기반 제스처, 입력 제스처, 사용자 경험, 허벅지

1. 서론

1. 1. 연구 배경 및 목적

최근 정보통신기술의 발달로 모바일 디바이스나 웨어러블 디바이스에 대한 관심이 증가하면서, 사용자의 음악, 촬영, 내비게이션, 건강관리 등 다양한 니즈를 충족시키기 위해 MP3, 디지털 카메라, GPS, 심박수 측정 등의 기능들이 추가되고 있다. 현재 모바일이나 웨어러블 디바이스의 입력방식은 터치 제스처와 물리적 버튼이 가장 보편화 되고 있으며, 이러한 디바이스의 입력방식 외에 입력 표면적에도 휴대성과 사용성 개선을 위한 변화가 일어나고 있다. 특히 스마트 워치와 같은 웨어러블 디바이스는 휴대성을 위해 입력 표면적이 작아지는 추세이기 때문에 한계점은 분명 존재하고 사용자 관점에서 보았을 때에도 사람의 신체 사이즈는 거의 변하지 않기 때문에 사용성에 대한 이슈가 존재한다. 이러한 문제 해결을 위해 새로운 인터랙션 방식에 대한 연구가 다양하게 이루어지고 있다. 해리슨(Harrison, 2010, 2011, 2012)의 연구에 의해, 인간의 몸을 이용하여 사람-디바이스 간에 인터랙션 하는 방식이 사용성 향상에 기여할 수 있음이 증명되었으며, 해리슨은 이러한 방식을 ‘온바디 인터랙션(On-body Interaction)’으로 정의하였다.

사람 몸의 피부를 통해 입력하는 방식은 사용자에게 완전히 새로운 경험을 줄 수 있는 방안으로 제안되고 있다. 기존의 연구들은 대부분 팔뚝, 팔, 손, 손가락과 같은 상체 중심의 연구를 진행하였다. 이러한 상체 중심의 인터랙션은 조작할 때 반드시 양손을 다 필요로 하기 때문에 기존에 수행하고 있는 작업을 일시적으로 중단해야 한다는 한계점이 있다. 상체 이외에 사람들이 서 있거나 앉아있을 때 혹은 누워 있을 때 손이 가장 자연스럽게 접근하는 곳은 허벅지이다. 허벅지는 신체 부위 중 접근이 쉬우며 표면적이 상체 부위보다 크다는 장점이 있다. 그러나 아직까지 허벅지 부위에서의 온바디 인터랙션에 관한 연구는 미비하다. 이와 더불어 기존에 있는 제스처의 대부분은 시스템 설계자들에 의해 개발되었기 때문에 사용자의 요구사항이 적극적으로 반영되기 힘들었다. 본 연구는 기술적인 측면 보다는 비기술적인 사용자 입장을 중심으로 허벅지 부위에서 조작 가능한 피부 기반 제스처를 사용자 조사를 통하여 추출한다. 이후, 인터뷰를 통하여 추출된 제스처에 대한 사용성 평가 및 적합성을 검증하고자 한다.

1. 2. 연구 방법

연구의 목적을 달성하기 위하여 다음과 같은 연구를 진행하였다.

첫째, 선행 검토를 통해 온바디 인터랙션의 개념 및 기술, 유형 등에 대해 알아보고 정리하고자 하였다. 둘째, 이론적 배경을 통해 도출한 결과를 이용하여 새로운 신체 부위, 즉 허벅지 부위의 온바디 인터랙션에 대한 연구의 의의를 발견하였으며, 그에 대한 20명의 사용자를 대상으로 피부 기반 입력(Skin-based input)의 온바디 인터랙션 제스처 도출을 위한 실험을 설계하였다. 셋째, 실험을 통해 얻어진 제스처에 대한 사용성 및 기능성에 대한 사용자 조사로 평가, 측정을 진행하였다. 넷째, 조사 결과는 분석을 통해 얻어진 데이터를 기반으로 본 연구 적을 검증하기 위한 통계 분석에 대한 결과를 기술하였다. 마지막으로는 본 연구의 전체적인 결론을 도출하였고, 향후 연구 방향을 제시하였다.


2. 이론적 고찰

2. 1. 온바디 인터랙션의 개념

해리슨(Harrison, 2010, 2011) 등과 오가타(Ogata, 2013) 등의 연구에 의하면, 우리 자신의 몸을 이용하여 사람-디바이스 인터랙션을 하는 것이 사용성 향상에 기여할 수 있다. 해리슨(Harrison, 2012)은 신체 자체를 입력과 출력 플랫폼으로 사용하는 것을 온바디 인터랙션(On-body Interaction)으로 정의하였다. 이와 더불어 데줄리(Dezfuli, 2012) 등은 이 같은 신체를 입력 및 출력 플랫폼으로 사용하는 것이 음성 인터페이스보다 더 사회적으로 적합하다는 것을 증명하였다.

2. 2. 피부 기반 입력(Skin-based input)의 온바디 인터랙션

피부는 사람의 가장 큰 인체 기관이다. 피부는 큰 입력 면적을 제공할 수 있을 뿐만 아니라 특수한 구조 및 부드러운 표면 때문에 기존에 터치 제스처에 비해 꼬집거나 긁는 등 다양한 입력방식을 수행할 수 있다. 또한, 피부를 조작하는 방식의 가장 큰 장점은 촉각적인 피드백이 가능하다는 것이다. Jakob Nielsen은 시스템을 설계할 때 사용자에게 무슨 일이 일어나고 있는지 지속적인 피드백을 제공하는 것에 대한 중요성을 강조하였다. 피드백은 가장 오래되고 중요한 사용성 평가 기준 중 하나이므로 일반적으로 이를 향상시키는 것은 매우 중요하다.

웨어러블 디바이스 입력 표면적의 한계점의 해결을 위해 피부 기반 입력의 온바디 인터랙션 연구가 다양하게 이루어지고 있다. 해리슨(Harrison,2011) 등의 OmniTouch는 카메라 센서를 기반으로 웨어러블 심도(depth) 카메라와 프로젝터 시스템을 이용해 인터페이스를 사용자 손바닥의 피부 위로 투사해서 조작한다. 타마키(Tamaki, 2010) 등의 BrainyHand 또한 마찬가지로 컬러 카메라(color camera)와 레이저프로젝터(laser projector)를 이용하여 사람의 피부 혹은 주변의 물리적 물체 위로 인터페이스를 투사하여 직접적으로 조작한다. 웨이겔(Weigel, 2015)의 “iSkin” 및 러(Lo,2016)“Skintillates” 등 Electronic Skin 기술과 전자 공학을 기반으로 플랙시블한 “스티커”처럼 피부 위에 부착하여 직접 조작할 수 있다.

Figure 1

left(A, B): OmniTouch, right(C, D): BrainyHand

Figure 2

left(A, B): iSkin, right(C, D): Skintillates

또한, 오가타 (Ogata, 2013) 등의 SenSkin 연구에 의하면 피부는 여러 개의 적외선 반사 (Infrared Reflection) 센서를 통해 소프트한 입력 인터페이스인 압력을 통해 조작을 인지한다. 장양 (Zhang Yang, 2016) 등의 SkinTrack는 팔뚝에 착용하는 전극 밴드 센서 및 손가락에 착용하는 신호 발사 반지를 통해 사용자가 피부에 터치했을 때 생기는 전극 위상(electrode phase)을 판단하여 이로써 피부를 통해 입력 인터랙션을 실현한다.

Figure 3

left(A, B): SenSkin, right(C, D): SkinTrack

해리슨, 타마키, 웨이겔 및 러의 연구는 주로 외부 설비(카메라, 프로젝터)로 인터페이스가 피부 위로 투사하거나 ‘스티커’ 처럼 피부 위에 부착하는 방식으로 진행하여 조작할 때에도 설계된 위치를 간단히 터치한다. 신체의 피부는 단지 큰 평면 플랫폼일 뿐이다. 그러나 오가타 및 장양의 연구는 다양한 센서를 통해 피부를 제스처로 변화시키거나 피부에 압력을 가하는 것을 인지하여 인터랙션을 수행한다. 앞서 4가지의 연구 방식보다 촉각적인 느낌 및 피드백이 더 강할 뿐만 아니라 사용자는 눈으로 직접 보지 않아도, 자신이 실행하고 있는 동작을 인지할 수 있다. 따라서 본 연구에서는 피부를 제스처로 변화시키거나 피부에 압력을 가하는 것을 중심으로 진행하였다.

2. 3. 신체 부위 별로 피부 기반 입력의 온바디 인터랙션

기존에 있는 다양한 센서를 통해 피부의 변화시키거나 압력을 가하고 인지하여 조작하다는 선행연구는 대부분 팔뚝, 손, 손가락과 같은 상체를 중심으로 한 연구를 진행했다.

Skin based on-body interaction advanced research

이러한 상체 중심의 인터랙션은 조작할 때 반드시 양손을 다 필요로 하기 때문에 기존에 수행하고 있는 작업을 일시적으로 중단해야 하거나 작업에 대한 영향을 받는다는 한계점이 있다. 반면, 본 연구는 허벅지가 보다 좋은 인터랙션 위치라고 판단하여 이 부위에 집중하였다. 우선 허벅지는 손이나 손바닥 보다 빈번하게 접촉하지 않는다. 또한, 허벅지는 다리의 윗부분이기 때문에 사람들의 서 있거나, 앉거나, 심지어 누워 있을 때에도, 자연스럽게 손이 접근할 수 있는 신체 부위이다. 이와 더불어 허벅지 부위에서 조작할 때에도 한 손으로 한 쪽 또는 양 쪽 허벅지에 대한 조작이 가능하고 양손으로도 한 쪽 또는 양 쪽 허벅지 모두를 조작하는 것이 가능하다는 장점이 있다.

토마스(Thomas, 1999) 등은 다양한 신체 부위에서의 입력장치의 효과에 대한 평가 및 측정을 진행하였다. 실험 결과, 웨어러블 컴퓨터의 입력장치는 다양한 신체 부위에서 활용이 가능하며, 그중에서도 허벅지 전면의 3가지 자세(sitting, kneeling, and standing postures)가 가장 적합한 것으로 나타났다. 둘째, 와그너(Wagner, 2013) 등 연구에 의하면, 신체 중심으로 다중 표면 상호작용을 위한 제스처를 수행할 때, 18개의 신체 부위 중 팔 부분이 가장 높은 점수로 나타났지만, 허벅지 부분도 사용자의 선호도와 사회적인 수용성이 높은 점수(likert 5점 척도 중 4.5점)로 나타났다.

이처럼 선행연구를 통해 살펴본 결과, 허벅지는 접근하기 쉬운 신체 부위로 판단된다. 그러나 허벅지 부위에서의 온바디 인터랙션에 관한 연구는 미비하며, 세부적인 제스처 연구를 수행한 사례는 찾기 어려운 실정이다. 즉, 허벅지 부위에서 활용한 제스처 연구의 의의와 더불어 이에 대한 연구의 필요성을 확인하였다.


3. 허벅지 부위의 피부 기반 입력 제스처 설계

3. 1. 피부 기반 입력 제스처 도출을 위한 실험 설계

3. 1. 1. 실험 목적

본 연구 실험은 사용자가 기존 스마트 디바이스나 웨어러블 디바이스의 터치 제스처, 물리적인 버튼 조작 방식에서 벗어나 허벅지 부위에 자유롭게 피부 기반으로 조작 가능한 동작을 수집 및 분류하고자 한다. 그리고 이를 통해 허벅지 부위에서 피부 기반 입력의 온바디 인터랙션에 필요한 주요 제스처를 추출하는 것에 본 연구의 목적이 있다.

3. 1. 2. 실험 방법

실험 대상자는 20~30대 남자 10명, 여자 10명 총 20명으로 구성하였다. 허벅지 부위는 사람들은 평소에 서 있거나, 앉아있을 때 심지어 누워 있을 때에도 손이 자유롭게 접근할 수 있다는 장점이 있다. 본 연구에서는 앉아있을 때에 집중하여 실험을 진행하였다.

실험은 20명의 실험 대상자와 연구실에서 Think Aloud 방식을 통해 실험을 진행하였다. 본 연구는 워브록(Wobbrock, 2009)의 연구 방식을 차용하여 다음과 같이 수행되었다. 우선 사용자들에게 본 실험에 대해 간단하게 소개한 후, 앞으로 도출할 동작들의 사용자가 의식하여 동작을 수행하게 되는 경우를 피하기 위해 일상생활에서 편하게 취할 수 있는 동작을 자유롭게 수행하도록 하였다. 때문에, 사용자가 앉아있는 동안 허벅지 부위에서 평소 일상생활에서 할 수 있는 동작들을 자유롭게 수행하면서 각 동작에 대해 의미 및 수행 상황에 대한 의견을 말할 수 있도록 하였다. 이후, 실험 분석을 위해 실험 과정에서 사용자의 동의를 얻어 수행하는 동작을 녹화하여 진행하였다.

Figure 4

Some gestures collected during the process of the experiment

3. 2. 피부 기반 입력 제스처 도출을 위한 실험 결과

실험을 통해 허벅지 부위에서 피부 기반으로 조각 가능한 동작에 대해 각 실험자에 따라 4개에서 18개의 동작이 다양하게 수집되었다. 실험에서 수집된 동작은 총 175개이며, 유사한 동작들을 분류하였고, 그중에서 4명 이하의 사용자가 공통으로 제시한 동작들은 제외되었다. 최종 정리된 허벅지 부위에서의 피부 기반 입력의 온바디 인터랙션 입력 제스처는 총 11개로 나타났다. 실험 중 대다수 사용자는 동작을 허벅지 전면에 집중하여 수행하였고, 허벅지 외측면에서 수행한 동작들도 있었지만, 허벅지의 내측면이나 하측면은 거의 없었다. 최종 정리된 허벅지 부위에서 11개 피부 기반 입력 제스처를 정리한 내용은 다음 Table 2과 같다. 각 분류된 피부 기반 입력 제스처에 대한 정의는 사용자가 실험 진행 과정 중 언급한 설명과 행동을 바탕으로 서술하였으며, 가장 많이 언급된 피부 기반 입력 제스처 순으로 정리하였다.

Skin-base input gesture on the thigh


4. 허벅지 부위의 피부 기반 입력 제스처의 사용성 평가

4. 1. 사용성 평가 목적 및 방법

Definition of evaluation procedure and elements of Skin-base input gesture on the thigh

사용성은 어떤 도구나 인간이 만든 물건, 서비스를 통해 특정 목적을 달성하기 위해 사용할 때 사용하기 쉬운 정도를 말하는 용어이다. 사용성은 사용자의 생리학적, 심리적인 면에 관련이 깊다. 따라서 앞서 실험의 결과를 바탕으로 추출된 피부 기반 제스처로 수행할 동작들은 사용자에게 적용 및 평가하기 위하여 사용성에 대해 검증이 필요하다. 앞서 실험 조사에 참여하였던 총 20명 같은 사용자를 대상으로 1대 1 인터뷰 방식을 통해 진행하였다. 사용성 평가는 추출된 11개 피부 기반 입력 제스처를 바탕으로 Table 3와 같이 편안성과 사회적 수용성이라는 2가지 기준으로 검증하는 데 의의가 있다. 진행 방식은 우선 사용자에게 본 평가 진행 방법 및 내용에 대해 간단하게 설명한다. 이후 한 제스처를 하면서 그에 대해 생리적인 관점과 심리적인 관점을 함께 고려하며 편안성과 사회적 수용성 2가지 요소로 평가가 진행되었다. 점수는 최고 7점부터 최저 1점까지 7점 척도를 기준으로 평가지에 기록하고, 점수를 매기는 이유도 같이 기록하였다.

4. 2. 사용성 평가 결과

추출된 11개 피부 기반 입력 제스처의 사용성 평가를 위해 편안성 및 사회적 수용성의 평균치와 표준편차를 산출하였고, 이를 통해 비교 분석을 진행하였다. 전반적인 결과를 살펴보면 편안성과 사회적 수용성의 선호도가 비슷한 순서로 나타나며, 상호작용 있는 것으로 확인되었다. 11개 피부 기반 입력 제스처 중에서 rub 만 편안성 및 사회적 수용성 간에서 큰 차이를 보인다.

Figure 5

Comfort and social acceptance of Skin-base input gesture on the thigh

4. 2. 1. 편안성에 대한 조사 결과

편안성에 대한 조사 결과 데이터는 다음의 Figure 6와 같다.

시험 결과를 살펴보면 대부분의 제스처에서 큰 차이를 보이지 않았고, 전반적으로 4~5점 범위에 나타났다. 한편, flick이 3.15점, twist가 1.95점으로 낮은 점수로 나타났다.

편안성에 대한 점수가 대체로 4점 이상의 점수로 나타나는 이유는 사용자 조사 과정에 대한 기술에서 확인되었다. 안마, 몸과 근육을 마사지하는 느낌이 가장 많고, 혹은 조금 아프지만 그래도 허벅지가 시큰할 때 하면 매우 편안함을 느낀다는 것이다. twist와 flick이 낮은 점수로 나타나는 이유는 대부분 몹시 아프고 동작이 복잡하며, 움직이기 어렵기 때문이라고 볼 수 있다. 또한, 허벅지 부위가 아플 뿐만 아니라 팔이나 손가락에도 힘이 필요하다. 성별 차이를 살펴보면 대부분의 제스처에서 큰 차이를 보이지 않는다. 다만, scratch는 남성이 보통 이상으로 나타났으며, 여성은 보통 이하로 느꼈다. 여성이 낮은 점수를 주는 이유가 피부가 잡아당기는 느낌이 들어 불편하고 가렵다고 하였다. 이렇듯이 사용자가 편안성 평가를 하기 위해 제스처를 수행할 때, 아프거나 가렵고, 힘이 필요한 것에 대해 신체적인 관점을 고려해서 판단하게 된다. 결국, 피부 표면의 변화가 많을수록 점수가 낮은 경향을 보인다.

Figure 6

Average and Standard deviationand of the comfort

4. 2. 2. 사회적 수용성에 대한 사용자 조사 결과

사회적 수용성에 대한 조사 결과 데이터를 다음 Figure 7 와 같다.

실험 결과, 대체로 편안성과 비슷하게 나타났고, 낮은 점수 역시 flick가 3.55점, twist가 2.20점으로 나타났다. knock, tap, press, pat 모두 5점 이상 긍정적으로 나타났다. 사용자 조사과정에 5점 이상의 점수를 매긴 것에 대한 이유로 습관적이며 자연스럽게 수행하는 제스처이므로 공공장소에서 수행하여도 다른 사람을 신경쓰지 않아도 되며, 주목을 끌지 않을 것이라고 하였다. swipe, pinch, rub, scratch는 4~5점으로 보통 정도인 것으로 나타났다. 마지막 draw, flick, twist는 모두 4점 이하로 나타났다. 낮은 점수를 주는 이유는 행동이 약간 어색하고 다른 사람이 자신을 이상하게 생각하며 오해할 수 있을 것이라고 예상했기 때문이다. 특히 여성들은 허벅지 부위에 대해 민감하다. 성별에 따라 살펴보면, 여성은 pinch, rub에서 남성보다 높은 점수를 보이지만, scratch, draw은 오히려 남성보다 낮게 나타났다. 이처럼 대부분의 사용자가 사회적 수용성에 대해 평가할 때 다음의 4가지 관점으로 고려한 것으로 나타났다. 첫째, 이 제스처가 허벅지 부위에서 수행할 때 자신의 이미지에 영향을 끼치는지. 둘째, 이 제스처가 허벅지 부위에서 수행할 때 다른 사람에게 불편함을 주는지. 셋째, 이 제스처가 의미가 있는지. 마지막으로 이 제스처가 허벅지 부위에서 수행할 때 이상한지를 고려하였다.

Figure 7

Average and Standard deviationand of the social acceptance


5. 기능 조작을 위한 허벅지 부위의 피부 기반 입력 제스처 디자인

5. 1. 디자인 목적 및 방법

본 장에서는 추출된 피부 기반 제스처를 허벅지 부위에서 음악 기능을 조작 할 수 있는 제스처 디자인을 목적으로 한다. 이를 통해 향후 허벅지에서 피부 기반 제스처로 다른 기능 개발에 참고할 수 있기를 기대한다.

제스처 디자인을 위한 기능의 범위를 일반적으로 대표적인 스마트 디바이스(아이폰), 웨어러블 디바이스(애플워치) 에서 가장 많이 쓰는 음악 기능으로 볼륨 증가, 볼륨 낮춤, 음악 재생, 음악 일시 정지 4가지 기능으로 정하였다.

디자인 진행 방법은 앞서 참여하였던 20명의 동일한 사용자를 대상으로 진행 내용을 자세히 설명한 후 1대 1 인터뷰 방식을 통해 진행하였다. 우선, 기능에 대해 자신이 생각하는 가장 적합한 피부 기반 입력 제스처 11개 중에서 하나를 선정하여 맵핑시키고, 그 다음 허벅지 부위 (전면, 외측면, 내측면, 하측면), 수행하는 손의 모양 (손가락, 손바닥, 손등, 주먹, 손의 측면), 손가락 같은 경우에는 손가락 개수 모두 기록하였다. 이를 통해 4가지 기능에 대한 선호 제스처를 디자인 하는 데에 목적을 둔다.

5. 2. 디자인 결과

볼륨 증가, 볼륨 낮춤, 음악 재생, 음악 일시 정지 4가지 기능에 대한 인터뷰를 통해 다음 Table 4과 같은 결과를 도출하였다.

Skin based input gesture test result for music function

위의 결과를 살펴보면 볼륨 증가 및 볼륨 낮춤은 draw로 가장 많은 것으로 나타났으며, 음악 재생은 pat로, 음악 일시 정지는 knock로 나타났다. 그 중 허벅지 부위는 모두 전면에서의 제스처 수행을 선택하였다. 그 이유는 앉아 있을 때 허벅지 전면에서 수행하는 편이 가장 편안하기 때문이다. 다음으로, 손의 모양은 앞서 선택했던 피부 기반 입력 제스처와 관련있기 때문에 대부분 손가락으로 이용하여, pat, knock 등에 손바닥과 주먹으로 대응했다. 손가락 개수를 보면 대부분 1개를 이용하여, 소수의 사용자들은 다른 기능을 수행할 때 구분을 하기 위해 2개 혹은 2개 이상의 손가락을 이용하여 수행하였다.

기능 조작에 대한 디자인을 하기 위해 각 기능에 대해 1위로 나타나는 피부 기반 입력 제스처를 선정하고 이와 더불어 인터뷰 내용을 통해 정리한 내용과 그 분석은 다음 Table 5과 같다.

우선 사용자 제스처를 수행할 때 볼륨 증가와 볼륨 낮춤을 같이 고려한 후, 수행하는 제스처는 상대적인 방식으로 생각하였다. 사용자가 아래 이미지와 같이 일직선으로 제스처하는 이유는 기존에 있는 터치 제스처 기반으로 서술하자면, 곡선으로 제스처하는 것이 일직선보다 더 부드럽게 조작되기 때문이다. 다음으로, 음악 재생을 pat로 하는 이유는 일상생활 중에서의 회의 시작 혹은 말하기를 시작하기 전에 박수를 치는 것과 같이 다른 사람의 주의를 끌기 위해 pat 동작이 시작되는 신호를 느꼈기 때문이다. 마지막으로 음악 일시 정지는 knock로 하는 이유는 주먹으로 노크하는 동작은 일정한 힘 및 경미한 통감이 있기 때문에 저지하는 느낌이 있고, 또는 판사가 의사봉으로 쳐서 법정 절서를 유지하기 때문이다. 게다가, 음악 재생 및 음악 일시 정지 기능은 사용 빈도수가 많고 pat 및 knock 동작은 수행 할 때도 간단하고 신속하기 때문이다.

Skin based input gesture design for music function

전반적으로 살펴보면 사용자들은 피부 기반 제스처와 기능의 맵핑 방법이 기존에 있는 터치 제스처를 기반으로 한 방법 및 기능의 의미와 일상생활 중에서의 제스처 수행 의미 및 상황과의 맵핑이다.


6. 결론 및 향후연구 방향

6. 1. 연구 결론

본 연구는 허벅지 부위에서 피부 기반의 입력 제스처 실험을 통해 각 제스처들을 추출하여 정의하였다. 또한, 각 제스처의 사용성 측면에서 편안성 및 사회적 수용성에 대해 조사 및 평가하고, 다음으로 4가지 음악 기능 조작하기 위해 기능에 대한 제스처를 디자인을 하였다. 향후 허벅지에서 피부 기반 제스처로 다른 기능 개발에 참고할 수 있도록 하고자 하였다. 본 연구에서 도출된 결론은 다음과 같다.

첫 번째로 피부 기반 입력의 온바디 인터랙션은 기존에 있는 물리적 버튼과 터치 제스처보다 더욱 편리하게 사용자가 조작에 대한 문제를 해결할 수 있었다. 또는 피부의 특수한 구조 때문에 사용자가 촉각적인 피드백이 더 강할 뿐만 아니라 사용자는 눈으로 직접 보지 않아도, 자신이 실행하고 있는 동작을 인지할 수 있다. 이뿐만 아니라 선행연구 검토를 통해 새로운 신체 부위인 허벅지에 집중하였는데, 허벅지는 상체 부위 보다 더 활용성 및 가능성이 많기 때문에 새로운 감성 경험을 이끌어 낼 수 있었다. 둘째로 실험을 통해 허벅지 부위에 피부 기반으로 추출된 11개의 제스처는 편안성과 사회적 수용성의 상관관계 있다는 것으로 발견하였고, 가장 편안한 제스처는 사회적 수용성도 높은 것으로 나타났다. 또한, 편안성에 대해 knock, rub, tap, pat, press, pinch, draw, scratch, swipe는 안마, 몸과 근육을 마사지하는 느낌이 가진 피부 기반 입력 제스처는 점수가 높고, 반면에 twist, flick와 같은 신체적인 고통, 가려움, 힘이 필요한 제스처는 상대적으로 점수가 낮다는 것이 확인되었다. 성별 차이를 살펴보면 대부분 제스처는 큰 차이를 보이지 않는다. 사회적 수용성은 대체로 편안성과 비슷하게 나타났고, knock, tap, press, pat 가장 긍정적으로 나타나고 다음으로 swipe, pinch, rub, scratch를 차지하고 있고, 마지막으로 draw, flick, twist로 나타났다. 사회적 수용성에 대한 평가 원인은 제스처의 의미, 수행 방식 및 사용자 혹은 주변 사람들에게 영향을 미치는 것을 포함한 다양한 요소들은 고려해야 한다는 것이 확인되었다. 셋째로 음악 기능 조작을 위한 볼륨 증가, 볼륨 낮춤, 음악 재생 및 음악 일시 정지 4가지 기능을 정하고 허벅지 부위의 피부 기반 입력 제스처를 디자인 하였다. 제안 된 제스처는 볼륨 증가 및 볼륨 낮춤 각 draw로 2개이며, 2가지 기능은 상대적인 기능 때문에 제스처를 디자인 할 때 같이 고려하여 조작하는 제스처는 같은 방식으로 수행하고 방향만 제외한다. 또한, 기능의 맵핑 방법이 기존에 있는 터치 제스처 기반으로 서술하였다. 음악 재생은 pat로, 음악 일시 정지는 knock로 각 1개로 나타났다. 음악 재생 및 음악 일시 정지의 맵핑 방법은 기능의 의미와 일상생활 중에서의 제스처 수행 의미 및 상황과의 맵핑이다. 본 연구는 기술적인 측면에 대한 고려보다는 비기술적인 측면에서 사용자 중심 디자인의 관점으로 설계하였다. 기존에 주로 사용중인 상체 부위에서 더 나아가 사람들은 보다 편안하고 쉽게 접근할 수 있는 허벅지 부위를 활용하여, 가능한 피부 기반 제스처를 사용자 조사를 통하여 추출하였다. 이러한 방식은 향후의 사용자에게 새로운 경험을 제공해주고 온바디 인터랙션 연구의 발전에 기여할 수 있을 것으로 기대된다.

6. 2. 향후 연구 방향

본 연구는 사용자가 앉아있을 때에 상황으로 한정하여 실험을 진행하였다. 앞서 언급하였지만, 허벅지는 다리의 윗부분이기 때문에 사람들의 서 있거나, 앉거나 심지어 누워 있을 때에도 손이 자연스럽게 접근할 수 있다는 장점이 있다. 따라서 향후 연구에서는 서 있거나 누워 있을 때 허벅지 부위에서 추출할 수 있는 피부 기반 제스처과 사용성 평가 및 기능에 대한 연구가 필요할 것으로 예상된다. 또한, 본 연구는 실제 프로토타입으로 테스트를 안하다보니 적절한 제스처의 선정과 이에 따른 맵핑이 잘 되었더라고 다양한 문제 및 에러율 등은 발생 할 수 있다. 향후 실제 프로토타입으로 수행하여 사용성에 영향을 끼칠 다양한 상황, 에러율 및 다양한 요인 들은 고려하여 실험은 필요할 것으로 생각된다.

Notes

Citation : Yu, Z., Yoo, H., & Pan, Y. (2017). On-Body Interaction Design of Skin-Based Input with the Thigh. Archives of Design Research, 30(3), 85-97.

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

References

  • Aoyama, S., Shizuki, B., & Tanaka, J. (2016, May). ThumbSlide: An interaction technique for smartwatches using a thumb slide movement, In Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems (pp. 2403-2409). ACM. [https://doi.org/10.1145/2851581.2892435]
  • Harrison, C., Benko, H., & Wilson, A. D. (2011, October). OmniTouch: wearable multitouch interaction everywhere. In Proceedings of the 24th annual ACM symposium on User interface software and technology (pp. 441-450). ACM. [https://doi.org/10.1145/2047196.2047255]
  • Harrison, C., Tan, D., & Morris, D. (2010). Skinput: appropriating the skin as an interactive canvas. In Proc.CHI'10. ACM, 453-462. [https://doi.org/10.1145/1753326.1753394]
  • Harrison, C., Ramamurthy, S., & Hudson, S. E. (2012, February). On-body interaction: armed and dangerous. In Proceedings of the Sixth International Conference on Tangible, Embedded and Embodied Interaction (pp. 69-76). ACM. [https://doi.org/10.1145/2148131.2148148]
  • Jakob, N. (2013). The Human Body as Touchscreen Replacement. Retrieved July 2013, from https://www.nngroup.com/articles/human-body-touch-input/.
  • Lee, J. (2013). Development of an Index for The Interactivity of The Gesture-Command Mapping. (Unpublished master's thesis). Seoul National University, Seoul, Korea.
  • Lissermann, R., Huber, J., Hadjakos, A., & Mühlhäuser, M. (2013, April). Earput: Augmenting behind-the-ear devices for ear-based interaction. In CHI'13 Extended Abstracts on Human Factors in Computing Systems (pp. 1323-1328). ACM.
  • Lo, J., Lee, D. J. L., Wong, N., Bui, D., & Paulos, E. (2016, June). Skintillates: Designing and creating epidermal interactions. In Proceedings of the 2016 ACM Conference on Designing Interactive Systems (pp. 853-864). ACM. [https://doi.org/10.1145/2901790.2901885]
  • Mujibiya, A., Cao, X., Tan, D. S., Morris, D., Patel, S. N., & Rekimoto, J. (2013). The sound of touch: on-body touch and gesture sensing based on transdermal ultrasound propagation. In Proc. AVI'10. AMC, 387-388. [https://doi.org/10.1145/2512349.2512821]
  • Ogata, M., Sugiura, Y., Makino, Y., Inami, M., & Imai, M. (2013, October). SenSkin: adapting skin as a soft interface. In Proceedings of the 26th annual ACM symposium on User interface software and technology (pp. 539-544). ACM. [https://doi.org/10.1145/2501988.2502039]
  • Ogata, M., Totsuka, R., & Imai, M. (2015, November). SkinWatch: adapting skin as a gesture surface. In SIGGRAPH Asia 2015 Emerging Technologies (p. 22). ACM. [https://doi.org/10.1145/2818466.2818496]
  • Saponas, T. S., Tan, D. S., Morris, D., Balakrishnan, R., Turner, J., & Landay, J. A. (2009, October). Enabling always-available input with muscle-computer interfaces. In Proceedings of the 22nd annual ACM symposium on User interface software and technology (pp. 167-176). ACM. [https://doi.org/10.1145/1622176.1622208]
  • Tamaki, E., Miyak, T., & Rekimoto, J. (2010, May). BrainyHand: a wearable computing device without HMD and it's interaction techniques. In Proceedings of the International Conference on Advanced Visual Interfaces (pp. 387-388). ACM. [https://doi.org/10.1145/1842993.1843070]
  • Thomas, B., Grimmer, K., Makovec, D., Zucco, J., & Gunther, B. (1999, October). Determination of placement of a body-attached mouse as a pointing input device for wearable computers. In Wearable Computers, 1999. Digest of Papers. The Third International Symposium on (pp. 193-194). IEEE. [https://doi.org/10.1109/ISWC.1999.806925]
  • Wagner, J., Nancel, M., Gustafson, S. G., Huot, S., & Mackay, W. E. (2013, April). Body-centric design space for multi-surface interaction. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1299-1308). ACM. [https://doi.org/10.1145/2470654.2466170]
  • Weigel, M., Lu, T., Bailly, G., Oulasvirta, A., Majidi, C., & Steimle, J. (2015, April). Iskin: flexible, stretchable and visually customizable on-body touch sensors for mobile computing. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems (pp. 2991-3000). ACM. [https://doi.org/10.1145/2702123.2702391]
  • Wobbrock, J. O., Morris, M. R., & Wilson, A. D. (2009, April). User-defined gestures for surface computing. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1083-1092). ACM. [https://doi.org/10.1145/1518701.1518866]
  • Zhang, C., Bedri, A., Reyes, G., Bercik, B., Inan, O. T., Starner, T. E., & Abowd, G. D. (2016, November). TapSkin: Recognizing On-Skin Input for Smartwatches. In Proceedings of the 2016 ACM on Interactive Surfaces and Spaces (pp. 13-22). ACM. [https://doi.org/10.1145/2992154.2992187]
  • Zhou, J., Zhang, Y., Laput, G., & Harrison, C. (2016, October). AuraSense: Enabling Expressive Around-Smartwatch Interactions with Electric Field Sensing. In Proceedings of the 29th Annual Symposium on User Interface Software and Technology (pp. 81-86). ACM. [https://doi.org/10.1145/2984511.2984568]

Figure 1

Figure 1
left(A, B): OmniTouch, right(C, D): BrainyHand

Figure 2

Figure 2
left(A, B): iSkin, right(C, D): Skintillates

Figure 3

Figure 3
left(A, B): SenSkin, right(C, D): SkinTrack

Figure 4

Figure 4
Some gestures collected during the process of the experiment

Figure 5

Figure 5
Comfort and social acceptance of Skin-base input gesture on the thigh

Figure 6

Figure 6
Average and Standard deviationand of the comfort

Figure 7

Figure 7
Average and Standard deviationand of the social acceptance

Table 1

Skin based on-body interaction advanced research

신체 부위 논문 년도 연구자 기술
EarPut: augmenting behind-the-ear devices for ear-based interaction 2013 Lissermann.R., 등 capacitive sensing based on electrodes
손가락 ThumbSlide: An Interaction Technique for Smartwatches using a Thumb Slide Movement 2016 Aoyama.S.,등 EMG (electromyography)
손등 TapSkin: Recognizing On-Skin Input for smartwatches 2016 Zhang.C., 등 inertial sensors and microphone
팔뚝 Enabling Always-Available Input with Muscle-Computer Interfaces 2009 Saponas.T.S., 등 EMG (electromyography)
The Sound of Touch: On-body Touch and Gesture Sensing Based on Transdermal Ultrasound Propagation 2013 Mujibiya.A., 등 transdermal low-frequency ultrasound propagation
SenSkin: Adapting Skin as a Soft Interface 2013 Ogata.M., 등 Infrared reflection sensor
SkinWatch:Adapting Skin as a Gesture Surface 2015 Ogata.M., 등 photo-reflective distance sensor
AuraSense: Enabbling Expressive Around-Smartwatch Interactions with Electric Field Sensing 2016 Zhou.J.H., 등 electric field(EF) sensing
TapSkin: Recognizing On-Skin Input for smartwatches 2016 Zhang.C., 등 inertial sensors and microphone

Table 2

Skin-base input gesture on the thigh

이미지 동작명칭 동작정의
pinch 임의의 허벅지 부위를 집다 (손가락으로)
pat 임의의 허벅지 부위를 치다 (손바닥으로)
knock 임의의 허벅지 부위를 노크 (주먹으로)
rub 임의의 허벅지 부위를 접촉해서 마찰 (손바닥으로)
swipe 임의의 허벅지 부위를 접촉해서 때기 전에 빠르게 임의의 한 방향으로 옮김
press 임의의 허벅지 부위를 꾹꾹 누름 (손가락으로)
scratch 임의의 허벅지 부위를 긁음 (손가락이나 손톱으로)
tap 임의의 허벅지 부위를 가볍게 터치 (손가락으로)
draw 임의의 허벅지 부위를 특정 모양으로 그림 (손가락이나 손톱으로)
twist 임의의 허벅지 부위를 꼬집다 (손가락으로)
flick 임의의 허벅지 부위를 튕김 (손가락으로)

Table 3

Definition of evaluation procedure and elements of Skin-base input gesture on the thigh

분류 세부내용
조사 내용 예시 사용자의 성명, 성별, 나이 등의 기본 정보 기록 후 조사 방법 및 내용 안내
평가 요소의 정의 편안성 (Comfort) 제스처를 사용할 때 신체적으로 얼마나 편안한가
사회적 수용성
(Social Acceptance)
사회적으로 용인될 수 있는 수준의 제스처 인지
7첨 척도 평가 편안성 및 사회적 수용성 2가지 기준으로 각각 7점 척도 평가
(편안성: 1점: 전혀 편안하지 않다, 2점: 편안하지 않다, 3점: 편안하지 않은 것 같다, 4점: 보통, 5점: 편안한 것 같다, 6점: 편안함, 7짐: 매우 편안함),
(사회적 수용성: 1점: 전혀 수용하지 않다, 2점: 수용하지 않다, 3점: 수용하지 않은 것 같다, 4점: 보통, 5점: 수용한 것 같다, 6점: 수용함, 7점: 매우 수용함.)
정리 평가 점수 및 이유 정리 분석

Table 4

Skin based input gesture test result for music function

기능 피부 기반 인력 제스처 허벅지 부위 손의 모양 손가락 개수
볼륨 증가 draw (8명), rub (4명), press (2명), swipe (2명), pat (1명), pinch (1명), tap (1명), twist(1명) 전면 (20명) 손가락 (14명)
손바닥 (6명)
1개 (11명)
2개 (2명)
4개 (1명)
볼륨 낮춤 draw (8명), rub (4명), tap (3명), swipe (2명), pinch (1명), press (1명), twist(1명) 전면 (20명) 손가락 (15명)
손바닥 (5명)
1개 (12명)
2개 (2명)
4개 (1명)
음악 재생 pat (7명), knock (4명), press (4명), tap (4명), pinch (1명) 전면 (20명) 손가락 (9명)
손바닥 (7명)
주먹(4명)
1개 (7명)
4개 (1명)
5개 (1명)
음악 일시 정지 knock (8명), tap (6명), press (4명), flick (1명), pat (1명) 전면 (20명) 손가락 (11명)
손바닥 (1명)
주먹(8명)
1개 (9명)
2개 (2명)

Table 5

Skin based input gesture design for music function

기능 피부 기반 입력 제스처 제스처 서술 이미지
볼륨 증가 draw 허벅지 전면 부위에서 손가락 하나로 허벅지 안쪽부터 무릎 쪽으로 일직선을 그림
허벅지 전면 부위에서 손가락 하나로 허벅지 전면부터 허벅지 외측면 쪽으로 곡선을 그림
볼륨 낮춤 draw 허벅지 전면 부위에서 손가락 하나로 무릎부터 허벅지 안쪽으로 일직선을 그림
허벅지 전면 부위에서 손가락 하나로 허벅지 전면부터 허벅지 외측면으로 곡선을 그림
음악 재생 pat 허벅지 전면 부위에서 손바닥으로 한번 침
음악 일시 정지 knock 허벅지 전면 부위에서 주먹으로 한번 노크