Archives of Design Research

Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

스마트 스피커란 음성인식과 인공지능 기술을 결합하여 다양한 서비스를 제공하는 인공지능 비서이다. 과학정보통신부(2019)에 따르면 2019년 591만대에서 2020년 861만대로 스마트 스피커의 판매량은 45.7% 증가했으며 사용자 수가 증가하는 추세이다. 현재 상용화된 스마트 스피커의 인터랙션은 음성인식 및 발화를 중심으로 하는 음성 인터랙션을 기본으로, 터치 디스플레이, 음장 센서, 적외선 센서, 온습도 센서, 그리고 카메라 등을 이용한 다양한 인터랙션 방식을 함께 제공하고 있다. 보이스봇(2020)의 조사에 따르면 스마트 스피커의 주된 설치 위치는 거실(43.2%), 침실(45.5%), 주방(41.5%), 그리고 홈 오피스(11.5%)라 한다. 2019년 조사 결과와 비교하였을 때 거실에 설치한 비율은 44.4%에서 43.2%로 감소하였지만, 침실은 37.5%에서 45.5%로, 주방은 32.7%에서 41.5%로 증가하였다. 이러한 공간별 설치 위치의 변화는 스마트 스피커가 침실, 주방과 같은 독립된 공간에서 더욱더 많이 사용되고 있음을 의미한다. 침실의 침대 머리맡, 주방의 싱크대나 식탁 위, 그리고 오피스의 책상 위 등에 놓여 있는 스마트 스피커는 사용자가 음성 명령과 더불어 손을 뻗어서 직접 인터랙션하기도 용이할 수 있다.

하지만, 컨슈머인사이트(2019)에 따르면 스마트 스피커 사용자들의 사용 만족도는 45%로 절반에도 미치지 못하는 것으로 조사되었다. 사용자들은 스마트 스피커와 자연스러운 대화가 가능하지 않다는 점을 낮게 평가하였다. 한국소비자원(2017)에 따르면, 스마트 스피커의 주된 불편사항으로는 일상사용 환경에서의 음성인식 미흡(56.7%), 기기와 사용자 간의 자연스러운 연속 대화 곤란(45.7%), 그리고 소음을 음성 명령으로 인식하는 작동오류 발생(37.0%) 등이 꼽혔다. 영어가 모국어인 사용자와 그렇지 않은 사용자 간 구글 홈 사용경험 차이를 조사한 파에, 시플릿(Pyae & Scifleet, 2019)에 따르면, 언어의 유창함이 스마트 스피커와의 긍정적 사용자 경험에 영향을 미친다고 한다. 이러한 문제들은 포처론, 어민, 리브, 샤플스(Porcheron, Fischer, Reeves & Sharples, 2018)와 파이, 조엘슨(Pyae & Joelsson, 2018)의 아마존 에코와 구글 홈 사용자에 대한 실사용 행태 조사에서도 비슷하게 나타났다. 웨이, 랜데이(Wei & Landay, 2018), 박과 이(Park & Lee, 2020)는 물건 구입이나 음식 배달과 같은 문장형 질문이나 대화가 2~3번 연속적으로 이어져야 하는 경우 사용자가 스마트 스피커를 활용하는 데 한계를 느낀다고 하였다. 또한, 신종규(Shin, 2020)에 따르면 사용자가 발화를 잘못했을 때 이를 즉각적으로 수정할 수 없는 점도 문제라고 하였다. 이와 같은 불편사항은 발화를 기반으로 한 음성 인터랙션의 특성과 기술적 한계로 인해 발생하는 문제점들로 스마트 스피커의 사용성을 저하시켜 사용자가 사용을 중단하게 만드는 동기가 될 수 있다.

일반적인 스마트 스피커의 명령 처리 과정은 사용자의 음성 호출과 그에 대한 스마트 스피커의 응답으로 이루어진 ‘사전 과정’을 반드시 필요로 한다. 예를 들어, SKT의 스마트 스피커인 NUGU는 사용자가 “아리야~”라는 호출어를 부르면 NUGU는 “띵~”하는 호출 응답을 하며 다음 명령을 대기한다. 이는 주변 소음이나 사람들 간의 대화 소리와 스마트 스피커를 향한 음성 명령을 구분하기 위해 필요한 과정이다. 하지만 이러한 ‘사전 과정’은 반복적이고 단순한 명령을 하거나 수행한 명령을 번복하고자 할 때에도 항상 거쳐야 해서 스마트 스피커의 사용 과정을 매우 번거롭게 만든다. 장순규(Jang, 2018)에 따르면, 매 명령마다 스마트 스피커를 반복하여 호출하는 대화 방식에 대해 70%의 사용자들이 부정적으로 응답하였다고 한다. 특히, 스마트 스피커는 사람들 간의 대화소리, TV나 라디오 등 근처에 있는 다른 음성 디바이스를 통해서 의도치 않게 호출되는 문제도 있다. 심지어 TV에서 나온 유사한 호출 음성에 의해 아마존 에코가 의도치 않은 상품 주문을 시도했다는 보고도 있었다(버지 Verge, 2017). 알란와르, 발라지, 티안, 양, 스리바스타바(Alanwar, Balaji, Tian, Yang & Srivastava, 2017)는 이러한 문제를 해결하고자 소나(Sonar) 기술을 이용하여 스마트 스피커 근처에 사용자가 있을 경우에만 발화되는 시스템을 제안하였다. 맥밀란, 브라운, 카와구치, 자베르, 벨렝게르, 쿠즈오카(McMillan, Brown, Kawaguchi, Jaber, Belenguer & Kuzuoka, 2019)는 호출어 대신 스마트 스피커를 바라보는 사용자의 시선을 이용하여 호출어 반복 발화의 번거로움을 해소하고 자연스러운 연속 대화를 가능하게 하는 Tama란 스마트 스피커 플랫폼을 개발하였다. 포미칼스키, 워니악, 워니악, 그루지야, 자오, 로마노프스키(Pomykalski, Woźniak, Woźniak, Grudzień, Zhao & Romanowski, 2020)는 사용자 조사를 통해 스마트 스피커 호출어 대신에 사용가능한 다섯 가지 제스처로 박수 한번, 박수 두 번, 스냅(Snap), 오른쪽 스와이프(Swipe), 손 흔들기 제스처를 제안하였고 스냅과 손 흔들기 제스처가 가장 선호됨을 보였다.

한편, 일반적인 제어장치의 조작 어려움이나 한계를 극복하고자 음성과 제스처를 활용한 멀티모달 인터랙션에 대한 연구들도 많이 수행되었다. 라이즈, 알소스(Rise & Alsos, 2020)에 따르면 제스처 기반 인터랙션은 TV, 모바일폰, 드론 등의 조작에 폭넓게 활용되고 있다. 안바라산, 이(Anbarasan & Lee, 2018)는 음성과 비접촉 제스처를 통한 스마트홈 제어가 고령자에게 매우 유용함을 보였다. 반면, 호프만, 타이롤러, 웬드, 헨제(Hoffmann, Tyroller, Wende & Henze, 2019)는 스마트홈의 컨트롤러로 음성 명령이나 터치 디스플레이를 활용하는 것이 비접촉 제스처보다 더 선호됨을 보였다. 반 덴 호벤, 마 잘렉(van den Hoven & Mazalek, 2011)은 디지털 기기의 제스처 조작은 다른 일반적인 조작방식에 비해 덜 제약적이고 더 직관적인 인터랙션을 가능하게 해주기 때문에 디지털 기기와의 커뮤니케이션을 더 수월하게 해준다고 하였다. 스마트 스피커를 사용하는 사용자의 경우에도 음성 명령과 더불어 스마트 스피커가 가까이 있을 때는 그냥 툭 치거나 쓰다듬는 등의 인터랙션으로 특정 명령을 수행하고 싶을 수 있다.

이에 본 연구에서는 스마트 스피커의 사전 호출 과정을 단축시켜 주는 새로운 핑거터치(Finger touch) 제스처 기반의 스마트 스피커 인터랙션을 제안하였다. 핑거터치 제스처란 사용자가 스마트 스피커를 손가락으로 접촉한 상태에서 특정 제스처를 취하면 해당 제스처에 매핑되어 있는 기능을 스마트 스피커가 수행해주는 인터랙션이다. 사용자는 음성으로 명령을 수행하거나 핑거터치 제스처를 이용하여 스마트 스피커와 인터랙션을 수행할 수 있다. 이 때, 사용자의 핑거터치 제스처는 터치 센서나 카메라와 같은 하드웨어를 이용하여 인식하거나 스마트 스피커에 제스처를 취할 때 발생하는 소리를 딥러닝으로 분류하는 방법 등으로 인식이 가능하다. 스마트 스피커가 침실 머리맡, 주방의 식탁 위, 사무실 책상 위 등 사용자의 손에 쉽게 닿는 위치에 있을 경우에는 Figure 1과 같이 핑거터치 제스처가 호출어를 대신함으로써 보다 신속하게 스마트 스피커를 호출할 수 있어 사전 호출 응답의 과정을 생략하고 바로 음성 명령을 수행할 수 있다. 또한, 특정 핑거터치 제스처에 특정 단위조작(예. 일시정지, 다음 등)을 매핑한 경우에는 해당 제스처를 바로 취함으로써 스마트 스피커에게 음성으로 명령(예. 음악 일시정지 해줘~, 다음 곡 재생해줘~ 등)하는 과정조차 생략이 가능해진다.

Figure 1 Interacting with a smart speaker based on finger touch gestures

적절한 핑거터치 제스처를 디자인하기 위해서는 먼저 스마트 스피커와의 사용자 인터랙션에 필수적인 단위조작들에 대한 정의가 필요하다. 이에 본 연구에서는 사용자들이 주로 사용하는 스마트 스피커의 기능들을 먼저 조사하였다. 컨슈머인사이트(2018)의 국내 스마트 스피커 사용자들에 대한 설문조사 결과에 따르면, 사용자들은 주로 음악재생, 날씨정보, 블루투스 스피커, TV 조작, 대화, 검색, 알람, 뉴스 브리핑, 리모컨 찾기, 무드 등 기능을 주로 사용하고 있다고 한다. 한편, 박미나(2018)에 따르면, 영국 사용자들은 음악재생, 질의/응답, 알람설정, 뉴스/날씨, 다른 스마트 기기와의 연동, 메모 기록, 달력/스케줄 동기화, 온라인 제품 구매, 그리고 게임과 같은 기능을 주로 이용하고 있다고 한다. 이러한 기능들의 사용자 조작은 스피커 호출, 일시정지, 다시재생, 취소와 같은 기본적인 단위조작들로 구성되어 있다. 따라서 스마트 스피커와의 인터랙션을 위한 핑거터치 제스처는 이러한 단위조작들에 적용되는 것이 합리적이다. 이에 본 연구에서는 스토셋, 블레싱(Stößel & Blessing, 2010), 김, 송(Kim & Song, 2011), 송, 김(Song & Kim, 2012)이 분류한 단위 조작들을 기반으로 스마트 스피커에서 자주 사용되는 기능들의 조작에 필수적인 12개의 단위조작들을 Table 1과 같이 도출하였다. 전체 단위조작의 수는 12개지만 Pause(일시정지)와 Replay(다시재생), Next(다음)와 Previous(이전), Confirm.yes(승인)와 Confirm.no(거절), Volume up(소리 키우기)과 Volume down(소리 줄이기)은 서로 대응되는 조작으로서 하나로 묶을 수 있으므로, 선정된 단위조작은 총 8개의 군집으로 볼 수 있다.

김헌(Kim, 2012)은 제스처 조작은 직관적이어야 하며, 기억하기 용이하고, 자연스러워서 팔이나 손 등에 무리가 가지 않아야 하고, 각 제스처들이 명확하게 구분 가능해야 한다고 하였다. 본 연구에서는 이러한 제스처의 디자인 요건과 스마트 스피커의 형태를 고려하여 사용자들이 한 손으로 취할 수 있는 핑거터치 제스처들을 고안하였다. 시중에서 판매되고 있는 스마트 스피커의 주된 형태는 원 혹은 사각 기둥 형태이다. 이를 고려하여 스마트 스피커의 윗면과 옆면을 제스처 인식이 가능한 부위로 정하고, Figure 2와 같이 총 20가지의 제스처를 디자인하였다. 이들은 스마트폰이나 블루투스 이어폰과 같은 터치 제스처를 사용하는 타 기기에도 자주 사용되는 제스처들로서, 직관적이고 단순하여 사용자들이 쉽게 학습이 가능한 것들로 구성하였다. 탭은 스마트 스피커의 표면을 손가락으로 가볍게 터치하는 것이며, 두드리기는 손가락 끝을 이용하여 표면을 순차적으로 두드리는 제스처이다. 문지르기란 손바닥으로 표면을 2~3회 문지르는 것이며, 동그라미는 손가락 끝을 이용하여 스마트 스피커의 윗면에 동그라미를 그리는 제스처이다. 스와이프는 손가락 끝으로 상하 혹은 좌우 방향으로 직선을 그리는 제스처이다. 방향성을 가진 스와이프 제스처의 경우 사용자가 동작을 쉽게 취할 수 있도록 좌우 스와이프는 윗면에, 상하 제스처는 옆면에 취하는 것으로 한정하였다.

Figure 2 List of the 20 finger touch gestures

본 연구는 스마트 스피커를 사용할 때 항상 호출어(예. 아리야~, OK구글~ 등)로 먼저 스피커를 호출한 후에 특정 음성 명령을 해야 하는 번거로움을 해결해줄 수 있는 핑거터치 제스처 기반의 멀티모달 인터랙션을 제안하고 그것의 학습용이성과 사용성을 평가하였다.

본 연구에서는 스마트 스피커의 주요 기능 조작에 필요한 총 12개의 단위조작을 도출하였고, 원 혹은 사각기둥 모양의 스마트 스피커 조작에 사용 가능한 핑거터치 제스처 20종을 고안하였다. 그 후, 단위조작과 제스처 간 최적의 매핑을 결정하기 위해 각 단위조작에 적합한 제스처를 선택하는 설문조사를 수행하였다. 설문 결과와 단위조작의 성격을 고려하여 최종적으로 단위조작별 핑거터치 제스처를 다음과 같이 매핑하였다: 1) 일시정지-탭 1회 윗면, 2) 다시재생-탭 1회 윗면, 3) 취소/종료-두드리기 1회 윗면, 4) 반복-동그라미, 5) 다음-스와이프(좌→우), 6) 이전-스와이프(우→좌), 7) 승인-탭 1회 윗면, 8) 거절-탭 2회 윗면, 9) 소리 증가-스와이프(아래→위), 10) 소리감소-스와이프(위→아래), 11) 발화문구-탭 2회 윗면, 12) 발화재입력-문지르기 윗면.

12개의 단위조작에 매핑된 제스처의 종류는 상하좌우 스와이프를 하나로 간주하면 탭 1회, 탭 2회, 두드리기, 동그라미, 문지르기, 그리고 스와이프로 총 6개였다. 본 연구에서는 최종 결정된 핑거터치 제스처의 학습용이성과 사용성을 오즈의 마법사 기법을 이용하여 평가하였다. 실험 결과, 방향성을 가진 스와이프 제스처는 학습이 매우 빨랐으나, 취소/종료 조작에 매핑된 ‘두드리기 1회 윗면’ 제스처의 경우 학습이 매우 느림을 알 수 있었다. 또한, 참여자들은 스마트 스피커와의 핑거터치 인터랙션이 유용하다고 평가하였으나, 발화재입력 -문지르기 윗면 제스처의 경우 태스크 수행 시간도 오래 걸렸고 사용용이성도 상대적으로 낮게 평가되었다. 따라서 이 두 단위조작의 경우 조작 자체를 제외하거나 제스처에 개선이 필요함을 알 수 있었다.

본 연구에서 제안한 핑거터치 제스처는 음성 명령을 보조하는 수단으로서, 스마트 스피커가 침대 머리맡이나 책상 위와 같이 사용자에 근접한 위치에 있을 때만 사용 가능하다는 한계가 있다. 하지만 특정 호출어를 불러야 하는 사전 호출의 과정 없이 신속하게 스마트 스피커에 명령을 내릴 수 있다는 점에서 충분히 그 유용성을 가지며 이는 실험을 통해서도 입증되었다. 또한, 음악 재생 중 “다음 곡 재생”을 스와이프(좌→우) 제스처로 바로 명령하는 예와 같이 아예 음성명령 없이 빠르게 조작할 수 있는 장점이 있다. 특히 다른 사람들과 대화 중에 스피커에서 울리는 알람을 꺼야 하거나 스피커로 음악을 듣는 중에 전화를 받기 위해 음악을 멈춰야 하는 등 사용자가 음성을 다른 목적으로 사용해야 해서 스마트 스피커에게 음성으로 명령하기가 어렵거나 부자연스러운 상황에서도 유용하게 쓰일 수 있다. 또한 핑거터치 제스처는 특정 영역을 정확하게 터치하거나 눌러야 하는 기존 스마트 스피커들에서의 터치 입력이나 버튼 조작과는 달리 제품의 표면을 손가락으로 탭하거나 문지르는 등의 제스처를 취하면 되므로 더 빠르게 다양한 조작을 수행하는 것을 가능하게 해준다. 실험 결과를 보면 두드리기나 문지르기와 같은 제스처는 사용자들이 일반적으로 접하는 제스처가 아니므로 학습성이나 사용성에는 문제가 있었다. 하지만 탭, 동그라미, 스와이프 제스처의 경우 기존 스마트 스피커에 적용되어 발화문구 호출이나 반복 등의 음성 명령 조작을 대신한다면 음성 보다는 손으로 직접 조작하는 것이 더 나은 다양한 상황에 유용하게 쓰일 수 있을 것이다.

본 연구에는 다음과 같은 한계점이 있다. 첫째, 3장에서 디자인된 핑거터치 제스처는 원기둥 또는 사각기둥 형태의 스마트 스피커를 기준으로 하였기에 구 모양이나 조약돌 형태의 스마트 스피커에는 적합하지 않을 수 있다. 둘째, 4장에서 결정된 단위조작별 핑거터치 제스처는 평균 연령 21.4세인 젊은 설문 참여자들의 스테레오타입 (Stereotype)이었다. 따라서 다른 연령대의 사용자나 첨단 IT 기기들에 대한 숙련도 등에 따른 핑거터치 인터랙션의 다양성을 반영하지는 못했다는 한계가 있다. 셋째, 5장에서 핑거터치 제스처 각각의 사용성을 주관적으로 평가하였으나 이는 핑거터치 제스처를 음성 명령과 함께 사용하는 멀티모달 환경에서의 평가는 아니었다. 따라서 음성 명령과 핑거터치 둘 다를 사용하여 스마트 스피커를 조작 가능한 상황에서 핑거터치 인터랙션의 유용성과 사용성에 대한 평가가 필요하다. 이에 대해서는 임호정(Im, 2021)이 후속 연구를 진행하였는데, 숨은 그림 찾기와 단어 기억하기와 같은 주 태스크를 수행하면서 음성이나 핑거터치로 스마트 스피커를 조작하는 부 태스크를 수행시켰더니 90% 이상의 빈도로 음성 명령보다 핑거터치 제스처를 더 많이 사용하였다. 이는 스마트 스피커와의 인터랙션에 핑거터치 제스처가 유용함을 보여준 것이다.