Archives of Design Research

먼저, 능동적 인터랙션을 시도하는 스마트 스피커의 콘셉트를 정의하기 위해 능동적 개입이 사용자로부터 유의미한 반응을 끌어낼 수 있는 사용 상황을 조사하였다. 이를 위해 스마트 스피커가 설치되는 장소에 주목했는데, 킨셀라와 무슐러(Kinsella & Mutchler, 2019)에 따르면 스마트 스피커의 일반적 설치 장소는 Figure 1과 같았다. 거실이 44.4%로 가장 설치 비율이 높았는데, 2018년의 조사 결과와 비교하면 1.5% 감소하였다. 반면, 침실과 화장실, 그리고 홈 오피스와 같이 가정 내 독립된 공간에서의 설치 비율은 모두 증가하였다. 특히 서재와 같은 홈 오피스에서의 설치 비율은 2018년에 비해 3.5% 증가하였다. 이와 더불어 스마트 스피커를 2대 이상 보유하고 있는 가정의 비율 또한 증가했는데, 2018년의 34.3%에서 2019년에는 41.9%로 증가하였다(Figure 2). 이러한 이유로 향후 가정 내 독립된 공간마다 스마트 스피커가 설치될 것이라는 전망이 유력하다.

Figure 1 Primary location of smart speakers in 2019

(Smart speaker consumer adoption report 2019)

Figure 2 The number of smart speakers

(Smart speaker consumer adoption report 2019)

서재와 같은 공간에서 책상 위에 놓인 스마트 스피커의 경우 침실이나 거실 등과는 달리 발생 가능한 사용자 콘텍스트가 한정되어 있어 예측이 가능하기에 본 연구에서는 이러한 상황에서 스마트 스피커가 시도할 수 있는 능동적 인터랙션에 중점을 두었다. 책상 위에 놓인 스마트 스피커는 책상 앞에 앉아 있는 사용자의 콘텍스트 정보를 인식하고, 그에 필요한 대화를 시도하거나 추천 기능을 제안 또는 실행할 수 있을 것이다. 본 연구에서는 이처럼 사용자가 책상 앞에 앉아서 하는 활동들을 데스크 액티비티(Desk activity)라고 정의하였다. 이를 세분화하기 위해 먼저, 가정에서 수행된 콘텍스트 유추와 관련한 연구 내용 중 책상과 그 주변에서 일어나는 활동들을 추출하였다. 이때, 거실과 몇 개의 독립된 방으로 구분된 일반적인 저택 환경뿐만 아니라 거실과 침실, 서재 등의 공간이 구분되어 있지 않은 원룸 환경 모두를 고려하였다. 추출된 활동은 어피니티 다이어그램(Affinity diagram)을 활용하여 유사한 키워드 그룹으로 분류하였고, 각각의 키워드 그룹을 데스크 액티비티로 구분하였다. 그 결과, 데스크 액티비티는 ‘자리 복귀’, ‘컴퓨터 작업’, ‘공부’, ‘독서’, ‘미팅 또는 회의’, ‘잠’, ‘간식 섭취’, ‘사색’, ‘자리 떠남’, ‘기타 활동’의 10가지로 세분화되었다. 자리 복귀란 외출했던 사용자가 돌아와 책상 앞에 앉는 행동을 의미하며, 데스크 액티비티에서의 잠은 책상에 엎드리거나 의자에 기대 잠이 든 것을 의미한다. 또, 자리 떠남은 외출 등의 목적으로 사용자가 책상 앞에서 떠나는 행동을 의미하며, 기타 활동은 나머지 9가지의 분류 중 어디에도 속하지 않는 활동들을 의미한다.

앞서 정의한 데스크 액티비티를 스마트 스피커가 인지하기 위해서는 각종 센서를 이용하여 사용자의 활동을 측정할 수 있어야 한다. 실내 공간에서, 사용자의 활동을 측정하려는 시도로서 크리쉬난, 쿡(Krishnan & Cook, 2014)과 루, 푸(Lu & Fu, 2009)는 모션 센서, 가속도 센서, 진동 센서, 압력 센서, 조도 센서 등을 문, 소파, 테이블, 가전기기 등에 부착하였다. 이러한 방식은 비교적 넓은 공간에서 스마트 홈 환경을 구성하기에 유리한 장점이 있으나, 본 연구에서는 콘텍스트를 데스크 액티비티로 제한하였으므로 인식하려는 사용자의 활동 범위가 책상 주변으로 한정적이다. 따라서 스마트 스피커에 사용자의 데스크 액티비티를 인지할 수 있는 센서들의 장착이 필요하다. Figure 3은 본 연구에서 제안하는 능동적 스마트 스피커의 구현에 필요한 하드웨어 구성을 보여준다.

Figure 3 Hardware system for proactive smart speakers

첫째, 사용자의 데스크 액티비티를 인지하기 위한 핵심적인 요소는 마이크이다. 마이크는 스마트 스피커에 내장된 필수 요소이며, 최근 활발한 연구가 진행되고 있는 머신러닝이나 딥러닝과 같은 알고리즘 기술을 이용하면 녹음된 소리를 듣고 사용자의 활동을 예측할 수 있다. 아가왈, 제인, 쿠무르, 그리고 파텔(Agarwal, Jain, Kumur & Patel, 2018)은 스마트 스피커에 내장된 마이크들에서 인식한 소리를 딥러닝 알고리즘을 이용하여 어깨 회전, 다리 들어올리기, 제자리 걷기 등 10가지의 움직임을 96%의 정확도로 분류하였다. 또한, 스마트폰의 마이크와 가속도 센서를 이용하여 자는 동안의 숨소리 및 움직임을 분석하여 수면 단계(깊은 잠 또는 렘수면 등)를 기록하고 수면의 질을 측정하는 앱 등의 개발사례는 마이크를 이용하여 사용자의 활동을 측정할 수 있음을 뒷받침한다.

둘째, 마이크와 더불어 인체 감응 센서와 조도 센서가 필요하다. 이 센서들은 사용자의 움직임과 사용자 주변의 밝기 데이터를 측정하여 소리 데이터만으로는 알기 힘든 사용자 주변의 환경에 관한 정보를 습득할 수 있다. 그리하여 사용자의 데스크 액티비티를 더욱 정확히 파악하고, 주변 환경에 따른 다양한 서비스 제공을 가능하게 해 준다.

스마트 스피커 하드웨어 시스템을 통해 입력된 데이터를 이용하여 사용자의 데스크 액티비티를 판별하는 소프트웨어 시스템은 두 개의 모델로 구성하였다. 사람은 책 넘기는 소리, 마우스 클릭 소리 등 특정 소리만을 듣고도 독서를 하는지, 컴퓨터를 사용하는지와 같은 대략적인 상황을 유추할 수 있다. 이에 착안하여, 첫 번째 모델은 마이크에서 인식된 사운드 데이터를 딥러닝 알고리즘에 기반하여 소리 종류로 분류해 내는 사운드 인지 모델이다. 두 번째 모델은 첫 번째 모델의 출력값인 소리 종류와 나머지 센서들로부터 측정된 데이터들의 변화량 및 시간 데이터를 입력값으로 하며, 이를 특정 규칙 기반으로 사용자의 데스크 액티비티를 판별하는 모델이다.

본 연구에서는 소프트웨어 시스템의 구성을 결정하는 과정에서 구글의 오디오셋(AudioSet) 데이터 중 데스크 액티비티의 상황 구분에 이용할 수 있는 16가지 레이블에 해당하는 데이터만을 추출하여 이를 구분해내는 딥러닝 모델로 학습시켰다. 그 결과 정확도는 59.82%로 다소 낮게 측정되었는데, 이는 오디오셋 데이터가 유튜브의 동영상에서 추출된 만큼 순수하지 않은 데이터인 점과 데이터의 개수가 적었던 것이 원인이기도 하지만 사운드 분류 기술의 성능이 아직 미흡하기 때문이기도 하다. 이를 보완하기 위하여 두 번째 모델은 규칙 기반 모델로 구성하였다. 규칙 기반 모델의 입력값은 정해진 조건에 따라 출력값이 정해지기에 규칙을 잘 설정하기만 하면 사운드 분류 모델의 낮은 정확도를 보완할 수 있다.

이러한 소프트웨어 시스템과 앞서 정의했던 하드웨어 시스템을 바탕으로 한 전체 시스템의 아키텍처는 Figure 4와 같다. 사용자가 책상 앞에 앉아 어떠한 행동을 하면 스마트 스피커에 내장된 마이크, 인체 감응 센서, 조도 센서가 상황에 대한 정보를 수집한다. 마이크로부터 입력된 사운드 데이터는 사운드 인지 모델을 통해 소리 크기에 대한 데이터와 함께 어떤 종류의 소리인지 판별된다. 인체 감응 센서, 조도 센서는 아두이노와 같은 하드웨어를 통해 데이터가 입력되며 사운드 인지 모델에서 예측한 소리의 크기·종류 데이터와 시간 데이터에 기반한 규칙 기반 모델을 통해 사용자의 데스크 액티비티와 구체적인 태스크 상황을 예측한다. 그리고 예측된 상황에 따라 미리 정해진 시나리오에 기반한 소리를 스마트 스피커가 들려준다.

Figure 4 System architecture for proactive smart speakers

앞서 정의한 10가지 데스크 액티비티를 인지하는 스마트 스피커와의 유용한 사용자 인터랙션 아이디어를 수집하고자 포커스 그룹 토의(Focus group discussion, FGD)를 실시하였다. 스마트 스피커에 대한 배경지식을 지닌 평균 나이 26.0세의 20대 남녀 6명(남: 3, 여: 3)이 참여하였다. 이들 중 3명은 최소 3개월 이상 스마트 스피커를 사용 중인 참여자들이었다. 참여자들은 먼저 각 데스크 액티비티별로 기대하는 인터랙션 발생 상황과 구체적인 인터랙션 방안을 포스트잇에 5분간 작성하였다. 그 후 자신의 아이디어를 공유하고, 서로 의견을 나누면서 아이디어를 발전시켰다. 이러한 방법으로 FGD를 약 90분간 진행하여 총 113개의 아이디어를 도출하였다.

인터랙션이 발생하는 태스크 상황을 구체화하기 위해 수집된 아이디어들 중에서 앞서 정의한 스마트 스피커 시스템(Figure 4)이 인식할 수 있을 것으로 예상되는 아이디어만을 추출하였다. 제안한 시스템은 소리가 주요 정보원 중 하나이므로, 다른 데스크 액티비티와 유사한 소리가 발생하거나 특징적인 소리가 발생하지 않아 사용자의 활동 인식에 어려움이 있을 것으로 판단되는 ‘독서’, ‘사색’, ‘자리 떠남’과 관련된 아이디어는 제외하였다. 최종 선정된 태스크 상황과 인터랙션 아이디어는 Table 1과 같으며, 본 연구에서 제안한 VUI의 인터랙션 시나리오는 이를 기반으로 작성하였다.

‘능동적임’은 주관적인 지표이기에 개개인의 성향이나 상황에 따라 허용할 수 있는 능동적 반응의 수준은 다를 수 있다. 그러므로 VUI 시나리오를 개발하기에 앞서 능동적 대화를 시도하는 VUI 시스템의 능동적 반응에 대해 적절하게 그 수준을 구분할 필요가 있다. 그리고 구분된 능동적 반응의 수준에 따라 서로 다른 시나리오의 제공이 필요하며, 이에 대한 사용자들의 반응을 관찰하는 것이 중요하다.

본 연구에서는 사용자의 행동에 따른 스마트 스피커 VUI의 능동적 반응을 Figure 5와 같이 4단계로 구분하였다. 1단계는 무반응으로, 감지된 사용자의 행동에 대해 어떠한 인터랙션도 시도하지 않으며, 사용자의 호출에 의해서만 인터랙션을 시도하는 기존의 스마트 스피커가 여기에 해당한다. 2단계는 사용자의 행동에 대해 시스템으로부터 측정된 정보에 기반하여 단순 반응 인터랙션을 시도한다. 3단계는 시스템으로부터 측정된 정보에 기반하여 사용자의 태스크 상황을 예측하고, 그에 따른 적합한 사용자 행동을 제안하는 단계이다. 마지막으로 4단계는 3단계와 유사하게 사용자의 태스크 상황을 예측하는 한편, 태스크 상황에 따른 추천 행동을 제안하는 것에 그치지 않고 이를 직접 실행까지 하는 단계이다. 이렇듯 능동적 수준이 증가할수록 VUI는 더 능동적이고 적극적인 성격을 갖는다고 할 수 있다.

Figure 5 Four levels of proactive interaction

Table 1의 각 태스크 상황별로 Figure 5의 능동적 인터랙션 단계를 적용하여 사용자에게 도움이 될 시나리오를 도출하였다. 각 태스크 상황별로 도출된 2~4단계의 능동적 반응 수준별 인터랙션의 내용은 Table 2와 같았고, 이를 구체화하여 시나리오 스크립트를 작성하였다. 예를 들면, Figure 6은 태스크 상황 2, 4, 13에 해당하는 시나리오 스크립트이며, 나머지 태스크 상황에 대한 시나리오 역시 동일한 톤으로 스크립트를 작성하였다.

Figure 6 Example scenarios for task situation 2, 4, and 13

작성된 시나리오를 바탕으로 태스크 상황별로 어떤 수준의 능동적 인터랙션이 가장 선호되는지 알아보고자 사용자 평가를 수행하였다. 또한, 개인의 외향성(Extraversion)에 따라 선호하는 능동적 대응에 차이가 있는지도 검증하고자 하였다. 타푸스, 샤푸슈, 마타리치(Tapus, Ţăpuş & Matarić, 2008)와 나스, 이관민(Nass & Lee, 2000)에 따르면 사람들은 자신의 외·내향적 성향과 유사한 특성을 보이는 로봇 또는 인터페이스를 더 선호한다고 한다. 이를 바탕으로 능동적 반응 수준이 증가할수록 더 적극적으로 기능을 어필하거나 감성 대화를 시도하며, 수다스럽게 대응하는 시나리오에 대해서도 유사한 결과가 나타나는지 알아보고자 하였다.

실험에는 스마트 스피커의 주요 사용층인 20~30대 남녀 32명(남: 16명, 여: 16명)이 참여하였으며, 이들의 평균나이는 24.2세였다. 참여자들은 실험에 앞서 외향성을 측정할 수 있는 10개의 질문 문항에 답변하였다. 이 문항은 심리학계에서 인정받는 성격 검사지 중 하나인 HEXACO-PI-R의 60문항 설문지 중 외향성 항목에 해당하는 질문으로 구성하였다(Table 3). 모든 문항은 ‘매우 그렇다(5점)’, ‘그런 편이다(4점)’, ‘중간 정도(3점)’, ‘그렇지 않은 편이다(2점)’, ‘전혀 그렇지 않다(1점)’로 평가하였다. 이 설문지에 따르면 10개 질문 문항에 대한 점수의 평균치가 기준치인 3.51보다 크면 외향적인 성향을 나타내며, 기준치보다 낮으면 내향적인 성향을 나타낸다. 참여자의 응답에 따라 평균값을 계산하여 기준치와 비교한 결과, 외향적인 성향을 나타낸 참여자는 15명, 내향적인 성향을 나타낸 참여자는 17명이었다.

실험은 WoZ(Wizard of Oz) 방식으로 진행하였다. 이를 위해 태스크 상황별로 데스크 위에서 일어나는 능동 인터랙션의 상황 연출을 위한 제품들(예. 공기청정기, 열풍기, 가습기, 스탠드 등)을 Figure 7에서 보여주듯이 책상 위에 두었다. 그리고 3.4절에서 설명한 VUI 시나리오는 TTS(Text to Speech)로 미리 제작하여 상황에 따라 컴퓨터로 재생할 수 있도록 준비하였다.

Figure 7 Environment of user test

실험 절차는 다음과 같았다. 먼저 참여자들에게 자리 복귀, 컴퓨터 작업, 공부, 미팅 또는 회의, 잠, 간식 섭취, 기타의 7종류 데스크 액티비티에 대해 충분히 설명한 후 순서의 영향을 받지 않도록 이를 임의의 순서로 제시하였다. 그 후 각 태스크 상황별로 인터랙션이 재현될 수 있는 태스크를 부여하여 이를 인터랙션 시나리오대로 수행하도록 요구하였다. 예로, 태스크 상황 7번의 공부 중에 조도가 낮은 상황을 재연하기 위해 실험실의 불을 끈 채, 참여자에게 산수 문제를 풀며 공부를 하는 중이라고 상상할 것을 요청하였다. 이렇듯 참여자가 부여된 태스크를 수행하는 중에 네 수준 중 하나의 능동적 인터랙션 유형에 해당하는 TTS를 재생하였다. 특히 태스크 상황 1, 3, 4, 8의 인터랙션 시나리오는 사용자의 답변이 요구되는 시나리오였으므로, 이 경우 참여자들에게 정해진 시나리오대로 발화 혹은 행동하도록 요구하였다. 네 수준의 인터랙션이 있으므로 참여자들은 동일한 태스크를 네 번씩 반복하였다. 참여자들은 네 종류의 인터랙션 유형을 모두 경험한 후에 능동적 반응 수준에 대한 선호도를 1~4위로 평가하였으며, 순위 결정의 이유를 기술하였다.

19개의 태스크 상황별로 각 인터랙션 유형에 대한 선호 순위는 Figure 8과 같았다. 대부분의 태스크 상황에서 스마트 스피커가 3단계 또는 4단계의 능동적 인터랙션을 시도하는 것이 무반응보다 높은 선호도 순위를 보였다. 2단계의 단순 반응 인터랙션에 대한 선호도의 경우 무반응 인터랙션과 평균 순위는 유사했으나 정성적 평가에서는 더 부정적인 것으로 나타났다. 대부분의 태스크 상황에서 참여자들은 단순 반응 인터랙션이 아무런 도움이 되지 않으며, 기분이 나쁘고 거부감이 든다는 의견을 남겼다.

Figure 8 Overall results of user test

(The use of the same alphabetic characters indicates that there was no significant difference when α=0.05 according to Tukey test)

Figure 9와 같이 태스크 상황 3, 4, 5, 11에서는 참여자들의 성향과 인터랙션 유형 간 교호작용에 유의한 차이가 존재하였다. 교호작용도를 살펴보면 공통적으로 내향적 성향의 참여자들은 4단계의 능동적 대응 인터랙션보다 3단계의 예측 및 제안 인터랙션을 더 선호하였고, 외향적 성향의 참여자들은 반대의 모습을 보였다. 익숙지 않은 공간에서 실험 진행자와 실험이 진행되는 실험 환경상 내향적 성향의 참여자들은 의자에서 일어나 스트레칭하거나 소리 내어 음성 메모를 하는 실험 태스크에 부담을 느꼈을 수 있다. 이러한 실험 환경상의 요인과 더불어 이는 문요한, 김기준, 신동희(Moon, Kim & Shin, 2016)가 소개한 유사성 매력(similarity attraction)에 의한 결과라 할 수 있다. 이 이론에 따르면 민족성, 정치적 성향 그리고 성격 등은 다른 사람들이 자신과 유사하다고 느끼게 만드는 요소이며, 사람들은 자신과 유사한 상대방에게 더 호감을 느끼고 소통하고 싶어 한다. 즉, 외향적 성향의 사용자들은 더 외향적이면서 능동적인 스마트 스피커에 더 호감을 느꼈을 것이다.

Figure 9 Interaction effects between extraversion and proactive interaction type for task situation 3, 4, 5, 11