Archives of Design Research

관람객 조사는 국제관람객조사협회(Visitor Studies Association, 2022)에 따르면, 체계적인 절차로 관람객 경험을 데이터 및 정보화하여 이해하는 학제간 연구이다. 이를 위하여 미술관을 찾은 관람객들의 행동이나 반응을 데이터로서 수집하는 방안들이 제시되어 왔다. 예를 들어, 관람객의 행동을 추적하고 감상 시간의 타이밍을 IoT 센서나 카메라 등을 통하여 측정하는 방안들이 활용되어 왔다(Hong 외, 2021). 박물관에서의 전시물 이미지와 관람객을 딥러닝 기법을 통하여 컴퓨테이셔널하게 인식하는 연구들이 진행되어 왔다(Kleinlein 외, 2019; Ferrato 외, 2022a). 또한, 수집된 데이터를 전통적인 통계 방법뿐 아니라, 딥러닝 기법을 통하여 관람객을 이해하려는 시도들이 등장하기 시작하였다. Ragusa 외(2020)는 문화유산 환경에서 수집한 관람객 조사 데이터 기반 모델링을 수행하여 관람객들이 전시물을 기억하는 정도에 관한 분류 연구(예측 정확도 약 65%)를 수행하였다. Han 외(2018)는 여행객의 체크인 데이터를 기반으로 그들의 행동 유형을 분류하는 연구를 제안하였다. 또한, 관람객을 이해하기 위한 목적뿐 아니라, 실제 미술관에서 관람객을 위한 애플리케이션들이 연구되어 왔다. 예를 들면, Torres-Ruiz 외(2020)는 관람객 평가를 분석하여 그들의 박물관 경험을 풍부하게 만들기 위한 박물관 추천 시스템을 제안하였다. Gaia 외(2019)는 박물관을 찾은 관람객을 위한 AI 기반 챗봇 기술을 활용하는 방안을 제안하기도 하였으며, Khan 외(2021)는 Convolutional Neural Networks(CNN)를 통하여 인식된 인공물에 대한 멀티미디어 정보를 모바일 앱에 증강하는 방안을 선보였다.

정리하자면, 딥러닝 기법을 활용한 관람객 조사는 관람객을 추적하여 데이터를 수집하고, 수집된 데이터를 통하여 관람객의 특징이나 유형을 분류하거나 관람객을 위한 모바일 앱 기능을 개발하는 다양한 방향으로 진행되어 왔다. 하지만, 관람객 조사를 수행함에 있어 어떤 데이터 요소들을 수집하였을 때, 관람객들의 전시물에 대한 선호도를 파악할 수 있는지를 높은 정확도로 선보이는 연구는 부족하였다.

Bitgood(1988)에 따르면, 관람객 조사에서 데이터를 수집하는 방안은 크게 두 가지로 나뉜다. 첫 번째는 관람객 관찰 방법(observation methods)으로, 해당 방법을 통하여 전시장 내 관람객의 위치 데이터, 시선 데이터, 생리학적 데이터 등이 매우 다양하게 수집되는 경향을 보인다. 두 번째는 관람객 자체 기록 방법(self-report methods)으로, 전시장을 찾은 관람객을 대상으로 설문조사, 인터뷰 등을 수행하여 그들의 경험을 이해하는 방식을 의미한다.

Yi와 Lee(2019)는 이러한 관람객 경험에 대한 데이터 수집 기준을 관람객 시각적 주목도, 행동, 그리고 반응 및 평가로 분류하였다. 그렇지만, 해당 분류 방법은 시각적 주목도와 행동 데이터를 분류하는 기준이 모호하다는 문제를 보인다. 예를 들면, 시각적 주목도와 감상 시간은 높은 유사성을 지니고 있다. 이에 본 연구진은 기본 정보(예술작품 및 관람객), 관람객 행동, 그리고 관람객 평가를 기준으로 나누었으며, Yalowitz와 Steven(2009)이 연구에서 제시한 세부 데이터 요소들을 대상으로 Table 1과 같이 분류 및 정리하였다.

관람객 조사에서 기본 정보나 평가 외에 관람객 행동 지표들이 연구되어온 이유는 미적 감상의 영역은 일상에서 나타나는 시각 행동과 차이를 보이기 때문으로, 단순하게 감상 시간만으로 관람객의 미적 감상의 특성을 이해하기 어렵기 때문이다(Gartus, 2015). 전시 관람 시간은 미술관에서 관람객이 머무르는 시간을 측정한 것으로, 관람객들이 전시를 길게 혹은 짧게 보았는지의 경향성을 파악하기 위하여 주로 활용되어 왔다(Serrell, 1997). 또한, 전시물 감상 시간은 특정 작품 앞에서 관람객이 얼마나 시간을 보냈는지를 의미한다(Yi 외, 2021). 다음으로 전시물 감상 순서는 공간을 어떤 순서로 돌아다녔는지를 의미하며, 이 과정에서 특정 전시물을 재방문하는 경우를 파악하기 위하여 전시물 방문 횟수가 중요한 지표임이 밝혀져 왔다(Carbon, 2017). 이와 더불어, Robinson 외(1928)의 선도적인 연구 이후, 현재까지도 활용되고 있는 지표인 전시물의 지속력과 흡입력이 있다. 지속력은 관람객이 특정 전시물에 대하여 본 평균 감상 시간을, 흡입력은 전시장을 찾은 관람객 중에 특정 전시물을 감상한 이들의 비율을 의미한다(Lanir 외, 2017).

관람객 경험 데이터에 대한 실제 데이터를 수집하기 위하여, 미술관 전시장 내 관람객 행동 및 반응에 대한 관찰조사를 실시하였다. 해당 관찰조사는 대전 이응노미술관의 “예술가의 방(2020)”에서 진행되었으며, 해당 전시 내 이응노 화백의 회화 작품 40점을 감상 대상으로 설정하였다. 관찰 대상자는 한국과학기술원 교내 커뮤니티 ARA를 통하여 27명 모집하였다(나이= 25.26±3.85; 남성:여성= 16:11). 모든 참가자는 소정의 참가 비용을 지급받았으며, 교육 수준에 따른 차이를 최소화하기 위하여 예술에 대한 정규 교육을 받지 않은 이들로 모집하였다. 또한, 관찰조사에서 정량적 데이터를 수집하기 위하여, 본 연구진은 모바일 아이트래커(Pupil labs, binocular 120Hz)를 활용하였다. 해당 모바일 아이트래커는 상대적으로 가볍고, 높은 시선 위치 정확도를 지니고 있으며, 오픈 소스 기반 분석 툴을 통하여 데이터 수집 및 분석에 용이한 장점을 지니고 있다(Kassner 외, 2014). 이에 해당 장비를 선정하였으며, 아이트래킹 데이터의 정확도를 높이기 위하여 모든 참가자들은 교정시력 0.8 이상으로 모집하였으며, 안경을 착용하지 않은 상태로 실험에 참여하기를 요청하였다.

관찰조사는 다른 관람객들로 인한 영향을 제거하기 위하여 미술관이 전시장을 개방하지 않는 월요일에 수행되었으며, 각 참가자 별 평균 1시간이 소요되었다. 또한, COVID-19 예방을 위하여 모든 연구진과 참가자들은 마스크를 착용하였다. 본 실험은 크게 3단계로 진행되었다. 첫 번째, 참여자의 시선 위치를 정확하게 측정하기 위하여 시선 교정(calibration)을 수행하였다. 두 번째, 참여자는 Figure 2와 같이 아이트래커를 착용한 상태로 전시장을 자유롭게 감상하였다. 관찰조사에서 태스크가 부여된 상황에서의 시선 움직임은 태스크가 부여되지 않은 상황과의 차이를 보이기 때문에(Rothkopf 외, 2007), 태스크를 부여하지 않은 자유 관람 방식으로 진행하였다. 세 번째, 자유 관람이 종료된 후에 평가 단계를 진행하였다. 참여자는 전시를 다시 둘러보며 전시물의 선호도와 전시 만족도를 평가하도록 요청받았다. 모든 연구 절차는 한국과학기술원 생명윤리심의위원회의 승인하에 진행되었다(No. KH2019-040).

Figure 2 Observation studies using mobile eye-tracker

연구진은 Figure 3과 같이 세 가지 유형에 대한 관람객 데이터를 수집하였다. 데이터 유형 별 특징에서 주목할 수 있는 것은 실제 미술관이 관람객 조사를 실시한다고 가정하였을 때, ‘유형 1’은 관람객의 전시 감상을 시작하기 전에 사전 수집할 수 있는 정보이다. ‘유형 2’의 경우에는 관람객의 전시 감상 과정에서 수집할 수 있는 정보이며, 마지막으로 ‘유형 3’은 관람객이 전시 감상을 종료한 후에 수집할 수 있는 정보이다.

Figure 3 Data collection via visitor observation

본 연구에서 수집한 데이터는 다음과 같다. 첫 번째, 관람객의 기본 정보는 대상자 번호와 성별 데이터였으며, 예술작품의 기본 정보는 작품의 크기(가로×세로)와 회화적 특징(구상 또는 추상)을 포함하였다. 두 번째, 관람객 행동 데이터는 Pupil Player(v.3.4) 소프트웨어를 통하여 사용자의 감상 환경에 대한 정보를 영상 장면을 분석하여 아이트래킹 데이터로 추출하였다. 추출된 아이트래킹 데이터는 다음과 같이 2차 가공하였다. 전시물에 대한 감상 시간의 경우에는 참여자의 시선이 특정 전시물에 진입한 시간과 벗어난 시간의 차이로 측정하였다. 또한, 특정 전시물에 대한 시선이 재진입한 경우를 방문 횟수로 집계하였다. 이와 더불어, 특정 전시물을 기준으로 모든 관람객의 감상 시간 및 방문 횟수의 평균을 계산하여 전시물의 지속력과 흡입력을 계산하였다. 마지막으로, 관람객 평가 데이터의 경우에는 7점 리커트 척도로 각 전시물에 대한 선호도 점수를 수집하였다: “당신은 해당 예술작품을 어느 정도로 선호하십니까? (1: 매우 부정적 ~ 7: 매우 긍정적)” 이 과정에서 참가자가 감상하지 않은 전시물의 경우에는 평가를 진행하지 않았으며, 향후 모델링을 위한 데이터셋에 포함되지 않았다. 전시 만족도의 경우에는 Han과 Hyun(2017)의 3가지 문항에 대하여 개별 7점 리커트 척도로 답변을 받아 평균값으로 측정하였으며, 전체 문항은 다음과 같다:

(1) 전반적으로, 나는 이 전시에서 나의 경험에 만족한다; (2) 이 전시를 방문하기로 결정한 것은 현명한 것이었다; (3) 전반적으로, 다른 전시와 비교하였을 때, 나는 이 전시에 만족한다.

위 수집 데이터 중 관람객에게 가장 많은 부담을 주는 정보는 위에서 언급한 바와 같이 관람객의 전시물 선호도이다. 행동 데이터는 비콘, 카메라, 아이트래킹 기술 등을 통하여 관람객에게 방해를 주지 않는 관찰(unobtrusive observation)을 통하여, 관람객 기본 정보나 평가 데이터는 단회성 질문으로 수집이 가능하다. 하지만, 관람객의 전시물 선호도는 예술작품 전반에 대한 질문과 평가가 이행되어야 하기에, 조사자 및 관람객 모두에게 과도한 업무를 야기한다(e.g., 루브르 미술관의 전시 작품 수: 약 35,000점). 그렇기에 본 연구는 관람객의 예술작품 선호도에 대한 최적의 예측 모델을 도출하였다. 게다가, 미술관의 상황과 인력 등의 환경에 따라 관람객 조사를 위하여 투입할 수 있는 자원이 다르기 때문에, 여러 데이터 수집의 상황이 고려될 필요가 있다. 이에 본 연구진은 관람객 조사 데이터 수집 상황을 세 가지로 분류하였다. 첫 번째 상황은 유형 1에 해당하는 관람객 및 전시물의 기본 정보만을 수집할 수 있는 상황이다. 두 번째 상황은 유형 1과 더불어 관람객의 감상 행동 데이터(유형 2)를 수집하는 상황이다. 마지막으로 세 번째 상황은 유형 1, 2와 함께 유형 3에 속하는 관람객의 전시 만족도 점수를 수집할 수 있는 상황으로 설정하였다. 결과적으로 본 연구진은 세 가지 수집 상황에 따른 예측도의 차이가 어느 정도 발생하는지를 살펴보았다.

위 과정을 통하여 정제된 데이터를 기준으로 본 연구진은 아래와 같이 DNN 기반 예측 모델을 구축하였다. 첫 번째, 이응노 작품을 감상한 관람객 27명 각각이 감상한 작품 수(평균 39.3개)의 감상 데이터를 총 1,061건의 작품 감상 사례로 재표현(case representation)하였다. 두 번째, 관람객의 전시물에 대한 선호도를 리커트 7점 척도를 기준으로 4점 미만은 ‘부정(negative)’로, 5점 이상을 ‘긍정(positive)’으로 라벨링(labeling)하였다(Okumura와 Yamanaka, 2019; Pelowski 외, 2018). 세 번째, 관람객 예술작품 선호의 긍정/부정을 분류하기 위한 예측 모델은 Python(v.3.8) 환경에서 TensorFlow를 백엔드 엔진으로 활용한 인공 신경망 응용 프로그래밍 인터페이스인 Keras로 구현하였다.

본 연구의 DNN은 상대적으로 작은 데이터셋을 대상으로 모델링이 수행되었기에, 두 개의 은닉 계층(hidden layer)에 대한 완전 연결 계층(fully connected-layer) 방식으로 학습이 진행되었다. 또한, 학습 과정에서 피드백 신호에 대한 손실 함수로는 범주형 크로스엔트로피(Categorical-crossentrophy)와 이분형 크로스엔트로피(binary-crossentrophy) 기반 모델링 결과를 비교하였을 때, 범주형의 성능이 상대적으로 높게 나와, 범주형 크로스엔트로피를 손실 함수로서 활용하였다. 그리고 학습 진행 방식의 옵티마이저(optimizer)는 보편적으로 활용되고 있는 ‘Adam’을 활용하였다.

이와 더불어, 본 연구진은 모델의 과적합을 방지하기 위하여 먼저, 데이터셋을 훈련셋(전체 데이터셋의 80%), 테스트셋(전체 데이터셋의 20%), 그리고 검증셋(테스트셋의 50%)으로 분할하였다. 검증을 위한 데이터셋은 도출된 모델의 성능을 측정하기 위한 목적으로 사용되었다. 다음으로, Pasupa와 Sunhem(2016)의 연구에서 밝혔듯, 모델 과적합을 방지하기 위하여 사용되는 드롭아웃(dropout)을 각 은닉 계층에 적용하였다. Figure 4와 같이 설계된 모델을 기반으로, 본 연구진은 예술작품에 대한 관람객 선호의 긍정/부정을 예측하는 모델을 개발하였고, 이를 통하여 다음과 같이 두 가지 결과를 도출하였다. 첫 번째, 데이터셋의 요소들에 대한 모든 조합 1,023개를 도출하였다. 두 번째, 모든 조합에 대한 모델 성능을 예측 정확도로 계산하고, 해당 결과 중에서 최적의 모델을 도출하였다. 이를 위한 초기 단계로, 모든 조합 요소셋(feature-set)에 대한 모델들의 성능을 다음 Table 2의 의사코드(Pseudo-code) 형태의 알고리즘에 따라 측정하였다.

Figure 4 Modeling procedure of visitor studies via DNN

기존 관람객 조사에서 딥러닝 기법을 적용한 사례는 주로 실시간 관람객 추적 및 애플리케이션을 개발하기 위한 목적으로 진행되어 왔다. 그러나 결국 관람객을 위한 전시 콘텐츠 및 정보를 제작하는 곳은 박물관으로, 박물관 입장을 고려한 딥러닝 기법 활용 연구가 미진한 측면을 보인다. 본 연구는 다양한 관람객 조사 데이터 요소 중 어떤 데이터를 수집하였을 때의 선호도 예측 모델 결과를 제시함으로써, 박물관에서 관람객 조사를 수행함에 있어서 고려해야 할 데이터 요소의 종류를 설정하는 것을 지원할 수 있다. 위 내용을 고려한 DNN 모델링 기반 관람객 조사 지원 시스템의 사례 시나리오는 아래 Figure 7과 같다.

Figure 7 Scenario for Visitor-studies support system based on modeling result

해당 시나리오에서 박물관은 관람객 조사를 계획함에 있어서 수집할 데이터 요소를 설정할 수 있다. 모든 관람객 관련 데이터를 수집하는 것이 조사 목적을 달성할 확률이 높지만, 현실적으로 박물관 현장에서 활용할 수 있는 조사 장비의 한계가 존재하며, 데이터 수집을 위해 연구자 및 관찰 대상에게 부여되는 태스크가 과도하게 부여될 수 있다는 문제점을 지닌다. 이에, 적절한 수준의 데이터 수집을 위해서는 계획 중인 관람객 조사의 맥락에 따라 최적의 수집 요소셋을 설정할 필요가 있다. 본 연구에서 제시한 예측 모델은 수집 데이터셋에 따른 정확도를 제공할 수 있다는 점에서 발전 가능성을 지니고 있다. 만일 박물관이 그들이 수집할 수 있는 데이터 요소들을 선택하면, 해당 모델은 1,023개의 모델 결과치를 바탕으로 최적의 정확도를 보이는 요소셋을 보여줄 수 있다. 즉, 관람객 조사를 수행하기에 앞서 어떤 데이터를 수집할 것인지에 대한 설계 단계를 지원할 수 있다. 이와 같이, 딥러닝 기반 관람객 경험 모델링 연구는 박물관에서의 관람객 조사 계획 및 분석 단계에서 유용하게 활용될 수 있다.

다음으로, 기존 전시 디자인은 주로 큐레이터의 지식에 기반하여 메시지를 전달하기 위한 전시물 선택, 배치, 그리고 라벨 제작의 과정으로 진행된다(Serrell, 2015). 미술관의 모든 요소가 관람객 중심으로 바뀌어야 살아남을 수 있다는 관람객 중심의 미술관으로의 변모를 꾀해야하는 현대적 측면에서 보았을 때(Yi 외, 2021), 기획자의 의도뿐 아니라, 관람객의 선호도를 전시 기획에 적용하기 위한 시도가 필요함을 보여준다. 본 연구에서 제안한 모델은 예술작품 및 관람객 데이터를 입력하였을 때, 관람객이 선호할 것으로 예측되는 결과를 [True / False]의 형태로 제시해준다. 본 연구에서 제안한 모델을 활용하면, 현재 전시 디자인 결과물에 대한 관람객의 선호도를 예술작품 각각에 대한 평가를 수집하지 않고도 수행할 수 있음을 보여준다(Figure 8).

Figure 8 Example of prediction system for exhibition design

정리하자면, 향후 전시물 및 관람객 행동 데이터가 고도화된 시스템 연구가 진행된다면, 전시 기획 및 구성에 따른 관람객의 선호도 예측 정확도가 향상될 수 있으며, 이를 기반으로 한 전시 디자인 결과물에 대한 평가를 수행할 수 있다. 이러한 평가 케이스들이 축적될수록, 관람객의 평가를 바탕으로 향후 전시 디자인을 수행할 수 있게 된다. 여기서 나아가, 이러한 예측 모델의 결과는 관람객이 선호할 것으로 예측되는 작품들을 전시 섹션마다 균형 있게 배치하는 작업을 보다 수월하게 할 수 있다. 또한, Martella 외(2017)의 연구에서 인적이 드문 전시 공간 표기(차가운 장소; cold spot) 데이터와 결합하게 되면, 차가운 장소에 선호도가 높을 것으로 예측되는 작품을 배치하여 작품을 고르게 배치할 수 있다.

본 연구는 다음과 같이 신중하게 고려되어야 할 한계점을 지니고 있다. 첫 번째, 해당 예측 모델의 데이터셋은 이응노미술관의 전시를 대상으로 한 관찰조사를 통하여 수집되었다. 그렇기에 이응노 화백의 예술작품을 감상한 케이스 외에 다른 상황에서 해당 모델을 적용함에 있어서 한계를 지닌다. 또한, Smith와 Wolf(1996)에 따르면, 예술 지식은 관람객의 선호도에 유의미한 영향을 미친다. 본 연구의 관찰조사 참가자들은 모두 예술에 관한 정규 교육을 받지 않은 이들로 구성되었기에, 예술 전공자들의 경우에는 해당 모델이 제대로 적용되지 않을 확률이 있다. 그렇기에, 향후 보다 다양한 미술관 및 전시 환경에서의 관람객 경험 정보가 학습 데이터로서 적용될 필요성을 지닌다.

두 번째, 본 연구는 실험 참여자 수가 27명으로 연구 결과의 일반화를 도출하기에는 미진한 측면을 보인다. 그렇지만, 본 연구는 연구실 환경에 비하여 상대적으로 환경 조절이 어려우며 데이터 수집이 어려운 실제 전시 현장(in-situ)에서 관람객 조사를 실시하였다(Kjeldskov & Graham, 2003). 또한, 27명의 전시 경험 데이터만으로도 80% 이상의 예측 모델 결과를 도출하였다는 점은 추가 실험에 따른 향후 발전 가능성이 높다는 점을 보여준다.

세 번째, 본 연구는 모바일 아이트래커를 통하여 관람객 조사를 실시하였다. 이는 위 연구와 동일하게 미술관에서 조사를 진행함에 있어서 비싼 연구 장비를 구비해야 하는 문제를 야기할 수 있다. 하지만, 아이트래커 기술은 점점 소형화되고 및 저렴해지는 경향성을 보이고 있으며, 특히 Hwakeye와 같은 모바일 애플리케이션(Hawkeye, 2022)은 스마트폰 내장 카메라를 활용하는 아이트래커 기능을 지원한다. 또한, 관람객 조사 분야에서 해당 기술이 보편적으로 활용되기 시작했다는 점과 연결지어 바라보았을 때, 본 연구와 같은 아이트래킹 기반 관람객 모델링 연구의 가치가 점점 높아질 수 있음을 보여준다.