Home > Vol. 37, No. 1

시각적 은유를 이용하는 감성 시각화 분석을 위한 분류 체계 구축
Constructing a Taxonomy for Sentiment Visualization Analysis Using Visual Metaphors
  • Hyoji Ha : Lifemedia Interdisciplinary Program, Student, Ajou University, Suwon, Korea
  • 하 효지 : 아주대학교 라이프미디어협동과정, 학생, 수원, 대한민국
  • Hyerim Joung : Lifemedia Interdisciplinary Program, Student, Ajou University, Suwon, Korea
  • 정 혜림 : 아주대학교 라이프미디어협동과정, 학생, 수원, 대한민국
  • Kwanghyuk Moon : Lifemedia Interdisciplinary Program, Student, Ajou University, Suwon, Korea
  • 문 광혁 : 아주대학교 라이프미디어협동과정, 학생, 수원, 대한민국
  • Kyungwon Lee : Department of Digital Media, Professor, Ajou University, Suwon, Korea
  • 이 경원 : 아주대학교 미디어학과, 교수, 수원, 대한민국

연구배경 최근 데이터마이닝 및 자연어처리 기술의 발전으로 인해, 감성 분석은 단순한 긍부정의 성격을 넘어 보다 다채로운 성향을 가진 정보들을 대상으로 이루어진다. 이에 따라 고차원적인 시각화 기술을 사용하여 감성 정보를 분석하는 사례가 늘어나고 있으며, 해당 사례들은 대중적인 관점에서 이해하기에 어려운 경우가 많다. 이런 문제들을 해결하기 위해 최근에는 시각적 은유를 활용하여 감성 정보를 시각화하려는 움직임이 늘어나고 있다. 따라서 관련 사례들을 보다 쉽게 이해할 수 있도록, 그들의 연구 방법과 목적, 시각적 은유에 대한 정보를 체계적으로 정리할 수 있는 수단이 필요한 상황이다.

연구방법 본 연구에서는 시각적 은유를 기반으로 한 감성 분석 시각화 사례들의 연구 과정을 세부적으로 고찰할 수 있는 분류 체계를 제안한다. 우선, 시각적 은유에 기반을 둔 감성 시각화 사례들을 수집하고 분류 체계를 구성하기 위한 자료로 활용한다. 두 번째는 분류 체계를 구성하는 기준들을 선정하는데, 은유 과정에서 나타나는 단계적 분석 업무에 근거하여 기준의 속성을 크게 다섯 가지(분석 대상, 매개, 재현물, 시각적 변수, 시각화 테크닉)로 나누고 세부적인 하위 요소들을 선정한다. 세 번째는 만들어진 분류 체계를 바탕으로 실제 사례를 이용하여 분석 작업을 시행한다. 마지막으로 분류 체계에 대한 효용성 및 개선점을 알아보고자 피실험자들을 대상으로 정성적 검증 실험을 진행한다.

연구결과 본 연구에서 고안한 분류 체계는 감성 시각화에서 나타난 시각적 은유가 어떠한 감성 정보를 바탕으로 이루어졌으며, 은유가 진행된 동기나 배경이 무엇인지, 감성 정보를 대체하게 된 재현물이 무엇인지, 그리고 해당 재현물에 대한 해석적 의미를 더하기 위해 시각적 변수가 어떻게 이루어지는지를 쉽게 이해할 수 있도록 만들어졌다. 검증 과정에서는, 본 연구의 분류 체계가 시각적 은유를 활용한 감성 시각화 사례들의 포괄적으로 이해하는 데 도움을 준다는 것을 확인하였다. 반면에 재현물과 시각화 테크닉의 중분류 요소를 추가하고 요소들의 정의를 구체화하면서 세분화할 필요성도 확인했다.

결론 본 연구에서 제안하는 분류 체계는 사용자들이 이해하기 쉬운 감성 분석 결과물이 되려면 어떤 시각적 기술과 아이디어를 갖추어야 하는지를 알려주는 가이드라인이 될 수 있을 것으로 기대한다. 향후에는 사례에 나타나는 시각적 은유 과정을 보다 쉽게 설명할 수 있도록 분류 체계를 개선할 것이다. 그리고 다수의 관련 연구자들을 모집하여 분류 체계의 효용성과 시각적 은유 과정 이해도를 검증하는 정량적 평가를 진행할 예정이다. 마지막으로 보다 다양한 시각적 은유 사례들을 분류하여 데이터베이스화한 다음, 사용자들이 관련 사례들을 자유롭게 탐색할 수 있는 시스템을 제작할 계획이다.

Abstract, Translated

Background Due to the recent development of data mining and Natural Language Processing(NLP) technologies, sentiment analysis targets are more diverse tendencies than just information with affirmative or negative side. Accordingly, there are increasing cases of analyzing sentiment information using high-dimensional visualization technology, and these cases are often difficult to understand from a public point of view. In order to solve these problems, there is an increasing movement to visualize sentiment information using visual metaphors. Therefore, for the purpose of easier to understand related cases, there is a need for a measure to systematically organize information on their research methods, purposes, and visual metaphors.

Methods In this study, a taxonomy is proposed that can examine in detail the research process of sentiment analysis visualization cases based on visual metaphors. First, sentiment visualization cases based on visual metaphors are collected and used as data for constructing a taxonomy. Second, selecting the criteria that constitute the taxonomy, and based on the step-by-step analysis work that appears in the metaphor process, the attributes of the criteria are largely divided into five elements (Target, Task-oriented Intermediation, Representation, Visual Variables and Visualization Technique) and detailed sub-elements are selected. Third, classification work is performed using an actual study based on the created taxonomy. Finally, in order to find the utility and improvements of the taxonomy, an qualitative evaluation is conducted for subjects.

Results The designed taxonomy in this study provided it easy to understand what kind of sentiment information the visual metaphor from sentiment visualization is based on, what motives or backgrounds the metaphor has progressed, what representation have replaced sentiment information, and how visual variables are performed to add interpretive meaning to the representation. During the verification process, it was estimated that the taxonomy of this study helps to understand inclusively sentiment visualizations using visual metaphors. On the other hand, we also confirmed the need for adding more Subcategory level 1 elements to the representation and visualization techniques. Furthermore, specifying as well as subdividing the definitions of both criteria's element is just as necessary.

Conclusions We expect that the taxonomy proposed in this study can be a guideline to inform researchers of the visual techniques and ideas that is required to become a comprehendible sentiment analysis visualization result to users. In future work, this study will improve the taxonomy to easily explain the visual metaphor process that appears in different cases. In addition, we will conduct a quantitative evaluation of several related researchers to verify the effectiveness of the classification system and the understanding of the visual metaphor process. Finally, more diverse visual metaphor cases will be classified and converted into a database, and we will create a system that can help users to freely explore related cases.

Keywords:
Visual Metaphor, Data Visualization, Sentiment Analysis, Sentiment Visualization, Taxonomy, 시각적 은유, 데이터 시각화, 감성 분석, 감성 시각화, 분류 체계.
pISSN: 1226-8046
eISSN: 2288-2987
Publisher: 한국디자인학회Publisher: Korean Society of Design Science
Received: 06 Dec, 2021
Revised: 16 Mar, 2022
Accepted: 16 Mar, 2022
Printed: 31, May, 2022
Volume: 35 Issue: 2
Page: 181 ~ 207
DOI: https://doi.org/10.15187/adr.2022.05.35.2.181
Corresponding Author: Kyungwon Lee (kwlee@ajou.ac.kr)
PDF Download:

Funding Information ▼
Citation: Ha, H., Joung, H., Moon, K., & Lee, K. (2022). Constructing a Taxonomy for Sentiment Visualization Analysis Using Visual Metaphors. Archives of Design Research, 35(2), 181-207.

Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

1. 연구의 배경 및 목적, 연구 방법

디자인 분야에서 감성 시각화(Sentiment Visualization)는 텍스트 데이터에서 발견된 감성을 분석하기 위한 정보 시각화(Information Visualization) 및 시각적 분석(Visual Analytics) 방법이다(Kucher, Paradis and Kerren, 2018). 감성 시각화를 진행하기 위해서는 감성 정보를 분석하는 것이 첫 단계가 되는데, 여기에서 감성 분석(Sentiment Analysis)은 특정 대상이나 콘텐츠, 정보에 대해 사람들이 제시하는 감정, 인상, 의견, 평가, 태도 등을 텍스트 기반으로 분석하는 것이다(Liu, 2012). 감성 분석 데이터는 사람에 대한 의견 정보나 감정 정보를 요약하여 보여줄 수 있는 중요한 원천이 되는데 최근 정보 시각화 분야에서는 이를 활용한 결과물이 자주 등장한다.

그런데 데이터마이닝 기술과 자연어처리 기술의 발전으로 인해 감성 분석 정보의 수집 규모가 커지고 있고, 각각의 정보들은 긍부정의 성격을 넘어 보다 다채로운 성향을 띠는 경우가 생기고 있다. 때문에 고차원적인 방식의 시각화 기술들을 이용하거나 여러 종류의 시각화를 조합하여 감성 분석 정보를 보여주는 사례들이 나타나게 된다. 이를 대중적인 관점에서 본다면 사용자들이 시각화 정보를 어떻게 분석하는지 방향성을 잡기가 힘들어지며 결과물 해석에 많은 시간이 소비될 수 있다.

또한, 감성이라는 개념은 특정 대상에 대한 객관적인 사실이나 정보를 생각하는 것이 아닌 사람들의 주관적인 인식을 기반으로 이루어지기 때문에, 같은 정보 시각화 결과물을 보더라도 사람에 따라 전혀 다른 평가를 하거나, 다른 느낌을 느낄 수 있다. 그렇게 되면 사용자는 제작자의 의도와는 다른 판단을 내릴 가능성이 생겨, 정보 시각화 결과물이 전달하는 일반화된 사실을 공감하지 못하는 상황이 발생한다. 따라서 사람들이 감성 분석 정보를 쉽게 공감하고 인지할 수 있도록 시각화 방법을 개선하는 것이 필요하다.

이에 따라 일부 연구자들을 중심으로 직관적인 이해를 돕는 감성 시각화를 제시하기 위해 시각적 은유(Visual Metaphor)를 활용하려는 시도가 생겨나고 있다. ‘은유’는 보편적으로 이미 알고 있는 대상이나 체험을 가지고 이해하기 어려운 대상을 이해하게 하는 것을 말하는데(Lakoff, 1980), 이는 다양한 의미를 내포하는 대상을 올바르게 해석할 수 있도록 도와준다. 시각적 은유를 활용한 감성 시각화는 시간이 지날수록 그 필요성이 증대하여 많은 사례가 늘어나고 있지만 이를 체계적으로 정리하여 고찰한 연구는 현재 드문 상황이다. 또한, 연구자가 사용한 시각적 은유의 과정을 분석하고, 해당 은유를 사용하게 된 의도를 파악하는 경우도 많지 않다. 이런 점을 미루어볼 때, 사람들의 이해와 공감을 불러일으키는 시각적 은유 사례들을 손쉽게 분석하기 위해서는 그들이 사용한 연구 방법들을 정리할 수 있는 수단이 필요하다.

본 연구는 감성 정보의 효과적 전달을 위해 시각적 은유와 감성 시각화를 활용한 사례들을 분류하는 체계(Taxonomy)를 제안함으로써, 사용자들이 이해하기 쉬운 감성 분석 결과물이 되려면 어떤 시각적 은유 방법과 아이디어를 갖추어야 하는지 참고하는 지표를 만들고자 한다. 해당 목적을 달성하기 위한 연구 방법을 서술하면 아래와 같다.

우선, 시각적 은유를 활용한 감성 시각화 사례들을 수집한다. 사례를 수집할 때에는 사용된 데이터 및 감성 분석 기술을 요약하고, 어떤 목적을 가지고 시각화를 제작했는지 파악한다. 또한, 목적을 충족시키기 위해 활용된 은유의 요소가 무엇인지를 정리한다. 수집된 사례는 분류 체계를 구성하기 위한 자료로 활용한다.

두 번째로, 사례들을 분석할 수 있는 분류 체계를 만든다. 이때, 분류 체계를 구성하는 대분류는 은유를 활용한 감성 시각화 과정에서 나타나는 단계적 분석 업무에 근거하여 크게 다섯 가지(분석 대상, 매개, 재현물, 시각적 변수, 시각화 테크닉)의 유형으로 나누고 각 유형과 관련된 세부적인 하위 요소들을 구성한다.

세 번째로, 실제 사례에 대해서 분류 체계를 활용하여 분석 작업을 시행한다. 그 과정에서 대상 사례가 사용한 감성 데이터, 시각적 은유를 사용하게 된 동기나 배경, 은유를 위해 사용한 재현물(분석 대상을 대체할 수 있는 요소나 과정), 재현물에 의미를 더하고자 사용한 시각적 변수, 시각화 테크닉 등이 무엇인지를 파악한다.

마지막으로 분류 체계에 대한 검증을 위해 피실험자들이 직접 분류 작업을 시행한 뒤, 분류 체계의 효용성 및 개선점을 알아보고자 한다.

본 연구에서 제시한 분류 체계와 사례 분석 작업은, 관련 분야의 연구자들이나 감성 시각화를 감상하는 일반 사용자들에게 시각적 은유 과정의 이해를 돕는 지표가 될 것이라 기대한다. 본 연구의 전체 과정을 정리하면 Figure 1과 같다.


Figure 1 Research Framework
2. 관련 연구 분석 및 연구의 차별성

본 연구에서는 감성 시각화에 나타나는 시각적 은유 과정을 쉽게 분석할 수 있도록 만드는 분류 체계를 제안하고자 한다. 이때, 분류 체계를 구성하는 대분류, 중분류, 그리고 세부적 하위 요소들은 시각적 은유 과정을 더욱 잘 이해할 수 있는 방향으로 제작될 필요가 있다.

우선, 은유에 대해서 레이코프(Lakoff, 1980)는 이미 알고 있는 대상을 이용하여 이해하기 어려운 대상을 설명하는 것이라고 하였고, 리처즈(Richards, 2017)도 원래 의도한 표현인 원관념을 보조관념으로 비유하는 것을 은유라고 보았다. 여기에서 원관념은 원래 나타내고자 하는 것을 말하며 보조관념은 원래 나타나고자 하는 것을 대체하는 대상을 말한다. 은유에 대한 정의 및 개념으로 미루어볼 때 감성 분석 데이터를 활용한 시각적 은유에서는 감성 분석의 대상을 원관념으로 보고, 감성 분석의 대상을 대체할 수 있는 재현물을 보조관념으로 볼 수 있다. 그리고 해당하는 두 요소는 시각적 은유의 과정을 설명하는 데 있어서 꼭 필요한 요소이다. 이 밖에도 시각적 은유가 왜 이루어져야 하는지에 대한 목표나 동기를 고려하면 은유의 과정을 이해하는 데에 있어서 큰 도움을 얻을 수 있다(Heyles, 2007). 또한, 시각적 은유를 위해 사용되는 재현물은 그대로의 모습으로 원관념을 설명할 수도 있지만, 원관념에 내포된 정보를 다양하게 반영하기 위해 색상을 적용한다거나 크기를 달리하는 등의 변형이 이루어질 수도 있다(Bertin, 1967). 이밖에도, 본 연구가 감성 분석 시각화 사례를 다루는 만큼, 재현물과 같이 어우러져 사용되어 은유 과정 해석에 도움을 줄 수 있는 시각화 테크닉을 함께 고려하는 것도 필요하다(Chi, 2000).

따라서 본 연구는 감성 분석 혹은 시각적 은유를 주제로 하는 여러 분류 체계의 연구 동향을 살펴볼 때, 은유의 과정에 필수적으로 필요하거나 은유 과정을 이해하는 데 도움을 줄 수 있는 요소들을 중심으로 살펴보고자 했다.

2. 1. 감성 분석의 대상 및 분석 목적에 대한 분류 체계

우선, 로드리게스, 카밀로-주니어, 그리고 로사의 연구(Rodrigues, Camilo-Junior and Rosa, 2018)에서는 감성 분석을 진행하는 목적이나 배경을 ‘Problem’의 범주로 묶은 다음 관련된 하위 요소들을 분석 대상(개체, 의견, 감정, 의견 보유자)에 초점을 맞추어 분류 요소들을 계층적으로 나타내었다. 그리고 감성 분석의 주요 기술이나 감성 정보에 접근하는 단위 개념(Lexicon, Concept, Machine Learning)들을 ‘Method’의 범주로 묶어서 분류 요소를 만들기도 하였다. 다음으로, 테드모리 그리고 아와잔의 연구(Tedmori and Awajan, 2019)에서는 감성 분석을 진행할 때 필요로 하는 주요 분석 업무들을 Opinion Identification, Feature Extraction, Sentiment Classification, Sentiment Summarization 등으로 정리하고 이를 분류 기준으로 형성한 뒤, 각 기준에 해당하는 여러 감성 분석 사례들을 분류하는 연구를 진행하였다.

2. 2. 시각적 은유 요소(재현물) 및 시각적 변수 관련 분류 체계

감성 시각화 혹은 데이터 시각화를 대상으로 하는 분류 체계에서는 감성 분석의 대상 및 목적 이외에도 시각적 은유를 사용하거나, 시각적 변수를 분류 체계로 다루는 사례들이 있다.

우선, 나카무라 그리고 젱-트레이틀러의 연구(Nakamura and Zeng-Treitler, 2012)에서는 아이콘이나 픽토그램 디자인에서 나타나는 시각적 은유에 대한 분류 체계를 만들기 위해, 분석 목적과 디자인 제작의 의미를 분류 요소로 설정하고 아이콘이나 픽토그램에 반영된 다양한 재현물의 사례들을 분석한 바가 있다.

다음으로, 쿠셔, 파라디스, 그리고 케렌(Kucher, Paradis and Kerren, 2018)의 연구에서는 최근 15년간의 감성 시각화 사례들을 제시하고, 각 사례에서 발견되는 감성 시각화 연구의 특성을 범주화하여 정리하였다. 그리고 각 범주 사이의 상관관계를 밝히고, 감성 시각화 연구자들에게 적절한 시각화 사례를 추천하는 방안을 모색하였다. 해당 연구에서는 감성 분석 업무, 시각화 업무, 시각화의 의도 및 재현물을 변형하는 시각적 변수 등을 분류 유형으로 구성하여 각 사례를 분류하였고 그에 따른 분석적 패턴을 발견하였다는 점에서 의의가 있다. 그러나 제시된 재현물들은 시각적 은유 과정에서 분석 대상을 대신할 수 있는 대상 이외에도 시각화 테크닉에 대한 부분까지 모두 재현물이라고 분류했다는 점에서 분류 체계의 세분화가 필요한 것으로 나타났다.

국내연구를 살펴보면, 이지선(Lee, 2018)은 시각적 은유와 데이터 시각화를 함께 사용한 사례들을 조명하고 관련 사례들을 분석하기 위한 분류 체계를 제안하였다. 해당 연구에서는 데이터 시각화에 적용된 시각적 은유들이 개념적 은유의 범주에 어떻게 적용되는지를 파악하였다. 그리고 개념적 은유의 범주를 설명하기 위해 레이코프의 연구(Lakoff, 1980)에서 제시하는 존재론적 은유, 방향적 은유 그리고 구조적 은유의 개념을 참고하였다. 또한, 은유에서 사용되는 재현물들이 어떤 방식으로 변형되는지 분류하기 위해서 ‘컬러/밝기, 크기, 위치, 방향, 질감’과 같은 시각적 변수와 관련된 세부적 분류 요소들을 고안했다는 점이 특징이다. 다만 해당 연구는 재현물의 분류 유형을 언어적 은유를 초점으로 하여 구성하고 있다.

2. 3. 시각화 테크닉 관련 분류 체계

시각화 테크닉은 재현물이 내포하고 있는 분석 대상에 대해서 중요한 의견을 강조하여 표시하거나, 감성 정보 간의 유사도 관계를 보여줄 때, 그리고 수집된 감성 정보의 양을 보여줄 때 명확한 해석을 할 수 있도록 도와준다. 이런 점에서 분류 체계로 활용될 필요가 있다.

치(Chi, 2000)의 연구에서는 시각화 테크닉이 적용된 다양한 사례들을 Data Transformation - Visualization Transformation - Visual Mapping Transformation의 순서로 구성된 Data State Model을 기반으로 분류 기준을 제시하며, 그 과정에서 다양한 종류의 시각화 테크닉들이 어떤 방식으로 응용이 될 수 있는지에 대해 소개한 바가 있다. 이후 쳉지, 쳉후 그리고 타오(Chengzhi, Chenghu and Tao, 2003)의 연구에서는 시각적 분석 업무를 Graphical, Set, Data 단위로 나누고, 각 업무를 충족시키기 위해 사용되는 여러 시각화 기술들을 계층화하여 정리하였는데, 그 과정에서 다양한 시각화 테크닉들을 다루었다. Table 1은 지금까지 2.1~2.3장에서 소개한 사례들의 분류 체계를 보여준다.

Table 1
The comparison of taxonomies([77] Rodrigues et al. [92] Tedmori et al. [69] Nakamura et al. [50] Kucher et al. [53] Lee [19] Chi et al. [18] Chengzhi et al.), Supported categories are marked by ●, partial support denoted by ◐, and not support denoted by ○

[77] [92] [69] [50] [53] [19] [18] Our Taxonomy
Target
Task-oriented Intermediation
Representation
Visual Variables
Visualization Technique

Table 1을 살펴보면 대부분의 분류 체계 사례들이 다섯 가지의 분류 유형을 개별적으로 다루고 범주화하여 정리하려는 경향을 보이며, ‘감성 분석의 대상(Target)이나 대상을 은유하고자 하는 목적이나 분석 업무(Task-oriented Intermediation), 시각화 해석을 돕는 재현물(Representation), 재현물 안에 다양한 감성 대상을 내포하기 위해 고안된 시각적 변수(Visual Variables) 그리고 은유 과정의 이해를 돕기 위해 재현물과 함께 사용되는 시각화 테크닉(Visualization Technique)’을 모두 포괄하여 분류하는 시도는 드물었다.

본 연구는 시각적 은유의 과정에서 고려할 수 있는 다섯 가지 유형들을 모두 아우를 수 있는 분류 체계를 구축하고자 한다. 그리고 시각적 은유를 활용한 감성 시각화 사례들을 선정하기 위한 분석 기준을 설정하고 그 기준에 맞는 연구를 엄선하는 과정을 거침으로써 분석 대상의 신뢰도를 높이고자 한다. 마지막으로 분류 체계를 이용하여 사례들이 분석되는 과정을 보여주고, 거기에서 나타나는 은유 과정을 파악함으로써 시각적 은유가 감성 정보를 이해하는 데 어떤 역할을 하는지를 한눈에 확인할 수 있도록 한다.

3. 시각적 은유를 활용한 감성 시각화 사례 수집

본 연구는 시각적 은유와 감성 분석, 감성 시각화를 수집 사례의 대상 키워드로 선정한 뒤, 해당 키워드가 포함된 사례들을 수집하고자 했다.

관련 사례들을 찾기 위해서, 현재 데이터 시각화 분야의 권위 있는 ‘국제학술지 네 종(IEEE TVCG, Journal of Visualization, Computer Graphics Forum, MDPI Informatics)’ 및 ‘학술대회 프로시딩 여섯 종(IEEE- VIS, EuroVis, Pacificvis, ACM- CHI, Siggraph, VINCI)’, 그리고 ‘감성 분석 데이터 관련 인포그래픽스(Infographics) 결과물(포스터 및 웹 서비스 형식)’ 등의 자료를 이용하였다.

각 출처에서 수집된 사례들을 살펴본 결과, 앞서 언급한 키워드(시각적 은유, 감성 분석, 감성 시각화)들을 다루는 논문들은 ‘감성 분석을 사용하는지’, ‘데이터를 시각화할 때, 디자인 전략, 연구목적, 시각화 형성의 구체적인 근거 등을 내세우는지’, ‘은유로 표현된 대상이 존재하는지’에 대한 연구 내용이 포함된 것을 확인하였다.

본 연구는 수집된 사례들의 연구 내용을 고려한 뒤 감성 시각화 표현할 때 시각적 은유를 사용하는 목적이 무엇이고, 해당 목적을 충족시키기 위한 은유의 전반적인 과정을 상세히 다루는 논문들을 최종적으로 선별하게 되었다. 그 결과 80개의 사례가 수집되었다.

4. 은유 과정의 단계별 분석 업무를 기반으로 하는 분류 체계 구축

본 연구에서는 감성 시각화에서 나타나는 시각적 은유 과정의 단계별 분석 업무를 기반으로 하는 분류 체계를 구축하였다. 감성 시각화 제작 시, 시각적 은유를 활용하는 연구자들은 ‘감성을 표현하는 특정 대상’이 있을 때 ‘그것을 어떻게 은유할지에 대한 목적이나 동기, 배경’을 가지고 있고 ‘특정 대상을 어떠한 재현물로 은유할지’에 대해 생각한다. 그리고 ‘사용된 재현물에 다양한 감성 정보를 포함하기 위해 시각적 변수를 적용하거나 시각화 테크닉을 혼용하는 것’을 고려한다. 이러한 일련의 사고방식이 곧 시각적 은유 과정의 단계별 분석 업무라고 할 수 있다. 본 연구에서는 단계별 분석 업무의 유형을 크게 다섯 가지(분석 대상→매개→재현물→시각적 변수→시각화 테크닉)로 나누고 이를 대분류로 설정하였다. 그리고 그와 관련된 하위 요소들을 구성하고 각 구성 요소의 정의와 관련 문헌들을 정리하였다.

4. 1. 분석 대상(Target)

감성 분석에서 가장 중요한 요소는 감성을 표현하는 것이다. 하지만, 이에 앞서 감성 표현은 반드시 표현하고자 하는 대상을 필요로 하는데, 이를 ‘분석 대상(Target)’이라고 한다. 리우(Liu, 2012)의 저서에서는 분석 대상 문서에서 다섯 가지 요소 쌍(Opinion Quintuple)을 모두 찾는 것을 감성 분석으로 정의한 바 있다. 이때의 다섯 가지 요소 쌍은 ‘개체(Entity)’, ‘양상(Aspect)’, ‘감성(Sentiment)’, ‘의견 보유자(Opinion Holder)’, ‘시간(Time)’을 뜻하며, 본 연구에서는 이를 중분류(Subcategory Level 1)로 선정하였다. 각 중분류의 정의와 그와 관련된 하위 요소(Subcategory Level 2)를 정리한 자료는 Table 2와 같다.

Table 2
Taxonomy of ‘Target’

Subcategory Level 1 Subcategory Level 2
Target (분석 대상): 표현하고자 하는 대상[57][58][68] Entity(개체): 감성 표현의 대상[27][44][57][58][68] 사람[27][57][68], 행동[27][57], 심리[27][57],
장소[27][57], 사고(thought)[27][57],
상품[27][44][57][58][68]
Aspect(양상): 개체를 구성하는 특성[4][57][58][68][86] 단순 속성: 더 이상 다른 속성들로 구성될 수 없는 단순한 속성, [57][58][68][84]
복합 속성: 여러 세부 속성들로 쪼갤 수 있는 속성, [57][58][68][84]
파생 속성: 다른 속성으로부터 영향을 받아 계산되는 속성[68][84]
Sentiment(감성): 사람들의 생각, 감정에 바탕을 둔 태도[27][57][58][68] 의견[27][57][58][68], 평가[27][57][58][68],
입장[57][58][68], 태도[57][58][68], 감정[27][57][58][68]
Opinion Holder(의견 보유자): 감성을 가지는 사람[44][57][58][61][68] 글 작성자[44][61][68],
키 플레이어(유명인)[57][58], 일반인[44][57][58],
커뮤니티[44][57][58]
Time(시간): 감성 정보가 작성된 시간[1][57][58][61][68] 시작/소멸[1][61],성장/축소[1],
연속성[1][61], 축적[1], 최고점/최저점[61],함축[1]

4. 1. 1. Entity

감성 분석에서 ‘개체(Entity)’는 감성 표현의 대상을 표현한다. 듀안, 카오, 유, 그리고 레비(Duan, Cao, Yu and Levy, 2013)의 연구에서는 호텔 리뷰 텍스트 데이터를 분석하는 연구를 진행하였는데, 이 과정에서 장소, 사고, 서비스, 사람, 심리 등 다양한 개체에 대한 감성 정보 텍스트를 시각화한다. 이 외에 리우(Liu, 2020) 저서에서는 앞서 말한 개체 외에도 상품, 주제, 이슈, 사건, 그룹(기업) 등이 모두 개체가 될 수 있다고 정의하였다. 본 연구에서는 이상에 언급한 개체의 목록 중 시각적 은유를 활용한 감성 시각화 연구에서 주로 다루는 개체 여섯 가지(사람, 행동, 심리, 장소, 사고, 상품)를 선별하여 하위 요소로 선정하였다.

4. 1. 2. Aspect

‘양상(Aspect)’은 개체를 구성하는 속성을 뜻하는데, 시각적 은유를 활용한 감성 시각화에서 주로 다루는 양상은 분석 대상 자체를 나타낼 뿐만 아니라 대상이 가지고 있는 여러 측면을 고려하는 경우가 있었다. 따라서 본 연구에서는 양상의 속성들도 분류 요소들을 세분화할 필요하다고 판단하여 총 세 가지의 속성을 하위 요소로 구성하게 되었다. 양상의 하위 요소로는 대개 다른 속성과 결합하지 않은 ‘단순 속성(Simple Attribute)’, 둘 이상의 속성이 합쳐진 ‘복합 속성(Composite Attribute)’, 원래 속성에서 다른 속성의 영향을 받아 새로운 속성이 되는 ‘파생 속성(Derived Attribute)’이 있다. 남길임과 조은경(Nam and Cho, 2017)의 저서에서 ‘청바지’에 대한 상품평을 예시로 속성에 대해 정의한 바 있다. 청바지의 ‘디자인, 소재, 사이즈, 가격’ 등이 단순 속성이 되고, 이에 대해 의견 보유자가 ‘가격이 비싸지만, 디자인이 예쁘다’는 의견을 내림으로써 복합적인 속성을 가질 수 있다. 파생 속성은 다른 속성으로부터 값이 결정될 수 있는 속성을 말한다. 예를 들어, 청바지와 관련된 속성인 ‘청바지 브랜드를 광고하고 있는 모델’이나 ‘청바지 브랜드 회사의 이미지’ 등이 파생 속성에 해당한다.

4. 1. 3. Sentiment

‘감성(Sentiment)’은 분석된 양상에 대해 ‘의견, 평가, 입장, 태도를 가지는 주관적 견해’와 ‘감정에 바탕을 둔 행동’ 등을 포괄하는 개념을 칭한다. 감정과 감성의 뜻을 혼동하여 잘못 사용하는 경우가 많은데 감정은 직접적 기분이나 심정으로 느끼는 상태이고, 감성은 감정 이외에도 앞서 말한 주관적 견해를 포괄하는 개념이다. 감성은 크게 긍정(Positive), 중립(Neutral), 부정(Negative) 세 가지로 구분되는데, 리우(Liu, 2012)의 저서에서는 감성을 다섯 가지 단계(Emotional positive, Rational positive, Neutral, Rational negative, Emotional negative)로 확장한다.

본 연구에서는 해당 저서에서 다루는 포괄적인 감성의 개념과 극성 요소를 모두 반영하여 하위 요소를 구성하고자 하였다. 그 결과 ‘의견, 평가, 입장, 태도, 감정’이 선정되었으며 해당 요소들에는 앞서 설명한 감성의 극성들이 포함된다.

4. 1. 4. Opinion Holder

감성을 지니는 가장 작은 단위는 사람(Person)이다. 김수민과 호비(Kim and Hovy, 2006)에 의하면 의견을 표현할 수 있는 사람 혹은 조직을 ‘의견 보유자(Opinion Holder)’라고 포괄하여 지칭하였다. 리우(Liu, 2020)의 저서에서 예시로 나타나는 의견 보유자의 대표적인 유형으로는 유명인, 일반인, 단체, 커뮤니티, 도시, 주(State) 등이 있으며, 본 연구에서는 그 중 감성 시각화에서 자주 나타나는 의견 보유자의 유형을 선별하여 하위 요소를 구성하게 되었다. 그 결과 ‘글 작성자, 키 플레이어(Key Player: 유명인), 일반인, 커뮤니티’ 등이 선정되었다.

4. 1. 5. Time

안재욱, 플라이산트, 그리고 슈나이더만(Ahn, Plaisant and Shneiderman, 2013)의 연구에 의하면 시간은 독립 사건(Individual Events)과 집약 사건(Aggregated Events)의 특징을 가진다고 하였다. 먼저 독립 사건은 시간의 ‘단일 발생, 대체, 시작/소멸’로 분류하였다. 집약 사건은 ‘시간에 따른 형태의 변화(Shape of Change)와 변화율(Rate of Change)’의 2가지 특징으로 나뉜다. 형태의 변화에서는 ‘시간의 성장/수축, 최고/최저점, 함축’의 특징을 보여준다고 정의하였다. 본 연구에서는 이상에 언급한 시간의 속성들을 하위 요소로 반영하였다.

4. 2. 매개(Task-oriented Intermediation)

감성 대상이 정해진 다음에는 그 대상을 은유하게 되는 목적이나 배경, 동기가 무엇인지를 고려해야 한다. 본 연구는 이를 분류 체계의 두 번째 유형으로 설정하고 시각적 은유의 ‘매개(Task-oriented Intermediation)’라고 하였다. 매개는 나타나고자 하는 대상을 다른 형태로서 변환한 사유가 무엇인지를 이해할 수 있는 지표가 될 수 있다.

매개에 대한 세부적 하위 요소들을 만들기 위해서 여러 관련 문헌들을 조사하고, 감성 분석 분야에서 대표적으로 시행되는 분석 업무 다섯 가지 (탐지, 요약, 분류, 비교, 탐색)를 중분류로 선정하였다. 그리고 중분류와 관련된 하위 요소를 선정할 때에는 감성 분석 분야에서 가장 자주 사용하는 분석 업무 및 시각적 은유 과정에서 필요한 배경, 목적 등을 반영하고자 했다. 각 중분류 요소의 정의와 그와 관련된 하위 요소를 정리한 자료는 Table 3과 같다.

Table 3
Taxonomy of ‘Task-oriented Intermediation’

Subcategory Level 1 Subcategory Level 2
Task-oriented Intermediation (매개): 분석 대상을 은유하게 되는 배경이나 동기[20][36][46][55][64][66][88][100] Detection
(탐지)[98]
Subjectivity Detection(주관성 탐지): 추출되는 감성 정보의 유형이 객관적 인지, 주관적인지를 탐지하는 업무[57][98]
Emotion Cause Detection(감정의 원인 감지): 감정을 이끌어내기 위한 원인을 찾는 업무[31][54][98]
Identifying the intent of Sentiment Information(감성 정보의 의도 파악하기): 사용자가 남긴 감성 정보의 의도를 파악하는 업무[58]
Detection of Evidence/Event that Causes Sentiment Patterns(감성 패턴의 원인이 되는 증거 혹은 이벤트 감지): 시각화에서 나타나는 감성 패턴의 원인이 되는 증거자료나 이벤트를 탐지하는 업무[2][12]
Argument Expression Detection(논쟁 표현 감지): 문서 내에서 논쟁과 관련된 감성 정보를 탐지하는 업무[34][58][75][85][98]
Aspect-based Sentiment Analysis(양상기반 감성 분석): 특정 대상이나 서비스의 다양한 양상에 대해 표현된 세분화된 의견을 감지하는 업무[8][10][38][50][58][82]
Detection of Fake or Deceptive Sentiment Information(거짓 또는 기만적인 감성 정보 탐지): 감성 데이터에서 사실이 아닌 정보 및 기만적 정보를 탐지하기 위한 업무[7][25][26][43][58][79]
Hate-Speech/ Cyber Bullying/ Offensive Language Detection in Opinion/ Emotion Data(의견 및 감정 데이터에서의 증오 발언/사이버범죄/혐오발언 탐지): 의견 및 감정 데이터에서 증오 발언/ 사이버 범죄/ 불쾌감을 주는 발언들을 감지하는 업무[32][48]
Summarization
(요약)[9][58][67][81]
Opinion Summarization(의견 요약): 다양한 관점, 측면, 양극성 등의 의견을 요약하는 업무[38][98]
Sentiment Information Description at Multi-aspect(다양한 수준에서 감성 정보 묘사): 하나의 측면이 아닌 다양한 수준(Multi-aspect)에서 감성 정보를 묘사하기 위한 업무[15][42][96]
Classification
(분류)[13][24][36][89][97]
Emotion Detection & Classification(감정의 감지 및 분류): 추출한 텍스트의 감정을 탐지하고 이를 분류하는 업무[35][86][87][91][98][99]
Polarity Classification(감성의 극성 분류): 의견 및 감정 데이터의 극성 분류 업무[5][37][72][73][98]
Comparison
(비교)[23][60][67]
Comparison of Different Sentiments(감성 간의 비교): 특징이 있는 두 인스턴스의 감정/의견 정보, 시간에 따른 감성 패턴 등을 비교하기 위한 업무[33][45][71]
Exploration
(탐색)[51][59][67]
Timeline Analysis(시계열 분석): 시간에 따른 의견 정보의 흐름이나 확산/감정의 변화 등을 분석하기 위한 업무[30][47][50][93]
Finding Significant Person/Opinion/Fact/Stance/Attitude(중요한 인물/의견/사실/입장/태도 찾기): 중요한 인물이나 의견, 감정/ 사건이나 사실/ 인물의 입장이나 태도를 찾기 위한 업무[28][50][65][80][83][94]
Easy Exploration of Sentiment Information(감성 정보의 손쉬운 탐색): 방대한 양의 감성 정보를 손쉽게 탐색하기 위한 업무[51][59][62][67][90][101]

4. 2. 1. Detection

감성 분석에서 ‘탐지(Detection)’는 주어진 감성 정보를 특정 조건이나 연구자가 지정한 목적에 맞게 인지하는 업무이다. 감성 분석 분야와 관련된 ‘탐지’의 하위 기준으로 여덟 개의 업무를 선정하였다.

첫 번째는 감성 정보의 유형이 객관적인지 아니면 주관적인지를 탐지하는 Subjectivity Detection인데 이는 리우(Liu, 2012)의 연구에서 대상에 대해 사람들이 주관적인 소견이나 감정을 표현하는 텍스트와 대상 자체의 기능이나 사실에 대해서 전달하는 텍스트를 구분하는 과정에서 소개되었다. 두 번째는 감정을 이끌어내기 위한 원인을 찾는 Emotion Cause Detection인데, 이는 가오, 쑤, 그리고 왕(Gao, Xu and Wang, 2014)이 마이크로 블로그 환경 안에 감정을 표현하는 텍스트를 수집하고 각 텍스트에서 감정 키워드와 감정의 원인이 되는 키워드를 추출하여 연관성을 살펴봄으로써 소개된 업무이다. 세 번째는 사용자가 남긴 감성 정보의 의도를 파악하는 업무인 Identifying the intent of Sentiment Information인데, 이것은 리우(Liu, 2020)의 연구에서 감성 정보를 남긴 의도가 무엇인지를 파악하기 위해 문맥 안에 있는 감성 키워드와 그 외 키워드 간의 유사성을 계산해주는 알고리즘 연구를 통해 소개되었다. 네 번째로 선정한 기준은 감성의 원인이 되는 증거자료나 이벤트를 탐지하는 업무인 Detection of Evidence/Event that Causes Sentiment Patterns인데, 이는 알라타 그리고 샬란(Alattar and Shaalan, 2021)이 Opinion Reason Mining과 관련된 접근법 중 Event Detection과 관련된 문헌들을 수집하여 분석하는 과정에서 구체적으로 이론화되었다. 다섯 번째로 논쟁과 관련된 감성 정보를 탐지하는 Argument Expression Detection인데, 이는 소마순다란, 루펜호퍼, 그리고 위베(Somasundaran, Ruppenhofer and Wiebe, 2007)가 미팅 현장에서 여러 토론자들이 토의를 진행할 때 논쟁과 관련된 표현과 어휘 목록을 추출하는 방법을 제안하면서 소개된 업무이다. 여섯 번째는 특정 대상의 다양한 측면에서 나타나는 감성 정보를 분석하는 업무인 Aspect-based Sentiment Analysis인데, 이것은 휴 그리고 리우(Hu and Liu, 2004)의 연구에서 반복되어 출현하는 명사 어휘의 빈도를 파악하고, 빈도수에 따라 감성 어휘들을 각각 Aspect로 추출하여 그에 대한 감성 극성을 계산하는 방법을 제안함으로써 소개된 분석 업무이다. 일곱 번째는 사실이 아닌 감성 정보를 탐지하는 업무인 Detection of Fake or Deceptive Sentiment Information인데, 이는 진달 그리고 리우(Jindal and Liu, 2008)의 연구에서 의견정보의 참, 거짓을 판단하는 Opinion Spam Detection 감성 분석법 중 하나로 소개된 분석 업무이다. 더 나아가 루빈, 첸, 그리고 콘로이(Rubin, Chen and Conroy, 2015)는 뉴스 텍스트에서 자주 사용하는 거짓 또는 기만적인 정보를 정리하고, 실제 뉴스 데이터를 기반으로 뉴스의 진실성을 판단하는 시스템을 제안하는 과정에서 해당 분석 기법을 적용하였다. 마지막으로 여덟 번째는 증오 발언, 사이버 범죄, 불쾌감을 주는 발언을 감지하는 업무인 Hate-Speech/Cyber Bullying/Offensive Language Detection in Opinion/Emotion Data이다. 이는 기타리, 주핑, 데미안, 그리고 롱(Gitari, Zuping, Damien and Long, 2015)이 혐오 연설(Hate-Speech) 및 사이버 범죄에 대한 사람들의 반응에서 나타나는 감정적 표현 및 의견을 Lexicon 및 Corpus 단위로 추출하는 기술을 제안함으로써 소개된 업무이다.

4. 2. 2. Summarization

‘요약(Summarization)’은 원본 형태의 감성 정보에서 핵심적인 내용을 추출하는 업무이다. 감성 분석 분야와 관련된 ‘요약’의 하위 기준으로 두 가지의 업무를 선정하였다. 첫 번째는 감성 정보에 나타나는 다양한 관점이나 측면, 극성 중에서 중요한 내용을 선별하여 정리하는 Opinion Summarization이다. 이는 휴 그리고 리우(Hu and Liu, 2004)가 댓글 플랫폼에 기록된 여러 측면의 의견 중, 목적에 맞는 해석을 위해 필요한 정보만을 선별하여 극성을 파악하고 요약하는 모델을 제시하면서 해당 업무를 언급하였다. 두 번째는 단일 측면이 아닌 다양한 수준에서 감성 정보를 묘사하고 요약하는 업무인 Sentiment Information Description at Multi-aspect인데, 이는 우, 잉, 다이, 황, 그리고 첸(Wu, Ying, Dai, Huang and Chen, 2020)의 연구에서 감성 분석의 대상을 여러 개로 선정하여 다양한 수준의 분석 대상을 만들고, 각각의 대상을 평가하는 감성 어휘를 세분화하여 분석하고 의견의 성격을 다각적으로 이해할 수 있는 모델을 제시함으로써 주로 소개되었다.

4. 2. 3. Classification

‘분류(Classification)’는 다양한 종류의 감성 정보를 특정 카테고리를 이용하여 구분하는 업무이다. 감성 분석 분야와 관련된 ‘분류’의 하위 기준으로 두 가지의 업무를 선정하였다.

첫 번째는 감성 텍스트에서 감정 정보만을 골라내고 유사한 감정끼리 서로 분류하는 업무인 Emotion Detection & Classification인데, 이는 타프레시 그리고 디아브(Tafreshi and Diab, 2018)가 텍스트 정보에서 추출되는 감정을 종류와 강도에 따라서 범주화하고 이를 자동으로 세분화하는 작업을 진행하면서 주로 소개되었다. 두 번째로 감성의 극성을 분류하는 업무인 Polarity Classification은, 팡 그리고 리(Pang and Lee, 2008)의 연구에서 제품 및 서비스 리뷰에서 나타나는 사용자 의견들을 긍정과 부정 또는 중립의 속성으로 분류하면서 해당 업무를 주목적으로 하였으며, 알름 그리고 스프로트(Alm and Sproat, 2005)에서는 어린이 동화에서 나오는 구절들을 읽고 독자들이 표현한 감정을 극성에 따라 분류하는 과정에서 해당 업무가 수행되었다.

4. 2. 4. Comparison

‘비교(Comparison)’는 서로 다른 두 감성 대상의 특성을 대조하여 공통점과 차이점을 밝히는 업무이다. ‘비교’와 관련된 하위기준 업무로는 서로 다른 두 대상의 감성 정보 및 시간에 따른 감성 패턴 등을 비교하는 Comparison of Different Sentiments가 있는데, 이는 곤살베스, 아라우호, 베네베누토, 그리고 차미영(Gonçalves, Araújo, Benevenuto and Cha, 2013)에서 사람, 이벤트, 물건, 회사, 질병과 같은 다양한 분석 대상을 ‘LIWC, Happiness Index, SentiWordNet, SASA, PANAS-t, Emoticons, SenticNet and SentiStrength’ 등의 감성 분석 도구를 활용하여 감성의 정도를 수치화하여 계산하고 각 감성 대상을 비교하는 연구를 진행하였는데, 그 과정에서 해당 업무를 자세히 다루었다.

4. 2. 5. Exploration

매개의 마지막 중분류 요소인 ‘탐색(Exploration)’은 중요한 정보 및 목적에 부합하는 정보를 추적하여 찾아내는 업무이며, 때에 따라 특정 기간 수집되는 정보들의 패턴을 찾아내는 업무도 탐색에 속한다. 감성 분석과 관련된 탐색의 하위 기준으로는 세 가지의 업무를 선정하였다. 첫 번째로 시간별로 전개되는 의견 양상의 변화 및 감정의 변화를 분석하는 업무인 Timeline Analysis인데, 이는 후쿠하라, 나카가와, 그리고 니시다(Fukuhara, Nakagawa and Nishida, 2007)가 소셜 미디어에서 발견되는 다양한 사건, 인물, 서비스에 대한 의견을 시간별로 정리한 다음 각 의견의 빈도수 추이를 그래프 형태로 제공하는 Temporal Sentiment Analysis를 진행함으로써 주로 나타나게 된 업무이다. 이 논문을 기반으로 다양한 연구 분야와 감성 분석 리소스에서 시간별로 감성 정보의 흐름을 나타내려는 경향이 나타나기 시작했다. 두 번째로 연구의 목적에 결정적인 역할을 하는 의견이나 감정, 인물의 입장이나 태도를 찾는 업무인 Finding Significant Person/Opinion/Fact/Stance/Attitude는 모함마드, 솝하니, 그리고 키릿첸코(Mohammad, Sobhani and Kiritchenko, 2017)의 트윗 텍스트를 분석하여 글을 남기는 사람의 입장과 태도를 추출하는 연구 및 화이트로, 가르그, 그리고 아르가몬(Whitelaw, Garg and Argamon, 2005)의 영화 리뷰에 나타나는 중요한 등장인물, 사람들의 의견과 영화에 대한 평가, 태도와 관련된 어휘를 추출하고 분류해내는 연구 등에서 주요하게 나타났다. 세 번째로 많은 양의 감성 정보를 대상으로 원하는 정보를 쉽게 찾기 위한 업무인 Easy Exploration of Sentiment Information은 마르쿠스, 베른슈타인, 바다르, 카거, 매든, 그리고 밀러(Marcus, Bernstein, Badar, Karger, Madden and Miller, 2011)가 여러 시간에 걸쳐서 수집된 트윗 텍스트 정보를 더욱 손쉽게 탐색할 수 있도록 레이블링을 하거나 트윗이 이루어진 지리적 정보, 트윗 텍스트의 극성의 비율을 보여주는 통계자료 등을 제시함으로써 해당 업무가 수행되었다. 이후 감성 시각화를 다루는 연구 분야에서도 다양한 시각적 자료를 이용하여 감성 정보의 손쉬운 탐색을 제공하는 사례(Sun, Z., Sun, M., Cao and Ma, 2016 & Zhao, Gou, Wang and Zhou, 2014)들이 나오기 시작했다.

4. 3. 재현물(Representation)

분석 대상이 목적이나 배경, 동기와 같은 매개에 의해서 은유가 이루어지려면, 감성 대상을 더욱 쉽게 해석할 수 있는 보조적 수단이 필요하다. 감성 분석에서 이루어지는 시각적 은유는 분석 대상을 보조 수단으로써 대체하여 그 특징을 묘사하는 것으로, 적절히 선택된 보조 수단은 분석 대상의 본질을 더욱 정확히 이해할 수 있는 역할을 한다. 본 연구는 이러한 보조 수단을 ‘재현물(Representation)’이라고 정의한다. 재현물은 크게 두 가지로 나눌 수 있는데 하나는 특정 개체나 물체 등으로 나타나는 경우가 있으며, 다른 하나는 과정이나 행동, 현상 등으로 나타나는 경우가 있다. 본 연구에서는 전자의 경우를 Element(개체 은유), 후자의 경우를 Process(과정 은유)라고 하였고 분류 체계의 중분류로 두었다. 또한, 본 연구는 수집된 80개의 감성 시각화 사례에서 감성 분석의 대상을 대체하고 있는 재현물들이 주로 무엇으로 표현되고 있는지를 확인하고, 비엔나 협정코드(특허청, 2010)의 분류를 참고하여 각 중분류에 속한 하위 요소들을 ‘자연물/인공물’, ‘자연적 과정/인공적 과정’으로 세분화시켰다.

Table 4
Taxonomy of ‘Representation’

Subcategory Level 1 Subcategory Level 2
Representation (재현물): 은유로 표현된 대상 Element(개체 은유): 재현물이 특정 개체, 물체 등으로 나타나는 것[6] Natural Element (자연물) 천체[49], 인간[49], 동물[49], 식물[49]
Artifact Element (인공물) 지도[49], 화합물[49], 건축물[49], 구조물[49], 식품[49], 섬유[49], 장난감[49], 운동용구[49], 악기[49], 그림[49], 조각[49], 장식무늬[49], 기하도형[49], 입체[49], 문자/숫자도형[49]
Process(과정 은유): 재현물이 과정, 행동, 현상 등으로 나타나는 것[6] Natural Process (자연적 과정) 자연현상[11], 시공간의 이동[17], 사람의 행동[22]
Artifact Process (인공적 과정) 기계의 작동[6]

4. 3. 1. Element

시각적 은유 과정에서 분석 대상을 대체할 수 있는 재현물은 분석 대상과는 다른 형상을 가지고 있지만, 그 대상과 밀접하게 해석될 수 있는 개체이거나, 각 분석 대상의 양상을 일대일로 대응할 수 있는 물체로 이루어지는 경우가 있다. 본 연구에서는 이러한 재현물들을 ‘Element(개체 은유)’라고 하며, 이를 세분화하여 분류하기 위한 여러 요소를 마련하고자 비엔나 협정코드에 나오는 주요 개체들을 하위 요소로 선정하였다. 비엔나 협정코드(특허청, 2010)는 파리조약 가입국들이 상표에 포함된 도형 요소를 일관되게 분류하여 데이터베이스를 구축할 목적으로 만든 도형상표 분류 체계이다. 여러 개체를 심볼(Symbol)화하여 표준화시킨 다음 국제적으로 인정된 표준에 대해서 숫자 코드를 할당하며, 해당 표준 안에는 관련된 개체들의 세부적 도형 요소를 정의하여 정리하게 된다. 본 연구에서는 비엔나 협정코드에서 대분류로 정의한 30가지의 주요 표준의 대분류 중, 19가지의 개체를 선정하여 분석 작업에 활용하고자 하였다.

4. 3. 2. Process

‘Process(과정 은유)’는 재현물이 특정 행동이나 현상 등으로 대체되어 나타나는 경우를 말한다. 바르, 비들, 그리고 노블(Barr, Biddle and Noble, 2002)의 연구는 시스템(분석 대상)이 가지고 있는 기능이나 작동 방식을 더욱 쉽게 해석하기 위해 또 다른 프로세스와 구체적으로 비교 설명하는 경우에 과정 은유가 이루어진다고 언급하였다.

실제 시각적 은유를 활용한 감성 시각화 사례를 조사하는 과정에서도 감성 정보가 이동하는 경로를 나타내기 위해 자연현상(Cao, Lin, Sun, Lazer, Liu and Qu, 2012)이나 공간의 이동(Chen, Li, Chen and Yuan, 2019)을 활용한다거나, 감성 평가의 극성이 시간에 따라 어떻게 변화하는지를 나타내기 위해 사람의 행동 변화(da Silva Franco, Santos do Amor Divino Lima, Paixão, Resque dos Santos and Serique Meiguins, 2019)를 활용하여 과정 은유가 이루어지는 것을 발견할 수 있었다. 본 연구에서는 감성 시각화에서 이루어지는 다양한 과정 은유를 분류하기 위해, 실제 사례에서 발견되는 과정 은유들을 유형별로 정리하였다. 그 결과 ‘자연현상, 기계의 작동, 사람의 행동, 시공간의 이동’ 등의 유형이 도출되었으며 해당 유형들을 분류 체계의 하위 요소로 활용하게 되었다.

4. 4. 시각적 변수(Visual Variables)

시각적 변수는 1967년 프랑스의 지도 제작자이자 그래픽 디자이너인 자크 베르탱(Bertin, 1967)에 의해 처음 체계화되었다. 이후 맥클리어리(McCleary, 1983), 맥에크렌(MacEachren, 1992), 카펜데일(Carpendale, 2003), 로스(Roth, 2017)의 연구에서도 자크 베르탱이 정리한 보편적이고 체계화된 시각적 변수의 개념이 지속해서 사용되었다. 이지선의 연구(Lee, 2018)에서는 시각적 은유 및 데이터 시각화 사례에 대한 분류 체계를 만들 때 시각적 변수를 이용했고, 쿠셔, 파라디스, 그리고 케렌(Kucher, Paradis and Kerren, 2018)의 연구에서도 감성 시각화 사례 안에서 사용된 다양한 시각적 변수를 분류하기 위한 체계를 만드는 과정에서 자크 베르탱의 연구를 참고하였다.

본 연구에서도 시각적 은유가 이루어진 감성 시각화 사례를 조사했을 때, 다양한 감성 분석 대상을 시각화에 나타내기 위해 재현물의 변형이 자주 일어난다는 것을 인지하였고, 관련 부분을 분석할 수 있는 분류 요소들을 마련할 필요성을 느끼게 되었다. 이러한 이유로 시각적 변수를 분류 체계의 네 번째 유형으로 설정하였다. 그리고 중분류 요소들을 마련하기 위해 자크 베르탱(Bertin, 1967)외 다양한 참고문헌 자료를 활용하여 ‘명암도, 색상, 크기(넓이, 높이), 모양, 위치, 방향, 거리’를 최종 선정하였다.

이상의 중분류 요소들은 재현물의 외형에 변화가 이루어졌을 때, 변화가 이루어진 각 요소가 어느 감성 정보를 나타내는지를 세분화하여 보여줄 수 있다는 장점을 가지게 된다. 각 요소의 정의를 정리한 자료는 Table 5와 같다.

Table 5
Taxonomy of ‘Visual Variables’

Subcategory Level 1
Visual Variables(시각적 변수): 재현물이 어떻게 변형되어 제시되는지 관찰[40][41][56][63][70] Value(명암도): 정보/사용자의 참여도에 따라 명도가 달라지는 것을 표현[14][40][63][78][95]
Color(색상): 재현물의 색상 변형[14][63][78][95]
Size(크기): Element의 크기/넓이/높이의 변형[14][40][60][63][95]
Shape(모양): 재현물의 외부 형태[14][29][40][78]
Position(위치): 재현물의 위치, 공간의 좌표로 지정될 수 있음[14][40][78][95]
Orientation(방향): 요소의 기본 값에서 회전한 경우 방향이 달라진 것이라 표현[14][40][63][78]
Distance(거리): 서로 다른 대상의 위치가 얼마만큼 떨어져 있는가를 나타냄[12][14][16]

4. 4. 1. Value

‘명암도(Value)’는 색상의 측면에서 물체가 얼마나 밝거나 어둡게 나타나는지 그 양상을 표현하는 것을 말한다. 자크 베르탱에 의해 정리된 시각적 변수 체계에서 명암도는 핵심 시각적 변수로 분류되었으며, 해당 변수는 시각적 계층 구조를 표현하는 것에 유용하다고 설명되었다. 로스(Roth, 2017)의 연구에서는 명암도가 밝은 부분과 어두운 영역의 인식으로서 활용되었고, 맥클리어리(McCleary, 1983)와 웡(Wong, 2010)의 연구에서도 명암도가 시각적 변수의 요소로 활용되었다. 본 연구에서 사용하는 명암도는 감성 데이터의 양이나 사용자의 참여도에 따라 은유 요소의 명도가 달라지는 것을 뜻한다.

4. 4. 2. Color

‘색상(Color)’은 빨강, 초록, 파랑 등 시각적 범주에 해당하는 인간의 지각 속성이다. 카펜데일(Carpendale, 2003)의 연구에서는 색상을 통해 요소가 선택되었거나 한 그룹으로 연결되어 있다는 것을 효과적으로 표현할 수 있다고 언급하였다. 본 연구에서는 사용자 감정의 극성이나 시간의 흐름 등의 변화를 나타내기 위해서 정보 시각화에서 재현물의 색조를 변화한 사례에 대해, 해당 하위 요소를 사용하여 분류하였다.

4. 4. 3. Size

베르탱(Bertin, 1967)은 크기를 면적의 치수 변화를 나타낼 수 있는 변수라고 정의하였다. 크기의 정의에는 ‘길이’의 개념도 함께 포함된다. 로스(Roth, 2017)의 연구에서 또한 ‘크기’는 요소가 차지하는 공간의 양으로, 크기는 지도에서 조작될 수 있는 주요 시각적 변수라고 정의하였다. 본 연구에서는 분석 대상이 가진 데이터의 양이나, 상대적으로 중요하게 부각해야 하는 정보를 표현하기 위해 재현물의 크기가 변화하는 사례가 있을 때, ‘크기(Size)’를 사용하여 분류 작업을 진행하였다.

4. 4. 4. Shape

‘모양(Shape)’은 요소의 외부 형태를 나타내는 시각적 변수이며, 분류 체계의 하위 요소를 구성하는 데 있어 필수적이다. 로스(Roth, 2017)의 연구는 ‘모양’을 원, 사각형, 삼각형과 같은 추상적인 형태뿐 아니라 나타내고자 하는 것을 직접적으로 모방하는 상징적인 형태까지 다양하게 포함하였다. 본 연구에서는 다른 의견을 나타내는 두 그룹이 대립하는 양상을 다른 모양의 재현물을 이용하여 시각화하거나, 중요한 인물이나 사건일 경우 다른 모양을 통해 다른 일반 사용자나 사건과 구별할 수 있도록 표현하는 사례가 있을 때 ‘모양’ 요소를 사용하여 분류 작업을 진행하였다.

4. 4. 5. Position

‘위치(Position)’는 베르탱(Bertin, 1967)이 정의한 시각적 변수 체계에서 공간(Plane)의 좌표로 사용되었다. 그리고 카펜데일(Carpendale, 2003)은 컴퓨터 디스플레이상에서 ‘위치’의 개념을 ‘x, y 좌표에 따라 변화하는 2D 상의 시각적 요소’와 ‘x, y, z 좌표에 변화하는 3D 상의 시각적 요소’로 나누어 정의하였다. 본 연구에서는 이를 토대로 재현물들의 절대적 위치만이 아니라, 사용자의 의견 변화에 따라 재현물들이 원래 위치에서 사라지거나 새로운 위치에 반복되어 생성되는 사례, 3차원적 공간 안에서 재현물들의 위치에 따라 서로 다른 감성의 성향을 보여주는 사례에 대해서도 해당 요소를 사용하여 분류 작업을 진행하였다.

4. 4. 6. Orientation

요소가 기본값에서 회전했을 경우, 해당 요소의 ‘방향(Orientation)’이 달라졌다고 표현할 수 있다. 로스(Roth, 2017)의 연구에서는 방향이 같거나 비슷한 경우, 같은 그룹으로 나타나는 경향이 있다고 설명하였다. 카펜데일(Carpendale, 2003)의 연구에서는 방향이라는 시각적 변수를 통해 특정 개체가 다른 개체와 다른 방향을 가짐으로써 둘의 특성이 서로 다른 경향성을 보임을 설명할 수 있다고 언급하였다. 본 연구에서는 재현물이 가지고 있는 감성의 극성이나 의견의 성향에 대한 정보를 표현하기 위해 재현물의 방향을 바꾸는 경우(회전하는 경우), 시각적 변수로 ‘방향’이 사용되었다고 분류하였다.

4. 4. 7. Distance

‘거리(Distance)’의 경우, 서로 다른 대상의 위치가 얼마만큼 떨어져 있는가를 나타낸다. 해당 요소는 기존 시각적 변수를 다루는 사전 연구에서는 다루지 않은 요소였으나, 시각적 은유를 활용한 감성 시각화 사례를 찾는 도중 거리라는 시각적 변수를 이용하여 재현물의 정보를 설명하는 경우가 자주 발견되었다. 첸, 안드리엔코우 M, 안드리엔코우 G, 리, 그리고 유안(Chen, Andrienko, N., Andrienko, G., Li and Yuan, 2020)의 연구에서는 다리라는 재현물을 사용할 때, 데이터의 양(트윗의 양)에 따라 각 스트림 사이의 거리에 변화를 주었다. 이 과정에서 거리라는 시각적 변수의 개념이 활용되었다. 또한, 카오, 루, 린, 왕, 그리고 웬(Nan, Lu, Lin, Wang and Wen, 2015)의 연구에서는 DNA의 구조를 재현물로 활용한 사례가 있는데 논쟁의 정도에 따라서 두 개의 외가닥이 멀어졌다 가까워지는 시각적 변화를 통해 거리라는 시각적 변수가 사용되었다. 이러한 사례들이 나온 것으로 미루어볼 때, ‘거리’라는 시각적 변수가 존재함을 알 수 있고 이러한 변수를 하위 요소로 추가하는 것이 필요하다고 판단하였다. 따라서 재현물 사이의 거리가 넓어지거나, 좁아질 경우, ‘거리’ 시각적 변수가 사용된 것으로 분류하였다.

4. 5. 시각화 테크닉(Visualization Technique)

본 연구는 시각적 은유 수단에 대한 의미적 해석을 돕기 위해 시각화 테크닉이 혼용된 사례들을 분석하고자 시각화 테크닉과 관련된 분류 요소들을 분류 체계에 포함하였다. 2.3장에서 언급한 치(Chi, 2000), 쳉지, 쳉후, 그리고 타오(Chengzhi, Chenghu and Tao, 2003)의 연구에서 소개된 다양한 시각화 테크닉(치에서 21개, 쳉지에서 68개) 중, 감성 시각화 분야에서 자주 사용하는 대표적인 시각화 테크닉 16가지를 분류 요소로 구성하였다(Table 6).

Table 6
Taxonomy of ‘Visualization Technique’

Subcategory Level 1
Visualization Technique (시각화 테크닉) 3D(Ploygon) Visualization(3차원(입체) 시각화): 3차원 형태의 데이터 시각화 기법[18][19]
Node-Link Diagram(노드-링크 다이어그램): 노드와 링크로 이루어진 시각화(네트워크 시각화) 기법[18][19]
Bubble Chart(버블 차트): 인스턴스가 가지는 데이터의 양(또는 비율)에 따라 원의 면적이 커지는 시각화[18]
Area Chart(면적 차트): 스택 형태의 그래프, 데이터의 양(또는 비율)에 따라 면적이 주어지는 차트[18]
Line Plot(선 플롯): 데이터 양(비율)의 변화를 나타낸 선[18][19]
Box Plot(상자 플롯): 막대 그래프, 데이터의 양을 높이를 가진 직사각형 형태의 플롯[18][19]
Pie Chart(파이 차트): 인스턴스가 가지는 데이터 양(또는 비율)에 따라 파이 면적이 주어지는 것[18]
Treemap(트리맵): 계층 구조형 데이터에서 데이터 인스턴스가 가지는 양(또는 비율)에 따라 사각형의 면적을 나누는 시각화[19]
Word Cloud(Text Visualization)(워드 클라우드(텍스트 시각화)): 텍스트를 군집시켜 보여주는 시각화, 텍스트의 크기는 보통 데이터 인스턴스의 양(또는 비율)에 비례하여 결정됨[18][19]
Heatmap(히트맵): 데이터를 열 분포 형태의 그래픽으로 출력하는 것, 인스턴스가 가지는 양(또는 비율)에 따라 색상이 달라짐[18]
Scatter Plot(산점도): 두 개 이상 변수의 동시분포에서 각 개체를 점으로 표시한 그림[18][19]
MDS Map(다차원척도 시각화): 측정대상의 특성이나 속성을 다차원척도 상에 위치시키는 맵[19]
Parallel Coordinate(평행좌표): 데이터의 변수를 축으로 매핑하고, 각 변수의 속성 값을 표시한 선 그래프[18][19]
Pixel Based Plot(픽셀 플롯): 데이터 인스턴스들을 픽셀로 보여 주는 시각화[18]
Time-oriented Visualization(시간 지향 시각화): 시간 데이터를 기반으로 한 시각화[18][19]
Spatial Based Visualization(공간 기반 시각화): 공간 및 지리 데이터/지리적(지도) 위치를 기반으로 한 시각화[18]

5. 분류 체계를 활용한 감성 시각화 사례 분석

5장에서는 시각적 은유를 활용한 감성 시각화 사례가 본 연구의 분류 체계를 통해 어떻게 분석되는지 소개한다. 사례 분석을 위해 시각적 은유를 하려는 목적이나 배경을 중심으로 분석 업무들을 선별하여 정리한 뒤, ‘해당 업무들을 해결하기 위해 분석 대상이 어떤 재현물로 대체되었는지, 때에 따라 재현물에 시각적 변수가 이루어졌는지 그리고 재현물에 대한 이해를 돕기 위해 사용된 시각화 테크닉이 무엇인지’를 중점으로 파악하고 그 안에서 나타나는 전반적인 은유 과정을 서술한다. 분석을 위한 대상은 카오, 루, 린, 왕, 그리고 웬(Cao, Lu, Lin, Wang and Wen, 2015)의 연구 및 첸, 안드리엔코우 M, 안드리엔코우 G, 리, 그리고 유안(Chen, Andrienko, N., Andrienko, G., Li and Yuan, 2020)의 연구를 선정하였다.

5. 1. 사례 분석 1: SocialHelix

카오, 루, 린, 왕, 그리고 웬(Cao, Lu, Lin, Wang and Wen, 2015)의 연구에서는 2012년 10월 미국 대선 TV 토론이 진행되는 동안 트위터(Twitter)에 기록된 토론 시청자들의 의견, 트윗 사용자 정보를 DNA의 구조를 활용하여 은유하고 있다. 본 연구의 분류 체계로 분석한 두 가지 은유 과정을 서술하면 아래와 같다.

첫 번째 은유 과정은, 대선 토론을 시청한 사람들이 남긴 트윗 텍스트(1. 분석 대상: 감성>의견, 감정) 및 트윗이 남겨진 기간(1. 분석 대상: 시간>시간의 축적, 연속성)을 분석 대상으로 한다. 연구 저자는 상반된 두 집단의 분열을 시간별로 분석하려는 목적을 가지고 있는데, 해당 목적은 두 집단에 대해서 분열을 보이는 구간을 탐색하는 분석 업무(2. 매개: 탐색>시계열 분석)로 정리될 수 있다. 분석 업무에 대한 시각적 은유로는, 시간별로 기록된 트윗 텍스트를 DNA의 구조 중 띠 모양을 한 ‘외가닥(3. 재현물: 자연물>화합물)’에 비유한다. 그리고 상반된 의견을 나타내기 위해 외가닥의 색상을 긍정일 때에는 초록으로 부정일 때에는 빨강으로 변경하며, 중립으로 서로의 의견이 일치하는 부분은 노랑으로 변경한다(4. 시각적 변수: 색상). 또한, 시간에 따른 의견의 극성 변화를 나타내기 위해 두 개의 외가닥이 이중나선의 모습을 이루면서 왼쪽에서 오른쪽의 방향으로 진행하도록 만든다(3. 재현물: 자연적 과정>자연현상). 그리고 이중나선의 진행을 표현할 때에는 두 외가닥 사이의 거리를 조정하여 두 진영의 관계가 상반될 때, 거리가 멀어지도록 시각화한다(4. 시각적 변수: 거리). 마지막으로 이중나선 진행의 흐름을 시각화할 때, 특정 시간 범위 탐색을 위해 X축을 시간으로 설정한 시각화를 사용하고(5. 시각화 테크닉: 시간 지향 시각화), 분열의 원인이 되는 주요 키워드를 텍스트 형태로 보여주기 위해 DNA의 이중나선과 함께 워드 클라우드 시각화(5. 시각화 테크닉: 워드 클라우드)가 사용됨을 볼 수 있다.

두 번째 은유 과정에서는 트윗을 남긴 사람들을 분석 대상으로 하며, 커뮤니티 간 논쟁의 분열을 일으키는 주요 인물을 찾는 것을 분석 업무로 한다. 그리고 시각적 은유로 사례의 저자는 트윗을 남긴 글 작성자를 DNA 외가닥 안에 포함되는 원형 모양의 ‘인산염’을 사용한다. 그리고 트윗 활동 빈도에 따라 인산염의 크기를 다르게 하여 상위 랭커(Ranker)들을 구별한다. 또한, 여러 인산염을 포함하는 큰 원형의 노드들은 의견의 극성을 서로 묶어서 군집시키는 버블 차트로 보여준다(두 번째 은유 과정에 분석된 분류 체계의 대분류, 중분류, 세부적 하위 요소는 Table 7의 괄호의 내용으로 작성). 이처럼 본 연구의 분류 체계를 이용하여 카오의 연구를 두 가지 시각적 은유 과정으로 정리할 수 있다. 해당 사례의 대표도는 Figure 2와 같으며, 시각적 은유 과정을 분석한 표는 Table 7과 같다.


Figure 2 The representation of "SocialHelix"
Table 7
Classification and visual metaphor process of "SocialHelix" cases based on Task-oriented analysis work. The classification criteria analyzed through the classification system are indicated in parentheses

SocialHelix
1.분석대상 2.매개 3.재현물 4.시각적 변수 5.시각화 테크닉 은유 과정의 종합 해석 대표도
매개(논문의 목표) 매개 안에 포함된 분석 업무
2012 미국 대선 TV 토론이 진행되는 동안 기록된 트윗 텍스트(의견, 감정) 및 트윗이 남겨진 기간(시간의 축적 및 연속성) 상반된 두 집단의 분열 과정을 시간별로 분석하기(시간 지향 시각화) 상반된 의견을 보이는 두 집단에 대해서 분열을 보이는 구간을 탐색 하고자함 DNA 외가닥: 시간에 따라 기록되는 트윗 텍스트의 모음을 띠모양의 DNA 외가닥으로 표시함(자연물>화합물) 상반된 의견을 나타내기 위해 외가닥의 색상을 보색(긍정일 때에는 초록, 부정일 때에는 빨강)으로 변경함, 중립으로 서로 의견이 일치할 때에는 노랑으로 색상을 변경함 (색상) 특정 시간 범위 탐색을 위해 X축을 시간 축으로 설정한 데이터 시각화를 사용함(시간 지향 시각화)

분열의 원인이 되는 주요 키워드를 텍스트 형태로 보여주기 위해 워드 클라우드 시각화를 사용함 (워드 클라우드)
시간이 진행되는 X축의 왼쪽에서 오른쪽 방향으로 'DNA의 외가닥'들이 서로 상반된 보색을 가지고 이중나선 구조가 분리되거나 중립의 노란색으로 변형되어 다시 합쳐지는 과정을 탐색하면서 연구자는 상반된 의견을 보이는 두 집단의 분열(의견이 다름)과 결합(의견의 일치)의 내용을 쉽게 탐색할 수 있음 Figure 2
두 개의 외가닥이 이중나선의 모습으로 왼쪽에서 오른쪽 방향으로 진행하도록 함(자연적 과정>자연현상) 두 외가닥 사이의 거리를 조정함 (거리)
대선 토론을 보고 관련 트윗을 남긴 사용자들(글 작성자) 커뮤니티 간 논쟁의 분열을 일으키는 주요인물 찾기(중요한 인물 찾기) 1) 트윗의 빈도수를 카운팅, 가장 많은 트윗을 남긴 사용자 순으로 나열하여 상위 랭커들을 따로 선별함 DNA 가닥 안에 포함되는 원형 모양의 인산염: 인산염 하나는 논쟁의 분열을 일으키는 트윗 활동자 정보를 나타냄(자연물>화합물) 트윗 활동 빈도수에 따라서 인산염의 사이즈를 다르게 표현함 (크기) 글 작성자가 남긴 트윗의 빈도수를 노드의 원형 노드의 크기로 나타내는 버블차트 시각화 디자인을 진행함 (버블차트) DNA 구조에 포함되어있는 원형노드 형태의 '인산염'을 이용하여 논쟁 관련 트윗을 가장 많이 남긴 상위 사용자들을 확인할 수 있다는 점에서 은유가 적절히 사용되었음
2) 작성자 한명을 원형 노드로 나타내고, 크기가 큰 노드를 찾음

5. 2. 사례 분석 2: Co-Bridges

첸, 안드리엔코우 M, 안드리엔코우 G, 리, 그리고 유안(Chen, Andrienko, N., Andrienko, G., Li and Yuan, 2020)의 연구에서는 2016년 미국 대선 기간 동안 상반된 의견을 갖는 두 대선 후보자(도널드 트럼프, 힐러리 클린턴)의 트윗 텍스트 자료를 비교하고, 그 과정에서 논쟁의 패턴을 분석하기 위해 '다리와 강물의 흐름'을 은유의 수단으로 사용한다. 본 연구의 분류 체계로 분석한 두 가지 은유 과정을 서술하면 아래와 같다. 그리고 은유 과정에서 나타나는 분류 체계의 유형 및 세부 요소들은 Table 8의 괄호의 내용에 작성되었다.

첫 번째 은유 과정은, 두 후보가 남긴 트윗과 대선 후보를 분석 대상으로 한다. 이때 연구 저자는 두 후보자의 트윗 텍스트를 비교할 수 있도록 의견 정보를 추출하여 키워드 형태로 정리하고, 그 과정에서 논쟁이 일어나는 부분의 키워드를 감지하는 분석 업무를 가지게 된다.

분석 업무에 대한 시각적 은유로는 두 후보자가 남긴 트윗 중 중요한 정보를 담고 있는 사건이나 이슈들을 나타내기 위해 ‘다리’를 사용한다. 그리고 도널드 트럼프의 텍스트 정보는 파란색의 다리, 힐러리 클린턴은 분홍색의 다리로 표현하며 각 후보자의 발언 지속량에 따라서 다리의 두께를 달리한다. 또한, 논쟁이 일어나는 부분은 색상이 서로 교차하는 모양으로 다리를 표현한다. 해당 은유 과정에서는 다양한 시각화 테크닉이 사용되었는데, 각 후보가 주요하게 언급한 키워드를 워드 클라우드 형태로 표현하여 두 후보의 논쟁 키워드를 서로 비교할 수 있도록 한다. 그리고 트윗에 등장한 키워드 중 비중 있게 나타난 키워드들을 따로 선별하여 노드-링크 다이어그램으로 관계를 나타낸다. 그리고 키워드를 나타내는 노드들은 각 후보자가 해당 키워드를 얼마나 발언했는지 빈도를 보여주도록 파이차트를 활용한다.

두 번째 은유 과정에서는 두 후보가 트윗을 남긴 시간을 분석 대상으로 하며, 시간에 따라 변화하는 특정 트윗 키워드의 등장 빈도와 연속적으로 등장하는 키워드의 패턴을 발견하는 분석 업무를 가지고 있다.

분석 업무를 위한 시각적 은유로, 연구 저자는 시간에 따른 트윗 포스팅의 빈도 변화를 ‘강물의 흐름’으로 나타내고 있으며, 각 시간마다 남겨진 트윗 포스팅 빈도의 총량이 많아질수록 그 구간을 나타내는 강의 폭을 넓히는 시각적 변수를 함께 적용한다. 마지막으로 트위터 사용자가 남긴 트윗의 총량을 라인 플롯으로 시각화하여 강물의 흐름과 함께 나타내고, Y축의 위치에 날짜 정보를 넣은 다음 그 기간 중에 기록되는 모든 트윗 텍스트를 스트림 형태로 시각화한다. 이처럼 첸의 연구에서도 분류 체계를 이용하여 두 가지의 시각적 은유 과정을 정리할 수 있다. 해당 사례에 대한 대표도는 Figure 3과 같으며, 분류 작업 및 시각적 은유 과정을 정리한 표는 Table 8과 같다.


Figure 3 The representation of "Co-Bridges"
Table 8
Classification and visual metaphor process of "Co-Bridges" cases based on Task-oriented analysis work. The classification criteria analyzed through the classification system are indicated in parentheses

Co-Bridges
1.분석대상 2.매개 3.재현물 4.시각적 변수 5.시각화 테크닉 은유 과정의 종합 해석 대표도
매개(논문의 목표) 매개 안에 포함된 분석 업무
2016년 대선 기간 동안 두 후보가 남긴 트윗 텍스트(의견), 대선 후보(글 작성자) 두 후보자의 트윗 키워드 비교(서로 다른 감성 비교)

두 후보자가 논쟁한 부분을 감지(논쟁 표현 감지)
두 후보자의 트윗 텍스트를 비교할 수 있도록 의견 정보를 추출하여 키워드 형태로 정리하고, 그 과정에서 논쟁이 일어나는 부분의 키워드를 감지함 다리: 두 후보자가 남긴 트윗 텍스트와 밀접한 관계를 가진 사건이나 이슈(키워드)를 나타냄(인공물>건축물) 트윗을 남긴 사용자에 따라 다리의 색을 달리함(힐러리 클린턴: 분홍, 도널드 트럼프: 파랑)(색상)

발언의 지속 정도에 따라 다리의 두께를 달리함(크기)

논쟁이 일어나는 부분을 나타내기 위해 다리의 색상을 서로 교차해서 표현함(모양)
서로 다른 색상을 가진 다리 위에 태그 클라우드를 나타냄. 두 후보의 주요 키워드를 비교할 수 있음(워드 클라우드)

워드 클라우드에 등장한 여러 키워드 중 비중있게 나타난 키워드들로 노드-링크 다이어그램을 형성함(노드-링크 다이어그램)

각 후보자가 발언한 키워드의 빈도를 비교할 수 있도록 파이차트를 활용함(파이 차트)
강 사이에 놓인 다리는 두 후보자의 트윗 텍스트에서 추출한 주요 키워드를 나타내면서 동시에 두 후보자가 트위터를 통해 발언 내용들을 비교할 수 있게 함, 그리고 색상이 교차되는 모양을 통해서 논쟁이 일어나는 부분에 대한 감지를 수월하게 할 수 있도록 만들어 줌, 그리고 워드 클라우드는 두 후보의 트윗에서 나타나는 주요 키워드의 종류나 비중을 나타냄으로써 각 발언에 대한 비교/대조를 수월하게 만들어주고 노드-링크 다이어그램을 통해 키워드의 관계 정보도 확인이 가능함 Figure 3
두 후보가 트윗을 남긴 시간(대선 기간)(시간의 축적 및 연속성) 시간별로 축적되는 두 후보의 트윗 활동의 빈도 변화와 데이터 패턴을 분석함(시계열 분석) 시간에 따라 변화하는 특정 키워드의 등장 빈도와, 연속적으로 등장하는 키워드의 패턴을 발견함 강물의 흐름: 시간에 따라 기록되는 트윗 포스팅의 빈도 수 변화량을 나타냄(자연적 과정>자연현상) 강의 폭 변화: 트윗 포스팅 빈도의 총량이 많을수록 그 구간을 나타내는 강의 폭은 넓어짐(크기) 트위터 사용자가 남긴 트윗의 총량을 라인 플롯으로 시각화함(라인 플롯)

y축 위치에 날짜가 기록되고 해당 방향으로 트위터 텍스트를 '다리'로 은유하여 스트림 시각화를 진행함(시간 지향 시각화)
강의 흐름은 시간에 따라 다르게 나타나는 트윗의 양과 빈도를 파악하는 데 도움이 되며 특히 강의 폭을 조정함으로써 전개되는 자유곡선은 각 후보가 남긴 트윗의 총량 변화를 나타내는데 이를 강조하기 위해 라인플롯 시각화를 혼용함, 그리고 강이 흐르는 y축 방향으로 날짜가 기록되어 시간 데이터도 확인이 가능함

6. 분류 체계의 검증
6.1. 검증의 목적 및 방법

6장에서는 본 연구의 분류 체계가 시각적 은유를 활용한 감성 시각화 사례를 분석하는 데 있어 도움을 줄 수 있는지 살펴보고, 분류 체계의 개선 사항을 알아보기 위한 검증 작업을 소개한다.

검증을 위해서, 본 연구는 세 명의 피실험자들을 대상으로 정성적 평가(Qualitative Evaluation) 방식의 실험을 거치게 되었다. 실험자 섭외를 위해 대학원생 이상 학력의 연구자들을 실험 대상으로 선정하였다. 검증 실험 참가자 중 ‘피실험자 1’은 언어학을 전공하였으며, 수사학 및 은유와 관련된 연구 경험이 8년 이상 있는 연구자이며, ‘피실험자 2’는 소셜 미디어학을 전공하였으며, 감성 데이터 시각화 경험이 2년 이상 있는 연구자이다. 그리고 ‘피실험자 3’은 데이터 사이언스학을 전공하였으며, 텍스트 마이닝 및 자연어 처리를 이용한 정보 시각화 경험이 2년 이상 있는 연구자이다.

소수의 참가자를 이용한 정성적 평가 방식의 실험 방법을 선택한 이유는 본 연구가 정보디자인 및 공학적 지식을 기반으로 하는 ‘감성 분석 시각화’와 인문학적 지식을 기반으로 하는 ‘시각적 은유’를 모두 아우르는 분류 체계를 제시하므로, 이상의 분야를 포괄하여 이해할 수 있는 전문 연구 인력을 다수 섭외하기에는 한계가 있었기 때문이다. 또한, 각 분류 체계를 구성하는 세부적 요소들이 적절한지에 대해 전문가들에게 디테일한 평가를 받고 이를 정리하는 방식의 실험이 더 적절하다고 판단하였기 때문이다. 일례로 정성적 평가와 관련된 작업을 위해 알리, 하탈라, 가세비치, 그리고 요바노비치(Ali, Hatala, Gašević and Jovanović, 2012)의 연구에서는 LOCO-Analyst라는 교육 시스템의 웹 인터페이스를 제작한 뒤, 인터페이스의 각 사용자 경험에 대한 피드백을 구하기 위해 두 명의 웹디자인 전문가에게 질문항을 제시하여 그에 대한 답을 구하는 형식으로 파일럿 테스트를 진행하고, 박흥석, 남윤수, 김지훈, 그리고 주재걸(Park, Nam, Kim and Choo, 2020)의 연구에서는 HyperTendril 시스템의 이점을 강조하기 위해 머신러닝과 시각화 분석을 동시에 연구하는 도메인 전문가 세 명을 대상으로 심층 인터뷰를 진행한 경우가 있다. 본 연구에서도 두 연구를 참고하여 정성적 평가 실험을 설계하였다. 구체적인 실험 방법은 아래와 같으며, 실험 진행 시간은 각 피실험자당 100분 정도가 소요되었다.

첫째, 피실험자에게 실험의 목적 및 방법, 주제를 이해하는 데 필요한 기본 개념(감성 시각화, 시각적 은유, 감성 분석 등)에 대한 설명을 10분 정도 진행한 뒤, 다섯 가지 유형의 분류 체계(Table 2~Table 6)와 본 연구에 제시된 감성 시각화 사례 중 ‘SocialHelix’ 사례에 나타난 시각적 은유들을 소개하는 자료(논문 원본, 요약 정리문, 그림과 도표, 시각적 은유 과정을 이해할 수 있는 지문 등)를 제공한다. 그리고 20분의 시간을 제공하여 주어진 자료들을 관찰하도록 요청한다. 이때, 피실험자는 각 분류 체계를 구상하는 하위 요소들의 정의를 확인한다. 그리고 진행자는 피실험자가 모르는 하위 요소가 있다고 하면 질의응답을 통해서 이해할 수 있도록 한다.

둘째, ‘SocialHelix’ 분석 사례를 이해하는 과정이 끝나면, 피실험자는 해당 사례에 나타나는 두 가지의 시각적 은유 과정을 제공된 분류 체계를 이용하여 분석하는 과제를 수행하게 된다. 각 피실험자는 1.분석 대상만 채워져 있는 Table 7의 도표를 받고 빈칸을 채우게 된다. 해당 작업의 수행을 위해 총 50분의 시간을 받게 된다.

셋째, 피실험자가 분류 작업을 마치면, 5분 동안 본 연구에서 제안한 결과물(Table 7)과 함께 피실험자가 작성한 내용을 비교하도록 요청한다. 그런 다음 분류 사례와 피실험자의 응답에 차이가 발생한 부분에 대해서 인터뷰를 진행하여 선정 사유를 물어보고 정리한다. 그리고 분류 체계의 활용성에 대한 전반적인 의견은 아래의 질문항을 이용하여 인터뷰한 뒤 그 의견을 수집한다. 인터뷰를 수행하는 시간은 15분 정도이다.

질문항은 다음과 같다.

Comprehensiveness(포괄성): 본 연구에서 제공된 분류 체계가 감성 데이터의 시각적 은유 과정을 전반적으로 이해하는 데 지표가 될 수 있는가?

Easiness(용이성): 본 연구에서 제공한 중분류(Subcategory Level 1) 요소가 분류 체계 프로세스(분석대상→매개→재현물→시각적 변수→시각화 테크닉)의 흐름을 잘 나타내 주는가?

Precision(정밀성): 분류 체계에서 각 중분류 안에 포함된 모든 하위 요소(Subcategory Level 2)들이 사례를 분류하는 정밀한 분류 기준이 될 수 있는가?

Usefulness(유용성): 실험에서 제공된 대상 사례의 분류 결과물은 사례에서 사용된 감성 데이터의 시각적 은유 과정들을 이해하는 데 유용한가?

Discoverability(탐색 가능성): 실험에서 제공된 대상 사례의 분류 결과물은 시각적 은유를 사용한 저자의 의도를 탐색하는 데 도움이 되는가?

6. 2. 검증 결과 정리
6. 2. 1. 분류 체계의 활용성에 대한 의견

우선, 분류 체계에 대한 활용성에 대해서 세 피실험자를 대상으로 의견을 수집하였다. 그 결과, ‘본 연구에서 제공된 분류 체계가 감성 데이터의 시각적 은유 과정의 흐름을 전반적으로 이해하는 데에 도움이 되었다고 답변하였다. 특히, ‘매개’라는 대분류 요소로 은유 과정을 정리했을 때, ‘SocialHelix’ 사례에서 시각적 은유를 왜 하는지에 대한 배경과 필요한 수행 과제들을 명확히 파악할 수 있어 도움이 되었다.’, ‘분류 체계에서 각각의 중분류(Subcategory Level 1)가 제공되는 순서(분석 대상→매개→재현물→시각적 변수→시각화 테크닉)는 은유가 이루어지는 과정을 순차적으로 파악하는 데 유용하였다.’, ‘중분류에 포함된 하위 요소(Subcategory Level 2)들의 구성이 다채로웠기 때문에 사례를 보다 정밀하게 분류하는 것이 가능했다.’라는 의견을 통해서 분류 체계의 활용성에 대한 긍정적인 반응을 얻을 수 있었다.

반면에 ‘재현물 중 개체 은유와 관련된 하위 요소들이 여러 개 구성되어 있으나 대상 개체의 분야가 다양하다 보니 이를 비슷한 속성끼리 묶어서 정리하면 어떨까 싶다.’, ‘시각적 은유에 사용하는 재현물은 동물/식물과 같이 넓은 개념의 단위를 가지는 개체가 사용될 수도 있겠지만, DNA의 외가닥/인산염과 같이 미시적 규모의 단위에서 재현물이 구성되는 경우도 있다. 그러나 현재 구성된 개체 은유의 하위 요소들은 넓은 개념을 가지고 있는 개체들로 구성되었기 때문에 이를 세분화하는 것이 적절할 것으로 보인다. 관련 예시를 든다면 DNA를 이루는 개체들을 화합물로 분류할 수도 있지만, 그 안에 있는 세부적인 구성물을 분류할 수 있도록 ‘원소(물질을 이루는 기본 단위)’와 같은 분류 체계가 추가될 수 있다.’, ‘분류 체계를 이루는 재현물의 하위 요소들의 정의를 추가로 설명해주면 좋을 것 같다.’, ‘매개를 이루는 세부적 하위 요소는 전문적인 기술과 관련된 부분들이 있어 분류 사례와 대조하기 어려운 점이 있었다.’라는 의견도 있었는데 이를 통해 본 연구의 분류 체계가 앞으로 개선해야 할 부분이 무엇인지를 정리할 수 있었다.

6. 2. 2. 분석 대상이 ‘시간 및 감성’일 경우의 검증 결과

분석 대상이 ‘시간 및 감성’일 경우의 검증 결과를 서술하면 아래와 같다.

첫 번째로 매개 부분에서는 세 명의 참가자 모두 ‘시계열 분석’을 매개로 선정하였으며, 본 연구에서 분석한 자료(Table 7)와 동일한 선택을 했다.

두 번째로 재현물에서는 세 명의 참가자 모두 커뮤니티들의 주제를 나타내는 DNA의 외가닥을 선정함으로써 본 연구에서 제시한 분석 예시와 동일한 결과를 보여주었다. 다만 DNA의 외가닥에 대해서 본 연구의 사례와 피실험자 1, 2 는 ‘화합물’이라고 분류했으나 피실험자 3은 이를 ‘구조물’로 분류하였다. 이는 재현물인 외가닥을 보는 시각의 차이가 생물학적인 화합물로, 아니면 사람들이 DNA 구조에 대해서 인위적으로 만들어놓은 분자 구조물의 관점으로 보았는지에 따라 사용된 분류 요소가 달라진 것으로 해석된다. 그리고 피실험자 1, 3은 DNA가 이중나선을 그리며 생성되는 과정을 ‘자연현상’으로 분류하였고, 이는 본 연구에서 제시한 과정 은유와 동일한 결과였다. 다만 피실험자 2는 해당 부분을 기재하지 않았는데 그 사유를 물어본 결과, 실험에서 제시된 이미지 자료가 전체 시간을 대상으로 하고 있어 시각화가 동적으로 전개되는 것을 인지하지 못했다고 답변했다. 추후 피실험자 2에게 본 연구에서 분류한 과정 은유 결과물을 보여준 뒤에 어느 정도 공감하는지를 묻게 되었는데, 시간에 따라 DNA가 오른쪽으로 생성된다는 것을 이해하고 난 뒤에는 과정 은유에 대해서 공감할 수 있었다고 답변했다.

세 번째로 시각적 변수에 대해서는 세 피실험자 모두 시간에 따라 변화되는 주제에 대해 두 커뮤니티의 입장이 가까워지고 멀어짐에 따라 외가닥의 ‘거리’들이 달라진다는 것, 감성의 극성에 따라 ‘색상’이 달라진다는 것을 적절히 분류한 것으로 나타났다. 그리고 이러한 결과는 본 연구의 시각적 변수 분류 작업 결과물과 동일하였다. 그런데 피실험자 3은 ‘거리’ 및 ‘색상’ 이외에도 ‘방향’에 대한 시각적 변수를 추가로 분류하였다. 해당 분류 요소를 선정한 사유를 알아본 결과, 피실험자 3은 제시된 연구 사례에서 이중나선이 진행될 때 커뮤니티의 감성이 긍정으로 갈수록 우상향이 되고 부정으로 갈수록 우하향이 되는 것을 관찰하였고, 관련된 사항이 분류 체계에 ‘방향’으로 존재하여 이를 적용한 것으로 나타났다. 해당 시각적 변수의 선정은 본 연구에서 고려하지 않았으나, 분류 체계에서 다양한 분류 요소들이 마련되어 있었기 때문에 피실험자가 이를 참고하여 은유의 요소를 추가로 분석해 낸 케이스였다. 이를 미루어볼 때, 본 연구의 분류 체계로 인해 시각적 은유를 활용한 감성 시각화 사례들의 분류 작업이 더 다양화되고 세분될 수 있다는 가능성을 확인했다.

마지막으로 시각화 테크닉과 관련된 분류 작업 결과물은 세 실험자 모두 시간 지향 시각화가 적용되었다고 분류하였으며, 분열의 원인이 되는 주요 키워드를 텍스트 형태로 보여주기 위해 워드 클라우드 시각화를 사용한 부분에 대해서는 피실험자 1과 2만이 이를 인지하고 분류를 진행한 것으로 나타났다.

6. 2. 3. 분석 대상이 ‘글 작성자’일 경우의 분류 검증 결과

분석 대상이 ‘글 작성자’일 경우의 검증 결과를 서술하면 아래와 같다.

우선, 피실험자 1과 2는 본 연구가 제시한 매개의 분류 요소와 동일하게 ‘커뮤니티에서 논쟁 분열의 원인이 된 중요 인물을 찾는 것’을 선정하였다. 그러나 피실험자 3은 인물이 가진 논쟁의 차이를 탐지하는 것을 연구의 주된 목적으로 판단하여 ‘논쟁 표현 감지’를 매개로 선정하였다. 본 연구에서는 피실험자 3의 매개 선택의 기준이 충분히 고려할 수 있었던 사항이라고 결론을 내렸고, 새롭게 제안될 수 있는 분류 작업의 일환으로 해석하였다.

다음으로 재현물에서는 피실험자 모두가 인산염을 선택한 것으로 나타났다. 다만 과정 은유에 대해서는, 본 연구의 사례 및 피실험자 1과 2는 과정 은유가 없다고 결론을 내렸지만, 피실험자 3은 두 커뮤니티를 구성하는 중요 인물이 서로 비슷한 극성의 의견을 내놓을 경우 인산염들이 융합되는 현상에 대해서 ‘자연 현상’의 과정 은유가 들어간 것으로 판단하였다. 본 연구는 이상의 상황을 종합한 결과 인산염이 서로 융합되는 부분은 ‘자연 현상’이라는 과정 은유와 ‘인산염의 모양이 변형’되는 시각적 변수 모두 해당될 수 있을 것이라는 결론을 내렸다. 이러한 과정에서도 분류 작업물이 개선될 수 있다는 점을 발견할 수 있었다.

시각적 변수에서는 앞서 언급한 ‘모양’ 이외에도 중요 인물이 가지는 감성의 극성을 ‘색상’으로 표시하고 활동량에 따라서 ‘크기’가 변한다는 점을 분류하여 제시였는데, ‘색상’과 ‘크기’에 대해서는 피실험자 모두 동일하게 분류한 것으로 나타났다.

마지막으로 실험에 참가한 모든 사람이 버블 차트 테크닉이 사용되었다고 분류하였으며, 이는 본 연구에서 사전에 분류한 자료와 일치했다. 추후 인터뷰를 통해 버블 차트는 어떤 부분을 관찰하고 선정하게 되었는지 물어본 결과, 모든 참가자가 ‘유저 그룹을 나타내는 인산염이 원(Circle)의 형태로 표현되어 있고 원들이 여러 개로 군집 되어 분포되다 보니 이를 인산염으로 봐야 할지, 아니면 유저 그룹을 묶어서 버블 차트로 봐야 할지, 아니면 둘 다 적용해야 할지 고민이었으며 결과적으로는 두 요소를 모두 적용했다.’는 답변을 하였다. 그러나 실제 사례에 나타난 버블 차트 시각화 테크닉은 DNA 외가닥 안에 있는 인산염이 아닌 영역을 따로 분리해서 원형의 노드만 보여주는 보조 시각화 형태로 나타내고 있어, 모든 참가자가 재현물과 시각화 테크닉을 구분하지 못했다는 것을 알 수 있다. 그러므로 본 연구는 재현물과 시각화 테크닉을 확실하게 구분할 수 있도록 각 분류 체계의 하위 요소 구성을 보완하고, 중분류 요소의 정의를 구체화할 필요가 있음을 알게 되었다.

7. 결론 및 제언

본 연구는 감성 시각화 사례에서 활용된 시각적 은유 과정의 세부적 분석을 위한 가이드라인을 제안하고자 분류 체계를 제작하였다.

연구 수행을 위해 시각적 은유가 사용된 감성 시각화 사례들을 수집하고, 해당 사례에서 발견될 수 있는 다양한 연구 방법을 참고하여 분류 체계의 구성 요소를 선정하였다. 그리고 시각적 은유가 이루어질 때 나타나는 구체적인 분석 업무를 기반으로 ‘분석 대상→매개→재현물→시각적 변수→시각화 테크닉’ 등을 순서로 하는 분류 체계가 만들어지게 되었다. 이러한 해석의 순서는 타 분류 체계 사례들보다 연구에서 나타난 시각적 은유 과정을 자연스럽게 이해할 수 있다는 장점이 있다. 다음으로 시각적 은유를 활용한 감성 시각화 사례 두 가지를 분석하고 그 안에서 나타나는 은유 과정을 서술하였다. 마지막으로 검증 과정을 통해서 본 연구에서 제시한 분류 체계의 효용성 및 개선점에 대해 정리하였다. 이상의 연구 과정을 종합할 때, 본 연구에서 제시한 분류 체계 및 사례 분석의 의의는 아래와 같다.

첫째, 연구자가 감성 시각화를 제작하기 위한 목적과 배경을 명확히 확인할 수 있고, 특정한 목적에 적합한 재현물이 무엇인지 선택할 수 있는 지표를 제공한다.

둘째, 분류 체계를 활용하여 감성 시각화 사례 분석을 진행한 결과, 각 사례에서 요구하는 분석 업무들을 수행하는 데 필요한 시각적 은유의 전반적인 과정을 체계적으로 이해할 수 있다.

셋째, 정보디자인 분야의 실무자들이 시각적 은유를 활용한 감성 시각화를 제작할 때 달성하고자 하는 분석 목표나 업무에 적합한 기존의 은유 유형들을 숙지하고, 이를 기반으로 새로운 은유 방법을 모색하도록 유도할 수 있다.

그러나 본 연구는 앞서 언급한 연구의 의의가 있음에도 불구하고 ‘보다 다양한 사례를 기반으로 분석 작업이 이루어지지 못한 점, 검증에 있어서 다수의 사용자를 대상으로 하여 분류 체계에 대해 정량적 평가를 하지 못한 점, 정성평가를 활용한 검증 과정에서 하나의 사례만 사용된 점, 재현물과 관련된 세부적 하위 요소를 좀 더 추가할 필요가 있는 점’ 등의 한계점을 가지고 있다.

향후에는 만들어진 분류 체계를 활용하여 더욱 다양한 종류의 연구 사례들을 수집하고 분석하는 작업을 수행할 것이다. 또한, 은유 과정을 좀 더 쉽게 설명할 수 있는 분석 모델을 고안하고 그 과정에서 분류 체계를 세분화할 계획이다. 그리고 다수의 관련 연구자들을 모집하여 분류 체계 효용성과 시각적 은유 과정 이해도를 검증하는 정량적 평가를 진행할 예정이다. 추후 많은 분석 사례들이 수집된다면, 이를 데이터베이스화하여 사용자들이 시각적 은유를 활용한 감성 시각화 사례들을 탐색할 수 있는 시스템을 제작하고자 한다. 탐색 시스템에서는 사용자가 원하는 분류 체계의 요소를 선별하면, 관련된 연구 사례들이 검색될 수 있도록 구성해 볼 수 있다. 그 과정에서 주어진 분석 대상이나 매개와 유사한 재현물의 트렌드나 은유 과정의 패턴을 발견할 수 있을 것이라 기대한다.

Acknowledgments

이 논문은 2020년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2020S1A5A2A01043532).

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2020S1A5A2A01043532).

References
  1. 1 . Ahn, J., Plaisant, C., & Shneiderman, B. (2013). A task taxonomy for network evolution analysis. IEEE transactions on visualization and computer graphics, 20(3), 365-376. [https://doi.org/10.1109/TVCG.2013.238]
  2. 2 . Alattar, F., & Shaalan, K. (2021). A Survey on Opinion Reason Mining and Interpreting Sentiment Variations. IEEE Access, 9, 39636-39655. [https://doi.org/10.1109/ACCESS.2021.3063921]
  3. 3 . Ali, L., Hatala, M., Gašević, D., & Jovanović, J. (2012). A qualitative evaluation of evolution of a learning analytics tool. Computers & Education, 58(1), 470-489. [https://doi.org/10.1016/j.compedu.2011.08.030]
  4. 4 . Allen, J. A., Beck, T., Scott, C. W., & Rogelberg, S. G. (2014). Understanding workplace meetings: A qualitative taxonomy of meeting purposes. Management Research Review, 37(9), 791-814. [https://doi.org/10.1108/MRR-03-2013-0067]
  5. 5 . Alm, C. O., & Sproat, R. (2005). Emotional sequencing and development in fairy tales. In International Conference on Affective Computing and Intelligent Interaction (668-674), Heidelberg, Springer. [https://doi.org/10.1007/11573548_86]
  6. 6 . Barr, P., Biddle, R., & Noble, J. (2002). A taxonomy of user-interface metaphors. In Proceedings of the SIGCHI-NZ Symposium on Computer-Human Interaction (25-30), Hamilton , ACM. [https://doi.org/10.1145/2181216.2181221]
  7. 7 . Bhutani, B., Rastogi, N., Sehgal, P., & Purwar, A. (2019). Fake news detection using sentiment analysis. In 2019 Twelfth International Conference on Contemporary Computing (IC3) (1-5), Noida, IEEE. [https://doi.org/10.1109/IC3.2019.8844880]
  8. 8 . Bi, Z., Zhang, N., Ye, G., Yu, H., Chen, X., & Chen, H. (2021). Interventional Aspect-Based Sentiment Analysis. arXiv preprint arXiv:2104.11681.
  9. 9 . Brehmer, M., & Munzner, T. (2013). A multi-level typology of abstract visualization tasks. IEEE transactions on visualization and computer graphics, 19(12), 2376-2385. [https://doi.org/10.1109/TVCG.2013.124]
  10. 10 . Brun, C., & Nikoulina, V. (2018). Aspect based sentiment analysis into the wild. In Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis (116-122), Brussels, ACL. [https://doi.org/10.18653/v1/W18-6217]
  11. 11 . Cao, N., Lin, Y. R., Sun, X., Lazer, D., Liu, S., & Qu, H. (2012). Whisper: Tracing the spatiotemporal process of information diffusion in real time. IEEE transactions on visualization and computer graphics, 18(12), 2649-2658. [https://doi.org/10.1109/TVCG.2012.291]
  12. 12 . Cao, N., Lu, L., Lin, Y. R., Wang, F., & Wen, Z. (2015). Socialhelix: visual analysis of sentiment divergence in social media. Journal of visualization, 18(2), 221-235. [https://doi.org/10.1007/s12650-014-0246-x]
  13. 13 . Card, M. (1999). Readings in information visualization: using vision to think. Burlington: Morgan Kaufmann.
  14. 14 . Carpendale, M. S. T. (2003). Considering visual variables as a basis for information visualization. Calgary: PRISM: University of Calgary's Digital Repository.
  15. 15 . Chen, L., Xu, R., & Yang, M. (2020). Overview of the NLPCC 2020 Shared Task: Multi-Aspect-Based Multi-Sentiment Analysis (MAMS). In CCF International Conference on Natural Language Processing and Chinese Computing (579-585), Zhengzhou, Springer. [https://doi.org/10.1007/978-3-030-60457-8_48]
  16. 16 . Chen, S., Andrienko, N., Andrienko, G., Li, J., & Yuan, X. (2020). Co-Bridges: Pair-wise Visual Connection and Comparison for Multi-item Data Streams. IEEE Transactions on Visualization and Computer Graphics, 27(2), 1612-1622. [https://doi.org/10.1109/TVCG.2020.3030411]
  17. 17 . Chen, S., Li, S., Chen, S., & Yuan, X. (2019). R-map: A map metaphor for visualizing information reposting process in social media. IEEE transactions on visualization and computer graphics, 26(1), 1204-1214. [https://doi.org/10.1109/TVCG.2019.2934263]
  18. 18 . Chengzhi, Q., Chenghu, Z., & Tao, P. (2003). Taxonomy of visualization techniques and systems-Concerns between users and developers are different. In Asia GIS Conference (37), Wuhan, GIS.
  19. 19 . Chi, E. H. H. (2000). A taxonomy of visualization techniques using the data state reference model. In IEEE Symposium on Information Visualization 2000. INFOVIS 2000 (69-75), Salt Lake City, IEEE. [https://doi.org/10.1109/INFVIS.2000.885092]
  20. 20 . Choi, K. B. (2002). 은유 표현에서 어휘체계의 의미론적 역할[The Semantic Role of the Lexical System in Metaphorical Expressions]. The Association For Korean Linguistics, 15, 285-306.
  21. 21 . Cruz, P. (2015). Wrongfully right: applications of semantic figurative metaphors in information visualization. IEEE VIS Arts Program (VISAP) (14-21), Chicago, IEEE.
  22. 22 . da Silva Franco, R. Y., Santos do Amor Divino Lima, R., Paixão, M., Resque dos Santos, C. G., & Serique Meiguins, B. (2019). UXmood—A Sentiment Analysis and Information Visualization Tool to Support the Evaluation of Usability and User Experience. Information, 10(12), 366. [https://doi.org/10.3390/info10120366]
  23. 23 . Dashtipour, K., Poria, S., Hussain, A., Cambria, E., Hawalah, A. Y., Gelbukh, A., & Zhou, Q. (2016). Multilingual sentiment analysis: state of the art and independent comparison of techniques. Cognitive computation, 8(4), 757-771. [https://doi.org/10.1007/s12559-016-9415-7]
  24. 24 . Denecke, K. (2008). Using sentiwordnet for multilingual sentiment analysis. In 2008 IEEE 24th international conference on data engineering workshop (507-512), Cancun, IEEE. [https://doi.org/10.1109/ICDEW.2008.4498370]
  25. 25 . Dong, L. Y., Ji, S. J., Zhang, C. J., Zhang, Q., Chiu, D. W., Qiu, L. Q., & Li, D. (2018). An unsupervised topic-sentiment joint probabilistic model for detecting deceptive reviews. Expert Systems with Applications, 114, 210-223. [https://doi.org/10.1016/j.eswa.2018.07.005]
  26. 26 . Du, X., Zhu, R., Zhao, F., Zhao, F., Han, P., & Zhu, Z. (2020). A deceptive detection model based on topic, sentiment, and sentence structure information. Applied Intelligence, 50(11), 3868-3881. [https://doi.org/10.1007/s10489-020-01779-0]
  27. 27 . Duan, W., Cao, Q., Yu, Y., & Levy, S. (2013). Mining online user-generated content: using sentiment analysis technique to study hotel service quality. In 2013 46th Hawaii International Conference on System Sciences (3119-3128), Hawaii, IEEE. [https://doi.org/10.1109/HICSS.2013.400]
  28. 28 . Eliacik, A. B., & Erdogan, N. (2018). Influential user weighted sentiment analysis on topic based microblogging community. Expert Systems with Applications, 92, 403-418. [https://doi.org/10.1016/j.eswa.2017.10.006]
  29. 29 . Esri, (n.d.). GIS Dictionary [Web Dictionary]. Retrieved from https://support.esri.com/en/other-resources/gis-dictionary/term/9fe8e022-872d-442e-8f0d-a08229167823.
  30. 30 . Fukuhara, T., Nakagawa, H., & Nishida, T. (2007). Understanding Sentiment of People from News Articles: Temporal Sentiment Analysis of Social Events. In ICWSM. Boulder, AAAI.
  31. 31 . Gao, K., Xu, H., & Wang, J. (2015). Emotion cause detection for chinese micro-blogs based on ecocc model. In Pacific-Asia Conference on Knowledge Discovery and Data Mining (3-14), Ho Chi Minh City, Springer. [https://doi.org/10.1007/978-3-319-18032-8_1]
  32. 32 . Gitari, N. D., Zuping, Z., Damien, H., & Long, J. (2015). A lexicon-based approach for hate speech detection. International Journal of Multimedia and Ubiquitous Engineering, 10(4), 215-230. [https://doi.org/10.14257/ijmue.2015.10.4.21]
  33. 33 . Gonçalves, P., Araújo, M., Benevenuto, F., & Cha, M. (2013). Comparing and combining sentiment analysis methods. In Proceedings of the first ACM conference on Online social networks (27-38) , Boston, ACM. [https://doi.org/10.1145/2512938.2512951]
  34. 34 . Gottsegen, J. (1998). Using argumentation analysis to assess stakeholder interests in planning debates. Computers, Environment and Urban Systems, 22(4), 365-379. [https://doi.org/10.1016/S0198-9715(98)00049-0]
  35. 35 . Gupta, N., Gilbert, M., & Fabbrizio, G. D. (2013). Emotion detection in email customer care. Computational Intelligence, 29(3), 489-505. [https://doi.org/10.1111/j.1467-8640.2012.00454.x]
  36. 36 . Han, H. W. & Moon, A. R. (2014). 소셜 네트워크 서비스의 은유적 특성 연구[A Study on Metaphor Characteristics of Social Network Service]. Journal of Digital Contents Society, 15(5), 621-630. [https://doi.org/10.9728/dcs.2014.15.5.621]
  37. 37 . Hancock, J. T., Landrigan, C., & Silver, C. (2007). Expressing emotion in text-based communication. In Proceedings of the SIGCHI conference on Human factors in computing systems (929-932), San Jose, ACM. [https://doi.org/10.1145/1240624.1240764]
  38. 38 . Hu, M., & Liu, B. (2004). Mining and summarizing customer reviews. In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining (168-177), Seattle, ACM. [https://doi.org/10.1145/1014052.1014073]
  39. 39 . Hayles, N. K. (2007). Intermediation: The pursuit of a vision. New Literary History, 38(1), 99-125. [https://doi.org/10.1353/nlh.2007.0021]
  40. 40 . Jacques, B. (1967). Semiology of Graphics: Diagrams, Networks, Maps. Madison: University of Wisconsin Press.
  41. 41 . Jakubiec, F. Y., & Ribeiro, A. (2012). D-map: Distributed maximum a posteriori probability estimation of dynamic systems. IEEE Transactions on Signal Processing, 61(2), 450-466. [https://doi.org/10.1109/TSP.2012.2222398]
  42. 42 . Ji, Y., Liu, H., He, B., Xiao, X., Wu, H., & Yu, Y. (2020). Diversified Multiple Instance Learning for Document-Level Multi-Aspect Sentiment Classification. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (7012-7023), Virtual Conference, ACL. [https://doi.org/10.18653/v1/2020.emnlp-main.570]
  43. 43 . Kauffmann, E., Peral, J., Gil, D., Ferrández, A., Sellers, R., & Mora, H. (2020). A framework for big data analytics in commercial social networks: A case study on sentiment analysis and fake review detection for marketing decision-making. Industrial Marketing Management, 90, 523-537. [https://doi.org/10.1016/j.indmarman.2019.08.003]
  44. 44 . Kim, S. M., & Hovy, E. (2006). Extracting opinions, opinion holders, and topics expressed in online news media text. In Proceedings of the Workshop on Sentiment and Subjectivity in Text (1-8), Sydney, ACL. [https://doi.org/10.3115/1654641.1654642]
  45. 45 . Kirilenko, A. P., Stepchenkova, S. O., Kim, H., & Li, X. (2018). Automated sentiment analysis in tourism: Comparison of approaches. Journal of Travel Research, 57(8), 1012-1025. [https://doi.org/10.1177/0047287517729757]
  46. 46 . Kirmayer, L. J. (1993). Healing and the invention of metaphor: the effectiveness of symbols revisited. Culture, medicine and psychiatry, 17(2), 161-195. [https://doi.org/10.1007/BF01379325]
  47. 47 . Kirwan, B., & Ainsworth, L. K. (Eds.). (1992). A guide to task analysis: the task analysis working group. Boca Raton: CRC press. [https://doi.org/10.1201/b16826]
  48. 48 . Köffer, S., Riehle, D. M., Höhenberger, S., & Becker, J. (2018). Discussing the value of automatic hate speech detection in online debates. Multikonferenz Wirtschaftsinformatik (MKWI 2018): Data Driven X-Turning Data in Value (83-94), Leuphana, ICIS.
  49. 49 . Korean Intellectual Property Office. (2010). 비엔나 협정에 의한 도형상표 분류집[Classification of graphic trademarks according to the Vienna Convention]. Daejeon: Korea Institute of Intellectual Property Book DB.
  50. 50 . Kucher, K., Paradis, C., & Kerren, A. (2018). The state of the art in sentiment visualization. In Computer Graphics Forum, 37(1), 71-96. [https://doi.org/10.1111/cgf.13217]
  51. 51 . Kumar, R. S., Devaraj, A. F. S., Rajeswari, M., Julie, E. G., Robinson, Y. H., & Shanmuganathan, V. (2021). Exploration of sentiment analysis and legitimate artistry for opinion mining. Multimedia Tools and Applications, 1-16. [https://doi.org/10.1007/s11042-020-10480-w]
  52. 52 . Lakoff, G., & Johnson, M. (2008). Metaphors we live by. Chicago: University of Chicago press.
  53. 53 . Lee, J. S. (2018). 데이터 시각화에서 시각적 은유의 개념적 은유에 관한 연구[Conceptual Metaphor as Visual Metaphors in Data Visualization]. Korea Society of Basic Design & Art, 19(5), 571-584. [https://doi.org/10.47294/KSBDA.19.5.41]
  54. 54 . Lee, S. Y. M., Chen, Y., Li, S., & Huang, C. R. (2010). Emotion cause events: Corpus construction and analysis. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10) (1121-1128), Valletta, ELRA.
  55. 55 . Lee, W. N. (2020). 은유 기반 시 학습 설계 -매개로서의 은유를 활용하여-[Metaphor-Based Poetry Learning Design -Using a Metaphor as a medium-]. The Journal of Modern Literary Theory, 83, 213-241. [https://doi.org/10.22273/SMLT.83.8]
  56. 56 . Liu, B., & Zhang, L. (2012). A survey of opinion mining and sentiment analysis. In Mining text data. Boston: Springer. [https://doi.org/10.1007/978-1-4614-3223-4_13]
  57. 57 . Liu, B. (2012). Sentiment Analysis and Opinion Mining. San Rafael: Morgan & Claypool Publishers.
  58. 58 . Liu, B. (2020). Sentiment analysis: Mining opinions, sentiments, and emotions. Cambridge: Cambridge University Press. [https://doi.org/10.1017/9781108639286]
  59. 59 . Ma, B., Yuan, H., & Wu, Y. (2017). Exploring performance of clustering methods on document sentiment analysis. Journal of Information Science, 43(1), 54-74. [https://doi.org/10.1177/0165551515617374]
  60. 60 . MacEachren, A. M. (1992). Visualizing uncertain information. Cartographic perspectives, (13), 10-19. [https://doi.org/10.14714/CP13.1000]
  61. 61 . Mansoor, M., Gurumurthy, K., &Prasad, V. R. (2020). Global Sentiment Analysis Of COVID-19 Tweets Over Time. arXiv preprint arXiv:2010.14234.
  62. 62 . Marcus, A., Bernstein, M. S., Badar, O., Karger, D. R., Madden, S., & Miller, R. C. (2011). Twitinfo: aggregating and visualizing microblogs for event exploration. In Proceedings of the SIGCHI conference on Human factors in computing systems (227-236), Vancouver, ACM. [https://doi.org/10.1145/1978942.1978975]
  63. 63 . McCleary, G. F. (1983). An effective graphic" vocabulary". IEEE Computer Graphics and Applications, 3(2), 46-53. [https://doi.org/10.1109/MCG.1983.263019]
  64. 64 . Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment analysis algorithms and applications: A survey. Ain Shams engineering journal, 5(4), 1093-1113. [https://doi.org/10.1016/j.asej.2014.04.011]
  65. 65 . Mohammad, S. M., Sobhani, P., & Kiritchenko, S. (2017). Stance and sentiment in tweets. ACM Transactions on Internet Technology (TOIT), 17(3), 1-23. [https://doi.org/10.1145/3003433]
  66. 66 . Moser, Karin S. (2000). Metaphor Analysis in Psychology-Method, Theory, and Fields of Application. Forum Qualitative Sozialforschung / Forum: Qualitative SocialResearch, 1(2).
  67. 67 . Munzner, T. (2014). Visualization analysis and design. Boca Raton: CRC press. [https://doi.org/10.1201/b17511]
  68. 68 . Nam, K. & Cho, E. (2017). 한국어 텍스트 감성 분석[Korean Text Sentiment Analysis]. Seoul: 커뮤니케이션북스[Communication Books].
  69. 69 . Nakamura, C., & Zeng-Treitler, Q. (2012). A taxonomy of representation strategies in iconic communication. International journal of human-computer studies, 70(8), 535-551. [https://doi.org/10.1016/j.ijhcs.2012.02.009]
  70. 70 . Nazemi, K., & Kohlhammer, J. (2013). Visual Variables in Adaptive Visualizations. In UMAP Workshops.
  71. 71 . Nicholls, C., & Song, F. (2010). Comparison of feature selection methods for sentiment analysis. In Canadian Conference on Artificial Intelligence (286-289), Heidelberg, Springer. [https://doi.org/10.1007/978-3-642-13059-5_30]
  72. 72 . Ortigosa, A., Martín, J. M., & Carro, R. M. (2014). Sentiment analysis in Facebook and its application to e-learning. Computers in human behavior, 31, 527-541. [https://doi.org/10.1016/j.chb.2013.05.024]
  73. 73 . Pang, B., & Lee, L. (2008). Sentiment analysis and opinion mining. Foundations and trends in information retrieval, 1, 1-135. [https://doi.org/10.1561/9781601981516]
  74. 74 . Park, H., Nam, Y., Kim, J. H., & Choo, J. (2020). Hypertendril: Visual analytics for user-driven hyperparameter optimization of deep neural networks. IEEE Transactions on Visualization and Computer Graphics, 27(2), 1407-1416. [https://doi.org/10.1109/TVCG.2020.3030380]
  75. 75 . Ranade, S., Gupta, J., Varma, V., & Mamidi, R. (2013). Online debate summarization using topic directed sentiment analysis. In Proceedings of the Second International Workshop on Issues of Sentiment Discovery and Opinion Mining (1-6), Chicago, ACM. [https://doi.org/10.1145/2502069.2502076]
  76. 76 . Richards, I. A. (2017). Practical criticism: A study of literary judgement. London: Routledge. [https://doi.org/10.4324/9781315127194]
  77. 77 . Rodrigues, R., Camilo-Junior, C. G., & Rosa, T. (2018). A taxonomy for sentiment analysis field. International Journal of Web Information Systems, 14(2), 193-211. [https://doi.org/10.1108/IJWIS-07-2017-0048]
  78. 78 . Roth, R. E. (2017). Visual variables. International encyclopedia of geography: People, the earth, environment and technology, 1-11. [https://doi.org/10.1002/9781118786352.wbieg0761]
  79. 79 . Rubin, V. L., Chen, Y., & Conroy, N. K. (2015). Deception detection for news: three types of fakes. Proceedings of the Association for Information Science and Technology, 52(1), 1-4. [https://doi.org/10.1002/pra2.2015.145052010083]
  80. 80 . Sailunaz, K., & Alhajj, R. (2019). Emotion and sentiment analysis from Twitter text. Journal of Computational Science, 36, 101003. [https://doi.org/10.1016/j.jocs.2019.05.009]
  81. 81 . Sarikaya, A., Gleicher, M., & Szafir, D. A. (2018, June). Design factors for summary visualization in visual analytics. In Computer Graphics Forum, 37(3), 145-156. [https://doi.org/10.1111/cgf.13408]
  82. 82 . Schouten, K., & Frasincar, F. (2015). Survey on aspect-level sentiment analysis. IEEE Transactions on Knowledge and Data Engineering, 28(3), 813-830. [https://doi.org/10.1109/TKDE.2015.2485209]
  83. 83 . Schuff, H., Barnes, J., Mohme, J., Padó, S., & Klinger, R. (2017). Annotation, modelling and analysis of fine-grained emotions on a stance and sentiment detection corpus. In Proceedings of the 8th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis (13-23), Copenhagen, ACL. [https://doi.org/10.18653/v1/W17-5203]
  84. 84 . Singh, C. (2015, April 20). Entity Relationship Diagram - ER Diagram in DBMS. BeginnersBook [Web blog post]. Retrieved from https://beginnersbook.com/2015/04/e-r-model-in-dbms/.
  85. 85 . Somasundaran, S., Ruppenhofer, J., & Wiebe, J. (2007, September). Detecting arguing and sentiment in meetings. In Proceedings of the 8th SIGdial Workshop on Discourse and Dialogue (pp. 26-34).
  86. 86 . Song, K., Chen, L., Gao, W., Feng, S., Wang, D., & Zhang, C. (2016). Persentiment: A personalized sentiment classification system for microblog users. In Proceedings of the 25th International Conference Companion on World Wide Web (255-258), Montreal, ACM. [https://doi.org/10.1145/2872518.2890540]
  87. 87 . Song, K., Feng, S., Gao, W., Wang, D., Yu, G., & Wong, K. F. (2015). Personalized sentiment classification based on latent individuality of microblog users. The 24th International Joint Conference on Artificial Intelligence (IJCAI 2015), (2277-2283), Buenos Aires, IJCAI.
  88. 88 . Šorm, E., & Steen, G. J. (2013). Processing visual metaphor: A study in thinking out loud. Metaphor and the Social World, 3(1), 1-34. [https://doi.org/10.1075/msw.3.1.01sor]
  89. 89 . Springmeyer, R. R., Blattner, M. M., & Max, N. L. (1992). A characterization of the scientific data analysis process. In Proceedings Visualization'92 (235-242), Boston, IEEE. [https://doi.org/10.1109/VISUAL.1992.235203]
  90. 90 . Sun, Z., Sun, M., Cao, N., & Ma, X. (2016). VideoForest: interactive visual summarization of video streams based on danmu data. In SIGGRAPH ASIA 2016 Symposium on Visualization (1-8), Macao, ACM. [https://doi.org/10.1145/3002151.3002159]
  91. 91 . Tafreshi, S., & Diab, M. (2018). Sentence and clause level emotion annotation, detection, and classification in a multi-genre corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018) (1246-1251), Miyazaki, ACL.
  92. 92 . Tedmori, S., & Awajan, A. (2019). Sentiment analysis main tasks and applications: a survey. Journal of Information Processing Systems, 15(3), 500-519.
  93. 93 . Tsolmon, B., Kwon, A. R., & Lee, K. S. (2012). Extracting social events based on timeline and sentiment analysis in twitter corpus. In International Conference on Application of Natural Language to Information Systems (265-270), Heidelberg, Springer. [https://doi.org/10.1007/978-3-642-31178-9_32]
  94. 94 . Whitelaw, C., Garg, N., & Argamon, S. (2005). Using appraisal groups for sentiment analysis. In Proceedings of the 14th ACM international conference on Information and knowledge management (625-631), Bremen, ACM. [https://doi.org/10.1145/1099554.1099714]
  95. 95 . Wong, B. (2010). Points of view: Design of data figures. nature methods, 7(9), 665. [https://doi.org/10.1038/nmeth0910-665]
  96. 96 . Wu, Z., Ying, C., Dai, X., Huang, S., & Chen, J. (2020). Transformer-Based Multi-aspect Modeling for Multi-aspect Multi-sentiment Analysis. In CCF International Conference on Natural Language Processing and Chinese Computing (546-557), Zhengzhou, Springer. [https://doi.org/10.1007/978-3-030-60457-8_45]
  97. 97 . Xie, R., Chu, S. K. W., Chiu, D. K. W., & Wang, Y. (2021). Exploring public response to COVID-19 on Weibo with LDA topic modeling and sentiment analysis. Data and Information Management, 5(1), 86-99. [https://doi.org/10.2478/dim-2020-0023]
  98. 98 . Y adollahi, A., Shahraki, A. G., & Zaiane, O. R. (2017). Current state of text sentiment analysis from opinion to emotion mining. ACM Computing Surveys (CSUR), 50(2), 1-33. [https://doi.org/10.1145/3057270]
  99. 99 . Yang, D., Zhang, D., Yu, Z., & Wang, Z. (2013). A sentiment-enhanced personalized location recommendation system. In Proceedings of the 24th ACM conference on hypertext and social media (119-128), Paris, ACM. [https://doi.org/10.1145/2481492.2481505]
  100. 100 . Yue, L., Chen, W., Li, X., Zuo, W., & Yin, M. (2019). A survey of sentiment analysis in social media. Knowledge and Information Systems, 60(2), 617-663. [https://doi.org/10.1007/s10115-018-1236-4]
  101. 101 . Zhao, J., Gou, L., Wang, F., & Zhou, M. (2014). Pearl: An interactive visual analytic tool for understanding personal emotion style derived from social media. In 2014 IEEE Conference on Visual Analytics Science and Technology (VAST) (203-212), Paris, IEEE. [https://doi.org/10.1109/VAST.2014.7042496]