Augmented Reality(AR) 정보전달 방식의 Head Up Display(HUD) 내 화살표 간격과 깜빡임 속도 차이가 운전자의 시지각 및 인지작용에 미치는 영향

3. 1. AR-HUD 선행연구 조사

자동차의 HUD(Head Up Display)는 운전자에게 필요한 정보를 전달하는 중요한 인터페이스이다. 최근에는 AR(Augmented Reality) 기술이 HUD에 통합되며 이를 AR-HUD라고 부른다. 선행연구 조사 결과(Table 1) HUD의 시각적 표현 방식과 운전 숙련도가 조건에 따라 인지 과부하로 인한 부주의 맹시와 관계성을 보였다.

Table 1

Prior AR-HUD studies analysis

3. 2. HMI와 디자인 어포던스

HMI(Human Machine Interface)는 인간과 기계 간의 정보 및 신호의 중재자 역할을 한다(Jung, 2020). 자율주행 기술의 발전과 HMI가 1.0단계에서 2.0단계로 넘어감에 따라 어포던스의 개념이 더욱 중요해졌다(Renub Research, 2021). 어포던스는 단순히 사물의 물리적 특성이 아닌, 그 사물이 사용자와의 상호작용 중 어떤 행동을 유도하는지에 중점을 둔 개념이다(Gibson, 1979; McGrenere & Ho, 2000). 이러한 관점에서, 효과적인 HMI 설계는 차량이 운전자에게 어떤 반응이나 행동을 유도하는지에 대한 어포던스 원칙을 깊게 이해하고 적용해야 한다고 강조되고 있다(Jeon, 2020).

3. 3. 운전 시야와 부주의 맹시

사람은 사물을 지각할 때 모든 부분을 선명하게 인식한다고 생각하지만, 실제 사람의 시각 정보처리 능력은 중심부로부터 30°까지 유효하며(Kang, 2016), 그 외 부분은 시신경이 성기게 구성되어 동시에 선명하게 처리할 수 없다(Azzopardi & Cowey, 1993). 운전 시 속도와 숙련도에 따라 시야각은 차이를 보이며(Yoon, 2021), 운전속도가 빠를수록 시야각이 좁아지는 현상이 나타난다(Kotsa, 2009). 즉, 속도가 높을 경우, 운전자는 좁아진 시야로 운전 중 다양한 정보를 동시에 처리해야 한다. 좁아지는 시야에서 인지적 부하가 증가할수록 동공의 크기가 증가하거나 변화하는 경향을 보인다(Beatty, 1982; Koelewijn, Zekveld, Festen, & Kramer, 2012). 또한, 주의력은 한정된 자원이며, 총량의 법칙에 따라, 주어진 정보나 작업의 양이 많아질수록 우선순위가 높은 정보만을 선택적으로 인지하게 된다(Chabris & Simons, 2010). 이러한 상황에서, 예상치 못한 중요한 사건이나 사물을 놓치는 부주의 맹시(Inattentional Blindness) 현상이 발생할 수 있으며, 이는 운전 중 큰 위험을 초래할 수 있다(Kennedy & Bliss, 2013).

3. 4. AR-HUD 방향 지시 사례 수집 및 분석

AR-HUD 방향 지시 현황 분석을 위한 사례 선정 기준은 다음과 같다. 글로벌 브랜드 컨설팅 그룹 인터브랜드가 선정한 2022년 베스트 글로벌 브랜드 순위 100위 내 15개 자동차 기업의 1년 이내 AR-HUD 구현 영상 콘텐츠의 유튜브 업데이트 여부를 파악하여 1차 분류하였다. 콘텐츠를 업로드한 회사 중 방향 지시 방법으로 화살표를 사용하고 있는 기업 4개와 연계 개발 업체 4개의 화살표에 관한 간격과 깜빡임 속도에 대해 분석하였다. Tesla의 경우 AR 내비게이션을 센터페시아¹⁾에서 표시하고 나머지 주요 정보를 Hidden-HUD로 지원하며 Audi의 경우 하나의 화살표가 모든 상황에 적용되므로 제외되었다. 분류에 관한 내용은 Table 2와 같다.

Table 2

Companies to select directional arrows for the research

선정 기업의 4가지 화살표 사례에 대해 높이 60px의 동일한 형태 조건에서 간격과 깜빡임 속도를 분석하였으며 그 결과는 Figure 1과 같다.

Figure 1

Case analysis results of arrow expression

화살표의 형태적 특성과 속도를 분석한 결과 화살표 사이 간격 최대간격 53px, 최소간격 32px로 21px의 차이를 보였으며, 깜빡임 속도 시간의 경우 최대 0.98sec, 최소 0.16sec으로 0.82sec 차이를 보였다. 위 분석을 통해 형태적 평균값을 도출하여 높이 60px, 그림자 제외 세로 25px의 실험물을 Figure 2와 같이 제작하고, 각 화살표에 깜빡임 속도의 최댓값과 최솟값을 적용해 실험을 진행하였다.

Figure 2

Spacing between arrows blink speed for the research experiment

4. 1. 연구문제 및 설계

선행연구 조사 결과, AR-HUD의 시각적 표현 방식과 운전 숙련도에 따라 인지 과부하로 인한 부주의 맹시를 유발할 수 있다는 관계성을 파악하였다. 또한 사례 조사를 통해 기업별 화살표의 간격과 속도에 시각적으로 차이가 있음이 조사되었다. 따라서 본 연구를 통해 실증적 분석을 수행하고자 Table 3과 같이 연구문제를 설정하였다.

Table 3

Research questions

운전자의 주행속도가 숙련도에 따라 화살표 간격과 속도로 인해 차이가 있을 것으로 예상되었다. 그러므로 도로교통법 제1장 제2조에 따라 2년 미만을 비숙련자, 2년 이상을 숙련자로 구분하고 AR-HUD 사용 경험이 없는 참여자를 대상으로 실험을 진행하였다. 또한 화살표의 유형이 주행속도에 영향을 주는지 관찰하기 위해 참가자들은 자신의 주행속도를 볼 수 없도록 통제되었다.

독립변인으로는 화살표의 간격과 깜빡임 속도로 설정하고, 운전 숙련도의 영향을 알아보기 위해 조건별 주행완료 시간과 과업이 주어진 1구간 2구간에서 주행속도를 측정하였다. 종속변인은 전체 주행완료 시간 및 구간별 주행완료 평균 속력으로 설정하였다. 주요 관찰 지표로는 과업이 이루어지는 5개의 주요 구간인 TOI(Time of interest)와 사이드미러 영역 “safe”와 내비게이션 영역인 “navi” 2가지 영역을 AOI(Area of interest)로 설정하고 응시율과 동공 크기를 이용하여 집중도를 측정하였다. 위 구간별 구분은 아래 Figure 3과 같다.

Figure 3

TOI (Time of Interest) & AOI (Area of Interest)

실험 후, 참가자를 대상으로 사용성 평가, 사후 인터뷰 및 관찰을 통해 깜빡임 속도 인지 여부를 파악하고 사고 발생 유무와의 관계를 알아보았다. ISO 9241-11 사용성 가이드(1998)를 기반으로 AR-HUD 사용자 사용성 지표를 통해 직관성, 가독성, 인터랙션 효율성, 인지 부하, 호감도로 나누어 총 12개 항목을 측정했다. 직관성, 가독성 및 인터랙션 효율성을 통해 과업에 대한 이해도를 파악하고, 인지 부하 항목을 통해 인지 작용에 어떠한 영향을 미치는지 알아보았다. 5점 리커트 척도를 사용하였으며 마지막 q12 문항은 인지 유무 판단 질문으로 Y/N 응답으로 진행되었다(Table 4).

Table 4

Usability evaluation

4. 2. 시나리오 및 경로설정

실험에 사용된 운전경로의 총구간 거리는 3.5km이다. 4개 구간으로 구분하였으며 이는 Figure 4와 같다. 1구간과 2구간은 화살표 간격과 속도가 운전자의 주행속도에 어떠한 영향을 미치는지 알아보기 위해 직진과 우회전 커브 과업이 주어졌다. 3구간과 4구간은 인지 부하를 알아보기 위해 직진과 차선 변경 과업으로 구성되었다. 구간별 화살표 속도는 Figure 1의 결괏값을 토대로 1구간 0.98sec, 2구간 0.16sec, 3구간 0.98sec, 4구간 0.16sec로 설정하였다. 2개의 화살표 간격 유형을 각 구간에 적용시켜 진입 및 출입 시간과 총 주행시간을 측정 비교하였다. 1구간과 2구간은 과업 중 구간 최고 속도와 구간 평균 속력을 비교하였다.

Figure 4

Movement path and arrow speed transition zone

실험 시간은 피험자 각각 약 30분 소요되었으며, 피험자는 AR-HUD 경험이 없는 운전 숙련자 18명, 비숙련자 12명, 남, 여 5:5 비율 총 30명으로 구성되었다. 운전자는 두 종류의 화살표 간격, A(32px)와 B(53px)로 설정된 동일한 구간을 2번 주행하였다. 이는 피험자의 각 유형에 대한 행동 패턴을 분석하기 위함이며, 각 유형에 따른 총 주행시간의 변화를 측정하였다. 실험물 순서에 따른 변수를 방지하기 위해 2가지 유형별 실험 순서를 실험 대상자마다 번갈아 제공하였다.

Figure 5

Experimental setup

5. 1. 분석방법

연구 결과는 SPSS Statistics 29.0을 사용하여 분석하였다. 중심시에 표시되는 화살표 정보와 관련하여 구간별 시간 및 속력 데이터를 활용하여 상관관계 및 상호관계를 분석하였으며, 사용성에 대해 5점 리커트 척도로 평가 후 독립표본 t-test를 통해 두 집단 간 차이를 비교하고, 기술통계분석을 실시하였다. q8과 q9는 역방향 문항으로 역산출되었다. Shapiro-Wilk 정규성 테스트 진행을 통해 정규성 충족 확인 후 모수검정을 진행하였다. 이원분산분석을 통해 화살표 간격과 속도의 상호관계를 분석하고 위계적 회귀분석으로 숙련도의 조절효과를 알아보았다. 화살표의 인지부하에 대한 영향을 파악하기 위해 아이트래커를 통한 Scan path와 Saccade, Pupil diameter 데이터를 통해 주목하는 대상의 시선 경로와 시선 이동 속도 및 집중도를 파악하였으며, 시선 데이터 평균값의 유의미한 차이를 알아보기 위해 독립표본 t-test를 진행하였다. 관찰을 통해 운전 중 사고 발생 유무를 알아보고 사후 인터뷰를 통해 사고 발생 이유 및 사용성에 대한 심층 인터뷰를 추가로 진행하였다.

5. 2. 연구문제 검증

연구문제 1과 2에 대해 화살표의 간격과 속도는 각각 주행시간에 대해 운전자에게 영향을 미쳤으나, 운전자의 숙련도에 따라서는 차이가 없었다.

화살표 사이가 가까울수록 평균적으로 주행시간이 줄어들었으며, 화살표 사이 간격이 53px에서 32px로 줄어들면 전체 주행시간이 23.7sec 줄어들었다(Table 5). 또한 화살표 깜빡임 속도가 빠를수록 주행시간이 줄어들었으며, 간격별 17.4sec, 18.9sec로 두 간격 모두 약 18초의 차이를 보였다.

Table 5

Difference in task completion time based on spacing between arrows and blink speed

화살표 간격과 깜빡임 속도의 상호관계 분석 결과(Table 6), 상호작용의 결과는 유의하지 않았으며(F=0.136, p=0.712), 화살표 간격(F=3.572, p=0.328)과 깜빡임 속도(p=26.190, p=0.556)에 대한 운전 숙련도의 조절효과는 나타나지 않았다. 그러나 화살표 간격(p=0.014, p=0.014, p=0.021)과 깜빡임 속도(p=0.001, p=0.001, p=0.001)가 주행 속도에 각각 영향을 주는 상관관계가 나타났다(Table 7~8).

Table 6

The interaction between arrow spacing and blinking speed

Table 7

Analysis of the control effect of driving proficiency on spacing between arrows

Table 8

Analysis of the control effect of driving proficiency on arrow speed

연구문제 3에 대해 과업 수행 시 화살표 간격과 속도의 상호작용은 나타나지 않으나, 화살표 간격과 속도는 각각 운전 속도에 영향을 줌으로써 상관관계가 나타났다.

과업 수행 시 화살표 간격과 속도에 따라 차량 평균 속력의 차이가 있는지 알아보았다. 구간별 8가지 경우의 수의 평균 속력을 구하고 숙련자와 비숙련자의 구간별 차이값을 보았으며 이는 Figure 6과 같다.

Figure 6

Segment-wise comparison of driving completion speed

두 구간의 차량 속력의 평균을 비교해 보면 32px 화살표 간격에서 1구간(0.98sec), 2구간(0.16sec)은 19.5km/h의 주행속도 차이를 보였으며, 53px 간격에서는 29.6km/h의 주행속도 차이를 보였다(Table 9).

Table 9

Segment-wise Comparison of Driving Completion speed

과업 수행 시 화살표의 간격과 깜빡임 속도는 주행속도 변화에 유의미한 영향을 미쳤으며(F=31.541, p=.001), 화살표의 간격(F=7.517, p=.007)보다 화살표 깜빡임 속도가(F= 86.737, p=.001) 주행속도에 더 영향을 많이 미치는 것으로 나타났다(Table 10).

Table 10

Segment-wise Comparison two-way ANOVA

연구문제 4에 관한 시선추적 데이터 분석 결과, 과업 진행에 따라 시선이 좌우로 분산되는 경우가 나타났으며, “navi” 영역에 “safe” 영역보다 사용자의 시선이 더 오래 머물렀다.

5개의 TOI 구간별 AOI의 운전자 시선 경로는 화살표가 위치한 범위를 중심으로 머물렀으며 시선이 좌우로 분산되는 경우는 차선 변경 및 우회 구간에서 나타났다(Figure 7).

Figure 7

Scan Path

“navi”와 “safe” 구간에서의 평균 고정시간은 약 484.355ms의 차이를 보였으며, 시선의 총 지속시간은 537.837ms의 차이를 보이며 “navi”에 시선이 더 오래 머물렀다. 동공의 크기는 “navi” 영역에서 눈동자의 평균 직경이 “safe” 영역보다 크게 측정되어 사용자가 “navi” 영역에 더 많은 주의를 기울였을 가능성이 있다(Table 11). 두 AOI의 독립표본 t-test 결과 평균값(Table 12)의 차이는 통계적으로 유의미한 결과를 보였다(F=18.23, p=0.02).

Table 11

Navi & Safe AOI Fixations

Table 12

Navi & Safe AOI T-test

직진 구간과 과업 진행 시 동공 크기 비교 결과는 직진 구간에서 동공의 변화가 적었으며(Figure 8 좌측), 반면 구간의 변화가 일어나는 구간에 대한 과업 수행 시 동공의 크기가 변하였다(Figure 8 우측). 이는 ‘3-3. 운전 시야와 부주의 맹시’에서 동공 크기의 변화가 인지적 부하를 판단할 수 있다고 언급했듯이 과업 수행 과정에서 인지 부하를 겪었을 가능성이 있다고 할 수 있다.

Figure 8

Average pupil diameter

연구문제 5에 관한 가독성(3문항), 인터랙션 효율성(2문항), 인지 부하(4문항) 복수 문항에 대한 신뢰도 분석 결과 크론바흐 알파 계수가 전 항목에서 0.7보다 큰 것이 확인되었으므로 내적 일관성이 확인되었다. 또한 가독성(M=4.05), 인터랙션 효율성(M=4.06), 인지부하(M=3.98)는 리커트척도 3점을 상회하는 긍정적인 평가가 확인되었다(Table 13).

Table 13

Descriptive Statistics

전체 설문 조사 결과 화살표에 대한 참여자는 화살표 안내에 대해 긍정적으로 답변하였으나, 피험자의 70%가 운행 중 화살표에 시선을 뺏겨 사고가 발생했다. 화살표 선호도 조사 결과 전체의 70%가 53px의 간격이 넓은 화살표를 선호하였다. 인지 부하 영역 문항에서도 긍정적인 반응이 나타났는데 화살표가 과업을 수행하는 데 방해되지 않으며 인지가 원활하게 진행되었다고 대답했다. 그러나 설문 결과와 반대로 운행 중 사고 비율은 30명 중 70%에 해당하는 21명의 실험자가 차선 변경 시 뒷차를 보지 못하거나 속도를 줄이지 못해 충돌사고를 일으켰다. 이는 숙련도와 관계없이 일어났으며, 사후 인터뷰 과정에서 21명 중 11명이 화살표를 보느라 사이드미러를 보지 못했다고 응답하였다. 즉, 의식하지 못하였으나 인지적 부하가 있었음을 알 수 있다. 이는 깁슨이 주장한 어포던스의 특징 중 하나로 인지 여부와 상관없이 어포던스가 독립적으로 존재했음을 의미한다. 심리적 측면에서, 응답자 30명 중 9명은 32px의 화살표가 너무 빨라 보기 불편하다는 의견과 심적으로 마음이 불안하거나 긴장감이 든다는 의견을 표했으며, 깜빡이는 속도 때문에 사이드미러를 보지 못할 것 같다는 의견도 있었다.