Archives of Design Research

그래픽 디자인 분야에는 브랜딩 디자인, 편집 디자인, 패키지 디자인, 웹 디자인, 앱 디자인, 포스터 디자인 등 다양한 디자인(Table 1)이 포함되므로 본 연구에서는 Table 1을 기반으로 그래픽 디자인 분야에서 자주 사용되는 세부적인 시각적인 디자인 요소인 이미지, 컬러, 레이아웃, 로고 및 타이포그래피를 중심으로 연구를 진행하였다.

2장에서는 GAN의 기본원리, 3장에서는 GAN에 관한 연구들을 기능별로 소개할 것이며 리뷰 논문에서 언급된 논문 중에서 질적으로 우수한 논문을 선정하기 위하여 Table 2에 등재된 논문을 중심으로 선택하였다. Table 2는 2021년 Google Scholar 기준으로 인공지능(Artificial Intelligence), 컴퓨터 시각(Computer Vision Pattern Recognition), 컴퓨터 그래픽(Computer Graphics) 분야에서 각각 상위 학술지 10개 중 GAN에 관련된 연구가 매우 적은 학술지가 23개를 제거한 후 ArXiv를 추가한 학술지 리스트이다. ArXiv를 추가한 이유는 심사 중인 연구 및 비기술적인 연구도 포함시키기 위함이다.

1) 먼저 인공지능 학술지에 등재된 GAN에 관한 리뷰 논문에 대하여 면밀하게 살펴보았고 리뷰 논문에서 정리된 애플리케이션에 대하여 재정리 및 통합 작업을 진행하였다. 2) 다음으로 그래픽 디자인과 완전히 관련성이 없는 타 분야 애플리케이션과 그래픽 디자인 분야와는 연관성이 매우 적은 애플리케이션에 대하여서도 제거하였다. 3) 제거 후 남은 애플리케이션들은 대부분은 이미지와 관련된 연구이며 컬러, 레이아웃, 로고 및 타이포그래피와 관련된 연구는 매우 미흡하였다. 그리하여 컬러, 레이아웃, 로고 및 타이포그래피에 관한 연구들을 앞에서 언급한 Table 2 학술지에서 추가로 검색하여 연구 범위에 포함 시켰다. 4) 마지막으로 최종 선택된 애플리케이션에 대하여 면밀하게 살펴보았으며 대응되는 GAN에 대하여 기능별로 하나씩 선택하여 서술하였고 이들의 특징을 종합적으로 분석하여 그래픽 디자인 분야에 어떠한 영향을 미칠지에 대한 시사점을 도출하였다.

구체적으로 설명하면 GAN 출시로부터 2021년까지 인공지능 학술지에 등재된 리뷰 논문 (Wu et al., 2017; Creswell et al., 2018; Hong et al., 2019; Gui et al., 2020; Xia et al., 2021)에서 그래픽 디자인 세부 요소와 관련된 애플리케이션들은 어떤 것이 있고 또한 어떠한 기능을 구현할 수 있는지 파악하고자 하였으며, 이에 대하여 정리해본 결과는 다음과 같다(Table 3).

보다시피 저자가 다름에 의하여 분류 방식과 사용되는 용어가 달랐으며, 또한 매년 새롭게 등장하는 애플리케이션 때문에 통합 및 재정리 작업이 필요하였다. 먼저 매개 애플리케이션에 대한 기능에 관하여 면밀하게 파악한 후 용어상 같은 의미를 제시하는 단어끼리 하나로 묶었으며, 다음으로 GAN의 발전으로 인하여 통합이 필요한 애플리케이션도 존재하므로 통합 및 정리 작업을 진행하였다(Table 4). Image synthesis에는 얼굴, 개체, 사람, 텍스처 등 다양한 생성을 모두 포함　시켰고,　Change facial attributes, Test to image, Sketch to image는 이미지 생성으로부터 편집까지 모두 가능하도록 발전되었으므로 Interactive Generation에 포함시켰으며, Image Interpolation, Classification and regression은 이미지 간의 점진적 변화 등을 의미하므로 이미지 생성의 일종으로 간주하여 Image synthesis에 포함시켰다.

통합 작업을 마친 후 먼저 그래픽 디자인과 완전히 관련이 없는 애플리케이션에 대하여서도 제거 작업을 진행하였으며, 이에는 음악, 텍스트, 스피치와 같은 순차적 데이터를 활용한 연구와 의료, 데이터 사이언스 등과 같은 타 분야 연구가 포함된다. 2017년과 2018년에서는 제거한 것이 없고, 2019년에서는 Music generation, Text generation, Speech conversion을 제거, 2020년에서는 Natural language processing, Music, Speech and Audio, Medical field, Data science를 제거하였으며, 2021년에서는 Compressive Sensing과 Adversarial Defense를 제거하였다.

다음으로 나머지 애플리케이션에 중 그래픽 디자인과 연관성이 적다고 판단되는 애플리케이션에 대하여서도 필터링 작업을 진행하였다. 구체적으로 설명하면 Image dehazing, Image fusion은 CCTV, 카메라, 영상 촬영 등과 같은 화면 속의 안개를 제거하거나 밝기를 조절하는 애플리케이션이고, Semantic segmentation, Image classification, Visual saliency prediction, Natural image matting은 자율주행에 많이 활용 가능한 애플리케이션인데, 주로 화면 속의 모든 개체에 대하여 의미론적 분할, 분류 및 중요한 요소를 찾아내는 애플리케이션들이며, Video generation, Joint image generation, Object tracking은 영상 생성과 움직이는 개체를 추적하는 애플리케이션이다. 이러한 애플리케이션들은 모두 그래픽 디자인의 세부 요소 중 하나인 이미지와 일정한 관련성은 있지만, 영상에 더 가까운 애플리케이션들이며, 본 연구에서는 영상에 관련 연구를 포함시키지 않았으므로 이상의 애플리케이션들도 연구 범위에 포함시키지 않았다. 그 외 추가로 제거하기로 판단한 애플리케이션들로는 삭제되거나 오래된 이미지를 회복할 수 있는 Image completion, Image Restoration, Image inpainting이 존재한다(Figue 1). 하지만 이러한 애플리케이션들도 향후 다양한 방향으로 발전되어 그래픽 디자인 분야에서도 활용될 가능성도 존재한다.

Figure 1 Application included and excluded from the scope of the study

보다시피 이상의 리뷰 논문에서는 연구 범위에 포함한 그래픽 디자인 세부 요소인 컬러, 로고, 타이포그래피, 레이아웃에 관한 연구는 매우 미흡하였다. 그리하여 보편적으로 많이 사용되고 있는 Google scholar와 Web of science에서 2014년 GAN의 출시로부터 2021년 6월까지 컬러, 로고, 타이포그래피, 레이아웃에 관련된 GAN 연구들에 대해 추가적인 검색을 진행해 보았다. 검색 방법으로는 “color”+“gan”과 같이 디자인 요소에 gan과 generative adversarial network를 키워드를 각각 조합하여 검색하였다. 타이포그래피는 타 분야에서는 익숙한 단어가 아니므로 "폰트"라는 키워드로 추가로 검색하여 포함시켰다. 검색한 결과로는 로고에 관한 연구는 총 15개, 컬러는 325개, 레이아웃은 88개, 타이포그래피(폰트)는 24개가 검색되었다. 여기에는 반도체에 사용되는 GaN(질화갈륨) 연구도 포함되므로 양적으로 많은 결과가 나왔다. 하지만 그중 Table 2에 등재된 논문만 선택하면 타 분야 논문은 모두 필터링이 되며, 중복되는 연구와 같은 기능을 구현하는 연구 중 하나만 선택하면 최종 컬러는 3개, 로고는 3개, 레이아웃은 1개, 타이포그래피는 2개가 남는다. 레이아웃을 제외한 모든 연구들은 리뷰 논문에서 언급한 애플리케이션에 포함될 수 있고 레이아웃은 디자인 파일에 tag를 추가하여 데이터를 입력해야 한다는 점에서 특이한 사례였다(Figue 1).

2장에서는 디자이너가 쉽게 이해할 수 있는 방식으로 GAN의 정의 및 구조에 대하여 설명하였다. 3장에서는 Table 4에서 최종 연구에 포함한 애플리케이션에 연관되는 GAN에 대해 살펴보았고, 그 외 추가로 검색한 컬러, 로고, 레이아웃, 타이포그래피에 관련된 연구에 대하여서도 면밀하게 연구를 진행하였다. 그 외 시중에 있는 유명한 사례도 몇 개 추가하여 설명하였다. 4장에서는 이러한 애플리케이션들에 대해 분석하였으며 향후 그래픽 디자이너에게 어떠한 영향을 미칠지 연구 및 논의하였다.

① 제어 불가능한 이미지 생성 모델

제어 불가능한 이미지 생성 모델은 학습 데이터양에 따라 1) 대량의 데이터를 학습시키는 모델과 2) 단일 데이터를 학습시키는 모델로 분류할 수 있다. 대량의 데이터를 학습시키는 대표적인 모델에는 기본 GAN 있으며, 이외에 BiGAN(Donahue et al., 2017), PROGAN(Karras et al., 2018), Self-Attention GAN(Zhang et al., 2019), BigGAN(Brock et al.,2019) 등이 있다. Self-Attention GAN(SAGAN)을 기반으로 한 BigGAN은 큰 치수 이미지를 생성시키는데 발생하는 학습 붕괴 문제를 해결함으로써 품질 및 치수 면에서 좋은 성과를 얻었다(Wang et al., 2020). 이는 큰 치수 이미지 생성 발전을 촉진시켰으며, 근미래에 그래픽 디자이너가 원하는 품질과 규격을 모두 만족시키는 모델이 등장할 것으로 본다. Figure 3은 BigGAN을 활용하여 같은 장소에서 촬영한 나비 이미지들을 학습시켜 유사한 나비 이미지를 무작위로 생성시킨 사례이다.

Figure 3 BigGAN

단일 이미지 생성 모델은 입력한 단일 이미지를 학습 데이터로 사용하며, 이미지 내의 모든 구성 요소들을 재구성하여 새로운 이미지를 생성시킨다. 이와 유사한 모델에는 InGAN(Shocher et al., 2019), SinGAN(Shaham et al., 2019) 등이 있다. SinGAN은 단일 이미지 생성은 물론이고 이미지 편집, 이미지 초 해상도 및 영상 생성까지도 가능하다. 단일 이미지만으로도 이러한 기능들을 모두 구현 가능하다는 점에서 디자이너에게 현실적으로 매우 유의미하다. Figure 4는 SinGAN을 활용하여 새롭고 다양한 크기 이미지를 재구성한 사례이다.

Figure 4 SinGAN

대량의 데이터를 학습시키는 생성 모델은 학습 완료 후, 일정한 양의 유사한 데이터를 무작위로 생성할 수 있으므로 그래픽 디자이너에게 필요한 이미지 소스를 짧은 시간 내에 대량으로 제공할 수 있다. 단일 이미지를 학습시키는 생성 모델은 입력한 이미지를 새로운 이미지로 재구성할 뿐만 아니라 다양한 크기로 출력할 수 있으므로, 별도의 이미지 편집 없이 이미지 소스를 다양화시킬 수 있다. 그러나 두 유형은 모두 디자이너의 제어 및 조작이 제한되었기 때문에, 원하는 이미지를 정확하게 얻어내는 데에는 어려움이 있다. 이런 경우 앞으로 살펴볼 제어가 가능한 이미지 생성 모델 더 활용도가 높고 실용적일 수 있다.

② 조건부 생성 모델

이미지 생성 시 조건을 통해 제어가 가능한 모델을 CGAN(Conditional GAN)이라고 한다. 이 모델은 이미지 외에 조건 정보를 추가로 받는다.

기본적인 CGAN의 구조는 다음과 같다(Figure 5). G는 생성기이고 D는 판별기이다. 학습에 사용하는 진짜 이미지는 X, Y이며 각각 강아지와 고양이라는 정보(레이블)가 부가되어 있다. 잠재 변수 Z는 X, Y에 부가된 정보(강아지 또는 고양이)와 결합한 뒤 생성기 G를 거쳐 가짜 이미지를 생성한다. 이때 가짜 이미지와 진짜 이미지는 모두 원래 정보와 결합되어 판별기에 보내지는데, 판별기는 진짜 이미지와 이에 매칭하는 정보를 가진 입력만 진짜로 판정하고자 노력하며, 생성기는 이를 속이기 위해 강아지 또는 고양이라는 정보에 매칭하는 진짜와 비슷한 개나 고양이를 생성하고자 노력한다. 학습이 완료되면 결과적으로 생성기는 사용자가 제공하는 정보(개 또는 고양이)에 따라 이에 해당하는 실제와 비슷한 이미지를 생성한다.

Figure 5 Conditional GAN

CGAN의 처음으로 이미지 생성을 제어할 수 있는 방향으로 발전 가능케 하였으며, 이 모델을 기반으로 텍스트, 배치, 스케치, 의미론적 맵 등 다양한 제어 방식이 등장하게 되었다. 구체적으로는, 자연어를 입력하면 이미지를 생성시키는 모델은 사람이 서술한 문구들을 분석, 조건 정보로 사용한다. 대표적으로 StackGAN++(Zhang et al., 2018)는 새의 형태와 색상을 간단한 문구로 서술하여 부합되는 이미지를 생성시켰다(Figure 6A). BachGAN(Li et al., 2020)은 단어와 프레임의 조합을 조건 정보로 사용하여 이미지 속 구성 요소와 그에 대응하는 위치 및 크기를 제어할 수 있다(Figure 6B).

Figure 6 (A) StackGAN++ (B) BachGAN

Pixel2style2pixel(Richardson et al., 2021)은 백인, 황인, 흑인의 얼굴 형태, 머리, 표정 등을 구역으로 나누어 제어할 수 있으며(Figure 7A), Wang et al.(2021)은 간략한 스케치와 단어 조합을 조건으로 입력해서 이에 부합하는 다양한 이미지를 생성시켰다(Figure 7B).

Figure 7 (A) Pixel2style2pixel (B) Wang et al., 2021

이러한 다양한 제어 방식은 사용 시나리오에 따른 디자이너의 사용 가능한 선택의 폭을 확장시켰다. 기존에는 디자이너들이 촬영 혹은 소스 사이트에서의 구매를 통해 포스터, 잡지, 광고 등에 필요한 이미지를 얻었다면 근미래에는 조건부 생성 모델로 자신이 원하는 이미지를 얻을 수 있을 것이다. 생성된 이미지는 저작권에 대한 제한이 없어 상업적으로 자유롭게 사용할 수 있는 것이 큰 장점이다. 또한 텍스트를 통해 원하는 이미지를 즉시 생성이 가능하다는 점에서 클라이언트와 의사소통하는 과정에서 특정 감성 어휘에 해당하는 시각적 레퍼런스를 즉시 제공하여 효율적인 커뮤니케이션을 도울 수 있을 것이다.

③ 반 제어 생성 모델(Style Mixing & Image Interpolation)

조건부 생성 모델보다 더 섬세한 제어가 가능한 모델의 일종으로, 본 연구에서는 예시 이미지를 통해 새로운 이미지 생성을 제어하는 것을 반 제어 생성 모델로 정의하였다. 여기에는 스타일 믹서(Karras et al., 2019)와 두 이미지 간의 점진적 변화(Donahue et al., 2017)가 포함된다. 스타일 믹싱은 StyleGAN에서 제시되었으며, Source A와 Source B 간의 특징을 혼합하여 매우 해상도가 높은 새로운 이미지를 생성시킨다(Figure 8). 또한 혼합 정도를 조절할 수 있는데, 얼굴 형태와 같은 고 수준의 변형에서부터 눈매, 머리칼과 같은 점차 작은 수준에서의 스타일 혼합이 가능하다. 이러한 제어 방식은 CGAN과 전혀 다르며, 학습 과정에서 집어넣은 노이즈를 제어하여 이미지의 특징을 제어한다. 이를 활용한 얼굴 생성은 이미 진위를 구분하기 힘든 고품질 이미지를 생성할 수 있으며 디자이너가 활용할 수 있는 수준까지 도달하였다.

Figure 8 StyleGAN (Style Mixing)

비주얼 아티스트 NATHAN SHIPLEY(www.nathanshipley.com)은 StyleGAN2를 활용하여 WikiArt(a) 작품과 Beeple 작품(b)을 혼합하여 Figure 9(a+b) 이미지를 생성시켰다. 이는 스타일 믹서가 두 가지 서로 다른 스타일의 이미지의 특징을 혼합하여 새로운 스타일의 이미지를 생성하는 창조력을 갖고 있음을 보여준다.

Figure 9 StyleGAN2 (Style Mixing)

'두 이미지 간의 점진적 변화'(Image Interpolation)도 두 이미지 스타일 혼합의 일종으로 간주할 수 있다. BigGAN, StyleGAN, Glyph(Hayashi et al., 2019), PISE(Zhang et al., 2021) 등 다양한 GAN 모델은 모두 이 기능을 구현할 수 있으며, Figure 10은 BigGAN을 활용한 사례이다.

Figure 10 BigGAN (Image Interpolation)

이미지 간의 점진적 변화(BigGAN)는 생성된 데이터 간의 픽셀 분포를 여러 단계로 나누어서 보여주는 결과이다. 기존에서는 생성된 데이터 간에서만 점진적 변화가 가능하였으나, 현재는 입력한 데이터도 가능케 발전되었다(SalS-GAN), 이것이 가능한 이유는 입력한 데이터를 역전 및 분석하여 똑같은 이미지를 생성시켜 통계 된 노이즈 분포를 찾아갈 수 있기 때문이다. 그러므로 디자이너들은 자신이 촬영한 이미지를 입력하여 두 이미지 간의 점진적 변화를 관찰할 수 있다.

반 제어 생성 모델은 그래픽 디자이너에게 이미지 소스를 제공 가능할 뿐만 아니라 아이디어 발상에도 도움이 될 것이다. '스타일 믹서'는 서로 다른 스타일 이미지를 믹서하여 여러 이미지를 소스로 제공해 줄 뿐 아니라 중간 단계의 새로운 스타일을 제공해 줄 수 있으므로 디자이너가 특정 방향으로 발전시키거나 새로운 스타일을 모색하는 데에 도움이 될 수 있다. '두 이미지 간의 점진적 변화'는 중간 단계의 다양한 시각적 변화를 보여줄 수 있으므로, 기술적으로 발전한다면 로고, 폰트, 패턴, 이미지 등의 미세한 변화를 보여주어 다양한 그래픽 디자인 영역에서 아이디어 발상 또는 최적의 안 도출에도 도움이 될 것이다.

이미지 변환은 어떠한 특성을 공유하는 한 이미지 집합을 다른 특성을 가진 이미지 집합으로 변환하는 것으로 그 연구의 역사가 오랜 편이다(Hertzmann et al., 2001). 제일 처음으로 이 기능을 구현한 GAN 모델은 지도 학습을 사용한 Pix2pix(Isola et al., 2017)이며 뒤이어 스타일은 다르나 똑같은 내용의 데이터라는 필요조건을 제거한 비지도 학습인 CycleGAN(Zhu et al., 2017)이 등장하였다. 이후 StarGAN(Choi et al., 2018), pixel2style2pixel 등 다양한 모델이 출시되었는데 이 중 가장 대표적인 모델은 CycleGAN이라 할 수 있다.

CycleGAN은 두 개 생성기(G, F)와 두 개 판별기(Dx, Dy)로 구성되어 있고 두 가지 서로 다른 스타일 이미지 집합을 학습 데이터를 사용한다(Figure 11). G와 F는 주어진 이미지를 원래 이미지가 가진 스타일과 다른 스타일의 이미지로 변환시키는 생성기이며 Dx와 Dy는 각각의 스타일을 판별하는 것으로 생성기의 성능 향상을 돕는다. 그러나 이것만으로는 스타일뿐만 아니라 원 이미지의 내용조차도 완전히 변경될 수 있으므로 원래 이미지 Y를 생성기 F와 G를 연속해서 적용하여 나온 이미지가 원래 Y가 같도록 하는 조건을 추가한다(Figure 11c). 이를 cycle consistency loss라고 하며 X에 대해서도 같은 조건을 부여한다(Figure 11b).

Figure 11 CycleGAN

StyleGAN도 한 이미지의 스타일도 변화시킨다는 측면에서 반 제어 생성 모델일 뿐만 아니라 이미지 변환 모델이기도 한데, 비주얼 아티스트 NATHAN SHIPLEY는 Figure 12와 같이 실제 이미지를 투니파잉(Toonifying)하여 다양한 스타일로 재탄생시켰다. 이러한 이미지 변환 기술은 현재 모바일 마켓 또는 틱톡의 앱으로 상용화되어 실제 판매되고 있다. 기존에는 그래픽 디자인 작업 중 캐릭터화나 투니파잉 등이 쉽지 않았는데 한 이유는 디자이너가 이러한 작업을 위한 훈련이 되어 있지 않았거나 가능할지라도 업무량이 적지 않았기 때문이다. 따라서 이러한 이미지 변환 기능은 그래픽 디자이너에게 더 다양한 시각적 표현력의 가능성을 제공해 줄 것이다.

Figure 12 StyleGAN2

이미지 편집에 관한 GAN 모델도 매우 다양하다. PISE 모델(Zhang et al., 2021)은 입력한 이미지 속의 사람의 자세를 제시한 자세 라인에 맞게 재생성할 수 있다(Figure 13A). 인체의 모든 요소를 구역으로 나누고 구역의 모양(Semantic map)을 변경함으로써 실제 이미지 속의 요소도 함께 변경되는 편집 방식도 존재한다(Figure 13B).

Figure 13 (A) PISE(Change pose) (B) PISE (Edit part of an image)

FEGAN(Dong et al., 2020)은 흰 배경을 추가 및 스케치하는 방식으로 복장에 패턴을 추가하거나, 복장을 교환 및 변경하거나, 인체의 일부 부위를 수정하는 등과 같은 편집을 구현할 수 있고(Figure 14A) StyleCLIP(Patashnik et al., 2021) 모델은 간단한 명령어를 입력하는 방식으로 이미지 내의 일부 요소가 자동으로 편집된다(Figure 14B). 그 외에도 두 이미지 간의 자동 합성이 가능한 GP-GAN(Wu et al., 2019)도 존재한다.

Figure 14 (A) FEGAN (B) StyleCLIP

대량의 데이터를 기반으로 학습된 GAN은 이미지에 대한 의미론적 이해가 매우 뛰어나므로 전통적인 편집과 달리 지능적이고 더 높은 수준이 편집을 가능케 한다(Wu et al., 2017). 추후 대량의 데이터 학습을 통해 더욱 범위가 넓어지고 고도화된다면 이미지 조작을 하는 디자이너의 자유도가 훨씬 높아질 것이다.

인터랙티브 제너레이션은 이미지 생성과 편집이 동시에 실현 가능하며 생성된 이미지로부터 세부적인 편집이 가능하다. 주로 스케치(GANpaint) 거나 속성(Wang et al., 2020), 텍스트(GauGAN2), 의미론적 맵(GauGAN2) 등 다양한 방식을 사용하고 있다. Figure 15는 NVIDA에서 출시한 GauGAN2 기반으로 개발한 Canvas 프로그램이다. 디자이너는 인터랙티브 제너레이션을 통하여 자신이 원하는 이미지를 찾아가거나 디자인 방안을 모색하는 데 활용할 수 있다. 특별히 지능화된 인터랙션은 스케치 스킬과 같은 전문 능력이 필요 없이 누구나 모두 활용 가능하다는 점에서 큰 장점을 갖고 있다.

Figure 15 Canvas (NVIDA)

이미지 초 해상도는 저 해상도 이미지(LR)를 입력하여 고해상도 이미지(HR)를 출력하는 기능을 의미한다. SRGAN은 제일 처음으로 GAN을 활용하여 이미지 초 해상도를 실현한 모델이며(Chen et al., 2020), 그 후로 Pix2style2pix과 같은 다양한 모델이 등장하였다. 이미지 초 해상도 기술은 GAN 이미지 생성 기능과 결합하여 지적 재산권에 대한 염려 없이 사용할 수 있는 이미지 소스 시장에 큰 변화를 가져다줄 것이다.