[메이커 인터뷰] GAN 알고리즘을 고도화해 예술을 만들어내고 싶어요 – 강태원 메이커

재미난 물건, 재미난 일, 재미난 일상을 ‘만드는’ 사람들이 있습니다. 메이커 페어 서울은 매년 만드는 사람들이 모이는 축제입니다. 메이크 코리아가 만난 축제의 주인공과 작품의 이야기를 들어보세요. 가슴 깊은 곳에 무엇인가를 만들고픈 열망을 간직한 어른이, 꿈 많은 청소년과 어린 친구들을 모두 환영합니다.

 

“GAN 알고리즘을 고도화해 예술을 만들어내고 싶어요!”

도쿄애니메겐(TokyoAnimeGAN) & 마인메이즈Ⅱ(MineMazeⅡ) 제작한 강태원 메이커

 

강태원 메이커는 세종과학예술영재학교 3학년에 재학 중인 동시에 인공지능 중에서도 GAN 알고리즘 분야를 연구하며 지금 이 순간에도 발전해 나가고 있다.

이런 개발의 하나로 메이커 페어 서울 2019에 출품하는 대표 결과물이 관람객의 얼굴을 기반으로 일본 애니메이션 캐릭터를 생성해 보여주는 도쿄애니메겐이며 이와 더불어 나올 또 하나의 작품이 오로지 집중력만으로 마인크래프트의 미로를 통과하는 마인메이즈Ⅱ다. 메이커 페어 도쿄와 방콕 등 해외 경험도 이미 풍부한 강태원 메이커가 만들어가는 삶을 들었다.

강태원 메이커가 마인메이즈Ⅱ를 들고 엄지를 치켜세우고 있다. (사진=장지원)

 

도쿄애니메겐과 마인메이즈Ⅱ가 무엇인지 각기 설명을 부탁드려요.

도쿄애니메겐은 딥러닝 GAN 알고리즘을 기반으로 동작하는 프로젝트예요. 관람객이 와서 얼굴 사진을 찍으면 얼굴의 생김새를 반영해서 기존에 없는 일본 애니메이션 캐릭터를 생성해 영수증 프린터로 출력해주는 작품이죠.

그리고 마인메이즈Ⅱ는 마인크래프트를 이용한 뇌파 미로 게임인데요. 주로 마우스와 키보드를 쓰는 일반 마인크래프트와 달리 키보드와 마우스 클릭을 일절 않고 뇌파의 집중력만을 이용해 마인크래프트의 스티브를 앞으로 움직일 수 있어요. 이를 활용해 제한시간 내에 미로를 통과하는 방식이에요.

 

도쿄애니메겐은 어떤 과정으로 만들어냈나요?

중학교 때부터 시각장애인을 위한 이미지 설명 프로그램을 개발하면서 인공지능에 관심이 생겼고요. 2018년에는 연구를 중점으로 하는 영재학교에서 인턴십과 자율연구를 진행하면서 학습한 데이터를 바탕으로 새로운 이미지를 생성하는 GAN 알고리즘에 흥미가 커졌어요.

이때 “AI가 예술을 할 수 있을까?”라는 의문에 GAN 알고리즘을 기반으로 의인화 캐릭터를 제작하는 작업을 시작했어요. 미키마우스같이 사람을 닮은 기존의 캐릭터뿐만 아니라 나를 닮은 일본 애니메이션 캐릭터를 새로이 만들어주는 기기가 있으면 재미있겠다고 생각했죠.

처음에는 정치인과 연예인의 이미지를 일본 애니메이션화해봤는데 생각보다 재미있는 결과가 나오더라고요. 그래서 의인화 캐릭터 제작의 서브 프로젝트로써 도쿄애니메겐을 제작한 거예요.

 

도쿄애니메겐을 만들고 GAN 알고리즘을 연구하며 얻고자 하는 바는 무엇인지요?

단지 의인화 캐릭터를 생성하는 어시스턴트 AI를 제작할 뿐 아니라 딥러닝의 이론적인 면을 제가 고도화해보고 싶다는 마음이 컸어요. 그래서 GAN을 이용한 Image-to-Image Translation 분야에서 기존에 시도되지 않던 Self Attention 기술을 새롭게 Image-to-Image Translation에 적용해봤어요.

Image-to-Image Translation을 설명하자면 말 그대로 어떤 인풋 이미지가 들어가면 그걸 목표한 다른 이미지로 변환하는 기술이에요. 이 알고리즘은 예전에 화제가 된 풍경 사진을 고흐의 풍으로 변환하는 등 스타일 변환의 영역에서는 최적의 결과를 도출하는데요.

그러나 아직 이 분야에서는 사람을 개나 고양이로 바꿀 때 Strong Geometry Change를 동반하는 문제에서 아직 최적의 결과를 도출하지는 못했어요. 선행연구에서는 이미지의 특징을 제대로 반영하지 못하거나 이미지가 깨져서 나오는 문제가 있었고요.

이 문제점을 해결하고자 Self-Attention 기술을 Image-to-Image Translation에 적용하고 이를 고도화한 거예요. 이는 arXiv(https://arxiv.org/abs/1901.08242)에 공개해뒀으니 궁금한 분들은 찾아봐도 좋을 듯해요.

 

그럼 도쿄애니메겐을 다룰 때 어렵던 점은 어떤 거였나요?

도쿄애니메겐에 사용될 데이터를 구하기가 어려웠어요. 그리고 GAN 알고리즘이 굉장히 변수가 많은 알고리즘이라 전시장의 명암, 채도 등 부스의 환경에 따라 결과 이미지가 잘 나오지 않기도 했고요. 그래서 처음에는 하얀색 가벽을 배경으로 설치했는데요. 현재는 Face Detection 기능을 추가해 주변 요소가 결과 이미지 제작에 끼어들지 않게끔 했고 최종적으로는 부스에 두던 하얀색 가벽을 아예 없애버리기가 목표예요.

 

지난해 제작된 도쿄애니메겐의 프로토타입 기기 (사진=강태원)

 

마인메이즈Ⅱ의 작동 원리 역시도 궁금해요.

뇌파 기기를 통해 전극 인풋을 받고 뇌파 장비와 임베디드 기기가 서로 OSC Streaming으로 연결되는데요. 그 후 집중력과 관련된 알파파, 베타파, 감마파 등의 뇌파의 값을 감지해 집중 여부에 따라 마인크래프트 속 캐릭터가 움직이도록 했어요.

 

마인메이즈Ⅱ를 만들고자 한 동기는 무엇이었나요?

언젠가 영재원에서 뇌파 장비를 다룰 기회가 있었는데요. 이를 게임화하고 싶다는 생각에 처음에는 친구들과 지오메트리대시라는 리듬게임에 적용해봤어요. 스페이스바를 눌러서 타이밍에 맞게 점프하고 한 번이라도 떨어지면 그냥 끝나는 게임을 뇌파로 조종해보게 한 건데요. 생각보다 반응은 좋았으나 집중력의 개인차에 따라 컨트롤 능력이 천차만별이 되는지라 순간적으로 반응해야 하는 리듬게임에 쓰기에는 어려울 것 같았어요.

그렇다면 대안으로 마인크래프트를 쓰면 어떨지 생각해서 열심히 맵을 만들어서 시연해봤어요. 초기에는 맵이 많이 어려워서 갈림길이 15개나 있고 50분에서 1시간 사이가 걸려서야 간신히 깰 수 있었는데요. 올해 메이커 페어에서 체험할 맵은 대부분 제한시간 3분 중 2분 안에 해결하게, 빠르게는 1분 30초 내외로 깰 수 있게 바꿔뒀어요. 더 많은 이들이 금방 편하게 즐기게끔 난이도를 조절한 거죠.

 

다른 페어에서 마인메이즈Ⅱ와 도쿄애니메겐을 선보였을 때 반응은 어땠나요?

메이커 페어 도쿄에서도 시작하자마자 마인크래프트다! 하며 달려오는 어린이가 많았어요. 덕분에 3시간 동안 서서 하나하나 체험을 도와줘야 했죠. 뇌파 기기를 장착하고 떼는 시간까지 합하면 1인당 5분 정도가 걸리잖아요. 여섯 명을 보내면 이미 30분이 지나가는 거예요. 그렇게 해서 하루에만 약 100명은 다녀갔어요. 반응은 폭발적이었어요. 스스로 손으로 아무런 조작도 하지 않는데 자기 집중력만으로 캐릭터가 앞으로 간다고 생각하니까 마치 로봇을 조종하는 듯 신기하면서 희열을 느낀 것 같아요.

도쿄애니메겐도 대부분 캐릭터 이미지가 괜찮게 나온 덕에 다들 좋아했어요. 특히 어떤 한 분은 자기 얼굴이랑 정말 닮은 캐릭터가 나왔다고 만족하며 원본 결과 이미지를 받아가기도 했어요.

 

메이커 페어 도쿄 2018 현장에서 관람객들이 마인메이즈Ⅱ를 즐기고 있다. (사진=강태원)

 

도쿄와 방콕 메이커 페어에 가서는 어떤 것들이 눈에 띄던가요?

메이커 페어 도쿄에서는 낮 열두 시에 시작하려는 순간이 기억에 남았어요. 도쿄에서는 땡 하는 종소리와 함께 “메이커 페어가 곧 시작합니다”라며 안내방송이 나왔거든요. 그러니까 메이커들이 다 같이 기립박수를 치면서 시작하는 거예요. 특히 로봇 분야의 전시들이 굉장히 수준이 높았고 인상적이었고요. 또 메이커들의 경험이나 기술을 서적으로 출판하고 그 자리에서 완판되는 모습들을 볼 수 있었어요.

방콕의 경우는 날씨 특성상 낮보다는 밤에 뛰어놀며 할 만한 것들이 많이 나왔어요. 광선 검을 비롯해 저는 네오픽셀 가방을 만들어 가져가기도 했어요. 그런 식으로 LED 불빛을 반짝이며 같이 놀았죠. 1일차가 끝나가는 밤에는 퍼레이드가 펼쳐져서 축제처럼 전 참가자들이 함께 즐겼고요. 이렇듯 나라마다 지역마다 메이커 페어에서 드러나는 문화도 조금씩 다르더라고요.

 

메이커 페어 서울 2019에서는 어떻게 부스를 꾸며 보여주고 싶은가요?

여러 사람들이 부스를 체험할 수 있도록 마인메이즈Ⅱ는 뇌파장비와 임베디드 기기 등의 요소가, 도쿄애니메겐의 경우에는 Face Detection 기능을 주로 업그레이드해 보여드릴 예정이에요.

그리고 우리 학교에서도 메이커 문화에 관심이 많고 만들GARAGE라는 메이커 동아리도 신설됐거든요. 저도 운영에 함께 참여하고 있는데 이번 연도에는 제가 동아리 학생들과 함께 제작한 프로젝트도 전시할 예정이에요. 최근 메이커 페어에 어린이와 학생 관람객이 매우 많아졌는데 재미있는 전시를 보고 즐기면서 나도 만들어보고 싶다는 생각을 품고 돌아가는 이들이 많아졌으면 해요.

 

강태원 메이커가 메이커 페어 방콕 2019에서 광선 검 스포트라이트를 한몸에 받고 있다. (사진=강태원)

 

강태원 메이커가 가고자 하는 앞으로의 목표가 있다면 무엇인지요?

GAN 알고리즘은 데이터 셋이 매우 많이 필요하다는 단점이 있어요. 지금은 적은 데이터에서도 GAN 학습이 잘 되게끔 하는 연구도 추가로 진행 중이고요. 장기적으로는 컴퓨터비전 분야를 더 깊게 공부하고 연구해서 컴퓨터비전이라는 기술과 예술을 접목해 인간적인 따뜻함을 표현해낸 작품들을 많이 만들고 싶어요.

 

글·사진 | 장지원

FacebookTwitterKakaoLine
1 답글

댓글 사용이 닫혀있습니다.