[메이커 인터뷰] GAN 알고리즘을 고도화해 예술을 만들어내고 싶어요 – 강태원 메이커

재미난 물건, 재미난 일, 재미난 일상을 ‘만드는’ 사람들이 있습니다. 메이커 페어 서울은 매년 만드는 사람들이 모이는 축제입니다. 메이크 코리아가 만난 축제의 주인공과 작품의 이야기를 들어보세요. 가슴 깊은 곳에 무엇인가를 만들고픈 열망을 간직한 어른이, 꿈 많은 청소년과 어린 친구들을 모두 환영합니다.

 

“GAN 알고리즘을 고도화해 예술을 만들어내고 싶어요!”

도쿄애니메겐(TokyoAnimeGAN) & 마인메이즈Ⅱ(MineMazeⅡ) 제작한 강태원 메이커

 

강태원 메이커는 세종과학예술영재학교 3학년에 재학 중인 동시에 인공지능 중에서도 GAN 알고리즘 분야를 연구하며 지금 이 순간에도 발전해 나가고 있다.

이런 개발의 하나로 메이커 페어 서울 2019에 출품하는 대표 결과물이 관람객의 얼굴을 기반으로 일본 애니메이션 캐릭터를 생성해 보여주는 도쿄애니메겐이며 이와 더불어 나올 또 하나의 작품이 오로지 집중력만으로 마인크래프트의 미로를 통과하는 마인메이즈Ⅱ다. 메이커 페어 도쿄와 방콕 등 해외 경험도 이미 풍부한 강태원 메이커가 만들어가는 삶을 들었다.

강태원 메이커가 마인메이즈Ⅱ를 들고 엄지를 치켜세우고 있다. (사진=장지원)

 

도쿄애니메겐과 마인메이즈Ⅱ가 무엇인지 각기 설명을 부탁드려요.

도쿄애니메겐은 딥러닝 GAN 알고리즘을 기반으로 동작하는 프로젝트예요. 관람객이 와서 얼굴 사진을 찍으면 얼굴의 생김새를 반영해서 기존에 없는 일본 애니메이션 캐릭터를 생성해 영수증 프린터로 출력해주는 작품이죠.

그리고 마인메이즈Ⅱ는 마인크래프트를 이용한 뇌파 미로 게임인데요. 주로 마우스와 키보드를 쓰는 일반 마인크래프트와 달리 키보드와 마우스 클릭을 일절 않고 뇌파의 집중력만을 이용해 마인크래프트의 스티브를 앞으로 움직일 수 있어요. 이를 활용해 제한시간 내에 미로를 통과하는 방식이에요.

 

도쿄애니메겐은 어떤 과정으로 만들어냈나요?

중학교 때부터 시각장애인을 위한 이미지 설명 프로그램을 개발하면서 인공지능에 관심이 생겼고요. 2018년에는 연구를 중점으로 하는 영재학교에서 인턴십과 자율연구를 진행하면서 학습한 데이터를 바탕으로 새로운 이미지를 생성하는 GAN 알고리즘에 흥미가 커졌어요.

이때 “AI가 예술을 할 수 있을까?”라는 의문에 GAN 알고리즘을 기반으로 의인화 캐릭터를 제작하는 작업을 시작했어요. 미키마우스같이 사람을 닮은 기존의 캐릭터뿐만 아니라 나를 닮은 일본 애니메이션 캐릭터를 새로이 만들어주는 기기가 있으면 재미있겠다고 생각했죠.

처음에는 정치인과 연예인의 이미지를 일본 애니메이션화해봤는데 생각보다 재미있는 결과가 나오더라고요. 그래서 의인화 캐릭터 제작의 서브 프로젝트로써 도쿄애니메겐을 제작한 거예요.

 

도쿄애니메겐을 만들고 GAN 알고리즘을 연구하며 얻고자 하는 바는 무엇인지요?

단지 의인화 캐릭터를 생성하는 어시스턴트 AI를 제작할 뿐 아니라 딥러닝의 이론적인 면을 제가 고도화해보고 싶다는 마음이 컸어요. 그래서 GAN을 이용한 Image-to-Image Translation 분야에서 기존에 시도되지 않던 Self Attention 기술을 새롭게 Image-to-Image Translation에 적용해봤어요.

Image-to-Image Translation을 설명하자면 말 그대로 어떤 인풋 이미지가 들어가면 그걸 목표한 다른 이미지로 변환하는 기술이에요. 이 알고리즘은 예전에 화제가 된 풍경 사진을 고흐의 풍으로 변환하는 등 스타일 변환의 영역에서는 최적의 결과를 도출하는데요.

그러나 아직 이 분야에서는 사람을 개나 고양이로 바꿀 때 Strong Geometry Change를 동반하는 문제에서 아직 최적의 결과를 도출하지는 못했어요. 선행연구에서는 이미지의 특징을 제대로 반영하지 못하거나 이미지가 깨져서 나오는 문제가 있었고요.

이 문제점을 해결하고자 Self-Attention 기술을 Image-to-Image Translation에 적용하고 이를 고도화한 거예요. 이는 arXiv(https://arxiv.org/abs/1901.08242)에 공개해뒀으니 궁금한 분들은 찾아봐도 좋을 듯해요.

 

그럼 도쿄애니메겐을 다룰 때 어렵던 점은 어떤 거였나요?

도쿄애니메겐에 사용될 데이터를 구하기가 어려웠어요. 그리고 GAN 알고리즘이 굉장히 변수가 많은 알고리즘이라 전시장의 명암, 채도 등 부스의 환경에 따라 결과 이미지가 잘 나오지 않기도 했고요. 그래서 처음에는 하얀색 가벽을 배경으로 설치했는데요. 현재는 Face Detection 기능을 추가해 주변 요소가 결과 이미지 제작에 끼어들지 않게끔 했고 최종적으로는 부스에 두던 하얀색 가벽을 아예 없애버리기가 목표예요.

 

지난해 제작된 도쿄애니메겐의 프로토타입 기기 (사진=강태원)

 

마인메이즈Ⅱ의 작동 원리 역시도 궁금해요.

뇌파 기기를 통해 전극 인풋을 받고 뇌파 장비와 임베디드 기기가 서로 OSC Streaming으로 연결되는데요. 그 후 집중력과 관련된 알파파, 베타파, 감마파 등의 뇌파의 값을 감지해 집중 여부에 따라 마인크래프트 속 캐릭터가 움직이도록 했어요.

 

마인메이즈Ⅱ를 만들고자 한 동기는 무엇이었나요?

언젠가 영재원에서 뇌파 장비를 다룰 기회가 있었는데요. 이를 게임화하고 싶다는 생각에 처음에는 친구들과 지오메트리대시라는 리듬게임에 적용해봤어요. 스페이스바를 눌러서 타이밍에 맞게 점프하고 한 번이라도 떨어지면 그냥 끝나는 게임을 뇌파로 조종해보게 한 건데요. 생각보다 반응은 좋았으나 집중력의 개인차에 따라 컨트롤 능력이 천차만별이 되는지라 순간적으로 반응해야 하는 리듬게임에 쓰기에는 어려울 것 같았어요.

그렇다면 대안으로 마인크래프트를 쓰면 어떨지 생각해서 열심히 맵을 만들어서 시연해봤어요. 초기에는 맵이 많이 어려워서 갈림길이 15개나 있고 50분에서 1시간 사이가 걸려서야 간신히 깰 수 있었는데요. 올해 메이커 페어에서 체험할 맵은 대부분 제한시간 3분 중 2분 안에 해결하게, 빠르게는 1분 30초 내외로 깰 수 있게 바꿔뒀어요. 더 많은 이들이 금방 편하게 즐기게끔 난이도를 조절한 거죠.

 

다른 페어에서 마인메이즈Ⅱ와 도쿄애니메겐을 선보였을 때 반응은 어땠나요?

메이커 페어 도쿄에서도 시작하자마자 마인크래프트다! 하며 달려오는 어린이가 많았어요. 덕분에 3시간 동안 서서 하나하나 체험을 도와줘야 했죠. 뇌파 기기를 장착하고 떼는 시간까지 합하면 1인당 5분 정도가 걸리잖아요. 여섯 명을 보내면 이미 30분이 지나가는 거예요. 그렇게 해서 하루에만 약 100명은 다녀갔어요. 반응은 폭발적이었어요. 스스로 손으로 아무런 조작도 하지 않는데 자기 집중력만으로 캐릭터가 앞으로 간다고 생각하니까 마치 로봇을 조종하는 듯 신기하면서 희열을 느낀 것 같아요.

도쿄애니메겐도 대부분 캐릭터 이미지가 괜찮게 나온 덕에 다들 좋아했어요. 특히 어떤 한 분은 자기 얼굴이랑 정말 닮은 캐릭터가 나왔다고 만족하며 원본 결과 이미지를 받아가기도 했어요.

 

메이커 페어 도쿄 2018 현장에서 관람객들이 마인메이즈Ⅱ를 즐기고 있다. (사진=강태원)

 

도쿄와 방콕 메이커 페어에 가서는 어떤 것들이 눈에 띄던가요?

메이커 페어 도쿄에서는 낮 열두 시에 시작하려는 순간이 기억에 남았어요. 도쿄에서는 땡 하는 종소리와 함께 “메이커 페어가 곧 시작합니다”라며 안내방송이 나왔거든요. 그러니까 메이커들이 다 같이 기립박수를 치면서 시작하는 거예요. 특히 로봇 분야의 전시들이 굉장히 수준이 높았고 인상적이었고요. 또 메이커들의 경험이나 기술을 서적으로 출판하고 그 자리에서 완판되는 모습들을 볼 수 있었어요.

방콕의 경우는 날씨 특성상 낮보다는 밤에 뛰어놀며 할 만한 것들이 많이 나왔어요. 광선 검을 비롯해 저는 네오픽셀 가방을 만들어 가져가기도 했어요. 그런 식으로 LED 불빛을 반짝이며 같이 놀았죠. 1일차가 끝나가는 밤에는 퍼레이드가 펼쳐져서 축제처럼 전 참가자들이 함께 즐겼고요. 이렇듯 나라마다 지역마다 메이커 페어에서 드러나는 문화도 조금씩 다르더라고요.

 

메이커 페어 서울 2019에서는 어떻게 부스를 꾸며 보여주고 싶은가요?

여러 사람들이 부스를 체험할 수 있도록 마인메이즈Ⅱ는 뇌파장비와 임베디드 기기 등의 요소가, 도쿄애니메겐의 경우에는 Face Detection 기능을 주로 업그레이드해 보여드릴 예정이에요.

그리고 우리 학교에서도 메이커 문화에 관심이 많고 만들GARAGE라는 메이커 동아리도 신설됐거든요. 저도 운영에 함께 참여하고 있는데 이번 연도에는 제가 동아리 학생들과 함께 제작한 프로젝트도 전시할 예정이에요. 최근 메이커 페어에 어린이와 학생 관람객이 매우 많아졌는데 재미있는 전시를 보고 즐기면서 나도 만들어보고 싶다는 생각을 품고 돌아가는 이들이 많아졌으면 해요.

 

강태원 메이커가 메이커 페어 방콕 2019에서 광선 검 스포트라이트를 한몸에 받고 있다. (사진=강태원)

 

강태원 메이커가 가고자 하는 앞으로의 목표가 있다면 무엇인지요?

GAN 알고리즘은 데이터 셋이 매우 많이 필요하다는 단점이 있어요. 지금은 적은 데이터에서도 GAN 학습이 잘 되게끔 하는 연구도 추가로 진행 중이고요. 장기적으로는 컴퓨터비전 분야를 더 깊게 공부하고 연구해서 컴퓨터비전이라는 기술과 예술을 접목해 인간적인 따뜻함을 표현해낸 작품들을 많이 만들고 싶어요.

 

글·사진 | 장지원

[2018메이커] 4초 만에 ‘아―’로 파킨슨병 진단해요

―딥러닝을 이용한 음성 기반 파킨슨병 진단기 만든 이채영 & 양서연 메이커

고등학생과 대학원생 둘이 무려 의료용 인공지능 기기를 만들었다. 용인외대부고에 재학하는 이채영 그리고 서울대 기계항공공학부 석사과정의 양서연 메이커가 만든 딥러닝을 이용한 음성 기반 파킨슨병 진단기다. 마이크에 딱 4초, ‘아-’하고 목소리를 내는 것만으로 파킨슨병을 진단할 수 있고, 병이 있다면 진행 단계가 어느 정도인지까지 알 수 있다고.

‘고등학생과 대학원생’이라는 특이한 조합에도 불구하고, 두 메이커는 균형을 잘 맞춘 팀을 이루고 있다.그 누구의 지도를 따라가는 것이 아니라 스스로 만들고자 하는 욕구와 궁금증을 키워 결과물을 완성해낸다. 이채영 메이커와 양서연 메이커를 만나 파킨슨병 진단기의 개발 이야기를 들었다.

이채영 & 양서연 메이커 팀이 파킨슨병 진단기를 시험해보고 있다.

이채영 & 양서연 메이커 팀이 파킨슨병 진단기를 시험해보고 있다.

‘딥러닝을 이용한 음성 기반 파킨슨병 진단기’를 간단히 소개해주세요.

목소리로 파킨슨병을 진단할 수 있는 인공지능이에요. 모음 ‘ㅏ, ㅔ, ㅣ, ㅗ, ㅜ’ 중 하나를 4초 동안 최대한 안정적으로 발음하면 인공지능이 목소리의 떨림이나 끊김 등을 분석해 파킨슨병의 유무와 병의 경도를 판단하는 기기죠.

파킨슨병 진단기를 만든 동기 또는 사연이 궁금해요.

요양원에 봉사 활동을 하러 가서 우연히 파킨슨병 환자를 만났어요. 그분은 파킨슨병 증상 중 하나인 목소리 장애 때문에 의사소통하지 못하고 자신만의 세상에 갇혀 있었어요. 이 경험으로 파킨슨병의 목소리 장애가 유발하는 정신적 고통이 극심하다는 사실을 알았어요. 그리고 몇 달 후 직접 파킨슨병 환자를 위한 의료 솔루션을 만들어봐야겠다고 결심했어요.

파킨슨병을 진단하는 데 목소리를 주목한 까닭은 무엇인가요? 목소리에 병의 경도를 결정하는 어떤 유의미한 정보가 있는지 설명을 듣고 싶어요.

앞서 말씀드린 목소리 장애는 파킨슨병 환자의 89%가 나타내는 초기 증상 중 하나예요. 그만큼 파킨슨병을 진단하는 데 매우 효과적인 척도죠. 동시에 목소리 진단은 전문적인 기기가 필요하지 않고 시간 및 비용 소모 또한 아주 적게 들기 때문에 누구나 어디서든 할 수 있다는 점을 주목한 거예요.

파킨슨병 진단기에서 목소리를 분석하는 코딩

파킨슨병 진단기에서 목소리를 분석하는 코딩

그렇다면 진단기가 작동하는 원리는 어떻게 되나요?

진단기의 작동 원리는 정말 간단해요. 목소리를 스펙트로그램 이미지로 변환해서 CNN 분류기에 넣고 1~4중의 숫자 하나를 출력으로 얻는 거예요. 이렇게 해서 받은 숫자가 1이면 파킨슨병이 없는 사람이고 2~4는 파킨슨병이 있는 사람이면서 숫자가 클수록 병의 경도가 달라지죠.

설계 및 제작 도중 잘 해결되지 않고 막히는 곳은 어떻게 해결했는지 듣고 싶어요.

작동 원리를 결정하기는 어렵지 않았으나 문제는 학습에 있었어요. 딥러닝을 위해서는 최소 몇만 장의 데이터가 있어야 했지만, 그만큼이나 구하기란 불가능했어요. 파킨슨병 환자의 목소리는 접근성이 떨어지는 의료 데이터니까요. 결국 우리가 최대한으로 구한 데이터는 총 5000장이었어요.

그래서 우리는 이걸 가지고 1만 장이 넘게 데이터를 증강시켰어요. 이미 가지고 있는 정보를 반복해 사용하는 기존의 방법(noise adding, stretching, rolling, pitch shifting)이 아니라 기존 정보에 인간 음성의 정보(gender, age 등)을 추가할 수 있는 새로운 증강 방법까지 고안할 수 있었어요.

딥러닝캠프에서 만난 소중한 인연이 아니었다면 이들의 메이커 페어 서울 참가도 없는 일이었을지 모른다.

딥러닝캠프에서 만난 소중한 인연이 아니었다면 이들의 메이커 페어 서울 참가도 없는 일이었을지 모른다.

이채영 메이커님과 양서연 메이커님은 서로 어떻게 협력하기로 했는지 궁금해요.

우리 둘은 텐서플로우코리아 그룹이 주최한 딥러닝캠프에서 만났어요. 저(이채영)는 당시 파킨슨병 진단기를 만들기 위해 데이터 증강 기법을 개발하고 있었고 양서연님은 GPS 성능 개선에 관해 딥러닝 프로젝트를 진행하고 있었죠. 데이터 수집을 위해서 여러 가지 하드웨어를 조율하고 있을 때 저는 직감했어요, ‘양서연 님은 하드웨어 마스터다!’

그래서 곧바로 양서연 님에게 프로젝트 협업을 요청했죠. 그래서 이번 메이커 페어 때 선보일 파킨슨병 진단기를 함께 개발하기로 했어요. 협업한 이후로 저(이채영)는 기존에 만들던 커스텀 CNN 분류기를 모바일넷으로 바꾸는 과정을 진행했고요. 양서연님은 이 모바일넷을 텐서플로우 라이트로 변환해서 라즈베리파이 및 어플에 디플로이하는 과정을 맡아줬어요.

고등학생으로서 학업을 병행하며 작품을 만드는 데에서도 힘든 점이 있을 것 같아요.

고등학생으로서 딥러닝을 연구하는 점에서는 가장 먼저 컴퓨팅 리소스의 문제가 있어요. 딥러닝을 하려면 기본적으로 GPU 컴퓨팅이 가능해야 하는데 달랑 노트북 하나로 연구하는 고등학생 입장에서는 말도 안 되는 일이었죠.

그래서 학기 중에는 가벼운 네트워크로 이론을 연구했고 방학 때에 인턴십이나 리서치 캠프에 참가하며 대규모 실험을 진행했어요. 특히 이번 딥러닝캠프에 참가할 때 구글에서 클라우드 GPU와 TPU를 지원해준 덕에 걱정 없이 한 발 한 발 나아갈 수 있었죠.

파킨슨병 진단기의 안드로이드씽스가 부팅되고 있다.

파킨슨병 진단기의 안드로이드씽스가 부팅되고 있다.

앞으로 더 어떤 만들기를 지속하고 싶은지 꿈 또는 목표를 듣고 싶어요.

파킨슨병 진단기 개발 프로젝트를 거의 2년 넘게 진행하면서 의료용 인공지능에 관심이 많아졌어요. 개발 과정에서 창업 준비도 했고 여러 번 피칭도 다녔고요. 이런 경험이 쌓이다보니 의료 AI 스타트업을 만들고 싶은 꿈이 생겼어요. 목표는 영화 〈엘리시움〉에 나오는 세상처럼 어디서든 누구든 어떤 병이든지 간편하게 진단 및 치료를 받는 의료 유비쿼터스 시대를 개척하는 거예요.

메이커 페어 서울 2018을 준비하며 기대하고 있는 부분이 있다면 무엇인지요?

다양한 프로젝트와 각양각색의 이야기를 들고 오실 메이커 분들과의 네트워킹이 가장 기대돼요. 산으로 사면이 둘러싸인 기숙사 학교에서 홀로 개발해와서인지 우리 프로젝트에 흥미를 느낄 많은 사람들을 만나고 싶어요. (웃음)

끝으로 메이커님들의 부스를 홍보하는 한마디 부탁드려요.

의사가 아닌 컴퓨터 앞에서 파킨슨병을 진단할 수 있어요. 주위가 시끄러워도 음질이 좋지 않은 환경이어도 괜찮아요. 우리 부스에 방문하셔서 한 번의 “아―”로 혹시 모를 파킨슨병을 진단해보세요.