AI가 사람 마음 그린다

“AI가 사람 마음 그린다”

기계학습 통해 심상 이미지 해독

시를 읽거나 이야기를 나눌 때 마음속에 떠오르는 빛깔, 모양, 소리, 냄새, 맛, 촉감 등의 감각적인 느낌을 심상(心象)이라고 한다. 11일 ‘사이언스’ 지에 따르면 그동안 과학자들은 새로운 알고리듬을 활용해 뇌 속에 들어 있는 이 심상을 재현해낼 수 있는 방안을 모색해왔다.

노력의 결과 지난 2011년부터 뇌를 분석해 사람 생각 속에 들어있는 시각적 이미지를  해독하고 있는 중이다. 뇌 신경세포의 움직임을 분석해 이미 사진과 동영상을 제작했으며, 최근 들어서는 꿈에서 본 이미지를 재현하는 단계에 도달하고 있다.

만족할만한 수준은 아니다. 어떤 경우에는 얼굴 정도의 영역에서, 어떤 경우에는 식별이 힘든 스크래치 정도에서 이미지를 재현했는데 이럴 때는 드러난 이미지를 ‘사람’, ‘새’ 등 사전에 작성한 이미지 카테고리와 비교해 그 중 하나를 선택하는 방식을 취해야 했다.

 새로운 알고리듬을 통해 사람 뇌 속에 기억돼 있는 심상을 분석해 이미지화하려는 연구가 성과를 거두고 있다. 

사진은 일본 교토대 가미타니 연구소에서 재현한 사람 마음 속에 있는 이미지들. ⓒKamitani Lab

DNN, DGN 등 인공지능이 뇌 영상 해독

그러나 최근 상황이 바뀌고 있다. 첨단 영상기기, 인공지능 등을 활용해 사람 뇌 속에 들어 있는 데이터를 사람 눈으로 볼 수 있는 픽셀 차원의 영상으로 재현하는데 성공하고 있다. 최근 등장하고 있는 첨단기기가 큰 역할을 하고 있기 때문.

그동안 과학자들은 심상을 재현하기 위한 방안으로 fMRI(기능적 자기공명영상)을 사용해왔다. 이 기기는 다른 뇌-영상 기법에 비해서 탁월한 공간 해상도를 지니고 있어 3차원 공간에서 뇌 기능 관련 신호를 상세히 측정할 수 있다.

교토대 연구팀은 fMRI를 적용, 3명의 사람을 대상으로 뇌 안에 기록된 1000여개의 이미지를 높은 해상도로 재현해내기 위한 노력을 기울여왔다. 표범과 같은 동물을 보면 뇌가 활동하기 시작하는데 컴퓨터로 그 이미지를 생성해내는 일이다.

이 과정에 심층신경망이라 불리는 DNN(deep neural network)을 도입했다. DNN은 IT 분야에서 활용해오던 영상 식별기능이다. 딥러닝을 활용해 영상 신호를 식별할 수 있도록 학습하게 한 후 필요한 영상을 식별하게 하는 첨단 기계학습 기능이다.

최근 IT업체들은 이 기술을 활용해 영상식별에 성공하고 있다. 구글은 지난 2012년 1만6천 개의 컴퓨터와 10억 개 이상의 신경네트워크를 구성해 심층신경네트워크(DNN)를 구현해 유튜브에 등록된 동영상 중 고양이를 인식하는데 성공했다.

페이스북도 지난 2014년 같은 패턴의 기술을 적용해 ‘딥페이스’라는 얼굴인식 알고리즘을 개발했다. 그리고 지금 이 알고리즘을 페이스북에 적용해 전 세계 이용자의 얼굴을 인식할 수 있는 기술을 개발하고 있는 중이다.

연구를 이끌고 있는 교토대 신경과학자 유키야수 카미타니 교수는 이 기술을 활용해 fMRI에서 나타난 이미지 해독 과정에 적용하고 있다. “DNN을 활용해 그동안 볼 수 없었던 새로운 차원의 이미지를 추출할 수 있었다.”고 밝혔다.

해독한 영상들 픽셀 차원에서 재현할 수 있어

카미타니 교수 연구팀은  fMRI를 통해  전달된 뇌안에서 발생한 수많은 신호들을 DNN로 하여금 학습토록 했다. 그리고 다른 신호를 보내 그 신호가 어떤 영상을 의미하는지 정확히 해독해낼 수 있도록 그 능력을 확충해나갔다.

연구팀은 또 해독 과정을 더 정확히 마무리하기 위해 DGN(deep generator network)이란 알고리듬을 추가로 도입했다. 이 알고리듬은 입력된 정보를 기반으로 시각적 이미지를 만들어낼 수 있는 능력을 지니고 있다.

연구팀은 이 기능이 추가됐을 때 뇌 속에 기억된 정보를 99%까지 재현해낼 수 있다는 내용의 연구보고서를 최근 생물학 분야 ‘바이오 아카이브(BioRxiv)’에 게재했다. 논문 제목은 ‘Deep image reconstruction from human brain activity’이다.

이번 연구를 도운 미국 퍼듀대 컴퓨터공학자 총밍 류(Zhongming Liu) 교수는 “최근 연구에서 놀라운 성공을 거두고 있다.”며 “연구 진전에 따라 사람들이 영화를 보듯이 뇌 속에서 발생하는 영상들을 보게 될 것”이라고 말했다.

연구팀은 논문을 통해 fMRI, DNN, DGN 등의 첨단 기술이 동원된 뇌신호 해독과정을 통해 사람의 지각내용(perceptual content)을 영상화할 수 있었다고 밝혔다. 이는 사람 뇌 안의 피질 활동을 해독할 수 있다는 것을 의미한다.

논문은 특히 인공지능을 통해 해독한 영상들을 픽셀 차원에서 재현할 수 있었다며, 기계학습 기능을 통해 인공지능을 더 훈련시키는 과정을 통해 해독 기능을 더 강화할 경우 단순한 흉태 차원이 아니라 실제 입력된 영상들을 재현할 수 있을 것으로 내다봤다.

그동안 연구팀은 사람 얼굴 외에도 물고기, 비행기 등 단순한 색상의 형상들을 식별하는데 많은 노력을 기울여왔다. “이중 83%의 사례에서 이미지를 인지할 수 있었다.”며, 향후 연구 진전에 따라 정확도가 더 높아질 수 있을 것으로 전망했다.

인간의 뇌와 마음의 관계를 연구하는 학문을 인지 신경과학(cognitive neuroscience)이라고 한다. 신경학, 생물심리학, 인지심리학을 포괄하는 학문이다.  인지 신경과학이 큰 주목을 받기 시작한 것은 19500년대 후반부터다.

마음은 정보를 처리하는 것과 유사하게 작동할 것이라는 주장이 제기됐는데, 이 이론에 가장 큰 영향을 미친 것이 정보 처리 이론이다. 이런 판단 하에 IT기술을 활용, 뇌 속에서 발생하는 다양한 변화를 인지하려는 노력을 기울여왔다.

뇌파를 분석해 그 속에 포함된 이미지 데이터를 분석하려는 노력 역시 인지 신경과학의 흐름 속에 일부분이다. 이 기술이 발전할 경우 사람이 심상을 통해 서로 소통할 수 있는 시대가 열릴 것으로 기대되고 있다.

글_ 이강봉 객원기자 aacc409@naver.com

출처_ 사이언스올 사이언스타임즈

저작권자 2018.01.12 ⓒ ScienceTimes