본문 바로가기
전시회&컨퍼런스 참관

3D 얼굴 모델링 및 응용(창의메이커스 필드)

by MadeInNeverland 2016. 8. 9.
반응형

제 2회 창의메이커스 필드 "3D Printing Medical"의 마지막을 장식하는 네번째 초청강연, '3D 얼굴 모델링 및 응용'를 정리하는 포스팅입니다.



강연은 연세대학교 전기전자공학부 이상윤 교수님께서 수고해주셨습니다.



3D프린터로 뭔가를 출력하기 위해서는 3D 모델링된 데이터가 있어야 하는 것처럼, 3D프린팅 기술과 3D 모델링 기술은 뗄레야 뗄 수 없는 관계입니다. 이 3D 모델링을 하는데 있어서 중요한 개념이 몇가지가 있는데, 그중 하나가 바로 위 화면에서 볼 수 있는 Computer vision입니다.



Computer vision이란, 어떤 물체나 대상의 이미지를(의학쪽에서는 CT나 MRI 이미지) 3차원 적으로 컴퓨터가 인식할 수 있게 변환하는 기술을 뜻합니다. 즉 어떤 물체를 사람이 눈으로 보는 것처럼, 컴퓨터가 어떤 대상을 3차원적으로 '볼 수 있게' 만들어준다는 것이지요. 



이런 Computer vision은 여러 분야에서 사용될 수 있는데, 위와 같이 어떤 문자를 인식하는데 사용될 수 있구요. 



어떤 물체를 직접 인식하는 데에도 사용될 수 있구요.



위와 같이 CT나 MRI 등의 의학영상데이터에서 3차원 적으로 재구성할 수도 있습니다.



이런 개념들을 베이스로, 이제 얼굴을 모델링하는 과정을 간략하게 알아봅시다. 


컴퓨터가 얼굴을 3차원적으로 인식하고 확인하는 과정은 크게 2가지 접근을 통하여 이루어지는데 그것이 바로 feature-based와 appearance-based가 있습니다. 


feature-based는 어떤 사람의 눈이 얼마만큼 튀어나왔고, 눈과 눈 사이의 거리가 얼마만큼이고 입의 가로 직경은 얼마인지 이런 부분부분의 특성과 수치값으로 얼굴을 표현하는 것을 뜻합니다.


appearance-based는 전체 얼굴의 특성을 한꺼번에 인식해서 얼굴 자체를 표현한다고 하는데요.



즉, 얼굴을 한가지의 특성을 대표하는 여러 장의 레이어로 나누어서(눈 레이어, 입 레이어 등등), 수많은 데이터에서 그 사람과 가장 가까운 레이어를 선택해나가는 과정을 반복하여 그 사람의 전체 형상을 인식하는 것이지요. 이를 Deep neural network라고 한답니다.



요즘에는 좀 더 발전하여 위 화면과 같이 각각의 특성이 아닌, 전체적인 윤곽과 형상을 레이어로 선택해나감으로서 좀 더 인식률이 높아지고 있다고 하네요. 



이렇게 인식된 얼굴 데이터들은 여러가지로 사용될 수 있는데요. 얼굴 인식 기술과 얼굴 트래킹 기술이 합쳐져서 위와 같은 얼굴의 주요 특성을 확인하는 facial landmark detection 기술이 있구요. 



현재 어떤 사람이 어떤 표정을 짓고 있는지 인식하는 facial expression recognition 기술도 있습니다. 여기서 더 나아가 화면 안의 사람이 남성인지 여성인지, 그리고 몇살인지를 인식하는 기술도 개발되고 있답니다.



또한 운전자가 현재 상태가 어떤지, 졸고 있지는 않은지 등을 인식하는 driver drowsiness detection 기술에도 적용됩니다.


여기까지는 2차원적인 얼굴인식 및 모델링 과정이었는데요.



요즘에는 한발 더 나아가 3차원적으로 얼굴을 인식하고 분석하는 3D face analysis가 각광을 받는다고 합니다.


3D 얼굴인식 및 모델링 기술은 2차원적인 데이터보다 훨씬 더 많은 데이터를 가지고 있으며 이를 통해 응용할 수 있는 분야 또한 무궁무진하다고 하는데요.


CCTV에서 어떤 사람의 얼굴을 3D로 인식하여 그 사람의 얼굴이 어떻게 비추어져도 그 사람으로 인식하고 추적하는 기술도 있구요, digital actor animation이라고 해서 사람이 움직일 때 이 움직임이나 표정 등을 그대로 3차원적으로 스캐닝해서 애니메이션 안의 캐릭터가 그대로 따라할 수 있게도 만든다고 합니다. 즉, 3차원 애니메이션 캐릭터가 영화배우 대신 연기를 하는 것 같은 효과를 만들 수 있다는 것입니다.



의학쪽에서는 3차원 얼굴 재건 수술에서 사용할 수 있는데요. 어떤 원인에서든 얼굴에 위와 같이 문제가 발생한 환자의 경우 이 환자의 얼굴 재건을 위하여 3D 얼굴 모델링 과정이 적용될 수 있습니다. 



즉, 손상이 심한 좌측을 재건하기 위해 손상이 덜 심한 우측의 얼굴을 스캔을 하고 이를 좌우 대칭을 시행하여 대칭적인 얼굴이 어떤 모습을 가지는지 확인 후 이를 토대도 얼굴 복원 수술을 진행하는 것이지요. 



이런 것 뿐만 아니라 요즘에는 3차원적으로 발을 스캐닝한 뒤 모델링해서 그 사람한테 딱 맞는 안창, 쉽게 말해 깔창을 제작할 수 있습니다. 그야말로 맞춤형 수제화가 되는 셈이지요. 



사람의 얼굴은 그야말로 사람이 다른 사람을 인식할 때 사용되는 유일한 생체특징으로서 기본적인 개인인증 기술 중 하나입니다.


CCTV 사람인식, VR, AR 등 게임이나 영화 콘텐츠 개발, 자율주행 등에도 여러가지로 사용되고 있으며, 특히 성형외과 분야에서 얼굴관련 응용기술이 널리 사용되고 발전해나가고 있습니다.




3D 모델링 기술 및 3D 스캐닝 기술의 발전은 수술방에서 실시간으로 환자의 얼굴을 스캔하고 이를 토대로 얼굴 재건에 필요한 재료를 직접 3D프린팅하는 등의 영화에서나 보던 수술 방법들이 개발되고 발전될 수 있는 발판을 마련할 수 있을 것으로 개인적으로는 기대가 되었습니다.


여기까지가 제 2회 창의메이커스 필드 "3D Printing Medical"에서 진행된 네개의 초청강연 요약입니다. 사실 아무 기대하지 않은 상태로 인터넷 뉴스에서 보고 '그냥 한번 가볼까'해서 참석했던 것인데 꽤 강연의 수준이 높아서 깜짝 놀랐습니다. 물론 장내 대부분의 참석자들이 학생이었던 것을 생각하면 좀 어려울 수도 있지 않았을까 생각합니다만, 뭐 저는 괜찮았습니다ㅎ


실제 의학적으로 응용할 수 있는 3D프린팅 기술들을 보유한 기업들의 전시회 참여가 좀 더 많았다면 더욱더 알찬 구성이 되지 않았을까 생각해봅니다. 앞으로도 창의메이커스 필드는 계속 진행된다고 하니, 더욱더 발전해나가는 창의메이커스 필드를 기대하며 이번 요약을 마치겠습니다.


이제까지 메이드인네버랜드였습니다~!


반응형