구글은 2월 28일, 서울시 강남구에 위치한 자사 사무실에서 ‘구글 AI 포럼 제10강: AI 혁신과 컴퓨테이셔널 포토그래피’ 행사를 개최했다.
'구글 AI 포럼'은 최근 도래하고 있는 AI-First 시대를 맞아 인공지능 및 머신러닝과 관련해 좀 더 알기 쉬운 설명 및 사례와 함께 더욱 깊게 공부할 수 있는 기회를 제공하기 위해 구글이 준비한 행사로, 매월 진행되고 있다.
이날 행사에서는 구글의 마크 르보이(Marc Levoy) 디스팅귀시드 엔지니어(Distinguished Engineer)가 화상 강연을 통해 우리의 일상을 기록하고, 추억을 담을 수 있는 사진에 AI 기술이 어떻게 접목되어 있는지 소개했다.
▲ ‘구글 AI 포럼 제10강: AI 혁신과 컴퓨테이셔널 포토그래피’가 개최됐다.
▲ 마크 르보이 엔지니어가 사진에 AI 기술이 어떻게 접목되어 있는지 소개했다.
발표에 따르면 구글은 새로운 픽셀(Pixel) 스마트폰을 통해 머신러닝과 전산 사진 기법을 결합한 ‘인물 사진 모드’를 선보였다. 이 ‘인물 사진 모드’를 이용하면 인물이 강조될 수 있도록 자동으로 배경에 부드러운 아웃포커싱 효과가 적용된다. 이를 통해 카메라가 어수선한 배경보다는 피사체에 더 집중하고, 촬영자가 더 예술적인 사진을 찍을 수 있도록 도와준다.
이 ‘인물 사진 모드’는 크게 4단계의 과정을 통해 사진을 개선시키게 되는데, 각자의 과정을 AI를 통해 효율적으로 활용, 사용자에게 보다 뛰어난 결과물을 보여주게 된다.
첫 번째 단계로는 ‘사진 촬영을 통해 HDR+ 이미지를 생성’한다.
HDR+는 촬영된 사진의 품질의 향상하기 위한 구글의 전산 사진 기법으로, 하이라이트가 날아가는 것을 방지하기 위해 과소 노출된 이미지를 여러장 촬영하고, 촬영한 이미지들의 프레임을 정렬, 및 평균화한 후 합성해 그림자 안의 노이즈를 줄인다. 또한 로컬 콘트라스트를 보전하면서도 전역 대비를 현저하게 감소시키는 방법으로 이 그림자들을 증폭해 희미한 조명에서도 높은 다이내믹 레인지, 낮은 노이즈, 선명한 세부 묘사가 담긴 사진을 얻을 수 있다.
노이즈를 줄이기 위해 프레임을 정렬화한다는 아이디어는 수십 년 동안 천체 사진에서 통용됐지만, 구글의 구현 방식은 핸드헬드 카메라로 촬영한 장면에서 이루어진다는 점에서 약간 다르다고 소개됐다.
▲ HDR+는 촬영된 사진의 품질의 향상하기 위한 구글의 전산 사진 기법이다.
두 번째 단계는 ‘기계 학습 기반 전경-배경 세그먼테이션’이다.
일반적으로 사람 등의 피사체인 전경에 속하는 픽셀과 배경에 속하는 픽셀을 결정하는데, 영화 사업의 크로마 키잉(그린 스크리닝)과 달리 배경이 녹색이나 파란색 등 특정 색으로 가정할 수 없기에 까다로운 문제이며 이를 위해 기계 학습을 적용하게 된다.
이에 구글은 어떤 픽셀이 사람이고 어떤 픽셀이 사람이 아닌지를 추정하는 과정을 텐서플로(TensorFlow)로 작성된 콘볼루션 신경망(CNN)으로 학습시켰다. '콘볼루션'은 네트워크의 학습된 구성 요소가 필터(각 픽셀 주변의 이웃한 픽셀들의 가중치 합계)의 형태로 구성됨을 의미하므로, 네트워크를 단지 이미지를 필터링하고 필터링된 이미지를 필터링하는 과정 등으로 생각할 수 있다.
'스킵 연결'은 색상 및 가장자리에 대해 추론하는 네트워크의 초기 단계부터 고수준 특징(얼굴 및 신체 부위)에 대해 추론하는 네트워크의 후반 단계까지 정보가 쉽게 흐를 수 있게 한다. 이와 같은 단계의 결합은 사진 속에 사람이 있는지를 판별할 뿐만 아니라, 그 사람에게 속한 픽셀을 정확하게 식별해야 하는 경우에 중요하며 CNN은 인물의 모자, 선글라스, 아이스크림 콘 등을 포함한 거의 백만 개의 인물 사진을 학습했다.
세 번째 단계로는 ‘스테레오 알고리즘을 사용한 심도 계산’을 거친다.
픽셀 2 스마트폰의 경우 듀얼 카메라가 없는 대신 PDAF(Phase-Detect Auto-Focus) 픽셀 또는 듀얼 픽셀 자동 초점(DPAF)으로 불리는 기술을 이용해 이미지 센서 칩의 모든 픽셀을 두 개의 더 작은 나란한 픽셀로 분할하고 칩에서 이들을 개별적으로 읽는 방식을 사용한다. DSLR을 비롯한 많은 카메라에서 동영상 녹화 시 초점을 더 빨리 맞추기 위해 PDAF 기술을 사용하는 것과 달리, 심도 맵을 계산하는 데 사용하는 것이다.
PDAF 픽셀은 단일 스냅샷에서 렌즈의 왼쪽과 오른쪽, 또는 윗쪽과 아랫쪽을 통해 뷰를 제공하며, 구글의 Jump 시스템 파노라마 스티처에서 사용되는 것과 유사한 스테레오 알고리즘에 좌우 또는 상) 이미지를 입력 데이터로 사용한다. 이 알고리즘은 먼저 서브픽셀 정밀도의 타일 기반 정렬을 수행하여 저해상도의 심도 맵을 생성한 다음, 양방향 솔버를 사용하여 이를 고해상도로 보간한다.
▲ ‘스테레오 알고리즘을 사용한 심도 계산’을 거치게 된다.
마지막으로 네 번째 단계에서는 ‘모든 것을 합쳐 최종 이미지를 렌더링’하게 된다.
이 단계에서는 2단계에서 계산한 세그먼테이션 마스크와 3단계에서 계산한 심도 맵을 결합하여 1단계에서 HDR+ 사진의 각 픽셀을 얼마나 흐리게 처리할지 결정한다.
심도와 마스크를 결합하는 대략적인 방법은 사람에 속한다고 생각하는 장면의 피사체를 선명하게 유지하고 배경에 속한다고 생각하는 피사체를 초점면에서 떨어진 거리에 비례하여 흐리게 처리하는 방식이며, 거리는 심도 맵에서 가져온다. 블러의 적용은 다양한 크기의 반투명 디스크로 대체되며, 이러한 모든 디스크를 심도 순서대로 합성하면 실제 광학 블러에 가까운 근사값을 얻을 수 있다.
한편, 마크 르보이 엔지니어는 멋진 인물 모드 촬영을 위한 팁을 제시했다. 먼저 머리가 프레임을 채우도록 피사체에 충분히 다가가야 하며, 단체사진의 경우 카메라에서 동일한 거리에 피사체를 배치해야 한다. 또한 블러 효과를 위해서는 피사체와 배경 사이에 약간의 거리를 둬야 하며, 짙은 선글라스, 챙이 넓은 모자, 커다란 스카프 등은 벗는 것이 좋다. 이 외에도 접사 촬영시에는 관심 대상이 선명하게 유지되도록 초점을 조절해야 한다.
발표를 마친 마크 르보이 엔지니어는 “휴대폰이 전문 카메라를 완전히 대체하는 것은 기술적, 기기적 제약으로 아직 불가능한 것이 사실이지만, 어느 정도 사용자가 원하는 수준의 사진을 보여주는 것은 가능한 수준이 됐다.”며 “이것은 사용자의 선택권을 넓히는 것에 의의가 있으며 그 중심에는 머신러닝과 전산 사진 기법이 있는 것이다.”라고 말했다.
▲ 인물 모드 촬영에는 머신러닝과 전산 사진 기법이 활용된다. |
|
|
등록안내
