저 같은 경우, 동영상 서비스가 다양해지면서 좋은 점 중 하나는 ‘해외 콘텐츠’를 쉽게 즐길 수 있다는 것입니다. 보고 싶었던 해외 드라마나 예능을 OTT서비스, 유튜브 등을 통해 시청하고 있는데요. 그런데 최근, 해외 드라마를 보면서 종종 ‘우와!’ 감탄이 나온 장면들이 있었습니다. 분명 배경은 우리나라가 아닌데, 한글 간판이 등장한 것입니다. 이 외에도 메뉴판, 휴대폰 등 텍스트가 등장하는 장면에서 모든 글자가 한글로 표기되어 있었는데요. 어떻게 된 일 일까요?

해외 콘텐츠 속 등장하는 한글, 어떻게 가능한걸까.

앞서 이야기 한 해외 콘텐츠의 텍스트 한글화는 대부분 수작업으로 이루어지고 있습니다. 콘텐츠 내 한글 번역이 필요한 부분을 자막팀이 검수하고, 번역을 마친 후 CG팀으로 작업을 넘겨주면 CG팀은 색감, 폰트 등을 원본과 최대한 비슷하게 디자인하고 움직임을 파악해 자연스러운 번역이 이루어지도록 영상을 수정합니다.

이러한 기술은 구글 렌즈, 네이버 파파고에서도 발견할 수 있는데요. 구글 렌즈는 텍스트를 100개 이상의 언어로 실시간 번역해주는 서비스를 제공하고 있습니다. 구글 렌즈는 사진을 찍지 않아도 카메라에서 객체를 인식할 수 있는 상태라면 실시간으로 번역을 제공하고 있다는 점이 장점인데요. 해외 여행을 하면서 메뉴판이 그 나라 언어로만 기재되어 있을 때, 마트에서 할인 정보 등을 확인할 때 등 실생활에서 언어 번역이 필요한 경우에 유용할 것 같습니다.

파파고는 촬영된 이미지를 번역하는 ‘바로 번역’ 서비스를 제공하고 있습니다. 구글 렌즈와 비슷하게 파파고 앱에서 번역을 원하는 이미지를 촬영하면 번역된 언어가 이미지 위로 등장하는데요. 하지만 구글 렌즈와 분명한 차이점이 있습니다. 구글 렌즈는 이미지를 촬영하지 않아도 되지만 기존 자막 위에 번역된 자막이 유색의 배경과 함께 등장하는 반면 네이버 파파고는 원본 이미지와 비슷한 배경 위에 자막만 번역해 합성한 것 처럼 텍스트가 등장합니다.

불필요한 부분은 지워주고 원본 이미지의 품질은 유지하는 기술, ‘인페인팅’.

구글 렌즈와 네이버 파파고의 이미지 번역 차이는 ‘인페인팅(Inpainting)’이라는 기술의 유무입니다. 인페인팅이란 ‘이미지의 손상, 열화 또는 누락된 부분을 채워 완전한 이미지를 제공하는 보존 프로세스’인데요. 예를 들어, CG를 기반으로 자막을 번역하는 작업 과정에서 ‘색감, 폰트 등을 원본과 최대한 비슷하게 디자인’하는 과정이 인페인팅과 비슷하다고 볼 수 있습니다. 네이버 파파고는 이러한 인페인팅 기술을 활용해 원본 텍스트가 제거된 부분에 배경 이미지를 만들고, 그 위에 번역된 텍스트를 합성해 원본에 가까운 이미지로 재구성합니다.

그리고 최근에는 딥러닝을 기반으로 한 인페인팅 기술이 다양한 분야에서 사용되고 있습니다. 네이버 파파고 역시 딥러닝 기반의 인페인팅 기술을 사용했고, 고화질 이미지에서 불필요한 개체를 자연스럽게 지우는 편집 과정에서도 딥러닝을 기반으로 한 인페인팅 기술을 사용하고 있다고 하는데요, 만약 딥러닝 기반이 아닐 경우 고화질 이미지의 수정은 불가능하고, 저해상도의 이미지만 가능하다고 하네요.

블루닷 역시 딥러닝 기반의 인페인팅 기술을 활용해 동영상 자막 제거 기술을 개발했습니다. 자막이 포함되어 있는 원본 영상에서 자막을 지우고, 지워진 자막으로 인해 비어 있는 공간을 인공지능 모델이 채워는 방식인데요. 수많은 동영상 데이터로 학습해 자체 제작한 인공지능 모델이 손상된 부분을 완벽하게 복원해줘 자막만 사라진 깨끗한 영상으로 재탄생하게 됩니다.

인페인팅을 활용 기술이 앞으로 더 기대되는 이유

누군가는 ‘자막을 생성하는 것도 아니고, 자막을 제거하는 기술? 그게 과연 필요가 있을까?’라고 생각할 수 있습니다. 물론 최근에는 자막을 저절로 생성해주는 편집 기술이 각광받고 있죠. 그런데 혹시 맨 처음 도입부에서 ‘해외 드라마를 보는 것이 용이해졌다’라는 말 기억하시나요? 우리는 OTT서비스, 유튜브를 통해 쉽게 해외 콘텐츠를 접할 수 있고 이 때문에 많은 콘텐츠 회사에서는 ‘자막 번역’을 위한 팀을 자체적으로 구성하고 있기도 합니다.

수많은 고품질 콘텐츠로 인해 높아진 시청자들의 시청 경험을 만족시키기 위해서는 더 이상 ‘블러’로 처리한 자막 번역은 필요하지 않습니다. CG로 공들여 자막을 번역하는 일을 이유 없이 시작하진 않았겠지요. 자막을 제거하는 일은 결국 시청자들에게 고품질의 콘텐츠를 제공하기 위해 반드시 필요하고, 더 많은 콘텐츠를 더 빠른 시간 내에 번역할 수 있도록 수작업 대신 딥러닝 기반의 기술을 개발해냈습니다.

수많은 동영상 콘텐츠, 그리고 전 세계로 확대된 시청자층. 동영상 제작자들은 오늘도 시청자들을 만족시킬 수 있는 고품질의 콘텐츠를 제작하기 위해 다양한 노력을 하고 있습니다. 기술력 동원은 그들의 노력 중 하나로, 앞으로 더 많은 영상을 효율적으로 제공하기 위해 더욱 많은 기술이 등장하게 될 것입니다.