4K 해상도는 빠른 속도로 상용화 되었습니다. 기존에는 커다란 TV 디스플레이에서 시청하기 위해 4K 영상의 선호도가 높아졌다면, 이제는 스마트폰으로도 4K 해상도의 영상을 선호하는 사람들이 많아지면서 점차 해상도에 대한 기준이 높아지고 있는데요. 그런데 영상을 공급하는 입장에서는 빠른 속도의 4K 해상도 상용화가 달갑지 않기도 합니다.

시청자들을 만족시키기 위해 높은 해상도의 영상은 필요하지만, 이로 인해 영상의 데이터가 급증하면서 네트워크 사용량과 저장 비용 등이 부담이 되곤 하거든요. 그래서 오늘은 이러한 문제를 해결하고자 동영상 압축 효율을 높여주는 영상 최적화 AI 모델을 소개하려고 합니다. 이 모델을 사용하면 4K 영상도 부담 없이 제작할 수 있다고 하는데, 어떤 역할을 하는 기술일까요?

영상을 최적화 해주는 동영상 AI

주어진 범위 안에서 최대의 효율을 추구하는 뜻을 지닌 최적화라는 단어를 영상 콘텐츠에 적용하면 영상의 수준을 최대로 높여주면서 시간 및 네트워크와 같은 자원이나 비용 등을 최소화하는 것을 의미할 수 있습니다. 오늘 소개하는 동영상 최적화 AI는 영상 압축 단계에 적용해 영상의 제작 효율을 높여주는 AI로, 동영상 시장이 급격하게 성장하면서 수많은 고해상도 동영상 콘텐츠를 제공해야 하는 미디어 산업에서 주목할만한 기능을 하는 AI 모델이라고 볼 수 있습니다.

위 두 이미지의 차이가 보이시나요? 최적화 AI를 적용하기 전(왼쪽)과 후(오른쪽) 영상의 일부를 캡쳐한 이미지인데요. 눈으로 봤을 때 왼쪽과 오른쪽 이미지의 차이가 거의 나지 않습니다. 두 영상의 화질이 동일해 보여 이를 보다 객관적으로 확인하기 위해 VMAF(넷플릭스에서 개발한 지각적 영상 품질 평가 알고리즘)로 화질을 측정했더니 최적화 AI를 적용하지 않은 영상(왼쪽)이 85.5점, 그리고 영상(오른쪽)이 87.28점으로 약 2점 정도 더 높게 측정되었습니다.

압축 단계에 AI를 적용해 영상을 최적화 하는 기술

앞서 설명한 동영상 최적화 AI는 블루닷이 개발한 동영상 인지 화질 최적화 AI 모델로, ‘DeepField-PQO(Perceptual Quality Optimization)’라는 기술입니다. 인지 화질(사람의 눈으로 봤을 때의 화질)은 그대로 유지하면서, 영상의 비트레이트를 최적화 해 용량을 줄여주는 AI 모델인데요. 덕분에 위 이미지처럼 사람의 눈으로 봤을 때 AI 적용 전과 후의 차이가 거의 나지 않으면서, 두 영상의 용량 차이는 무려 21.5%정도로 발생하고 있습니다. 물론 PQO를 적용한 영상의 용량이 21.5% 더 낮습니다.

기술적인 측면에서 살펴보자면, 블루닷의 ‘DeepField-PQO(이하 PQO)’는 AI 기반의 동영상 전처리 기술로 영상의 인지 화질은 유지하면서 압축에 용이하게 변환해 인코더에 전달하는 기능을 합니다. 때문에 PQO로 영상을 처리한 후 인코딩을 하게 되면 압축 효율이 높아져 영상의 인지 화질은 그대로, 데이터는 원본에 비해 더 낮아집니다. AI를 적용하기 이전에는 영상 프레임 내 화소들에게 이미 정해진 파라미터가 일괄 적용되어 압축 전과 후의 화질과 비트레이트 관계를 고려하지 않은 인코딩이 진행되고, 떄문에 압축 결과물이 만족스럽지 못한 경우가 많았는데요. 하지만 블루닷은 AI를 적용한 전처리 알고리즘을 개발해 입력 영상과 추론 영상(영상 처리 예상 결과)의 지표 및 지각적 유사도, 그리고 압축 시 비트 발생율을 고려해 프레임 내 화소들을 변경해주기 때문에 압축 결과가 훨씬 자연스러워지게 됩니다.

인코딩 전에 영상을 처리하는 AI의 특징

앞서 이야기했듯이, 블루닷의 PQO는 인코딩 전 단계에서 AI가 영상을 처리해 인지 화질은 유지하면서 압축이 용이하도록 만들어줍니다. PQO와 같이 전처리 솔루션의 가장 큰 장점은 ‘어떤 코덱에도 적용할 수 있다.’라는 것이죠. 영상을 제공하는 기업은 각자의 제작 환경에 가장 잘 맞는 코덱을 사용하고 있을 텐데요. 만약 특수한 코덱을 사용할 경우 적용할 수 있는 동영상 기술의 한계에 부딪힐 수 있는 경우가 발생하겠지만 블루닷의 PQO는 인코딩 전단계에서 영상을 처리하기 때문에 인코딩이 가능한 영상이라면 어떤 코덱이든 관계없이 기술을 적용할 수 있습니다.

AV1 코덱을 예로 들어 보겠습니다. AV1 코덱은 압축 효율이 높은 코덱으로 동일 화질 수준에서 h.264보다 용량을 절반으로 줄일 수 있어 넷플릭스를 비롯한 많은 영상 스트리밍 기업이 AV1 코덱을 사용하고 있는데요. AV1은 압축 효율이 좋지만 그만큼 사용되는 CPU의 자원량도 많아 인코딩 속도가 느리고, 높은 네트워크 비용이 발생합니다. 이러한 비용적 부담으로 인해 더 낮은 리소스를 사용하고 싶지만 퀄리티가 떨어질까봐 고민을 할 수 있는데요. 하지만 PQO를 사용하면 리소스로 인해 압축 효율이 낮아지더라도 영상을 전처리하기 때문에 압축 효율을 높일 수 있고, 리소스 사용량도 줄어 압축 속도도 향상시킬 수 있습니다. 이와 같은 원리로 동일한 PPA(Power/Performance/Area) 수준의 하드웨어 인코더에 PQO를 적용하게 되면 많은 피쳐를 구현하지 않더라도 높은 압축 효율로 인코딩이 가능합니다.

하루에도 수많은 영상이 업로드 되고, 또 수많은 시청자들이 영상을 소비하는 가운데 오늘 소개한 동영상 최적화 AI는 영상을 공급하고, 소비하는 사용자들에게 모두 만족을 가져다 줄 수 있는 동영상 기술이 될 것입니다.(특히 4K처럼 고해상도 영상이 상용화된 지금과 같은 시대에서는 더욱이요) 영상의 ‘최적화’로 동영상 인코딩의 최대 효율을 구현할 수 있는 AI 기반 동영상 전처리 기술 ‘DeepField-PQO’가 궁금하다면 아래 사이트를 통해 더 많은 정보를 확인할 수 있습니다.