동영상은 수많은 사진의 집합체로, 빠르게 연속으로 넘어가는 사진을 통해 우리는 움직임을 인지하고, 영상을 시청하게 됩니다. 이 때 연속으로 보여지는 사진 한 장을 ‘프레임’이라고 칭하며, 1초에 몇 프레임이 지나가는지에 따라 ‘30fps’, ‘25fps’로 이야기 하곤 하죠. 그렇다면 영상 1분 당 몇 장의 이미지가 사용되는 걸까요? 30fps 영상을 예로 들어 보자면, 1분에 약 1800장의 이미지를 사용해 영상이 재생되고 있다고 보면 되겠습니다.

압축 기술이 등장한 이유

그래서 동영상의 용량은 거대합니다. FHD 이미지 한 장 당 500KB라고 가정했을 때 1분에 1800장의 이미지가 사용되니 용량은 900MB가 되죠. 특히 영화의 길이가 한 편 당 2시간 정도라고 하면 그 용량은 감당하기 매우 어려워질 것입니다. 그래서 인간은 ‘압축’이라는 기술을 사용합니다. 코덱에 따라 결과가 다를 수 있지만, 압축을 하게 되면 영상의 용량을 100배 이상 줄일 수 있어 1TB의 저장 공간에 1개의 영상만 보관할 수 있었던 것을 200편이 넘는 영상을 저장할 수 있게 되었습니다.

압축의 과정

영상 압축은 다음과 같은 과정으로 이루어지게 됩니다. 먼저 엄청난 용량의 로우 데이터(Raw Data)를 입력하고, 부호화 과정을 지나(=인코딩, encoding) 네트워크를 통해 데이터를 저장 또는 전송해 복호화 과정을 거쳐(=디코딩, Decoding) 출력 데이터로 변환합니다. 부호화와 복호화 과정에서 영상이 압축될 수 있는 이유는 ‘중복된 데이터 제거’ 덕분인데요. 수많은 이미지가 연속으로 등장하면 분명 같은 자리에 같은 화소가 사용되는 경우가 발생하는데, 사람의 육안으로는 이를 구분하기 어렵기 때문에 압축이라는 기술에 의존하게 된 것입니다.

중복되는 데이터를 제거해 영상의 용량을 줄이는 압축 방식은 여러 가지가 있는데요, 대표적으로 다음과 같은 방법이 있습니다.

- 공간적 중복성 제거: 한 프레임 내에서 중복되는 데이터 제거

- 시간적 중복성 제거: 프레임 간 중복되는 데이터 제거

- 통계적 중복성 제거: 데이터의 통계에서 발견되는 중복 제거

- 인지적 능력을 기반으로 한 중복성 제거: 사람의 눈으로 봤을 때 영향을 미치지 않는 데이터 제거

그리고 이번 포스팅에서는, 프레임을 압축하는 ‘공간적 중복성 제거’와 ‘시간적 중복성 제거’ 압축 방식에 대해 다뤄보려고 합니다.

공간적 정보 기반의 압축(Intra-frame coding)

공간적 정보 기반의 압축은 하나의 프레임 내에서 데이터를 제거하는 기법으로, 인트라 프레임 코딩(Intra-frame Coding)이라고 불립니다. 이 방식으로 영상을 압축하게 될 경우 압축을 해야 하는 위치의 인접 픽셀들을 이용해 픽셀값을 예측하고, 예측된 픽셀값와 원본 픽셀값의 차이값 데이터를 선별해 사람의 눈으로 보았을 때 영향을 미치지 않는 수준으로 화소를 제거합니다.

인트라 프레임 압축 방식은 각 프레임이 동일하게 정보를 가지고 있어 압축을 해도 우수한 화질을 유지할 수 있지만 압축 효율이 낮아 데이터를 많이 줄이기는 어렵습니다. 대표적으로 애플에서 개발한 ‘ProRes’ 코덱에서 사용하고 있습니다.

시간적 정보 기반의 압축(Inter-frame coding)

시간적 정보 기반의 압축은 프레임간의 정보를 기반으로 중복되는 데이터를 제거하는 압축 방식으로, 인터 프레임 코딩(Inter-frame Coding)이라고 합니다. 앞서 수많은 이미지가 연속으로 등장하면서 영상을 구성한다고 말씀드렸는데요. 이 때 여러 프레임을 한꺼번에 압축하면 배경, 멈춰 있는 오브젝트 등 연속되는 프레임들 간 유사성이 높은 경우가 많아 중복되는 데이터가 등장하고, 이전 프레임들을 사용하여 현재 프레임의 픽셀값을 다른 프레임에서 예측하고, 앞서 이야기 한 인트라 압축 방법과 유사하게 시청에 영향을 미치지 않는 수준으로 데이터 용량을 줄여 나갑니다. 즉, 현재 압축할 프레임을 기준으로 다음 프레임은 움직임 벡터만 검출해 프레임을 생성합니다.

인터 프레임 압축 방식은 용량에 비해 높은 화질을 구현할 수 있지만 프레임마다 영상에 대한 모든 정보를 가지고 있지 않다 보니 편집 속도가 느리며 기준 프레임의 화질이 좋지 않을 경우 전체적인 영상의 화질이 좋지 않게 나타난다는 단점이 있습니다. 대표적으로 h.264 코덱에서 사용하고 있는 압축 방식입니다.

위 이미지는 인트라 프레임 압축과 인터 프레임 압축을 한눈에 보여주고 있는 이미지입니다. 인트라 프레임 압축의 경우 모든 데이터를 포함하고 있는 프레임을 각각 압축하는 방식이며, 인터 프레임은 하나의 프레임을 기준으로 인접한 프레임 사이의 유사성을 이용해 여러 프레임을 한꺼번에 압축하는 방식으로 진행되고 있습니다.

압축, 그리고 새로운 코덱의 등장

영상에 대한 이해를 돕기 위해 오늘은 두 가지 압축 방식을 소개했습니다. 동영상 시장이 거대해지면서 영상을 즐기기 위해서는 더욱 많은 기술들이 필요해졌기 때문에 압축을 이해하는 것은 매우 중요한데요.

그리고 최근 효율 높은 압축을 구현하는 코덱이 등장하고 있습니다. 블루닷은 다양한 고효율 코덱 중 AOMedia(Alliance for Open Media)가 개발한 산업용 오픈 소스 코덱 ‘AV1’을 기반으로 성능 높은 코덱을 개발했습니다. 블루닷의 AV1 코덱은 압축 효율이 높아 동일 화질일 경우 h.264 코덱에 비해 50% 적은 용량으로 압축할 수 있으며, 빠른 속도로 인코딩 해 네트워크 비용까지 줄여줍니다.

이미 거대해져버린 동영상 시장에서 소비자는 더 높은 화질의 영상을 시청하고자 하며, 영상 공급자들은 소비자들의 높은 시청 수준을 만족시키는 고품질 영상을 효율적인 방법으로 관리하면서 제공하고자 합니다. 그리고 이들의 니즈를 만족시키기 위해 블루닷을 비롯한 수많은 테크 기업들은 앞으로 더 높은 압축률을 구현하는 코덱을 개발하기 위해 꾸준히 연구할 것이며, 더 발전된 기술로 누구나 퀄리티 높은 미디어 콘텐츠를 즐길 수 있는 세상을 만들어 나가려 합니다.