비디오 및 오디오의 데이터 압축기술에 대한 중요성이 급증하고 있으며, 이를 위해 MPEG(Moving Picture Experts Group)을 중심으로 AV 압축표준에 대한 기술개발이 계속적으로 이루어지고 있다. MPEG 표준은 1992년에 나온 MPEG-1, 1994년에 발표된 MPEG-2, 1994년에 MPEG-4 및 2001년에 나온 MPEG-7의 4가지 종류로 정의되어 있으며, 이들은 각각 탄생배경 및 추구하는 목적을 달리하고 있다.

MPEG-1 부호화 방식의 목적은 비디오의 디지털화를 지향하는 가전 및 컴퓨터분야의 요구를 배경으로 CD-ROM을 대상으로 유효대역폭인 1.5Mbps 이하의 저장미디어용 멀티미디어 부호화 표준을 정의하는 것이었다. 이 부호화 방식은 저장미디어(digital storage media)를 대상으로 하기 때문에 비디오의 임의의 위치부터 재생할 수 있는 랜덤 액세스 기능을 가능하게 하였고, 화면 포맷은 SIF(source input format)를 따르며, 352×240 화소의 화면크기에 초당 30 프레임이 재생되었다.
따라서 MPEG-1은 비디오-CD, 가정용 게임기, 가라오케 및 네트워크를 통한 동영상 통신용 등에 응용되었다. MPEG-1의 성공적 체험을 기반으로 보다 고화질을 실현하고 방송분야에서의 응용을 목적으로 보다 광범위한 응용을 지향하기 위한 표준에 대한 요구가 발생하였고, 이에 등장한 것이 MPEG-2이다. MPEG-2는 5-10Mbps 정도에서 현행TV 품질을 실현하는 것이었는데, 작업이 진행되면서 4Mbps 정도의 기존TV 화질 정도에서 30Mbps 부근의 HDTV 방송품질 정도까지 포괄하게 되었고, MPEG-1에 대한 호환성을 가지기 때문에 MPEG-2 디코더는 MPEG-1 컨텐츠를 복원할 수 있게 되었다. 따라서 적용분야는 디지털TV의 지상파방송, 위성방송, 케이블TV방송의 표준을 MPEG-2로 채택되었으므로, 방송미디어뿐만 아니라 컴퓨터 통신 및 저장 미디어까지 포괄적으로 수용하게 되었다.

MPEG-2는 주로 방송용에 적합한 고화질 부호화가 목표였기 때문에 보다 고압축률의 부호화 방식에는 대응하지 못했다. 특히 휴대단말의 보급은 휴대용 TV전화의 가능성을 시사하고, 이 목적의 부호화 방식의 표준화로서 MPEG-4가 검토되기 시작하였다. 그 후 MPEG-4는 단지 초저비트율의 기능뿐만 아니라, 당시 폭발적으로 보급되고 있었던 인터넷과 컴퓨터상에서의 멀티미디어 데이터를 자유자재로 취급하기 위한 범용 부호화 표준으로서의 성격을 가지면서 전송 오류에 강하고, 자연 영상 및 오디오뿐만 아니라 합성영상 및 오디오를 부호화 대상으로 취급하게 되었고, 이로 인해 가상현실의 개념이 도입되었다.

따라서 MPEG-4는 수신 단말측에서 다양한 조작이 가능한 객체 부호화방식으로서 부호화하여 전송해야 할 3차원 공간정보를 공간내에 위치하는 사람과 건물 등의 각 객체별로 부호화함으로써 부호화 효율을 높이고 각 객체의 가공 및 편집을 가능하게 하였다. 또한 MPEG-4에서 고려되고 있는 합성영상으로는 얼굴(face) 애니메이션, 몸체(body) 애니메이션, 3D 매쉬(mesh) 등이 있으며, 합성오디오로는 TTS(text to speech), 악보 등이 포함되어 있다.

MPEG-7의 경우 이전의 MPEG 표준들과는 달리, 멀티미디어 데이터의 내용기반 검색을 위한 표현방식을 정의하는 것을 목표로 하고 있다.

가. MPEG-2 영상신호압축

MPEG-2의 표준화 활동은 MPEG-1의 표준화 작업을 성공적으로 마친 1990년 말부터 본격적으로 시작되었다. MPEG-1 표준방식의 목표 전송속도가 초당 1.2Mbits로 제한되어 동영상의 충분한 화질을 제공하기에는 한계가 있기 때문에, 이보다 높은 전송률에서 보다 좋은 화질의 영상을 얻기 위한 새로운 표준방식이 요구되었다.

MPEG-2 표준화 활동은 초기에는 MPEG-1 표준의 경우와 마찬가지로 디지털 저장매체에의 응용을 주요 목표로 삼았으나, 표준화 작업이 진행되면서 디지털 TV나 고선명 TV방송에 대한 요구사항이 추가되어, MPEG-2의 응용분야가 디지털 저장매체는 물론, 통신과 방송을 포함하여 광범위하게 확산되었다.

MPEG-2 표준방식은 여러 분야의 세계적인 전문가들이 치열한 기술적인 경쟁과 상호 보완적인 협력의 작업과정을 거쳐, 1994년 말에 잠정 국제표준(DIS: Draft International Standard)이 만들어지고, 1995년 초에는 그 주요 부분들이 국제 표준(IS: International Standard)으로 채택되었다.

(1) MPEG-2의 구성

MPEG-2 표준도 MPEG-1 표준과 마찬가지로, 다중화 시스템부, 비디오부, 오디오부, 순응 시험부 등 여러 부분으로 구성되어 있다. 다중화 시스템부에서는 압축부호화된 영상신호, 오디오신호의 다중화 및 동기화 방법을 다룬다. 비디오부와 오디오부에서는 각각 영상신호와 오디오 신호를 압축하여 표현하는 방법을 기술한다. 순응 시험부에서는 MPEG-2 표준에 따라 부호화된 비트열의 특성을 판단하거나, MPEG-2 표준에서 규정하는 요구사항을 만족하는지를 검사하는 방법을 기술한다.

최근에는 영상전화나 영상회의를 위한 ITU-T 표준인 H.222및 H.262에서 MPEG-2 표준의 다중화 시스템부 및 비디오부와 각각 동일한 표준을 그대로 선정하였다.

[표 1.1-4-1] MPEG-1과 MPEG-2의 비교

MPEG-2 표준은 기술적으로 H.261 표준과 MPEG-1 표준의 연장선상에 있지만, 기존의 표준들보다 훨씬 다양한 영역에 적용될 수 있으며, HDTV용의 높은 화질의 영상을 제공할 수 있다. [표 1.1-4-1]에서와 같이 MPEG-2 표준은 각 화면을 프레임 단위나 필드 단위로 처리할 수 있으며, 순차주사와 비월주사의 영상도 처리 가능하다. 또한 MPEG-2 표준은 화면의 크기나 프레임율이 다른 경우를 동시에 효율적으로 처리할 수 있는 계층적 분해능력의 특징을 가지고 있어 해상도가 다른 영상들을 동시에 수용하고 재현할 수 있다.

(2) MPEG-2 표준의 기술적 특징

MPEG-2 표준은 여러 응용분야를 고려하여, MPEG-1 표준이 제공하는 기능보다 다양한 부가 기능을 지원한다. 예를 들면, 오디오와 비디오의 계층화, 부호화 및 복호화 지연, 저장 및 전송시의 잡음에 의한 에러 대책, MPEG-1 및 H.261 표준과의 순방향 호환성(Forward Compatibility), 랜덤 엑세스(Random Access) 및 채널 변경(Channel Hopping), 앞/뒤로 가기/정지/빨리 가기 등의 특수 효과, 서라운드 오디오(Surround Audio)를 위한 다채널 음향(Multi-Channel Audio) 및 다국어 음성(Multi Languages) 수용, 여러 프로그램의 다중화(Multiplexing), 암호화(Encryption), 편집 기능, ATM (Asynchronous Transfer Mode) 전송과 같은 가변 데이터율(VBR, Variable Bit Rate) 처리 등을 지원할 수 있다.

MPEG-2 영상 부호화의 이해를 위해 신택스(syntax)구조, 프로파일 밀 레벨, 계층적 분해능력 측면에서 MPEG-2 표준의 기술적 특징을 살펴본다.

(가) 신택스(Syntax) 구조

MPEG-2의 신택스 구조는 구획층, 매크로 구획층, 슬라이스층, 픽처층, GOP, 시퀀스층 등으로 이루어져 있다. 구획층이란 8×8 화소가 하나의 구획을 이루며 DCT변환을 하는 가장 작은 단위를 의미한다. 매크로 구획층은 4:2:0의 표본화 구조를 갖는 경우 4개의 Y 휘도신호 구획과 각각 1개의 CR, CB 색차신호 구획으로 하나의 매크로 구획을 구성하며, 움직임 보상이나 프레임간 예측의 단위로 사용된다.

슬라이스층의 슬라이스 헤더에는 양자화 계단크기의 기준을 나타내는 스케일값 등이 포함되며, 각 매크로 구획마다 예측해가며 부호화하는 직류성분 예측치와 움직임 벡터 예측치의 초기치를 지정한다. 슬라이스는 이와 같이 개시 코드를 갖는 데이터 열 중에 최소단위로 한 개 혹은 복수의 매크로 구획들로 구성되어 있다.

픽처층에는 I, P, B의 3종류 픽처가 있다. I픽처는 다른 프레임간 움직임보상 예측부호화를 하지 않고 프레임내 화소만 이용하여 부호화하고, P픽처는 일방향 예측 프레임으로서 이전 I픽처나 P픽처를 참조 프레임으로 하여 프레임간 움직임보상 예측 부호화를 하며, B픽처는 양방향 예측 프레임으로써 시간적으로 전후에 위치해 있는 I 픽처 또는 P픽처를 참조화면으로 하여 전방, 후방 및 양방향으로 움직임 보상 예측 부호화를 한다. 이때 P픽처는 시간적 상관성과 공간적 상관성을 이용함으로써 I픽처에 비해 압축 효율이 훨씬 높고, B픽처는 P픽처를 이용함으로써 P픽처보다 압축이 높아 I, P, B픽처 중 가장 압축효율이 좋다.

이와 같이 MPEG은 프레임간 예측부호화를 하기 때문에 한 프레임에서 에러가 발생하면 모든 시퀸스 층에 영향을 미치므로, 이를 방지하기 위해 복수개의 프레임들을 일정한 순서대로 형태를 다르게 배열하여 하나의 그룹으로 묶는데 이를 GOP라 한다. 시퀸스층이란 연속 영상의 처음 위치를 나타내는 헤더에는 화면 및 부호화에 관한 화면의 수평/수직 크기, 화소의 종횡비, 픽처율, 전송비트율, VBV(Video Buffering Verifier) 버퍼크기 등 여러 가지 정보가 포함되는 것을 의미한다. 연속 영상은 몇 개의 프레임을 구성하여 하나의 단위로 하는 연속된 GOP 들로 이루어진다.

(나) 프로파일과 레벨

MPEG-2 표준은 다양한 크기의 화면과 다양한 특성에 대응하는 부호화를 위해 SP, MP, SNR, SSP, HP의 5가지 프로파일과 HL, H1440, ML, LL의 4가지 레벨로 분류된다. [표 1.1-4-2]에서와 같이 프로파일의 종류에 따라 부호화의 복잡도가 다를 뿐 아니라 압축 효율, 계층성(scalability) 여부를 결정짓는다.

[표 1.1-4-2] MPEG-2 프로파일과 레벨

먼저 SP(Simple Profile)는 양방향 예측인 B프레임을 사용하지 않으므로 시스템 지연은 작으나, 상대적으로 부호화 효율은 떨어진다. 그러나 복호기 측면에서 하드웨어의 부담이 줄어들기 때문에 경제적인 가격의 수신기를 개발할 수 있다. MP(Main Profile)는 I 및 P프레임 뿐만 아니라 양방향 예측을 하는 B프레임도 함께 사용하며, 대부분의 디지털TV 방송은 MP@ML을 채택하고 있다.

SNRP(SNR scalable Profile)은 2개의 서로 다른 양자화 계단 크기를 적용하여 화질의 SNR이 다른 일반 수준의 화질 성분과 고화질 성분으로 분리하여 전송함으로써 열악한 수신 환경에서도 일반 수준의 화질로 화면을 볼 수 있도록 하거나, 양호한 수신 환경에서는 고화질 성분을 볼 수 있도록 한다.

이 프로파일을 사용하면 디지털 지상파 방송에서 거리가 멀거나 잡음이 심한 곳에서 급격히 화질이 떨어지지 않도록 점진적 열화를 달성할 수 있다. SSP(Spatial Scalable Profile)은 영상의 저해상도 성분과 이를 뺀 나머지 고해상도 성분을 따로 부호화하여 전송함으로써 SDTV로는 저해상도 성분만을, HDTV로는 수신된 두 성분을 함께 복호화하여 완전한 해상도 성분을 얻을 수 있다. HP (High Profile)는 색신호로 인한 화질의 유지를 위해 4:2:2의 영상 데이터를 제공한다.

레벨(level)은 임의의 프로파일에 대해 입력 영상의 크기나 해상도 등의 관련 매개 변수들에 제한 조건을 둔 것으로 기능적으로는 동일하지만 응용분야에 따라 적당한 레벨을 정함으로써 경제적으로 이용할 수 있는 것이다. MPEG-2는 다양한 응용 분야를 대상으로 하기 때문에 서로 다른 프로파일 및 레벨은 서로 호환성을 갖게 하는 것이 중요하다. 즉 동일한 프로파일에서 높은 레벨의 복호기는 낮은 레벨의 부호기로 부호화된 비트스트림(Bit Stream)을 복호할 수 있어야 하며, 동일한 레벨에서도 해당되는 높은 프로파일의 복호기는 낮은 프로파일의 부호기로 부호화된 비트스트림을 복호할 수 있어야 한다.

(다) 계층적 분해능력

계층적 분해능력(scalability)이란 MPEG-2 표준에 도입된 새로운 개념으로서 공간 분해능력(Spatial Scalability), SNR 분해능력(SNR Scalability)과 데이터 분할(Data Partitioning)로 대별된다. MPEG-2의 계층적 분해능력은 디지털 TV와 고선명TV 등 여러 가지 서비스를 동시에 효율적으로 제공할 수 있도록 하는 중요한 기능이다.

공간분해능력을 가지는 부호화방법에서는 화면을 공간해상도(spatial resolution)가 낮은 기본계층(base layer)과 공간해상도가 높은 확장계층(enhancement layer)으로 나누어 처리한다. 기본계층에서는 보통 MPEG-2 부호화 방법을 사용하지만, 확장계층에서는 기본계층에서 얻은 낮은 해상도의 화면으로부터 보간을 이용하여 얻은 영상정보를 원래의 확장계층의 화면에서 제거한 뒤, 남은 예측오류정보에 대하여 이제 적합한 효율적인 부호화방법을 적용한다. 공간분해능력을 사용하면 똑같은 프로그램을 수신 해상도가 다른 디지털TV 수신기와 고선명TV 수신기에 동시에 효율적으로 전송할 수 있는 동시 방송이 가능해 진다.

시간 분해능력은 공간분해능력이 화면의 공간적인 해상도의 차이를 이용하는 반면, 시간적인 해상도의 차이를 이용하는 방법으로서 영상의 프레임 간격을 다르게 하여 계층구조를 형성한다.

SNR 분해능력은 신호대 잡음비 분해능력을 사용하는 것으로서 영상을 화질이 낮은 기본계층과 화질이 높은 상위계층으로 나눈다. 즉, 화질이 다른 두 개의 영상을 동시에 효율적으로 전송하기 위해서는 공간분해능력이나 시간분해능력을 사용할 수 있지만, 신호대 잡음비(SNR:Signal-to-Noise Ratio)분해 능력을 사용하는 것이 더 바람직하다.

일반적으로 데이터 압축률이 작으면 비교적 고화질 영상을 얻을 수 있다. 기본계층은 보통의 MPEG 표준을 이용하여 부호화하고, 상위 계층에서는 원래의 데이터에서 기본계층에서 부호화된 정보를 제거한 오류정보를 좀더 세밀하게 부호화하여 전송한다. SNR 분해능력을 사용하면 화질이 다른 두 종류의 영상을 쉽게 부호화 또는 복호화 할 수 있으며, 전송로에 문제가 생겨 전체 데이터를 전송할 수 없는 경우에도 기본계층의 정보만 사용하여 영상에 관한 전체적인 정보를 복원할 수 있기 때문에 영상이 전혀 나오지 않는 최악의 상황은 방지할 수 있다.

데이터 분할은 전송 특성이 다른 전송로를 이용하여 데이터를 전송하는 방법으로서 포함된 정보의 중요성에 따라 전송해야 할 데이터를 두 개 이상의 부분으로 나누어 중요한 정보 데이터는 전송 특성이 좋은 전송로를 통하여 전송하고, 상대적으로 중요도가 떨어지는 정보는 다른 전송 채널을 통하여 전송한다.