나. MPEG-4 영상신호압축

(1) MPEG-4 규격

MPEG-4 비주얼 부분에서는 자연영상, CG영상과 같은 영상객체의 부호화 및 복호화 방법, 데이터 포맷의 사양을 규정하고 있으며, 자연영상에서는 종래의 정형형상의 영상에 추가하여 임의형상의 영상에도 적용된다. MPEG-4 비주얼 부분은 객체단위의 부호화, 부호화 효율의 향상, 오류내성의 향상, CG영상 부호화, 객체단위의 Scalability와 같은 5가지 특징이 있다.

MPEG-4에서는 자연영상을 비디오 객체(VO : Video Object)라 하고, 이것은 특정의 시간에 복수의 비디오 객체평면(VOP)으로 구성된다. 즉, VOP는 MPEG-4에서 취급하는 영상 데이터의 기본단위이며, 정형형상의 경우에 VOP는 MPEG-1과 MPEG-2의 프레임 또는 필드에 해당한다. 또한 합성영상의 객체로서 MPEG-4에서는 얼굴 객체, 메쉬 객체, 텍스터 객체가 정의되어 있다.

[그림 1.1-4-1] 비디오 객체 부호화 및 복호화

정형형상 VO의 부호화를 프레임 기반 부호화, 임의형상 VO의 부호화를 객체기반 또는 내용기반 부호화라 부른다. [그림 1.1-4-1]은 비디오 객체 부호화ㆍ복호화의 개념도를 나타낸다. 비디오 객체는 형상과 텍스터로 나뉘어 부호화 되고, 이것들은 움직임 보상 및 예측 부호화를 이용한다.

(가) 정형형상의 비디오 객체 부호화

MPEG-4의 기본 알고리즘은 MPEG-1, MPEG-2와 마찬가지로 DCT 변환과 움직임 보상 및 예측을 조합한 방식을 채택하고 있으며, MPEG-4의 영상부호화는 H.263의 알고리즘에 MPEG-1과 MPEG-2의 우수한 요소기술을 도입하여 완성된 새로운 부호화 기술이다.

기본적인 알고리즘으로서 DCT 변환과 움직임 보상 및 예측을 조합한 방식을 채택하고 있다. 이를 [그림 1.1-4-1]을 이용하여 설명하면, 우선 입력한 VOP를 기본처리 단위인 매크로 블록으로 분할한다. 하나의 매크로 블록은 6개의 블록으로 구성되고, 각 블록에서 대하여 DCT 변환을 실시한 후에 양자화 한다. 양자화된 DCT계수와 양자화폭을 가변장 부호화한다. 이것이 인트라 부호화이다. 이러한 방식으로 부호화된 VOP를 I-VOP라고 한다.

한편, 부호화 대상 매크로 블럭을 포함하는 VOP에 대하여 시간적으로 인접한 별도의 VOP로부터 블록 매칭을 비롯한 움직임 검출방법으로 대상 매크로 블록에 대하여 오차가 가장 적은 예측 매크로 블록을 검출한다. 오차가 가장 적은 예측 매크로 블록으로 움직임을 나타낸 신호가 움직임 벡터이다. 예측 매크로 블록을 생성하기 위하여 참조하는 영상을 참조 VOP라고 부른다. 검출된 움직임 벡터에 기초하여 참조 VOP를 움직임 보상하여 최적의 예측 매크로 블록을 얻는다.

부호화 대상 매크로 블록과 이에 대응하는 예측 매크로 블록과의 차분을 구하여 이 차분신호에 대하여 DCT를 실시한 후, DCT 변환계수를 양자화한다. 양자화된 DCT 계수를 움직임 벡터 및 양자화 폭과 함께 가변장 부호화한다. 이것을 VOP간 부호화 또는 인터 부호화라고 부른다. 인터 부호화에는 영상의 디스플레이 순서에서 앞에 있는 VOP로부터 예측하는 모드와 앞에 있는 VOP와 뒤에 있는 VOP의 양방향으로부터 예측하는 모드가 있다. 전자를 전방 예측, 후자를 양방향 예측이라고 부른다. 전방 예측 부호화된 VOP를 P-VOP, 양방향 예측 부호화된 VOP를 B-VOP라고 부른다.

수신측에서는 압축 부호화된 VOP 데이터를 가변장 복호화한 후에 텍스처 복호화부에서 양자화된 DCT 계수를 역양자화/역DCT해서 차분신호를 복원한다. P-VOP와 B-VOP에서는 움직임 벡터를 기초로 예측 매크로 블록을 얻어 차분신호와 가산함으로써 영상을 재생한다.

(나) 임의형상의 비디오 객체 부호화

MPEG-4에서는 객체단위의 부호화를 실현하고 있다. 객체단위의 부호화를 프레임 단위의 부호화와 구별하기 위하여 임의형상 부호화라고 부르며, 그 영상신호를 임의형상 영상신호라고 부른다. MPEG-4의 임의형상 부호화에서는 과거에 프레임 단위의 부호화에서 발전되어 온 우수한 기술을 유효하게 살리는 것, 프레임 단위 부호화의 하드웨어/소프트웨어 자원을 재이용할 수 있다는 관점을 중시하여 객체단위로 효율성 있게 부호화하기 위하여 프레임 단위 부호화 기술로부터 최소한의 확장이 행해지고 있다.

임의영상의 영상신호는 화소값 신호(휘도신호 및 색차신호), 형상신호, 투과도 신호의 3가지 신호로 구성되어 있다. 더욱이 객체가 불투명하여 객체의 의하여 배경이 완전히 은폐된 경우 객체의 투과도 신호 부호화는 생략된다.

화소값 신호는 프레임 단위 부호화와 마찬가지로 매크로 블록단위로 움직임 보상 부호화가 이루어지며, 움직임 보상오차는 8×8 화소단위로 DCT 변환 후 양자화 및 가변장 부호화되어 전송된다. 단, 부호화되는 것은 객체 내부를 포함하는 블록만이며 표시되지 않는 부분의 화소만 포함하는 블록은 부호화가 생략된다. 또한 객체 경계부분에서는 화소값이 불연속되므로 부호화에 필요한 비트 수가 증가할 뿐만 아니라 링잉(ringing) 왜곡 등 시각적으로 큰 장애가 되는 열화가 발생하기 쉽다. 그래서 부호화 효율과 화질열화를 방지하는 대책으로서 객체 경계부분에서는 패팅이라 하는 평활화 처리가 이루어진다.

형상신호는 각 화소에 대하여 객체 내부 및 외부 중에서 어느쪽에 포함되는지를 나타내는 식별 데이터이다. 객체 내부/외부의 식별은 1비트로 표현할 수 있기 때문에 형상신호는 휘도신호의 각 화소와 1대1로 대응하는 2진 신호로서 규정된다. 더욱이 투명을 0, 불투명을 255로 표현하는 투과도 신호와 정합하기 위하여 형상신호의 2진값으로서 객체내부의 화소를 255, 객체외부의 화소를 0으로 하는 2진값으로 표현된다. 2진신호의 부호화 방법으로서는 팩시밀리에서 사용되는 정지영상의 부호화 방법을 기본으로 하여 매크로 블록 단위로 효율성 있게 부호화하기 위한 기술 및 움직임 보상이 새롭게 도입되고 있다.

투과도 신호는 컴퓨터 그래픽스 세계에서는 알파맵(alpha map)으로 불리고 있다. MPEG-4에서 투과도 신호는 0이 투명, 255가 불투명을 의미하는 0에서 255까지의 8비트로 표현되며, 휘도신호의 각 화소와 1대1로 대응하는 값을 가진다. 따라서 배경의 화소값을 Y_bg, 객체의 화소값을 Y_fg, 객체의 투과도를 G_fg로 하면, 객체를 배경과 합성한 화소의 화소값 Y_COM을 구할 수 있다.

(다) 에러 내성

비디오 부호화의 에러 내성이란 비트 에러를 포함하는 부호화 비트열을 복호할 때 복호 영상의 화질열화를 최소한으로 억제하는 기능을 가리킨다. MPEG-4 비디오의 에러 내성은 주로 이동무선망의 심각한 에러 환경하에서의 비디오 전송을 상정한 기능이다.

기존의 비디오 전송에 통신품질의 보증은 주로 하위계층의 에러정정 및 자동재전송 요구 등에 의하여 실현되고 있었다. 그러나 이동무선망의 심각한 에러 환경에서는 하위계층의 에러 대책만으로 에러없는 전송을 실현하는 것은 극히 곤란함과 동시에 통신품질의 향상에 따라 유효전송대역의 현저한 감소 및 전송지연의 증대를 야기하게 된다.

이와 같은 문제에 대하여 MPEG-4에서는 비디오 부호화가 에러 내성을 갖게 하여 하위계층의 에러대책에 관한 요구를 완화시키고 있으며, 그 결과로 전송대역을 유효하게 사용한 저지연의 비디오 전송이 가능해지고 있다.

일반적으로 에러 내성기술은 전송정보에 의하여 중복성을 부여하며 수신단에서 그 중복성을 이용하여 에러의 검출 및 정정을 가능하게 하는 기술이라고 정의할 수 있다. MPEG-4 비디오의 에러 내성도 기본적으로 동일한 개념에 근거하고 있다.

우선 비디오 신호계열 v(t)=(x₁, x₂, ...... x_t)에 대하여 왜곡 D를 허용하여 부호화를 했을 때의 발생 부호량을 R(D:v(t)+a(bits))로 한다. 여기서 R(D:v(t))는 v(t)에 대한 부호화 왜곡 D를 허용했을 때의 하한 엔트로피를 주는 함수이고, v(t)에 관한 부호화가 이상적으로 이루어질 때의 발생 부호화량과 같다. 한편 a는 중복정보를 부호화 비트열에 잘 배치함에 따라 복호기에서의 비트 에러검출, 에러의 공간적 국소화, 에러 은닉 및 시간적 국소화 등을 실현하고 있다.

(2) MPEG-4 시스템

MPEG-4는 다양한 객체들을 통합한 멀티미디어 부호화 표준으로 기존 MPEG-1, MPEG-2와는 다르다. MPEG-4 시스템 계층도 [그림 1.1-4-2]에서 볼 수 있듯이 MPEG-4 시스템은 장면기술과 다중화의 2계층으로 구성되고, 다중화층 아래에 DMIF (Delivery Multimedia Integration Framework)라 불리는 기존의 전송방식(MPEG-4 시스템에서는 이것을 TransMux라고 부른다.

예를 들면 MPEG-2 TS와 ITU-T H.223 등)과의 인터페이스를 규정하는 층이 있다. 이와 같이 MPEG-4 시스템은 여러 객체(오디오, 동영상, CG, 정지영상을 포함한 넓은 의미에서 미디어 객체)의 부호화 비트스트림의 다중화 및 동기뿐만 아니라, 장면기술에 따른 합성을 취급하는 것이 기존 MPEG-1, MPEG-2와는 다른 점이다.

이를 위해 [그림 1.1-4-2]에 나타낸 것처럼 다중화의 구조를 이미 정한 다중화 스트림 포맷 이외에 미디어 객체의 시공간 관계를 기술한 장면기술 포맷, 장면기술과 미디어 객체의 관련성과 복호에 필요한 정보를 저장하는 객체기술자(Object Descriptor)가 규정되어 있다.

[그림 1.1-4-2] MPEG-4 시스템의 계층도

[그림 1.1-4-3]의 다중화계층(TransMux Layer)에는 MPEG-2 TS, UDP/IP, ATM, PSTN망 등 다양한 전송매체로 전달되어온 MPEG-4 데이터는 DMIF와의 인터페이스를 거쳐 미디어간의 동기화를 담당하는 동기계층(Synchronization Layer)에 전달된다.

[그림 1.1-4-3] MPEG-4 시스템과 MPEG-1, 2 시스템의 비교

동기계층에서는 각 스트림별로 동기화 정보가 들어간 SL 패킷별로 나누어지고, 기초스트림 인터페이스(Elementary Stream Interface)는 각 객체별로 압축계층(Compression Layer)에 전달하는 역할을 담당하고 있다. 압축계층에 전달된 각각의 객체들, 즉 시공간 관계를 기술한 장면기술자, 장면기술과 미디어 객체의 속성을 기술한 객체기술자, 비주얼 및 오디오 데이터들이 복호화 된다. 복호화된 스트림들은 장면 기술자에 의해서 합성(composition)되고 프리젠테이션이 되며, 이러한 기술자들에 의하여 사용자와의 상호작용이 가능하게 된다.

여기서 MPEG-4 단말의 동작을 간단히 기술한다. 단말이라는 용어는 네트워크 접속 단말뿐만 아니라 방송단말 및 저장미디어 재생기를 의미한다.

① DMIF와의 인터페이스에 의한 미디어 객체의 논리 채널 할당 초기화, 각 논리 채널에서는 미디어 객체의 비트스트림 뿐만 아니라 미디어 객체의 위치, 시간 관계를 기술하는 장면기술(Scene Description) 및 객체 기술자라고 불리는 미디어 객체의 제어 정보(부호화 방법, 장면기술과의 대응, 패킷 구성)가 전송된다.

② 미디어 객체의 비트스트림은 객체기술자에 기술되어 있는 페이로드(payload)의 종류에 의해 지정된 복호화 알고리즘(MPEG-4 비주얼, MPEG-4 오디오, CG 텍스트 등)으로 복호된다.

③ 여러 미디어 객체의 시간적, 공간적 관계는 VRML(Virtual Reality Modeling Language)을 확장한 기술인 BIFS(Binary Format for Scene)에 의해 행해진다. 미디어 객체는 장면기술에 의하여 단말 화면상에 합성되어 배치된다. 이것은 합성기(compositor)가 행한다. 넓은 의미에서 VRML 확장에 의한 3차원 장면 공간에 미디어 객체가 매핑되는 것을 의미하고, 장면기술은 동적으로 갱신된다.

(가) 장면 기술(Scene Description)

시청자에게 제시되는 화면의 구성을 장면이라 하는데, MPEG-1, MPEG-2에서는 정형화된 비디오 부호화만을 취급해 왔기 때문에 장면이라는 개념이 없었다. 그러나 MPEG-4에서는 임의의 객체를 부호화할 수 있고, 압축 부호화한 비디오 이외에도 파라미터를 지정하여 생성되는 객체도 취급할 수 있고, 시청자에게 제시되는 화면은 MPEG-2까지의 하나의 비디오로 구성되는 장면에서 복수의 객체를 합성한 장면으로 변할 수 있기 때문에, MPEG-4 시스템에서는 객체의 표시방법과 특성을 지정하기 위해 장면을 기술하는 요소가 필요하다.

여기서 장면이란 한 화면으로 보면 되는데, 이 한 화면 안에는 정지영상, 텍스트, 동영상, 오디오 등 그밖의 여러 미디어 객체가 포함되어 있다. 그래서 이러한 객체들 간의 공간적 위치, 시간적인 관계를 표현하는 장면기술자(Scene Descriptor)가 필요하다. 이를 MPEG-4에서는 BIFS (Binary Format for Scene)로 규격화하고 있다.

애플리케이션에 따라서는 반드시 필요로 하지 않는 노드와 기능이 있다. 예를 들면, 오디오만을 사용하는 애플리케이션에 있어서 화면 변화에 관련된 노드까지 포함하는 것은 합리적이지 않다. 그래서 MPEG-4의 다른 부분과 마찬가지로, 장면기술에 대해서도 프로파일의 개념이 도입되었다. 프로파일은 이후 개선될 가능성도 있지만, 현재는 [표 1.1-4-3]과 같이 설정되어 있다.

[표 1.1-4-3] 장면기술 프로파일

[표 1.1-4-3]의 노드란에 사용되는 오디오 및 비디오와 관련된 노드는 기술되어 있지 않다. 이들 노드는 MPEG-4의 오디오와 비디오 부분에서 정의되는 프로파일에 의존한다. 예를 들면, Complete 프로파일의 경우, 비디오가 코어 프로파일이라면, VideoObject2D, MovieTexture 노드 등이 필요하지만, 얼굴 노드 등 얼굴 몸체 애니메이션을 위한 노드는 필요하지 않다. 한편 Simple FA 프로파일의 경우는 역으로 VideoObject2D 노드 등을 지원하지 않아도 된다.

Simple 프로파일은 구형형상의 비디오와 오디오를 다루는 MPEG-2와 마찬가지로 단순한 장면을 취급하는 애플리케이션을 위한 것이다. Transform2D 노드에서 scaling 및 rotation 필드는 사용할 수 없다. 루트가 없기 때문에 사용자 조작으로 객체의 위치이동은 할 수 없다. 또한 좌표계의 단위는 픽셀에 한정되는 제한이 있다.

2D 프로파일은 2D 장면을 취급하는 애플리케이션을 위한 것이다. Simple 프로파일과 다르게, 여기서는 임의형상의 비디오를 복수 사용하여 고도의 장면을 구성할 수 있다.

VRML과 MPEG-4 둘 다 공통으로 정의되어 있는 노드를 사용하는 VRML 프로파일은 VRML과의 장면 호환성이 필요한 애플리케이션을 위해서 마련되었다. 오디오 프로파일은 오디오만을 취급하는 애플리케이션에서 사용된다. Complete 프로파일에서는 MPEG-4 장면기술에서 제공된 기능 전체를 사용할 수 있다. 가장 고기능이지만 애플리케이션의 복잡성도 비례해서 높아진다.

위의 프로파일 정보는 MPEG-4 시스템 부분에서 정의된 객체 기술자에서 부호화되어 수신단말에 전송된다.

(나) 객체 기술자(Object Descriptor)

장면 기술자는 장면에서 미디어 객체들 간의 시공간적인 관계를 기술한다. 그런데 객체를 기술함에 있어서 오디오, 비디오 객체를 운송하는 기초스트림을 직접 가리키는 것이 아니라 객체기술자라는 개념을 사용한다. 즉, 객체기술자는 객체 속성 자체를 표시하는 기술자이다.

이 개념은 장면구조, 미디어 데이터, 그리고 전송간의 분리를 용이하게 하여 다른 요소에 영향을 미치지 않고도 이들 요소의 변경을 쉽게 할 수 있게 한다. 객체기술자 사용목적은 장면기술에서 사용되는 미디어 객체와 이와 관련된 기초스트림을 확인하여 적절히 연결시켜 주기 위함이다. 이 때 미디어 객체는 객체 기술자 ID라는 10비트 확인자를 사용한다.

객체기술자의 구성에서 중요한 3가지는 객체를 식별하기 위한 ID, ES(Elementary Stream) 기술자, OCI(Object Content Information) 기술자들이다. 이 때 객체기술자 ID는 하나의 MPEG-4 세션(MPEG-2에서는 프로그램에 해당, 즉 한 개의 프로그램에 해당된다)내에서 중복되어서는 안된다.

(다) 초기 객체기술자(Initial Object Descriptor)

MPEG-4 세션에서 최초에 전송되는 데이터로서 초기 액세스 포인터, 즉 장면기술자 스트림이나, 객체기술자 스트림에 대한 정보를 가진 기술자이다. 초기 객체기술자 구조는 기본적으로 객체기술자와 비슷하다. 즉, 복호화에 필요한 객체 정보를 가진 객체기술자와 장면기술자를 가리키는 또 다른 기술자로 적용된다.

객체기술자 스트림의 기초 스트림 기술자는 세션에 비디오 및 오디오 스트림이 포함되지 않는 경우에는 반드시 필요한 것은 아니다. 또한 이 기술자에 동기층은 사용되지 않는다.

수신단말에서는 다음과 같은 순서로 세션 데이터를 얻는다. 첫째, 초기 객체기술자 : SL 패킷화된 장면기술 스트림 및 객체기술자 스트림의 헤더 설정은 이미 알고 있는 것으로 한다. 둘째, BIFS Command, 객체기술자 스트림 : 장면의 구성, 장면에 포함되는 스트림의 종류와 수, SL 패킷화된 스트림의 헤더 설정은 이미 알고 있는 것으로 한다. 셋째, 비디오 및 오디오, BIFS Animation 스트림 : 도중에 장면이 갱신되는 경우, BIFS Command 등의 스트림이 다시 필요해진다. 또 장면중에 Inline 노드가 있을 때, Inline 노드의 URL에는 초기 객체에 기술자가 지정되어 있는 경우가 있다. 이 때 수신단말에서 Inline 노드내의 장면은 별도의 세션으로 정의된다.

(라) 동기층(Sync Layer)

MPEG-4 스트림은 초기 객체기술자를 제외하고 동기층에서 SL 패킷화가 가능하다. 스트림은 액세스 유닛으로 분할된다. 여기서 액세스 유닛이라는 것은 어떤 시간에 표시되는 데이터를 의미한다. 이를 테면, 자연영상의 MPEG-4 스트림에서는 한 개의 VOP(Video Object Plane)가 한 개의 액세스 유닛에 해당한다. 기존 MPEG에서의 액세스 유닛 정의와 동일하다.

SL 패킷은 헤더와 페이로드(payload)로 구성된다. 각 액세스 유닛은 복수의 SL 패킷으로 분할해도 좋지만, 각 액세스 유닛의 선두는 SL 패킷 페이로드의 선두에 놓아야 한다. SL 패킷 길이의 제한은 없지만, 8비트의 정수배가 될 때까지 '0'으로 스터핑(stuffing)한다. 한편 페이로드 길이가 8비트의 정수배가 되지 않는 경우, 페이로드의 마지막을 8비트의 정수배가 될 때까지 0으로 스터핑함과 동시에 헤더에 스터핑 정보를 기술한다. 헤더의 구성은 SL설정 기술자에 의하여 결정되고, 구성 요소에서 주된 것을 설명하면 다음과 같다.

⊙AccessUnitStartFlag와 AccessUnitEndFlag : 페이로드 액세스 유닛의 선두 데이터 및 최종 데이터가 포함되고 있는 것을 보여준다.

⊙RandomAccessPointFlag : 페이로드에 랜덤 액세스 포인트가 포함되어 있는 것을 보여준다. 랜덤 액세스 포인트는 예측 부호화를 행하는 스트림에서 의미가 있다. 인트라 부호화되고 있는 VOP가 랜덤 액세스 포인트가 될 수 있다.

⊙PaddingBits : paddingBits의 존재는 먼저 paddingFlag에 의하여 결정된다. paddingBits가 0일 때, 페이로드는 패딩을 위하여 사용된다. paddingBits가 1 이상일 때, 나타낸 비트수를 페이로드 길이가 8비트의 정수배가 되도록 페이로드의 후미에 삽입한다.

⊙SequenceNumber : SL 패킷마다 한 개씩 증가하는 카운터, 이것과는 별도로 액세스 유닛마다 증가하는 카운터가 정의될 예정이다.

⊙ObjectClockReference(OCR) : 수신단말에서 스트림의 기준 시각인 OTB(Object Time Base)의 재생에 사용한다.

⊙DecodingTimeStamp(DTS)와 CompositionTimeStamp(CTS) : 이 타임 스탬프는 페이로드가 액세스 유닛의 선두부터 시작되는 경우에만 사용된다. DTS는 페이로드에 포함된 액세스 유닛을 SDM(System Decoder Model)에 정의된 복호화 버퍼로부터 소거하는 시간이다. CTS는 Composition 유닛이 SDM에 정의된 Composition 메모리 내에서 유효하게 되는 시간이다.

⊙AccessUnitLength : accessUnitStartFlag가 1인 경우에만 사용할 수 있다. 페이로드에 포함된 액세스 유닛의 크기를 바이트 단위로 지정한다. 액세스 유닛은 복수의 SL 패킷으로 분할되어도 괜찮다.

⊙DegradationPriority : 액세스 유닛마다 우선도의 조정에 이용된다. 이것과 ES 기술자의 streamPriority로부터 액세스 유닛의 우선도가 계산된다. 이 값이 크면 클수록 액세스 유닛의 우선도가 높다는 것을 나타낸다.

(마) FlexMux

FlexMux는 옵션으로서 다수의 스트림을 동시에 다중화할 때 전송 스트림의 오버헤드를 줄이기 위하여 사용되거나 또는 논리 채널의 부족을 보완하는 경우에 사용된다.

[그림 1.1-4-4] 단순모드의 FlexMux 패킷

[그림 1.1-4-5] 다중화 코드 모드의 FlexMux 패킷

FlexMux 패킷은 단순(Simple) 모드와 다중화 코드(MunCode) 모드 두 가지가 있다. [그림 1.1-4-5]에서 알 수 있듯이 다중화 코드 모드는 복수의 SL 패킷을 그것의 페이로드로 갖는 반면 단순 모드에서는 하나의 SL 패킷을 가진다. FlexMux 패킷은 헤더와 페이로드로 구성되고, 헤더는 8비트의 index와 length필드로 구성된다. 여기서 Length는 페이로드의 길이를 나타내고, 페이로드는 반드시 SL 패킷이 선두에서 시작된다. 즉, 페이로드는 완전한 SL 패킷을 포함해야만 한다. 따라서 FlexMux를 사용하는 경우에 SL 패킷 길이는 최대 255바이트로 제한된다.

또한 index가 0-239의 경우는 단순(Simple) 모드가 되며, 240 이상에서는 다중화 코드 모드가 된다. Index는 스트림마다 다른 값이 할당된다. 다중화 코드 모드는 ITU-T H233의 다중화와 유사하다. 페이로드에는 다른 종류의 SL 패킷을 다중화 할 수 있다. 이 경우에도 페이로드 길이는 255바이트 이하가 되어야만 한다. 페이로드의 다중화 패턴은 별도로 전송되는 다중화 코드 테이블(MucCode Mode Table)에 의하여 결정된다.

(바) DMIF(Delivery Multimedia Integration Framework)

오디오 및 비디오의 다중화, 동기재생을 실현하기 위한 Syntax 등은 MPEG 규격의 부분 1에 '시스템'으로서 규정되고 있다. 일반적으로 이들 Syntax는 목적으로 하는 애플리케이션에 의존한다. 예를 들면, MPEG-1은 저장 미디어를 대상으로 한 다중화 Syntax를 규정하고, MPEG-2에서는 이것에 부가하여 방송에 적합한 다중화 포맷을 규격화하고 있다. 한편 MPEG-4는 MPEG-2와는 다르게 애플리케이션에 광범위하게 대응하기 위하여 유연한 패킷화를 규정하며, 다중화는 기본적으로 이미 다른 곳에서 표준화되어 있는 방식(MPEG-2 및 H223, RTP 등, 이것들을 총칭하여 TransMux라고 부른다)을 사용하는 것을 규정하고 있다.

[그림 1.1-4-6] MPEG-4 시스템과 DMIF의 관계

SL 패킷화(FlexMux 패킷화)된 스트림과 TransMux와의 인터페이스를 정의하고, MPEG-4시스템과 TransMux와의 친화성을 갖게 하기 위하여 MPEG-4에서 새롭게 설립된 것이 DMIF(Delivery Multimedia Integration Framework) 또는 delivery 층이라고 불리는 MPEG-4 부분 6이다. [그림 1.1-4-6]에서 알 수 있듯이 DMIF의 역할은 이종의 TransMux가 혼재하는 애플리케이션, 예를 들어, 위성방송의 스트림과 인터넷의 스트림이 혼재한 장면을 구성하는 경우 등에서 특히 중요하다.

DMIF에서는 DMIF기술자, DMIF API(Application Programming Interface), DMIF 시그널링(Signaling) 등을 규정하고 있다.

DMIF 기술자는 dmifDescriptorType과 dmifDescriptorLength로 구성되는 헤더와 데이터부가 있고, 주로 FlexMux에 관한 정보를 전송하기 위하여 사용된다. 주요 기술자들은 FlexMux가 사용되지 않는 것을 나타내는 Bypass FlexMux Descriptor, FlexMux의 index를 기술하는 MPEG-4 Systems FlexMux Descriptor, FlexMux가 다중화 코드 모드를 적용하는 경우의 다중화 코드 모드를 기술하는 MPEG-4 System MuxCode Descriptor 이다.

DMIF API는 액세스 유닛 레이어와 TransMux간의 API(DAI-DMIF Application Interface), DMIF와 기존의 시그널링 프로토콜 간의 API(DNI-DMIF Network Interface)가 있다. DMIF를 사용하는 단말은 DAI Primitive와 DNI Primitive에 대하여 Syntax를 준거할 필요가 있지만, Syntax는 애플리케이션에서 변경이 가능하다.

DMIF 시그널링은 ATM 및 인터넷상에서 DMIF를 이용하는 경우에 상대단말과의 시그널링이 필요하다. 일반적으로 ITU-T Q2931 및 Q2941.1 또는 H245가 사용되지만, 이것들이 사용될 수 없는 경우를 상정하여 DMIF 고유의 메시지(DMIF 메시지) Syntax를 정의하고 있다. DMIF 메시지는 DNI Primitive를 상대단말에 전송하기 위하여 이용된다.