다. MPEG-7 영상신호압축

세계 각지에서 디지털 형태의 유용한 멀티미디어 정보가 날로 증가하고 있고, 이런 정보의 증가와 함께 그 정보의 사용자 또한 증가하게 되었다. 이미 Yahoo, Alta Vista, Infoseek 등 문자 정보를 기반으로 한 많은 검색 엔진들이 웹 상에서 사용자들에 의해 이용되고 있다. 그러나 오디오/비디오 내용(content)에 대한 정보를 효율적으로 확인한다는 것은 사실상 매우 어렵다. 이들 정보를 일반화하여 표현할 수 있는 묘사방법(description)이 없기 때문이다. 즉 "the Motorbike from Terminator Ⅱ"와 같은 그림을 웹 상에서 효과적으로 검색하는 것은 불가능하다는 것이다. 따라서 내용에 기반한 오디오 및 영상/비디오 검색의 필요성이 대두되었다.

이러한 검색은 현재 다음과 같은 특징을 사용하여 수행된다. 즉, 영상에 등장하는 대상의 색(color), 문양(texture), 그리고 형태(shape)와 같은 특성에 기초하여 멀티미디어 데이터베이스를 검색할 수 있고, 오디오 검색에도 이와 비슷한 방법을 사용할 수 있다. 예를 들면, 노래의 특정 멜로디를 구분하여 원하는 오디오 정보를 검색할 수 있을 것이다.

멀티미디어 데이터의 내용을 검색하는 문제는 DB 복원(retrieval) 응용분야에만 국한되는 것은 아니다. 21세기 디지털 종합방송시대가 도래하면 점점 더 많은 방송채널이 사용됨으로써 원하는 라디오 채널, TV 채널 또는 프로그램을 선택하는 것이 더 어려워졌다는 사실을 들 수 있다.

이러한 문제점들을 해결하기 위해 MPEG-7 방식이 개발되고 있다. 이에 대하여 구체적으로 설명하기에 앞서 필요한 용어 즉, 데이터, 특징(feature), 표현자(descriptor), 표현방법(description scheme), 표현(description), 부호화된 표현(coded description) 등과 같은 것들을 먼저 정의 한다.

데이터는 저장, 부호화, 디스플레이, 전송, 매체, 또는 기술등과 상관없이 MPEG -7을 사용해 표현될 수 있는 멀티미디어 정보를 일컫는다. 이 개념은 문자, 영화, 그리고 다른 매체 즉, MPEG-4 스트림, 비디오 테이프, 문자로된 책을 포괄할 만큼 충분히 광범위하다.

특징은 데이터의 의미를 명료하게 만드는 특성을 말한다. 예를 들어 영상의 컬러 및 형태(shape), 스타일(style), 저자(author) 등을 들 수 있다.

표현자(descriptor : D)는 표현치(representation value)를 하나의 특징에 관련시키기 위한 공식적인 의미론(semantics)으로서 하나의 특징에 대해 다양한 표현이 가능하다. 예를 들어, Duration을 나타내기 위한 시간코드, 컬러를 나타내기 위한 컬러 모멘트와 컬러 히스토그램 등이 있을 수 있다.

표현방법(DS)는 콘텐츠를 모델링하기 위해 둘 이상의 표현(description)과 표현방법(description schemes)의 구조와 그들간의 관계를 정의하며 데이터가 어떻게 표현될 것인지를 특정화 한다. 예를 들면, 어떤 특징이 사용되는가?, 어떤 표현자들이 사용되는가?, 동일한 대상에 어떤 표현자가 적용되는가 등과 같은 표현자들 사이의 관계를 나타낸다. 또한 표현자들 사이의 우선 순위를 나타낸다.

표현(description)은 데이터를 표현하고, 표현방법과 표현자로 구성되는 요소들을 일컫는다. 부호화된 표현은 쉬운 검색과 효율적인 저장 및 전송을 위해 압축된 표현을 말한다.

표현정의 언어(Description Definition Language : DDL)는 표현방법을 나타내기 위한 언어(language)이다. DDL은 현존하는 DS들의 확장과 새로운 DS들이 생성될 수 있도록 한다. [표 1.1-4-4]에는 특징과 그에 대한 표현자를 나타내었다.

현재 세계적으로 사용 가능한 오디오/비디오 정보가 점점 늘어남에 따라 이를 원하는 사용자 또한 증가하게 되었다. 그러나 이러한 정보를 이용하기에 앞서 먼저, 정보가 어디에 위치했는지 알아야 하며, 이를 효과적으로 찾아야 하고(searching), 사용자의 기호를 만족시키는 멀티미디어 데이터를 필터링 하는 것이 필요하다. 약 1년 전에 MPEG은 이러한 문제의 해결책을 제시할 새로운 연구그룹을 조직 운영하기 시작했다. 즉, Multimedia Content Description Interface 일명 MPEG-7이라 불리는 MPEG 그룹의 새로운 멤버는 특히 더욱 많은 데이터 형태를 포함함으로써 현존하는 정보 검색에 활로를 제공하려고 시도하고 있다.

[표 1.1-4-4] 일반적인 특징형태 및 특징 표현자 예

MPEG-7은 조사(searching), 위치(location) 및 필터링(filtering)과 같은 요구조건을 만족시키는 멀티미디어 데이터에 대한 표현을 표준화하며, 이러한 Pull(search/location)과 Push (filtering)에 대한 응용 분야를 지원하게 될 것이다. 즉, MPEG-7은 여러 형태의 멀티미디어 정보를 표현하는데 사용될 표준 표현을 규정하며, 표현의 구조뿐 아니라 이들 사이의 관계 등을 정의하기 위한 방법을 표준화한다. 이러한 표현은 내용 자체와 관련되어 사용자가 관심 있어 하는 자료를 신속하고 효율적으로 검색할 수 있게 도와 줄 것이다. 또한 MPEG-7에서는 표현 구조를 구체화할 수 있는 언어 즉, 표현정의언어도 표준화할 것이다. 이와 관련된 MPEG-7 데이터를 가지는 오디오/비디오 자료는 색인 및 검색이 가능하며, 이러한 자료에는 정지영상, 그래픽, 3D 모델, 오디오, 음성, 비디오 뿐 아니라 이러한 요소들이 어떻게 멀티미디어 표현으로 구성되는가에 대한 정보 즉, 시나리오, 합성정보 등이 포함될 것이다.

다른 MPEG 소그룹과 마찬가지로 MPEG-7은 특정 요구를 만족시키는 오디오/비디오 정보의 표준 표현이다. MPEG-7 표준안은 PCM, MPEG-1, 2, 및 4와 같은 다른 표준 표현을 기반으로 하며, 표준안의 기능 중 하나는 이들의 적절한 부분에 대한 참조를 제공하는 것이다. 예를 들어 MPEG-4에서 사용되는 형태 표현자는 MPEG-7 콘텐츠에 유용하게 사용되며 MPEG-1과 MPEG-2에 사용되는 움직임벡터필드 역시 적용할 수 있다는 것이다.

그러나 MPEG-7은 내용이 코딩되거나 저장되는 방식에 의존하지는 않으며 MPEG-7 표현은 아날로그 영화나 종이에 프린트된 그림에도 적용할 수 있어야 한다. MPEG-7이 자료의 코딩된 표현방식에 의존하지 않는다 하더라도 MPEG-4의 표준안을 사용하면 시ㆍ공간 사이의 어떤 관계를 갖는 객체로써 오디오/비디오 자료를 인코드할 수 있다. MPEG-7에서는 같은 자료라 할지라도 응용 분야에 따라 다른 종류의 특징(feature)을 사용하여 표현될 수 있다.

시각자료의 예를 들어보면, Lower Abstraction Level에서는 형태, 크기, 텍스쳐, 컬러, 움직임, 위치 등의 표현이 있을 수 있다. 오디오의 경우는 키, 분위기, 템퍼변화, 사운드 공간에서의 위치 등이 있다. 가장 높은 레벨에서는 "오른쪽에서 갈색의 개가 짖고 있으며 왼쪽에는 아래쪽으로 떨어지고 있는 푸른색의 공이 있고 배경에는 지나가는 자동차의 소리가 있는 장면"과 같은 의미론적 정보를 포함한다. 이러한 모든 표현들은 물론 효율적인 방법으로 코딩되어야 하고 효율적인 방법으로 검색할 수 있어야 한다. 또한 많은 저레벨 특징들은 모두 자동화된 방법으로 추출할 수 있으나 고레벨 특징과 같은 경우는 사용자와의 상호 작용이 필요하다.

MPEG-7은 내용에 대한 표현 이외에도 형식(form), 자료에 접근하기 위한 조건, 구분(classification), 다른 적절한 자료와의 링크, 콘텐츠 등과 같은 멀티미디어 데이터에 대한 정보를 필요로 한다. 형식(form)은 JPEG, MPEG-2와 같이 사용되는 부호화구조의 형태에 대한 정보, 또는 전체적인 데이터 크기, 이 정보는 사용자가 자료를 읽을 수 있는지 없는지에 대한 정보를 제공한다.

자료 접근을 위한 조건들은 정보에 대한 복사 권한 여부 및 복사 가격에 대한 것이다. 구분(classification)은 Parental Rating을 포함하며 미리 정의된 수많은 그룹(category)에 대한 콘텐츠 분류를 나타낸다.

다른 적절한 자료와의 연계는 사용자가 검색을 빠르게 할 수 있도록 돕는다. 콘텐츠는 기록된 실화의 경우, 그에 대한 상황을 아는 것은 중요하다. 예를 들어 올림픽게임 1996, 200m허들경기의 결승, 주자 등이다.

MPEG-7 데이터는 오디오/비디오 자료와 연관되어 같은 데이터 스트림 혹은 같은 저장 시스템에 물리적으로 위치할 수 있으나 표현은 어느 곳에나 존재 할 수 있다. 내용과 그에 대한 표현은 같이 위치해 있지 않아도 오디오/비디오 자료와 이에 대한 MPEG-7의 표현이 서로 링크되어 이용할 수 있으며 이 링크는 양방향으로 동작해야 한다.

MPEG-7의 표준화 범위는 다음과 같은 것을 규격화 할 것이다.

⊙ 표현방법 및 표현자의 집합

⊙ 특정 표현방법의 언어 즉, 표현정의 언어

⊙ 표현을 부호화하기 위한 방법

MPEG-7은 저장과 배포가 가능하고 실시간이든, 비실시간이든 어느 환경에서나 동작될 수 있는 응용을 논의할 것이다. 이러한 것은 특징추출 및 분석, 표현 및 검색엔진을 포함한다. MPEG-7 표현의 가능성을 극대화하기 위해서는 자동적인 특징추출이 상당히 유용할 것이다.

그러나 자동적인 특징추출이 항상 가능하지는 않다. 즉 추출의 레벨이 높을수록 자동적인 추출은 더 어려워지므로, 사용자와의 상호작용이 가능한 추출도구가 필요할 것이다. 그러나 특징추출 및 검색 엔진은 MPEG-7 표준화의 범주에 속하지 않고 다만 표현 자체만이 범주로 간주될 것이다. 그 이유는 그러한 것들의 규격화가 Interoperability를 위하여 필요하지 않고, 업체간의 경쟁을 위한 여지를 만들 수 있기 때문이다. 분석 및 검색 단계에 대한 규격화를 하지 않는 또 하나의 이유는 이러한 분야에 있어 지속적으로 발전하는 기술을 사용하기 위함이다. 표현자 뿐만 아니라 데이터베이스 구조 또한 최종적인 복구의 성능에 중요한 역할을 한다. 원하는 정보를 빠르고 효과적으로 검색하기 위한 색인 정보는 계층적이거나 상호 연관성 있게 구조화 될 것이다.

MPEG-7의 응용 분야는 다음 두 가지 분야로 구분된다.

⊙ Pull 응용 : 인텍싱(indexing)과 복구(retrieval) 관련. DB 및 오디오/비디오 자료, 웹에 기반한 인터넷 Paradigm (Client가 서버에서 자료요구)

⊙ Push 응용 : 선택과 필터링 관련. 방송, 웹방송. 이 중 특히 방송 기술에 응용될 수 있는 예를 들면, 아래와 같이 나타낼 수 있다.

＊ 디지털 도서관 (도서관에서 책을 찾을 때 영상 목록집을 사용)
＊ 멀티미디어 검색 서비스
＊ 방송 매체 선택 (자신이 원하는 화면이나 음성 등의 라디오 채널, TV채널 등을 선택)
＊ 멀티미디어 편집 등
＊ 저널리즘 (저널리즘은 : 이름, 얼굴, 목소리 등을 사용하여 특정 정치인의 연설을 검색)
＊ 필름, 비디오 및 라디오의 기록

MPEG-7의 Pull 응용의 하나로 예상되는 방송 응용 시나리오는 다음과 같다. 스튜디오는 구매자가 원하는 장면의 비디오 스트림 또는 영상에 관련된 데이터를 채널로 전송해 주어야 하는데, 고객들의 주문에 따라서 전체 비디오를 보내는 경우도 있지만 대부분은 다큐멘터리의 한 부분 또는 광고를 위한 비디오와 같은 비디오 클립(Video Clip)을 구매자에게 보내야 한다. 이런 응용 분야에 있어서 고객들은 자신이 주문하고자 하는 어떤 비디오 클립들을 명확하게 특징지어 조회할 수 있어야 한다. 현존하는 비디오 데이터베이스 상에서 위와 같은 시스템은 각 클립 레벨의 객관적인 특성들을 기초로 할 수 밖에 없다. 또한 고객의 입장에서 하나의 주문을 객관성 있게 규격화하고 이것을 각 데이터베이스에 의뢰할 수 있는 능력 또한 매우 중요하다고 할 수 있다. 이러한 응용의 예로서 하나의 뉴스 프로그램이 다른 제작 프로그램에서 아주 짧은 시간 안에 방영될 수 있도록 분리하는 것이다.

이렇게 영상이나 비디오와 같은 멀티미디어 데이터에 대한 표현자와 표현 구조 등에 대한 MPEG-7 표준화에 참여하고 또한 그와 관련하여 많은 응용물을 개발함으로써 얻어지는 상업적인 가치는 상당히 높을 것으로 본다.

프랑스의 경우를 예를 들어보자. 프랑스에서는 1930년부터 시작된 공영 라디오 방송과 초기 공영 TV 방송의 자료를 INA(Institut National de l'Audiovisuel) 주관으로 모두 가지고 있다. 그 자료에는 800,000개의 라디오 자료와 400,000개의 데이터(Clips), 600,000개의 TV 방송 자료와 300,000개의 방송 데이터가 포함된다. 이는 매년 35,000개의 자료가 쏟아져 나왔다는 것이다. INA는 이들 모든 자료에 대해 연구 또는 교육 목적으로 활용할 수 있도록 허용하고 있다. INA는 효율적인 데이터 검색을 위해 사진, 장면, 그리고 연속물을 기술하는 문자 기반의 내용 묘사 기술을 가지고 있다.

이러한 묘사 방법은 사전적 색인 방법과 동일하다. 또, INA는 1994년 VideoScript, 1997년 Shot Description과 데이터베이스 통합이라는 멀티미디어 색인 방법을 진행하였고, 1999년까지 INTERCOM/DIVAN 프로젝트를 검토하고 있다.

이러한 관점에서 우리가 앞으로 관심을 가져야 할 연구 항목들은 비디오 색인 방법과 다른 표준과의 상호관계, 사전적 색인 용어의 국제적인 용이성, MPEG-7를 인식하는 기계적인 장치, 그리고 데이터 내용과 색인 기술간의 관계 등이다.

결국 현재 방대한 양의 멀티미디어 정보에 대한 효과적인 검색을 위해 현재 많은 국내외 업체들이 MPEG-7의 표준화에 관심을 갖고 다방면의 연구를 진행하고 있다. 특히 IBM, HP, Kodak, Phillips와 같은 미국 회사들은 현재 영상, 비디오를 비롯한 멀티미디어 데이터 처리에 관한 연구 개발을 MPEG-7이 구성되기 전부터 수행 중에 있고 특허도 출원하고 있다. 이러한 세계적인 추세에 발맞추어 국내에서도 표현 등 MPEG-7의 표준화에 대한 연구를 진행하고 특허를 출원하여 MPEG-7 특허에 참여함으로써, 여러 가지의 파급 효과를 얻을 수 있다. 교육적인 측면에서는 국내 학계에 이 분야에 대한 최첨단 기술의 습득 및 개발의 기회를 제공할 뿐 아니라 산업, 경제적인 측면에서도 인터넷을 비롯한 각종 영상 미디어 자료의 검색 분류를 자동화할 수 있는 혁신적인 기술 습득에 유용할 것이다.

특히 방송 분야에 있어, 사용자의 멀티미디어 정보에 대한 요구를 충분히 수용하여 원하는 정보를 신속하고 정확하게 전달할 수 있어야 하므로 이 분야에 대한 기술 축적은 매우 중요하다 하겠다. 방송국의 경우는 충분한 멀티미디어 데이터를 확보하고 있어 멀티미디어 데이터베이스 구축에 유리하므로, 이를 바탕으로 새로운 Descriptor의 개발 등을 통하여 MPEG-7 표준화에 참여하거나 MPEG-7과 관련된 응용 서비스를 개발함으로써 많은 파급 효과를 얻을 수 있을 것으로 기대된다.