가. 영상신호 압축기술

비디오 및 오디오의 데이터 압축기술에 대한 중요성이 급증하고 있으며, 이를 위해 MPEG(Moving Picture Experts Group)을 중심으로 AV 압축표준에 대한 기술개발이 계속적으로 이루어지고 있다. MPEG 표준은 1992년에 나온 MPEG-1, 1994년에 발표된 MPEG-2, 1994년에 MPEG-4 및 2001년에 나온 MPEG-7의 4가지 종류로 정의되어 있으며, 이들은 각각 탄생배경 및 추구하는 목적을 달리하고 있다.

특히 디지털TV에 적용되는 MPEG-2의 경우, MPEG-2의 표준화 활동은 MPEG-1의 표준화 작업을 성공적으로 마친 1990년 말부터 본격적으로 시작되었다. MPEG-2 표준화 활동은 초기에는 MPEG-1 표준의 경우와 마찬가지로 디지털 저장매체에의 응용을 주요 목표로 삼았으나, 표준화 작업이 진행되면서 디지털 TV나 고선명 TV방송에 대한 요구사항이 추가되어, MPEG-2의 응용분야가 디지털 저장매체는 물론, 통신과 방송을 포함하여 광범위하게 확산되었다.

MPEG-2 표준방식은 여러 분야의 세계적인 전문가들이 치열한 기술적인 경쟁과 상호 보완적인 협력의 작업과정을 거쳐, 1995년 초에 [그림 3.1-3-1]과 같은 주요 부분들이 국제 표준(IS: International Standard)으로 채택되었다.

[그림 3.1-3-1] MPEG-2 인코더 블록도

[그림 3.1-3-2] MPEG-2 디코더 블록도

MPEG-2 표준의 시스템 블록도는 [그림 3.1-3-1] 및 [그림 3.1-2-2]에서와 같이 DCT/IDCT 및 양자화부, 움직임보상부, 포맷 변환부, VLC/VLD부, 제어부 등으로 구성되어 있다.

순수 MPEG-2 시스템부는 국제 MPEG 그룹에 의해 이루어진 원천기술 특허부분에 해당하나, MPEG-2에 관한 총괄적인 부분임으로 외국의 경우가 국내의 경우보다 우세하다. 외국의 경우 필립스사가 HDTV용 MPEG-2 신호처리방법 및 기기(미국 5081531), MPEG 정보변환시스템(미국 5566174), MPEG- 2 신호를 위한 TV장치(유럽 762769) 특허를, AT&T Bell, THOMSON사 등이 DTV를 위한 적응코딩방법(미국 5227878), 압축복원 및 재압축용 MPEG 시스템(미국 5825424), SDTV용 MPEG 인코더 전처리기(미국 6081297), 멀티채널용 비디오 데이터 포맷기(미국 5488431) 등의 특허를 보유하고 있다. 또한 외국기업으로서 국내에 특허출원은 GI사의 HDTV 압축시스템(한국 236153) 및 RCA사의 부호화된 비디오신호의 우선순위 처리장치(한국 290312) 등이 출원 등록되어 있다.

전송 채널이나 레코드 반송파를 통해 고품위 텔레비전 신호를 처리하기 위하여, 텔레비전 영상을 복수의 인접 블록들로 분할하는 단계, 각 블록에서의 움직임 정도를 결정하는 단계, 각 블록을 적어도 세 개의 카테고리 중의 하나로 분류하는 단계, 카테고리에 의해서 결정된 방식으로 각 블록을 처리하는 단계, 제2 카테고리의 블록들에 대한 모션 벡터를 계산하는 단계 및 디지털 데이터 형식으로 모션 정보를 조합하는 단계를 포함하는, 전송 채널이나 레코드 반송파를 통해 고품위 텔레비전 신호를 처리하는 방법(미국 5081531)이 등록되었다.

이미지를 나타내는 텔레비젼 신호의 인코딩 장치에 있어, 텔레비젼 신호에 접속되어 상이한 유형의 압축 비디오 신호 코드워드를 제공하는데, 여기서 각각의 코드워드의 유형은 소정의 계층에 따라 상대적인 중요도를 갖고, 압축 비디오 신호 코드워드는 계층에서의 자신의 상대적 위치에 좌우되어 상위 및 하위 우선순위로 지정되며, 또한 상위 우선순위 코드워드와 하위 우선순위 코드워드를 분리하는 계층내의 경계를 나타내는 우선순위 브레이크 포인트를 제공하는 압축 회로와, 압축 회로에 접속되며, 압축 비디오 신호 코드워드를 전송 블록 페이로드로 분할하고, 전송 블록 헤더 데이타를 제공하며, 전송 블록중 하나에 우선순위 브레이크 포인트가 포함되는 전송 처리기를 포함하는 인코딩 장치(한국 236153)를 개발하여 MPEG형 인코딩된 신호가 지상 HDTV전송에 이용될 경우, 발생되는 데이터 에러 및 신호 훼손이 방지되는 고화질 텔레비젼 압축 시스템을 제공하기도 한다.

가장 간단한 수단을 사용하는 것에 의해 텔레비젼 장치의 편익 범위를 증가시키기 위한 것으로, MPEG-1 타입의 텔레비젼 신호, 즉 MPEG-1로 불리는 표준에 따라 패킷에 배치되어 압축된 신호를 수신하기 위한 수단이 구비되어, 여기서 디멀티플렉서에 MPEG-1 신호를 공급하기 위하여 트랜스포트층과 패킷의 세트, 특히 신호 방식과 클록 회복 신호를 MPEG-2 신호를 시뮬레이트하는 신호의 형태로 변형시키는 마이크로프로세서와 조합된 논리 소자를 포함한 MPEG-2 신호를 위한 텔레비젼 장치 및 집적 회로(유럽 762769)가 제안되었다.

한편, 고화질 이미지를 포함하는 MPEG 코딩된 데이터스트림을 처리하는 시스템으로서, 정보를 나타내는 이미지를 처리하는 MPEG 디코더, MPEG 디코더에 의하여 처리된 정보를 저장하는 메모리, 그 메모리에 의하여 저장된 정보로부터 유도된 이미지 정보를 디스플레이하는 소정 이미지 해상도를 가진 디스플레이 장치 및 디코더에 포함된 정보를 압축하기 위한 데이터 압축기를 포함하며 메모리에 감소된 데이터를 제공하는 데이터 감소 네트워크를 포함하며, 데이터 감소 네트워크에 의하여 감소된 데이터 감소량은 디스플레이 장치의 해상도에 따르도록 한 시스템(미국 5825424)을 개발하여, 비디오 텔레비전 제품에서 메모리를 적절히 관리하여 제조비용을 감소시켰다.

DCT/IDCT 및 양자화부는 외국의 경우 Bell사의 2차원 이산 코사인 프로세서(미국 4791598), Philips사의 변환 부호화를 이용한 텔레비젼 전송 시스템(유럽 286183) 등의 기술이 있다. 앞의 주에서 언급한 바 있듯이 검색키가 디지털 TV로 한정되어 검색하므로 인하여 원천기술보다 특성을 개량한 기술이 상대적으로 많고, 상대적으로 국내의 특허도 많이 추출되었다. 삼성전자의 경우 영상신호부호장치(한국 98408), 2차원 IDCT 프로세서 개발기술(한국 110371) 등이 출원등록되었고, 한국과학기술연구소에서는 파이프라인 분산연산을 이용한 2차원 DCT 변환장치기술(한국 110937) 및 양자화/역양자화 공유처리기(한국 202307) 등의 특허를 보유하고 있다.

제1 N×1 DCT 프로세서, N×N 호환 메모리, 및 제2 N×1 DCT 프로세서를 포함하는 2차원 DCT 프로세서로서, 제1 및 제2 N×1 DCT 프로세서가 입력 N-단계 입력 레지스터와 N-단계 홀딩 레지스터와 홀딩 레지스터에 연결되는 수단과 회로 수단에 연결되는 N RAC들과 N 단계 출력 레지스터와 계산된 N 벡터 내적을 출력 레지스터로 동시에 전달하는 수단을 포함하는 것을 특징으로 하는 DCT 2차원 프로세서(미국 4791598)가 제안되어 단일 칩에서 16×16 이산 코사인 변환(DCT)를 실시간 처리할 수 있는 DCT 2차원 프로세서를 제공하였다.

영상의 성질에 따라 부호화 및 양자화를 적응적으로 수행하여 대역 압축에 의한 양자화의 잡음을 최소화하고 영상의 복원력이 우수한 영상 신호 부호화 장치를 제공하여, 종래의 화상의 국소적 성질만 고려하여 D-VTR과 같은 고정 단위의 목표 정보량으로 영상신호를 압축하여 전송하거나 저장해야 하는 경우 특히, 영상정보의 변동이 심한 변환부와 정보의 변동이 없는 평탄부가 혼재되어 있는 복잡한 영상신호를 처리할 때 평탄부와 변환부가 인접해 있을 경우 화질열화의 개선한 영상신호 부호화장치(한국 98408)도 제안되었다.

종래의 이차원 IDCT 프로세서는 전치 RAM을 사용하므로 처리속도 저하와 칩 크기가 증가되는 문제점이 발생하는 바, 이를 해결하기 위하여 로우-컬럼 분해방법에 의한 N*N매트릭스 입력데이타의 이차원 역이산 코사인 변환(IDCT)프로세서에 있어, 입력 데이타매트릭스의 일차원 IDCT를 실행하기 위한 N*N일차원 IDCT처리장치와, 일차원 IDCT된 매트릭스를 전치시키기 위한 트랜스포져로 구성되며, 일차원 IDCT된 매트릭스의 전치 출력은 N*N 일차원 IDCT처리장치로 루프백 공급되며, 루프백된 일차원 IDCT된 매트릭스의 전치출력은 다시 N*N일차원 IDCT처리장치와 트랜스포져를 거쳐 이차원 IDCT로서 출력되는 이차원 IDCT프로세서(한국 110371)를 개발하여, 분산 연산과 파이프라인 구조를 갖는 고속 이차원 역 이산 코사인 변환 프로세서를 제공하였다.

움직임보상기부에서도 DCT부에서와 마찬가지로 원천기술보다 성능이 개선된 개량기술들이 많이 추출되었으며, 추출된 기술들이 1990년 이전 자료가 많은 것으로 보아 영상에 있어 움직임에 관한 문제가 오래전부터 활발히 제안되었던 것으로 보인다. 외국의 경우 AT&T사, 필립스사, NEC, GENERAL사 등이 움직임검출회로(일본 1772684), 움직임보상 필드보간방법(미국 4771331), 비월주사 DTV용 움직임보상(미국 5093720) 등의 특허가 출원 등록되었고, 국내의 경우는 삼성전자가 영상화면의 움직임벡터 수평신장회로기술(한국 54973), 필드 판별신호발생회로 및 방법기술(한국 219626), 영상 움직임 보상회로(한국 108366) 등의 특허를 보유하고 있다.

색신호가 주파수 다중된 복합 컬러텔레비전 신호에 포함된 움직임 정도를 검출하는 회로와 관련하여, 색신호 극성반전을 행하여 복합 컬러텔레비전 신호의 프레임차 신호를 구하는 수단과, 휘도신호의 고역성분 신호를 구하는 수단과, 프레임차 신호와 고역 휘도신호로부터 움직임 정도를 검출하는 수단을 구비한 움직임 검출회로(일본 1772684)가 개발되어, NTSC 방식 등의 복합 컬러 텔레비전 신호에 대해 정지화상과 동영상을 오류를 적게 구별할 수 있는 움직임 정보에 대응한 신호를 얻을 수 있어 피사체의 움직임 정보를 이용한 각종 처리회로에 적용할 수 있는 움직임 검출회로가 제공되었다.

디지털 텔레비전 시퀀스의 매 두개의 전송된 필드들 사이의 하나 이상의 필드의 모션 보상 필드 삽입 방법을 제공하기 위하여, 큰 변위에 대처하기 위해 계층 구조 변위 평가를 적용하는 단계, 정수 성분으로 변위 벡터를 제공하는 단계 및 대칭화된 모션 보상 반복을 수생하는 단계를 포함하는, 계층 구조 변위 평가기를 사용한 모션 보상 필드 삽입 방법(일본 4771331)이 개발되어, 종래의 텔레비전 시퀀스의 두개의 연속적인 필드 사이에 주어진 임시의 위치에서 하나의 필드를 발생시키는 문제점을 개선되었다.

보다 많은 정도의 데이터 압축을 할 수 있는 교착된 디지털 텔레비전 신호용 모션 보상 시스템과 방법을 제공하기 위해, 기수 필드의 교착된 제1 비디오 프레임을 기수 필드 화소 데이터의 블록으로 다시 분할하는 단계, 우수 필드의 교착된 제1 비디오 프레임을 우수 필드 화소 데이터의 블록으로 다시 분할하는 단계, 다음으로 교착된 기수 필드의 제2 비디오 프레임을 기수 필드 화소 데이터의 블록으로 다시 분할하는 단계, 우수 필드의 교착된 제2 비디오 프레임을 우수 필드 화소 데이터의 블록으로 다시 분할하는 단계, 제2 비디오 프레임으로부터의 화소 데이터의 각 블록을 비교하는 단계 및 예보 에러 신호를 발생시키는 단계를 포함하는, 교착된 디지털 비디오 신호에 대한 모션 보상 코딩 방법(미국 5093720)이 개발되었다.

GA-HDTV는 아날로그 텔레비전과는 신호포맷이 다를 뿐만 아니라 순수하게 디지털 신호로 처리하기 때문에 종래 아날로그 텔레비전에서 사용된 필드 판별신호 발생회로를 GA-HDTV에 그대로 적용하는 것은 불가능하므로, 필드 동기신호를 이용하여 기수 및 우수필드를 판별하기 위한 필드 판별신호를 발생하는 회로 및 방법(한국 219626)이 제안되었다.

VLC/VLD부에서의 핵심 특허는 주로 외국이 보유하고 있으며, Canon사는 VLC 코딩/디코딩 장치 특허(미국 4985700)를, 미츠비시사가 VLC 방법기술(유럽 445727) 특허를, 필립스사는 VLD 디코더기(유럽 812494), THOMSON사는 VLC를 위한 비트 버짓평가방법 및 장치기술(EP 710421, 미국 6023294) 특허들을 보유하고 있다.

종래에는 ROM을 사용해서 코딩 회로나 디코딩 회로를 구성하는 경우 ROM의 필요한 용량이 증가하고 그 회로가 현실적이지 못한 문제점이 있어, 이를 개선하기 위하여, 입력 데이터 워드를 r_max·q(q는 양의 정수) 비트들로 코딩하고 제1 코드 워드를 출력하기 위한 제1 코딩 수단 및 제1 코딩 수단으로부터 출력된 제1 코드 워드를 각각의 r_max 블록으로 분할하고 각각의 블록에서 코드 워드를 코딩하여 제2 코드 워드를 출력하기 위한 제2 코딩 수단을 포함하는, r·n-비트(여기서, 1≤r≤r_max, n은 양의 정수) 데이터 워드를 r·n-비트 코드 워드로 전환하기 위한 가변-길이 코딩 장치(미국 4985700)가 제안되었다.

텔레비젼 신호 등의 아날로그 신호를 디지털 신호로 변환할 때 샘플의 정보 내용에 따라 부호화 비트의 다른 개수를 할당하기 위한 구성으로, 소정의 제1, 제2 및 제3 샘플링 주파수에서 루미네스 신호 및 색조 신호를 샘플링하는 것에 의해 샘플 신호의 소정의 개수를 갖는 블록을 얻는 단계와, 블록 각각에 대하여 DCT를 실행하는 단계와, 각 변수의 절대값을 지시하는 제로 변수 및 S 값을 지시하는 값 R을 얻고, 소정의 변수로 변수를 스캐닝하는 단계와, R 및 S 값의 결합 확률을 계산하는 단계와, 확률을 토대로 R 및 S 값의 결합에 할당된 부호화 비트의 개수를 지사하는 비트맵을 형성하는 단계와, 비트맵에 따라 각 변수를 코딩하는 단계를 포함하는 인코딩 방법(유럽 445727)을 제안한다.

종래의 비트 평가 방법은 시간과 에너지의 손실이 크고, 회로가 매우 복잡하여, 디지털 데이터, 특히 디지털화 텔레비젼 신호를 압축하는 회로에서 가변 워드 길이 인코더를 위한 비트 버드겟 평가 방법 및 장치(유럽 710421)가 등록되었고, 신호의 M 샘플을 나타내는 M 2진 워드로부터 소정의 값을 갖는 소정 순서의 비트 가능성을 제공하는 단계와, 소정의 평가에 해당하는 가능성을 토대로 엔트로피 평가를 실행하는 단계를 포함하는 방법으로 구성되어 있다.

포맷변환기술 특허는 주로 미국과 한국 특허에서 핵심특허들이 많이 추출되었다. 미국의 경우 THOMSON사가 자동영상주사변환기 및 HDTV용 영상 주사 포맷변환기, MPEG-2 변환을 위한 신호처리 및 장치기술 등의 특허(미국 5493413, 미국5530484, 유럽 743791)들을 보유하고 있고, 국내의 경우 LG전자가 영상포맷 변환장치 및 방법, 영상포맷변환을 위한 휘도/색신호 분리회로(한국 166893, 한국 186137) 등의 특허를 소유하고 있다. 최근에 Compaq사가 자동 DTV 데이터 포맷변환기(미국 6192082) 특허를 보유하였다.

제안된 고화질 텔레비전 포맷에 적합한 균일한 비디오 소스를 제공하며 텔레비전 신호를 재생하고 변환시킬 때 영상 정보가 손실되지 않도록 하기 위해, 텔레비전 신호 포맷을 나타내는 입력 데이터를 수용하는 입력 회로, 디지털 저장을 위하여 텔레비전 신호를 적응시키는 어댑터 회로, 디지털 데이터로서 디지털 저장을 위하여 적응된 텔레비전 신호를 저장하는 다수 쌍의 메모리 및 텔레비전 신호를 샘플링하기 위하여 어댑터 회로에 연결되어 샘플링 주파수 신호를 발생시키며, 디지털 비디오 레코더/플레이어에 연결되어 동작 주파수 신호를 발생시키는 발진기 회로를 포함하며, 샘플링 주파수 신호는 텔레비전 신호 포맷을 나타내는 입력 데이터의 함수이며, 샘플링 주파수 신호와 동작 주파수 신호는 디지털 데이터를 양방향으로 변환시키기 위하여 메모리 쌍에 공급되도록 하는 다중 HDTV 포맷 디지털 신호 변환기(미국 5493413)가 제안되었다.

순차주사 형태의 데이터를 비월주사 형태의 데이터로 변환시키고 또는 그 반대로 변환시키며, 이때 인조 잡상이 생기지 않도록 하기 위해, 입력 네트워크와 출력 네트워크사이에 배치되어 순차 포맷 신호를 비월 포맷 신호로 변환하는 제 1변환 경로, 입력 네트워크와 출력 네트워크사이에 배치되어 비월 포맷 신호를 순차 포맷 신호로 변환하는 제 2변환 경로 및 변환 없이 신호를 이송하는 바이패스 경로를 포함하는 고화질 텔레비전 시스템용 이미지 스캐닝 포맷 변환기(미국 5530484)가 등록되었다.

종래의 포맷 변환장치는 휘도와 컬러 신호의 포맷 변환을 달리함으로써 컬러 신호의 포맷 변환시 부가적인 하드웨어가 사용되며 프레임 저장용 메모리가 많이 사용되던 문제점이 있었던 바, 이를 개선하여 GA에서 제안된 6가지의 HD 영상 포맷과 SD 영상 포맷 및 디지털 NTSC 영상 포맷을 720x1280 순차주사 포맷이나 1080x1920 비월주사 포맷으로 변환하는 영상 포맷 변환장치 및 방법(한국 166893)을 제안한 기술도 있다.

DTV 데이터 스트림이 컴퓨터 시스템의 DTV 디코더에 제공될 때, DTV 데이터 스트림이 패리티 데이터를 포함하고 있는지를 알 수 있도록 하기 위해, 직렬 디지털 텔레비전 데이터 스트림을 수신하는 단계, 패리티 데이터가 사기 직렬 디지털 텔레비전 데이터 스트림에 있는 지를 검출하는 단계, 패리티 데이터가 검출되면 제 1 변환 프로토콜에 따라 직렬 디지털 텔레비전 데이터 스트림으로부터 변환된 병렬 디지털 텔레비전 데이터 스트림을 전송하는 단계 및 패리티 데이터가 검출되지 않으면 제 2 변환 프로토콜에 따라 직렬 디지털 텔레비전 데이터 스트림으로부터 변환된 병렬 디지털 텔레비전 데이터 스트림을 전송하는 단계를 포함하는 디지털 텔레비전 데이터 변환 방법(미국 6192082)에 기술이 등록되었다.

나. 음성신호 압축기술

음성신호 압축기술은 미국의 디지털TV에 사용되는 Dolby AC-3방식과 유럽의 DTV에 사용되는 MPEG-2 오디오방식으로 대별된다.

Dolby AC-3 알고리즘은 북미지역의 HDTV 오디오 압축기술의 표준안으로 채택된 적응변환 부호화 방식으로서, 초기에는 영화사운드와 같은 고품위 오디오를 위한 AC-1 방식을 제안하였다. AC-1은 간단한 델타변조를 이용하였으므로 압축비도 2:1정도로 매우 낮았다. 그러나 1989년 간단한 심리음향 모델과 변환부호화를 이용하여 2채널 스테레오 신호만을 대상으로 한 AC-2를, 1991년에는 가변 윈도우를 사용하는 AC-3로 발전하였다. 돌비 AC-3는 각각의 채널이 분리된 5.1 채널 디지털 입체음향을 음성압축하는 기술이다.

일반적인 돌비 프로로직에서는 서라운드 채널에 포함된 4채널의 음향이 형태처리에 의해 두 채널로 녹음되고, 디코더로 재생되는 동안 4개의 채널로 재구성되는데 사용된다. 따라서 돌비 프로로직은 분리된 채널들과 후방채널이 모노인 것을 지원하지 않는다. 그 결과로 돌비 프로로직에서는 전방과 후방 사이에서의 움직임의 음향을 재생성하는 것이 가능하나, 뒷부분의 우측과 좌측 사이에서 재생성하는 것은 불가능하다.

MEPG-2 오디오표준화는 MPEG-2 영상 표준화와 병행하여 진행되었다. MPEG-2 오디오는 1994년 3월 국제 규격안인 DIS(Draft International Standard)를 작성하였고, 1994년 11월 국제규격인 IS(International Standard)를 승인하였다. 그러면서 멀티채널, 멀티링구얼, 저샘플링 주파수 등 세가지 기능이 추가되었다. 멀티채널이란 5채널에 저주파수효과(low frequency effect)의 멀티채널 사운드 부호화가 더해진 것이며, 멀티링구얼(Multilingual)은 7개국어의 부음성이고, 저샘플링 주파수는 16kHz, 22.05kHz, 24kHz의 표본화주파수이다.

이러한 오디오 분야의 특허는 영상관련 특허보다 수적으로 상당히 적은 편이다. 이러한 이유는 오디오 분야 연구의 어려움도 있지만, 원천특허로 만들어진 특허기술을 개선하는 방법이 영상보다는 상당히 적으므로 개선기술의 특허를 출원하기 어렵기 때문이다. 이 분야의 특허 중에 국내에서 보유한 주요 특허로 KBS의 HDTV 오디오 부호화기의 실시간 처리장치 및 방법(한국 294623)과 전자부품연구원의 디지털TV 시스템의 AC-3 오디오 수신장치 및 방법(한국 329830)에 관한 것이 있다. 외국의 경우는 NOKIA사의 개선된 돌비 프로로직 디코더(유럽 630168) 등이 있다.