Cinematic Color - VES

Color Science

색 과학에 대한 간략한 소개

1. 색 과학의 정의
색 과학은 물리적 측정과 인간 시각 시스템의 특성화를 결합한 학문입니다.

• 색채계(CIE Colorimetry): 색의 측정과 특성화를 다루는 학문적 기반으로, 색 관리의 주요 개념적 틀을 제공합니다.
• 색 과학은 디스플레이 및 카메라의 특성화와 같은 컴퓨터 그래픽의 기초를 이해하는 데 필수적입니다.

2. 색 관리의 필요성
색 과학이 없다면 디스플레이와 카메라를 특성화하거나 영상의 근본을 이해하는 것이 불가능합니다.

• 스펙트럼 측정, XYZ 색 공간, 색상 외관 모델 등의 기본 개념은 효과적인 색 관리 구현의 기반이 됩니다.
• 색 과학의 전문 용어에 익숙해지는 것은 색 관련 개념을 정밀하게 논의하기 위해 필수적입니다.

3. 스펙트럼에서 시작하는 색 과학

• 색 과학의 연구: 스펙트럼에서 시작
  • 빛의 에너지는 파장의 함수로 측정됩니다.
  • 인간의 시각 시스템은 380nm에서 780nm 사이의 파장에 가장 민감하며, 이 범위는 가시광선으로 알려져 있습니다.
  • 가시광선 중에서도 노란빛-녹색(약 555nm) 영역은 가장 밝고 선명하게 인식됩니다.
  극단적인 파장의 한계
  • 380nm 이하의 자외선(UV)과 780nm 이상의 적외선(IR) 파장은 인간의 눈에 보이지 않습니다.
  • 이러한 파장대의 빛은 아무리 강렬하더라도 검은색으로 인식됩니다.
• 색 과학은 스펙트럼의 이해에서 시작됩니다.

 

인간 시각 시스템과 CIE 색채 일치 함수

1. 삼색성(Trichromacy)
   • 인간 시각 시스템은 정상적인 조건에서 삼색성(Trichromatic)을 가집니다.
   • 색상은 세 가지 변수(빨강, 초록, 파랑)로 완전히 정의할 수 있습니다.
2. CIE 1931 색채 일치 함수
   • 색 과학 커뮤니티는 지각 실험을 통해 세 가지 곡선을 도출했습니다.
   • 이 곡선은 CIE 1931 색채 일치 함수로 알려져 있으며, 스펙트럼 에너지를 색 측정값으로 변환할 수 있도록 합니다.
   • 이러한 곡선은 색 매칭 실험의 결과를 바탕으로 그 형태가 결정됩니다.

   • 

     CIE 1931 색 일치 함수는 분광 에너지 분포를 XYZ로 변환하는 방법입니다. XYZ는 두 분광 분포가 평균 인간 관찰자에게 동일하게 보이는지 예측합니다.

3. 메타머(Metamers)
   • 메타머란 두 가지 서로 다른 스펙트럼이 동일한 XYZ 값으로 통합되어, 같은 시각 조건에서 관찰자에게 동일한 색상으로 보이는 현상을 의미합니다.
   • 즉, 관찰자의 눈에 스펙트럼이 다름에도 불구하고 동일한 색상으로 인식됩니다.

 

CIE XYZ 삼자극값과 휘도(Luminance)

1. CIE XYZ 삼자극값
   • 스펙트럼 분포를 CIE 1931 색채 일치 함수와 통합하면 CIE XYZ 삼자극값이 산출됩니다.
   • 결과값의 개별 구성 요소는 X, Y, Z로 표시됩니다(대문자 표기가 중요함).
2. Y 구성 요소: 휘도(Photopic Luminance)
   • Y 구성 요소는 색채계에서 특별한 의미를 가지며, 이를 휘도 함수라고 합니다.
   • 휘도는 인간의 색 시각 반응을 기준으로 가중치가 부여된 빛 에너지의 총량을 나타내는 스칼라 값입니다.
   • 휘도의 단위는 칸델라 제곱미터당(cd/m²)이며, 비디오 업계에서는 종종 "니트(nits)"로 불립니다.
3. 기존 영화 업계 단위: 푸트램버트(Foot-lamberts)
   • 영화 업계에서는 전통적으로 휘도를 푸트램버트(fL) 단위로 측정합니다.
   • 1 fL = 3.426 cd/m²로 변환됩니다.
4. 변환 기억법
   • 편리한 기억법으로 14.0 fL ≈ 48.0 cd/m²가 성립합니다.
   • 이는 극장용 프로젝터에서 권장되는 표준 화이트 휘도와도 일치합니다.

CIE XYZ 색 공간의 한계

1. 색 외관 모델링의 부족
   • CIE XYZ 색 공간은 **색 외관(color appearance)**을 모델링하지 못합니다.
   • 따라서 색을 지각적으로 어떻게 느낄지를 XYZ 값만으로 예측할 수 없습니다.
2. 색조(Hue) 및 채도(Saturation) 예측 불가
   • 스펙트럼 에너지 분포의 색조(hue)를 정확히 나타내지 못합니다.
   • 샘플이 얼마나 색감이 풍부하거나(colorful) 생동감 있게 보이는지 평가하기에도 적절하지 않습니다.
3. 다양한 관찰 조건에서의 동등성 판단의 한계
   • 관찰 조건이 달라질 때 두 색 스펙트럼을 동일하게 보이게 만드는 방법을 XYZ 값으로 판단할 수 없습니다.
4. 주요 활용 범위
   • 추가적인 처리 없이 XYZ 값만으로는 두 스펙트럼 분포가 구별 가능한지를 예측하는 데만 적합합니다.

xy 색도 좌표는 모든 가능한 광원 스펙트럼을 나타내는 馬蹄形(말굽 모양) 영역을 형성합니다: 말굽 내부: 모든 물리적으로 가능한 통합된 색 스펙트럼 말굽 외부: 비물리적 색 좌표 비물리적 좌표는 수학적으로는 유용하지만 어떤 디스플레이 시스템에서도 실제로 구현될 수 없음

 

가산 색 혼합 디스플레이와 색 공간의 특징

1. 가산 디스플레이 시스템
   • 텔레비전과 같은 가산 디스플레이는 세 가지 기본 색상의 빛을 혼합하여 색을 생성합니다.
   • 적색(Red), 녹색(Green), 청색(Blue)이 주로 사용되며, 이는 가시 색역 대부분을 재현할 수 있기 때문입니다.
   • 재현 가능한 색역은 기본 색상(primary colors)으로 이루어진 삼각형 내부로 정의됩니다.
2. 가시 색역의 한계
   • 말굽 모양의 곡선 경계(가시 색역 전체)를 고려할 때, 세 가지 기본 색상만으로는 전체 가시 색역을 포함할 수 없습니다.
   • 디스플레이 기기의 기본 색상이 말굽 바깥에 위치할 수 없기 때문에, 최근 일부 TV 제조사는 네 번째 기본 색상을 추가하는 실험을 진행 중입니다.
3. 색도도(xy Chromaticity Diagram)의 문제점
   • 색도도는지각적 균일성(perceptual uniformity)이 매우 낮습니다.
     • xy 공간에서 가까운 두 색이 실제로는 매우 다르게 보일 수 있습니다.
     • 반대로, xy 공간에서 멀리 떨어진 두 색이 지각적으로는 거의 구분되지 않을 수 있습니다.
   • 전통적인 색채 교과서에 나오는 MacAdam 타원은 이러한 비균일성을 그래픽적으로 표현한 사례입니다.
     • 예: xy 공간에서 포화된 녹색(saturated green)은 지각적 유사성에 비해 과장되게 표현됩니다.
4. XYZ 및 CIE L*u*v*
   • XYZ 색 공간은 색 외관(color appearance)을 모델링하지 않기 때문에 이러한 비균일성은 당연합니다.
   • CIE L*u*v*는 지각적 균일성을 개선하려고 시도한 색 공간으로, XYZ를 입력으로 사용하여 계산됩니다.
   • 색역을 시각화할 때 uv 플롯이 xy 색도도보다 정보를 더 효과적으로 제공할 수 있습니다.
5. 3차원 색 공간 시각화
   • 색은 본질적으로 3차원적인 개념이기 때문에, 2차원 도표는 종종 오해를 유발할 수 있습니다.
   • XYZ 색 공간의 3D 시각화를 위해 Visualizing the XYZ Color Space [Selan 2005]를 참고할 수 있습니다.

결론
가산 디스플레이의 색 재현 한계와 색 공간의 특성을 이해하려면, 2D 색도도뿐만 아니라 지각적 균일성을 고려한 색 공간(CIE L*u*v*) 및 3D 색 공간 시각화도 활용해야 합니다.

 

 

2-1 Color Encoding, Color Space, and Image States

RGB와 색 인코딩의 개념

1. RGB란 무엇인가?
   • RGB는 빨간색(Red), 초록색(Green), 파란색(Blue) 기본 색상을 가산적으로 혼합하여 다양한 색을 재현하는 색 인코딩 방식입니다.
   • 각 기본 색상의 시각적 외형은 선택된 디스플레이 장치에 따라 결정되며, 이는 일반적으로 색도 좌표(chromaticity coordinates)로 식별됩니다.
2. RGB와 디스플레이 장치
   • 디스플레이에 전달되는 RGB 코드 값은 일반적으로 XYZ로 측정되는 출력 광량과 비선형적인 관계를 가집니다.
     • 이 비선형성은 과거 디스플레이 기술의 한계에서 기인했지만, 오늘날에는 이미지 전송의 코딩 효율성을 높이는 데 유용하게 활용되고 있습니다.
3. RGB 픽셀 값의 단위
   • RGB 픽셀의 단위는 두 가지 방식으로 나타날 수 있습니다.
     • 명시적 단위: 스펙트로라디오미터로 디스플레이에서 방출되는 빛을 측정하여 XYZ cd/m² 단위로 참조 가능.
     • 암시적 단위: 실제 세계와 간접적으로 관련되어, 측정 가능한 물리량으로 변환될 수 있는 수학적 표현. 예: RGB 코드 값이 로그 또는 지수로 표현됨.
4. 컬러 인코딩과 색 공간
   • 컬러 인코딩(color encoding): 측정 가능한 색상 물리량과 이미지 RGB 코드 값 간의 관계를 정의하는 것.
   • 영화 및 컴퓨터 그래픽 분야에서는 이를 색 공간(color space)이라고도 합니다.
   • 디스플레이 기술에서 사용되는 일반적인 색 인코딩에는 sRGB와 DCI-P3가 포함됩니다.

결론
RGB는 디스플레이 장치의 특성에 따라 다양한 색상을 재현하는 방식으로, 이와 관련된 비선형적 관계는 전송 효율성을 높이는 데 기여합니다. 색 공간은 이러한 RGB 코드 값과 물리적 색상 사이의 관계를 정의하며, sRGB나 DCI-P3와 같은 표준화된 색 인코딩 방식을 통해 구현됩니다.

 

2.2. Display-Referred Imagery

디스플레이 기준 이미지(Display-Referred Imagery)

1. 디스플레이 기준 이미지란?
   • 디스플레이 기준 이미지는 특정 디스플레이에서 나타나는 이미지를 기준으로 색을 측정(colorimetry)하여 정의됩니다.
   • 이 디스플레이는 이상화된 표준 디스플레이일 수도 있고, 실제 세계에 존재하는 물리적 디스플레이일 수도 있습니다.
2. RGB와 디스플레이 기준의 연관성
   • "RGB"가 색 측정 기준 없이 일상적으로 사용될 경우(예: 웹 표준), 이는 대부분 디스플레이 기준 이미지를 의미합니다.
3. 디스플레이 기준 이미지를 사용하는 이점
   • 사용자 디스플레이가 기준 디스플레이 정의와 일치한다면, 추가적인 색 변환 없이 화면에 원시 픽셀 값을 정확히 표시할 수 있습니다.
   • 예를 들어, 사용자가 래스터 이미지를 직접 조작하여 이미지를 생성하는 경우, 이는 디스플레이 기준 공간에서 작업하는 것입니다.
4. 디스플레이 기준 이미지의 간단함
   • 색 관리의 간소화로 인해, 디스플레이 기준 색 처리는 데스크톱 출판 애플리케이션에서 기본값으로 선호됩니다.
   • 이는 작업 흐름에서 직관적이고 빠른 결과를 제공하므로, 이미지 생성과 편집에 자주 활용됩니다.

Linearized Display-Referred Imagery

1. RGB 코드 값과 빛의 비례 관계
   • 디스플레이로 전달되는 RGB 코드 값은 방출되는 빛의 에너지와 비례하지 않습니다.
   • 그러나 픽셀 에너지를 유지해야 하는 상황에서는 빛 출력에 비례하는 색 공간에서 작업하는 것이 바람직합니다.
2. 픽셀 에너지 보존의 중요성
   • 안티 앨리어싱 및 이미지 필터링과 같은 작업에서는 픽셀 에너지가 보존되어야 합니다.
   • 이미지 처리 전후의 디스플레이 방출 광 에너지가 동일해야만, 이미지 크기를 조정해도 명도 변화와 같은 왜곡이 발생하지 않습니다.
   • 에너지가 보존되지 않으면 이미지 시퀀스에서 점진적인 명암 변화가 "크롤링(crawling)" 현상을 일으킬 수 있습니다.
3. 디스플레이 선형화의 필요성
   • 디스플레이 기준 이미지를 선형화하려면 디스플레이 기술이 코드 값에 따라 얼마나 많은 빛을 방출하는지를 예측하는 모델을 수립해야 합니다.
   • 일반적으로 디스플레이 응답은 코드 값의 지수(exponent) 함수로 근사될 수 있으며, 이 지수를 디스플레이의 감마(gamma) 라고 합니다.
   • 감마는 지수의 역수로 정의되며, 예를 들어 감마 2.2는 코드 값 0.5를 선형화하면 약 0.2가 됩니다.
4. 감마의 방향성 이해
   • 감마 값을 쉽게 기억하는 방법: 중간 회색의 디스플레이 기준 RGB 값(0.5)은 선형화 시 더 작은 값이 됩니다.
     • 예: RGB 코드 값 0.5(약 128/255)를 감마 2.2로 선형화하면 약 0.2가 됩니다.

정리
디스플레이 기준 이미지를 선형화하면 빛 에너지와 비례하는 색 공간에서 작업할 수 있습니다. 이는 에너지 손실을 방지하고, 이미지 필터링 및 크기 조정 작업에서 품질 저하를 최소화하는 데 필수적입니다. 감마를 통해 디스플레이 응답을 모델링함으로써, 선형화된 작업이 가능해집니다.

 

이득-오프셋-감마(GOG) 근사화는 디스플레이의 색도 성능을 설명합니다: V: 정규화된 입력 장치 코드 값 L: 디스플레이에서 방출되는 정규화된 휘도 GOG 모델은 장치 입력 값이 실제 휘도 출력으로 변환되는 방식을 근사화하는 데 도움을 줍니다

 

감마 함수 사용의 추가 이점

1. 지각적으로 균일한 인코딩 공간 제공
   • 감마 함수는 지각적으로 더 균일한 인코딩 공간을 제공합니다.
   • 이는 디스플레이 링크에서 사용할 수 있는 제한된 비트 수를 보다 효율적으로 활용할 수 있도록 돕습니다.
2. 선형 기술에서도 감마의 유용성
   • DLP 기반 디지털 프로젝터와 같은 선형 기술을 사용하는 장치에서도 감마 값을 인위적으로 적용하는 것이 유용합니다.
   • 이는 디스플레이의 출력 특성을 인간의 시각적 민감도와 더욱 잘 맞추기 위해 필요합니다.
3. 참고 자료
   • 감마와 관련된 자세한 논의는 Charles Poynton의 **Gamma FAQ [Poynton 12]**를 참조하세요.

정리
감마 함수는 디스플레이와 인간 시각 간의 비선형적 관계를 고려하여 효율적인 데이터 인코딩을 가능하게 합니다. 이는 선형 디스플레이 기술에서도 여전히 감마를 유용하게 사용하는 이유를 설명합니다.

 

sRGB

디스플레이 기술에 따른 RGB 차이

1. RGB 코드 값의 차이
   • 디스플레이 기술의 차이로 인해 동일한 RGB 코드 값이 여러 디스플레이에서 다르게 나타납니다.
   • 이로 인해 RGB 이미지를 명확하게 전달하는 데 어려움이 생깁니다.
2. 해결책: sRGB 표준화된 디스플레이
   • 이를 해결하기 위해 sRGB (Standard RGB)라는 표준화된 "이상화된" 디스플레이가 정의되었습니다.
   • sRGB는 "평균적인" RGB 디스플레이의 색상 특성을 정의하며, 하나의 모니터에서 본 이미지가 다른 모니터에서도 동일하게 보이도록 합니다.
3. sRGB의 의도와 효과
   • sRGB의 목적은 표준화된 RGB 디스플레이의 색상 특성을 정의하여 여러 디스플레이 간 일관된 색상 출력을 보장하는 것입니다.
   • 모니터가 sRGB에 맞게 정확히 교정되면, 출력은 재현 가능하고 잘 정의됩니다.
4. 구형 디스플레이와 최신 디스플레이
   • 구형 디스플레이 기술(예: CRT)은 자연스럽게 sRGB 사양에 근접하지만, 최신 디스플레이 기술(예: LCD, OLED)은 이미지 응답 특성이 크게 달라 sRGB 사양을 에뮬레이트하는 옵션을 제공하여 기존 이미지와의 호환성을 유지합니다.

정리
sRGB는 다양한 디스플레이 간 색상 출력을 일관되게 만들기 위한 중요한 표준입니다. 이를 통해 디스플레이 기술의 차이를 극복하고, 다양한 디스플레이 환경에서 일관된 색감을 제공할 수 있습니다.

 

sRGB에서 방출된 빛을 예측하는 단계:
장치 RGB를 선형화된 RGB로 변환 선형 RGB를 변환 행렬을 사용하여 XYZ로 변환
주의: sRGB 전달 함수는 2.4 지수를 사용하지만, 스케일링 및 오프셋 요인으로 인해 [0,1] 범위에서 약 2.2 감마를 근사화합니다.

 

디스플레이 기준 이미지와 CIE XYZ 변환

1. 디스플레이 기준 이미지
   • 디스플레이 기준 이미지는 디스플레이에서 방출되는 빛을 기준으로 정의됩니다.
   • 이로 인해 RGB 값을 CIE XYZ 값으로 변환할 수 있습니다. 예를 들어, 디스플레이의 화이트 포인트와 블랙 포인트를 지정할 수 있습니다.
     • 화이트 포인트는 최대 RGB 값 (예: 8비트 디스플레이에서 255, 255, 255)에 해당하는 실제 세계의 XYZ 값입니다.
     • 블랙 포인트는 최소 RGB 값 (0, 0, 0)에 해당하는 XYZ 값입니다.
2. 동적 범위와 정수 인코딩
   • 디스플레이 기준 이미지의 동적 범위는 잘 정의되어 있습니다. 최소 코드 값과 최대 코드 값이 존재하므로 정수 인코딩은 자연스러운 표현 방식입니다.
   • 8비트 인코딩이 일반적이며, 이는 [0, 255] 범위를 표현할 수 있습니다.
3. 밴딩(Banding) 문제
   • 그러나 고급 디스플레이에서 이상적인 조건에서도 8비트는 **밴딩(밴딩 아티팩트)**을 방지하기에 충분하지 않을 수 있습니다.
   • 밴딩은 특히 회색조 이미지에서 부드러운 그라데이션을 표현할 때 두드러지게 나타나는 아티팩트입니다.
4. 고정밀 디스플레이
   • 이 문제를 해결하기 위해 전문 디스플레이(예: 의료 디스플레이, 전문 색상 작업을 위한 디스플레이)는 10비트 또는 12비트 정밀도를 제공하여 더 높은 색상 정밀도를 제공합니다.

정리
디스플레이 기준 이미지는 RGB 값을 CIE XYZ로 변환하는 것이 가능하며, 이때 동적 범위와 정밀도가 중요한 역할을 합니다. 8비트의 제한을 넘어서기 위해 전문적인 고정밀 디스플레이가 필요할 수 있습니다.

sRGB는 Rec. 709 원색 및 화이트 포인트를 사용하여 삼각형 영역 내의 모든 색상을 재현할 수 있습니다.

 

디스플레이 기준 이미지와 ICC 프로파일 및 전통적인 색상 표현 모델링

1. 디스플레이 기준 이미지와 ICC 프로파일
   • ICC 프로파일은 서로 다른 색 재현을 가진 두 개의 디스플레이 간에 색 표현을 변환하는 데 사용됩니다. 이를 통해 이미지 외관을 유지하며 색상 표현을 변환할 수 있습니다.
   • 또한 디스플레이 캘리브레이션을 위해 ICC 프로파일을 사용하여 디스플레이가 이상적인 캘리브레이션을 재현할 수 있도록 색 변환을 계산할 수 있습니다.
2. 디스플레이 기준 이미지의 색 공간
   • DCI-P3: 디지털 시네마 제작에서 일반적으로 사용되는 색 공간으로, 극장 상영을 위한 색 인코딩에 적합합니다.
     • sRGB는 데스크탑 환경에 적합한 색 인코딩을 사용하지만, DCI-P3는 극장 조도 수준에 적합한 색 인코딩을 사용합니다.
   • X’Y’Z’: 디지털 시네마 배급에서 실제로 사용되는 색 공간으로, XYZ 출력 색상을 감마 인코딩한 버전입니다. 이 색 공간은 디지털 시네마 배급에서 상영을 위한 색 인코딩으로 사용됩니다.

정리
디스플레이 기준 이미지는 다양한 색 공간을 통해 정확한 색상 재현을 목표로 하며, ICC 프로파일을 활용한 색 변환과 디스플레이 캘리브레이션은 중요한 역할을 합니다. DCI-P3와 X’Y’Z’ 같은 색 공간은 디지털 시네마와 극장 상영을 위한 특화된 색상 표준입니다.

 

Limitations of Display-Referred Imagery

1. 디스플레이 기준 이미지와 다이내믹 레인지
   • 디스플레이 기준 이미지는 디스플레이의 다이내믹 레인지에 자연스럽게 의존합니다. 현실 세계는 매우 큰 광도 범위를 가질 수 있지만, 디스플레이 기준 색 공간에서 디스플레이 흰색 이상의 값은 실질적으로 의미가 없습니다.
   • 현실 세계의 다이내믹 레인지와 디스플레이 기술의 다이내믹 레인지 사이의 불일치로 인해, 디스플레이 기준 색 공간에서는 물리 기반 렌더링, 셰이딩, 그리고 합성 작업에 적합하지 않습니다.
2. 디스플레이 기준 색 공간의 제한
   • 디스플레이 기준 색 공간에서 작업하는 것에는 한계가 있지만, 이러한 색 공간은 여전히 파이프라인에서 중요한 역할을 합니다.
   • 특히, 고동적 범위 색 공간에서 작업하는 영화 제작 파이프라인에서도, 언제나 디스플레이 기준 또는 선형화된 디스플레이 기준 이미지를 사용할 수밖에 없는 부분이 존재합니다.

정리
디스플레이 기준 색 공간은 제한적인 다이내믹 레인지로 인해 물리적 기반 작업에는 적합하지 않지만, 여전히 다양한 파이프라인에서 중요한 역할을 하며 상영용 이미지의 생성과 조정을 위한 기본적인 요소로 사용됩니다.

 

2.3 Scene-Referred Imagery

1. 장면 기준 이미지의 정의
   • 장면 기준 이미지(scene-referred imagery)는 실제 세계의 장면 측정값에 비례하는 코드 값을 가진 이미지입니다.
   • 이러한 이미지는 일반적으로 카메라 시스템의 특성화 또는 합성 렌더링을 통해 생성됩니다.
   • 장면 기준 이미지에서는 최대 흰색(absolute maximum white point)이 없으며, 픽셀 값은 캡처 장치의 제약 내에서 임의로 커질 수 있습니다.
2. 선형 이미지 파이프라인
   • 장면 기준 이미지 파이프라인은 본질적으로 선형적입니다. 이는 픽셀 값이 실제 세계의 광자(photon)에 비례하기 때문입니다.
3. 다이내믹 레인지와 "스톱" 개념
   • 실제 세계는 매우 높은 다이내믹 레인지를 가지고 있기 때문에, 빛을 표현할 때 "스톱"(stop) 단위로 이야기하는 것이 유용합니다.
   • "스톱"은 빛의 양을 2배씩 증가시키는 값을 나타냅니다.
   • 스톱 수는 밝기(luminance)를 기준 레벨에 대한 로그 값(base-2 logarithm)으로 계산할 수 있습니다.

결론
장면 기준 이미지는 실제 세계에서의 빛의 특성과 선형적인 관계를 바탕으로 하며, 다이내믹 레인지가 높은 현실을 정확히 반영하기 위해 스톱 단위를 사용하여 빛의 변화를 표현합니다.

 

노출 정지(stops)는 기준 노출 수준과 상대적인 log₂ 값입니다. 상대 비교를 위해서는 어떤 정규화 계수도 충분합니다.

 

장면 기준 노출 값은 종종 정지(stops) 단위로 표현됩니다. 이는 값의 범위가 직접적인 스칼라 비교에 너무 넓기 때문입니다. 예를 들어, 픽셀 휘도를 0.0039 배로 변경하는 것의 의미를 직관적으로 이해하기 어렵습니다. 하지만 같은 비율을 "-8 정지"로 표현하면 예술적으로 더 직관적입니다.

 

현실 세계의 다이내믹 레인지

1. 측정 도구와 다이내믹 레인지
   • 현실 세계에서 스펙트로라디오미터와 같은 도구로 휘도(luminance) 값을 측정하면, 매우 넓은 범위의 값들이 한 장면에서 관찰될 수 있습니다.
   • 예를 들어, 광원(emissive light sources)에 직접 측정기를 겨냥하면 10,000 cd/m²와 같은 큰 값이 가능하고, 만약 태양이 직접 보일 경우 광택 반사(specular reflection)에 의해 해당 값은 6스톱(stops) 이상 더 커질 수 있습니다.
2. 어두운 휘도 값
   • 매우 밝은 장면에서도 어두운 휘도 값이 관찰될 수 있습니다. 이는 재질 특성(material properties), 장면 가림(scene-occlusions), 또는 이 두 가지의 결합 때문입니다.
   • 예를 들어, 어두운 재질(예: 숯)은 들어오는 빛의 일부만 반사하며, 종종 반사율은 3-5% 범위에 해당합니다. 이 반사율을 알베도(albedo)라고 합니다.
3. 복잡한 가림과 물체 특성
   • 조명과 장면 기하학(scene geometry)을 고려할 때, 물체는 그림자를 드리우거나 조명이 장면에서 이동하는 방식을 가릴 수 있습니다.
   • 이로 인해 실제 장면에서는 어두운 값이 매우 밝은 광원보다 1,000배에서 10,000배 더 어두운 경우가 종종 발생할 수 있습니다.

결론
실제 장면에서는 다양한 물체의 재질 특성과 복잡한 가림 현상에 의해 휘도의 범위가 매우 넓어지며, 이로 인해 실제 장면의 다이내믹 레인지는 몇 천 배에서 몇 만 배의 차이를 보일 수 있습니다.

실제 세계의 휘도 값은 백만 대 일(1,000,000:1) 이상의 광역 동적 범위를 가집니다.

 

현실 세계와 장면 참조 이미지의 휘도 특성

1. 최대 휘도의 부재
   • 현실 세계 및 그에 해당하는 장면 참조 이미지(scene-referred imagery)는 최대 휘도(luminance)가 존재하지 않습니다.
   • 이는 디스플레이 참조 이미지(display-referred imagery)와 다릅니다. 디스플레이 시스템에서는 최대 휘도를 쉽게 정의할 수 있지만, 현실 세계에서는 무한히 큰 휘도가 존재할 수 있기 때문에 최대 휘도를 정의하는 것이 불가능합니다.
2. 최소 휘도의 한계
   • 현실 세계에서는 최소 휘도(minimum luminance) 값도 마찬가지로 정의하기 어렵습니다.
   • 일반적인 환경(물리 실험 제외)에서는 빛이 전혀 없는 상황을 만들기 매우 어렵습니다. 보통은 매우 작은 양의 광자(빛의 입자)가 존재하는 상황이 더 일반적입니다.

장면 참조 이미지의 노출 정상화

1. 노출 정상화의 필요성
   • 장면 참조 이미지(scene-referred imagery)를 컴퓨터로 가져올 때, 노출(normalization)을 정상화하는 것이 유용합니다.
   • 예를 들어, 실외 HDR 장면이 실내 장면보다 1000배 더 밝을 수 있지만, 두 이미지를 동일한 전체 강도로 맞추는 것이 유용합니다. 이 과정에서 프레임 내 상대적인 휘도 차이는 유지하면서도, 두 이미지를 동일한 강도로 맞추는 방식입니다.
2. 평균 회색 레벨을 기준으로 한 정상화
   • 절대적인 최대 휘도는 장면마다 다를 수 있으며, 프레임마다 변화할 수 있습니다.
   • 따라서 장면 참조 이미지는 평균 회색 레벨을 기준으로 정상화됩니다. 업계에서는 중간 회색을 0.18로 고정하는 방식이 일반적입니다. 이는 18% 회색 카드의 반사율을 의미합니다.
3. 휘도 값의 의미
   • 회색으로 정상화된 노출에서도, 장면의 많은 부분에서 휘도 값이 1.0을 훨씬 초과하는 경우가 발생할 수 있습니다.
   • 중요한 점은, 휘도 값이 1.0을 초과한다고 해서 특별한 변화가 일어나는 것은 아니라는 점입니다. 장면의 휘도 수준은 재료의 특성과 조명의 조합에 의해 연속적으로 변화합니다.
   • 1.0 이상의 값이 특수성(specularity), 자체 발광 물체(self-luminous objects) 또는 빛의 원천(light sources)을 의미한다고 주장하는 것은 잘못된 해석입니다.

정리
장면 참조 이미지에서는 휘도가 1.0을 초과할 수 있으며, 휘도 값이 1.0을 넘는다고 해서 특정 의미를 부여하는 것은 부적절합니다. 대신, 이미지의 휘도 값은 연속적인 물질 특성과 조명의 결과로 이해해야 합니다.

 

장면 참조 이미지의 동적 범위와 정수 표현

1. 동적 범위와 정수 표현의 문제점
   • 고동적 범위(HDR)의 장면 참조 이미지(scene-referred imagery)에서는 정수 표현(integer representation)이 적합하지 않습니다. 이는 실제 세계의 휘도 수준 분포 때문에 발생합니다. 심지어 회색 정규화를 해도 여전히 문제가 발생합니다.
2. 휘도 분포의 특성
   • 실제 장면의 휘도 분포를 분석해 보면, 어두운 값에 대해 더 높은 정밀도가 필요하고, 밝은 하이라이트에는 더 낮은 정밀도가 필요함을 알 수 있습니다.
   • 예를 들어, 그림자(detail of shadows)를 정확하게 기록할 수 있는 "최소 감지 차이(JND, Just Noticeable Difference)"를 실험적으로 결정한 후, 이 JND를 밝은 픽셀에 적용하면 너무 많은 코드 단계가 필요해지고, 비트가 낭비됩니다.
   • 반대로, 하이라이트에서 적당한 휘도 해상도를 제공하는 선형 라이트 단계 크기를 조정하면, 그림자에 충분한 세부 사항을 제공할 수 없습니다.
3. 정수 표현의 한계
   • 정수 표현(예: 8비트, 10비트 등)은 휘도 수준에 대한 세밀한 조정을 제공하기 어렵습니다. 특히 휘도가 어두운 부분에서는 세밀한 조정이 필요한 반면, 밝은 부분에서는 세밀한 조정이 과도하게 될 수 있기 때문입니다.

결론
장면 참조 이미지에서 정수 표현만으로는 어두운 부분과 밝은 부분 모두에서 적절한 해상도를 제공하는 데 한계가 있습니다. 이를 해결하려면 정밀도를 어두운 부분에 집중하고, 밝은 부분에서는 정밀도를 줄이는 방법이 필요합니다. 이러한 이유로 부동소수점(floating-point) 표현이 고동적 범위 이미지를 처리하는 데 더 적합합니다.

 

부동소수점 표현과 고동적 범위(HDR) 이미지 처리

1. 부동소수점 표현의 장점
   • 부동소수점(floating-point) 표현은 장면 선형 이미지(scene-linear imagery)를 인코딩하는 데 있어 정밀도 문제를 우아하게 해결합니다. 부동소수점은 두 가지 구성 요소로 이루어집니다:
     • "로그" 지수: 큰 범위의 숫자를 다룰 수 있도록 해줍니다.
     • "선형" 분수 스케일링: 작은 값의 정밀도를 보장합니다.
   • 이 혼합된 로그/선형 코딩은 어두운 부분과 밝은 부분에 대해 모두 적절한 정밀도를 제공하며, 장면 참조 이미지를 이상적으로 표현합니다.
2. OpenEXR 및 HDR 이미지 형식
   • OpenEXR은 부동소수점 이미지를 저장하는 데 가장 일반적으로 사용되는 형식으로, 16비트 하프-플로트 형식(half-float format)을 통해 고동적 범위 이미지를 효과적으로 처리할 수 있습니다.
   • OpenEXR은 영화 산업에서 고동적 범위(HDR) 파일 형식을 널리 보급시켰습니다. 하지만 Greg Ward는 훨씬 이전에 HDR 처리 및 디스크 표현에서 중요한 기여를 했습니다. 특히 RGBE 이미지 형식은 고동적 범위 이미지를 처리하는 중요한 방법 중 하나로 알려져 있습니다.

정리
부동소수점 표현은 고동적 범위 이미지를 다룰 때 발생하는 정밀도 문제를 해결할 수 있으며, OpenEXR과 같은 형식이 이를 저장하는 데 널리 사용되고 있습니다. 부동소수점 형식은 어두운 영역과 밝은 영역 모두에서 충분한 정밀도를 유지하면서 실제 장면의 광범위한 휘도 수준을 정확하게 표현할 수 있습니다.

 

Characterizing Cameras

1. 장면 참조 이미지 생성
   • 장면 참조 이미지는 보통 카메라를 알려진 테스트 조건 하에서 설정하여 원본 장면의 선형광(linear light)과 카메라의 RGB 코드 값 간의 관계를 결정하는 방식으로 생성됩니다.
   • 카메라 원시 이미지를 사용하는 것이 가장 좋습니다. 원시 이미지(raw image)는 가장 높은 충실도(fidelity)를 보존하며, 이를 바탕으로 후속 처리를 통해 정확한 장면 참조 이미지를 생성할 수 있습니다.
2. 카메라 보정
   • 카메라의 내부 변환을 "언베이크(un-bake)"하는 곡선이나 조회 테이블(lookup tables)을 제조업체가 제공하는 경우, 카메라를 보정하는 작업이 더 간단해집니다.
   • 새로운 카메라 보정이 필요하거나, 선형화(linearization)가 정확한지 검증해야 할 때의 일반적인 접근 방식은 고정된 광원을 사용하여 카메라 노출을 일정한 f-스톱(increments of f-stops)으로 조정하면서 "노출 스윕(exposure sweep)"을 수행하는 것입니다. 이 방식은 장면 선형 노출과 카메라 RGB 코드 값을 직접적으로 연관시킬 수 있습니다.
3. 채널 독립적 매핑 및 차별화된 채널 응답
   • 카메라의 응답은 보통 채널 독립적으로 1-D 변환(1-D transforms)을 통해 처리됩니다. 그러나 카메라의 응답이 채널마다 다를 수 있습니다. 이 경우에는 두 가지 방법으로 이를 처리할 수 있습니다:
     1. 채널 평균값을 이용해 하나의 변환을 적용하거나
     2. 각 채널에 대해 별도의 1-D 변환을 적용하는 방법입니다.
   • 대개 대부분의 디지털 카메라는 채널 간 응답 곡선이 거의 동일하므로, 세 개의 채널에 대해 단일 매핑을 사용하는 것이 일반적입니다. 그러나 필름 네거티브와 같은 시스템에서는 각 채널에 대해 별도의 곡선을 사용하는 것이 적합합니다.
4. 제조업체 간의 색상 차이 처리
   • 서로 다른 제조업체의 두 카메라가 동일한 장면을 촬영하는 경우, 카메라의 "적절한" 1-D 변환을 사용하더라도 여전히 색상 차이가 발생할 수 있습니다. 이는 각 카메라의 색상 필터나 센서 기술이 다르기 때문입니다.
   • 이러한 차이를 해결하기 위해 색상 패치를 촬영하고, 이를 기반으로 3x3 행렬 변환을 사용하여 장비 간 색상 차이를 최소화할 수 있습니다.
   • 이때 유용한 참조는 Macbeth 차트입니다. 이 차트는 표준화된 색상 패치를 제공하며, 각 패치에는 정확한 반사율이 기록되어 있어 색상 매칭을 더 정확하게 할 수 있습니다.

정리
카메라로부터 장면 참조 이미지를 생성하려면 선형화와 보정이 중요하며, 카메라 제조업체가 제공하는 보정 데이터를 활용하는 것이 가장 효율적입니다. 카메라의 색상 응답 특성에 따라 채널 독립적 또는 별도의 채널 변환을 사용하고, 장비 간 색상 차이를 최소화하려면 3x3 행렬 변환을 통해 색상 일치를 맞출 수 있습니다.

Macbeth 색상 검사표는 카메라 특성을 검증하는 데 일반적으로 사용됩니다. 패치들은 알려진 반사율 값을 가지고 있으며, X-Rite에서 제공한 이미지입니다.

 

카메라 선형화 및 최저 코드 값에 대한 논의

1. 카메라 선형화에서 최저 코드 값 처리
   • 카메라 선형화(linearization)는 매우 어두운 부분에서 어떻게 처리할지에 대한 철학적인 차이를 포함하고 있습니다. 두 가지 주요 접근 방식이 있습니다:
     1. "진정한 블랙(true black)"을 나타내도록 설정하여, 최저 카메라 코드 값이 0.000 (선형 이미지에서의 진정한 블랙)을 의미하도록 하는 접근법.
     2. 작지만 양의 선형 광량을 나타내도록 설정하여, 최저 카메라 코드 값이 매우 작은 양의 선형 광량을 나타내도록 하는 접근법.
2. 센서 노이즈 및 필름 그레인 문제
   • 카메라 시스템에서 블랙을 캡처할 때, 특히 노이즈나 필름 그레인이 포함되어 있을 경우 이 문제는 더욱 복잡해집니다.
   • 진정한 블랙을 사용하면, 선형화된 노이즈가 작고 긍정적인 선형 광량이 될 수 있고, 다른 부분의 노이즈는 작고 부정적인 선형 광량이 될 수 있습니다. 이러한 부정적인 선형 값을 보존하는 것이 중요합니다. 이는 정확한 평균 블랙 레벨을 유지하는 데 필요합니다.
   • 반대로, 모든 센서 블랙을 작은 양의 양의 선형 광량으로 매핑하는 접근법을 취하면, 부정적인 선형 값을 처리하는 문제를 우아하게 피할 수 있습니다.
3. 산업 내의 의견 차이
   • 이 문제에 대해 색상 커뮤니티 내에서 강력하게 의견이 분열되고 있으며, 각 커뮤니티의 선호도는 전통적인 워크플로에 따라 다릅니다.
   • 영화 촬영에 익숙한 사람들은 블랙을 양의 선형 광량으로 매핑하는 방식을 선호하는 경향이 있고, 비디오 기술에 익숙한 사람들은 "진정한 블랙" 선형화를 선호합니다.

정리

카메라 선형화에서의 블랙 처리 문제는 매우 중요한 요소이며, 이 처리 방식이 선형 이미지의 정확성과 센서 노이즈/필름 그레인의 보존에 영향을 미칩니다. 이를 결정하는 철학적 차이는 영화와 비디오 기술을 비롯한 다양한 워크플로에 따라 다르며, 각 방식은 특정 상황에서 더 적합할 수 있습니다.

Displaying Scene-Referred Imagery

장면-참조 이미지를 디스플레이에서 재현하는 복잡성: 톤 맵핑

1. 장면-참조 이미지와 디스플레이의 다이내믹 레인지 차이
   • 장면-참조(scene-referred) 이미지는 실제 장면의 물리적 조도나 색상 정보를 반영한 이미지로, HDR(고휘도 범위) 이미지 처리에 자연스럽게 사용됩니다.
   • 하지만 대부분의 디스플레이는 상대적으로 낮은 LDR(저휘도 범위)만을 재현할 수 있기 때문에, HDR 이미지를 LDR 디스플레이에서 정확하게 재현하는 것은 어려운 문제입니다.
   • 처음에는 장면-선형 이미지를 디스플레이-선형 이미지로 직접 매핑하는 것이 적합해 보일 수 있지만, 실제로는 결과가 불쾌한 경우가 많습니다.
2. 톤 맵핑 (Tone Mapping)
   • HDR 이미지의 톤 맵핑(tone mapping)은 고휘도 범위의 이미지를 저휘도 범위의 디스플레이에서 보기 좋게 재현하는 과정을 의미하며, 이는 디지털 영화 분야를 포함한 많은 색상 관리 및 이미지 처리 분야에서 활발히 연구되고 있습니다.
   • 톤 맵핑은 과도한 명도 차이를 조정하고, 어두운 부분과 밝은 부분의 세부 사항을 유지하면서 디스플레이 가능한 범위에 맞추는 작업입니다.
   • 놀랍게도, 많은 pleasing한 톤 렌더링 변환들이 유사한 형태의 변환을 사용한다는 것이 흥미롭습니다. 즉, 각기 다른 HDR 데이터를 LDR로 변환하는 여러 방법들이 있지만, 디자인 과정에서 공통적인 요소들이 존재하며, 그 요소들이 보기 좋은 이미지를 만드는 데 기여하는 것입니다.
3. 변환 과정의 수렴
   • 톤 맵핑을 설계할 때, 여러 변환 과정에서 수렴(convergence)이 일어나는 현상을 볼 수 있습니다. 이러한 변환들은 고휘도 데이터를 저휘도 범위로 변환할 때 시각적으로 만족스러운 결과를 도출하는 과정에서 자연스럽게 발생합니다. 이를 통해 보다 자연스러운 이미지를 얻을 수 있습니다.

정리

• 톤 맵핑은 HDR 데이터를 LDR 디스플레이에서 재현하는 데 필수적인 기술입니다. 이 과정에서 여러 수렴적인 변환들이 고휘도 이미지의 조명 및 색상 정보를 보여주기 좋게 만드는데 중요한 역할을 합니다.

 

톤 렌더링에서의 기본적인 접근법

1. 중간 회색 노출을 중앙 값으로 매핑
   • 대부분의 톤 렌더링은 전통적인 장면 회색 노출 값을 출력 디스플레이의 중앙 값에 매핑하는 방식으로 시작합니다. 이를 통해 장면의 중간 톤이 디스플레이에서 잘 나타나도록 조정합니다.
2. 디스플레이 선형 이미지로의 직접 매핑의 문제점
   • 장면 선형 이미지(scene-linear image)를 디스플레이 선형(display-linear)로 직접 매핑하면, 저휘도 환경에서 명암 대비가 낮은 이미지가 생성됩니다. 이는 디스플레이 주변 환경에 의한 효과로, 충분한 대비를 제공하지 못하기 때문입니다.
3. 명암 대비를 높이기 위한 재구성 기울기
   • 이를 해결하기 위해, 중간 톤 대비를 강화하기 위해 1:1 이상의 기울기를 추가하여 이미지를 조정합니다. 이로 인해 중간 톤에서의 대비가 향상되며, 이미지가 더 생동감 있게 보입니다.
4. 하이라이트와 섀도우의 세부사항을 보존하기 위한 롤오프
   • 하지만, 대비를 증가시키면 섀도우와 하이라이트가 심하게 클리핑되므로, 하이라이트와 섀도우의 세부사항이 손실되지 않도록 하기 위해 1:1 이하의 롤오프를 적용하여 부드러운 전환을 유도합니다. 이 롤오프는 이미지의 극단적인 부분에서 대비를 낮추어, 하이라이트와 섀도우 영역에서의 부드러운 세부 표현을 보존합니다.
5. 최종적인 톤 렌더링 커브
   • 이 과정을 통해 얻어진 최종 커브는 S자 형태를 가지게 됩니다. 중간 부분은 고대비, 극단적인 부분은 저대비로 설정되어, 결과적으로 부드럽고 자연스러운 전환을 제공합니다.

정리

• 톤 렌더링에서의 핵심은 중간 톤의 명암 대비를 높이고, 하이라이트와 섀도우의 세부사항을 부드럽게 보존하는 것입니다. 이를 위해 재구성 기울기와 롤오프를 적용하여, 최종적으로 S자 형태의 커브를 만들어 자연스러운 톤을 얻을 수 있습니다.

"S자형" 곡선은 전통적으로 장면 기준 HDR 색도를 저 동적 범위 디스플레이에 적합한 이미지로 톤 렌더링하는 데 사용됩니다. 입력 축: 장면-선형 픽셀의 log₂ 출력 축: 교정된 sRGB 디스플레이의 코드 값

 

디지털 및 필름 이미지 파이프라인에서의 유사성

1. “S자 형태”의 전송 곡선
   • 장면 선형(scene-linear)에서 디스플레이 선형(display-linear)로의 최종 전송 곡선은 기술 간에 매우 일관성이 있습니다. 디지털 이미지 파이프라인과 필름 이미징 파이프라인 모두 대체로 일치하는 전송 곡선을 갖습니다. 이는 두 기술 모두 쾌적한 톤 변환을 제공한다는 점에서 놀라운 일치성을 보입니다.
2. 필름 색상 프로세스의 특성
   • 필름의 네거티브에서 프린트로의 색상 프로세스를 살펴보면, 그것이 거의 “S자 형태의 전송 곡선"을 정확히 재현한다는 점에서 놀라운 결과를 제공합니다. 필름은 유한한 동적 범위의 장치에서 재현할 수 있도록 매우 기분 좋은 톤 매핑을 제공합니다.
3. 필름 네거티브와 프린트의 관계
   • 전통적인 필름 이미징 프로세스에서 네거티브 필름은 HDR 장면 참조 이미지(scene-referred image)를 인코딩하며, 프린트는 이를 디스플레이 참조 톤 매핑으로 변환합니다. 즉, 필름 네거티브는 고동적 범위(HDR)의 장면을 포착하고, 필름 프린트는 그 장면을 제한된 동적 범위를 가진 디스플레이에서 재현할 수 있도록 변환합니다.
4. 필름 개발 과정에서의 HDR 프로세스
   • 필름 개발 과정에서의 고동적 범위 이미징 프로세스는 Ansel Adams Photography Series에 더 자세히 설명되어 있습니다. 이 시리즈는 필름의 고동적 범위 이미지 처리 과정에 대해 깊이 있는 통찰을 제공합니다.

정리

• 디지털 및 필름 이미지 파이프라인의 전송 곡선이 매우 일치하는 이유는 두 기술 모두 쾌적한 톤 매핑을 제공하기 때문입니다. 필름의 네거티브는 HDR 장면을 캡처하고, 프린트는 이를 제한된 동적 범위를 가진 디스플레이에서 적절히 재현할 수 있도록 조정하는 과정을 거칩니다.

톤 매핑 및 그 중요성

1. 국소 톤 매핑(local tone mapping):
   • 최신 톤 매핑 연구에서는 공간적으로 변하는 색상 보정 연산자를 사용하는 국소 톤 매핑을 자주 사용합니다. 이는 이미지의 국소적 통계를 고려하여 색상 변환을 계산합니다. 이 방식은 매우 유망하며, 미래의 영화 제작에서 중요한 영향을 미칠 수 있습니다.
2. 글로벌 톤 매핑(global tone mapping):
   • 하지만 현재 대부분의 영화 색상 관리 접근 방식은 글로벌 톤 매핑 연산자를 사용합니다. 여기서의 기본 가정은 각 픽셀이 이웃 픽셀들과 독립적으로 처리된다는 것입니다. 이 방식은 S자 형태의 곡선을 사용하여 톤을 매핑합니다.
   • 국소 톤 매핑 방식은 그림자 영역에서 고주파 세부사항을 강조하여 다른 방식으로 감춰질 세부사항을 부각시킵니다. 이러한 효과는 종종 영화 현장에서 조명 설정을 통해 또는 디지털 인터미디어(DI) 과정에서 공간적으로 변하는 예술적 수정으로 구현됩니다.
3. 고동적 범위(HDR) 장면-참조 데이터를 직접적으로 디스플레이에 매핑하지 말 것:
   • HDR 장면-참조 데이터를 디스플레이에 직접 매핑하는 것은 권장되지 않습니다. 대신, 톤 렌더링이 필요하며, 글로벌 “S자형” 연산자를 사용하는 것이 큰 역사적 근거가 있습니다.
   • HDR 장면 획득은 장면의 넓은 범위의 밝기 값을 정확히 기록하며, 적절한 톤 매핑 연산자를 사용하면, 이 범위의 많은 부분을 저동적 범위 장치에서 재현할 때 시각적으로 잘 보존할 수 있습니다.
4. S자형 톤 매핑 연산자와 감마 변환 비교:
   • S자형 톤 매핑 연산자와 간단한 감마 변환 간의 시각적 비교는 섹션 3.2에서 자세히 다루어집니다. 이를 통해 두 톤 매핑 방식의 차이를 확인할 수 있습니다.

정리:

• 국소 톤 매핑은 현재 매우 유망한 연구 분야이지만, 대부분의 영화 색상 관리 시스템에서는 글로벌 톤 매핑을 사용하고 있습니다. HDR 장면 데이터를 저동적 범위 디스플레이에 적합하게 재현하려면 적절한 톤 매핑 연산자를 사용해야 하며, S자형 변환이 역사적으로 널리 사용되고 있습니다.

Consequences of Scene-Referred Imagery

Scene-Referenced Imagery와 컴퓨터 그래픽스 파이프라인

1. 물리적 사실성:
   • 장면 참조 이미지(scene-referred imagery)는 물리적 사실성을 목표로 하는 컴퓨터 그래픽스 파이프라인에서 거의 모든 영역에 긍정적인 영향을 미칩니다.
   • 렌더링 및 셰이딩에서 장면 참조 이미지는 물리 기반 셰이딩 모델과 글로벌 일루미네이션을 사용할 수 있게 해줍니다.
   • 합성(compositing)에서는 물리적으로 그럴듯한 동적 범위가 필터링, 디포커스, 모션 블러, 안티 앨리어싱과 같은 합성에서 발생하는 합성 카메라 효과에 적합합니다.
2. 장점:
   • Scene-referred imagery를 사용하면 물리적 사실성을 강조하는 다양한 과정에서 이점을 가질 수 있습니다. 예를 들어, 렌더링에서는 물리적으로 기반한 셰이딩 모델을 자연스럽게 적용할 수 있으며, 합성에서는 복잡한 합성 작업에 필요한 실제적인 동적 범위를 적용할 수 있습니다.
3. 문제점 및 도전 과제:
   • 필터링, 안티 앨리어싱, 그리고 복원 커널이 음의 로브를 가진 필터를 사용할 경우, HDR 이미지에 적용할 때 링잉(ringing) 문제가 발생할 수 있습니다. HDR 이미지 자체가 링잉의 원인은 아니지만, 이 문제를 더욱 악화시킬 수 있습니다.
   • HDR 이미지는 저동적 범위(LDR) 워크플로우에 비해 저장 용량 요구 사항이 증가합니다. 8비트 픽셀 표현은 LDR에서 적합하지만, HDR 워크플로우에서는 보통 16비트 이상이 필요합니다.
   • Scene-linear compositing에서는 전통적인 합성 기술들이 부유점(floating point)에 적용할 때 문제가 발생할 수 있습니다. 많은 클래식 합성 트릭들이 정수형(integer-based) 시스템에 의존하는데, 부유점에서는 이러한 가정들이 잘 맞지 않을 수 있습니다.
4. 문제 해결:
   • Section 3에서는 HDR 이미지와 관련된 다양한 문제들에 대한 해결책을 제시합니다. 특히 HDR 합성에서 발생하는 문제들과 장면-선형(scene-linear) 워크플로우에서의 문제 해결 방법에 대해 다룹니다.

정리:

• Scene-referred imagery는 물리적 사실성을 강화하는 데 매우 중요한 역할을 하지만, HDR 이미지 처리에는 링잉 문제, 저장 용량 증가, 그리고 클래식 합성 기법에서의 문제점들이 동반됩니다. 이 문제들을 해결하기 위해서는 HDR 이미지를 다루는 새로운 접근 방식이 필요하며, 이는 Section 3에서 상세히 다루어집니다.

A Plea for Precise Terminology

 

정확한 용어 사용에 대한 호소

영화 산업과 컴퓨터 그래픽스 분야에서는 “선형(linear)”이라는 용어를 장면 참조(scene-referred) 선형 이미지와 디스플레이 참조(display-referred) 선형 이미지를 구분 없이 사용하는 경향이 너무 많습니다. 이 두 가지 이미지 상태를 항상 명확하게 구분하며 사용하는 것이 중요합니다. 이를 위한 몇 가지 안내 사항은 다음과 같습니다:

1. 디스플레이-선형 이미지(display-linear imagery):
   • 디스플레이에서 방출된 선형 빛(linear light)을 참조하는 경우, 이미지가 1.0을 초과하는 경우 문제가 발생할 수 있습니다. 이런 경우 디스플레이-선형(display-linear)이라는 용어를 사용해야 합니다.
   • 감마(gamma)라는 용어를 사용했다면, 그것은 디스플레이 시스템의 감마 곡선과 관련이 있을 수 있습니다. 디스플레이에서의 최대 밝기는 1.0으로 정의되며, 1.0을 넘어서면 클리핑이 발생할 수 있습니다.
2. 장면-선형 이미지(scene-linear imagery):
   • 고동적 범위(HDR) 이미지를 다룬다면, 이는 장면 참조(scene-referred) 선형 이미지입니다. 이 경우 중간 회색(middle gray) 값은 0.18로 설정되어 있으며, 스톱(stops) 단위로 빛을 다루게 됩니다.
   • 이 파이프라인에서 1.0은 특별한 의미를 갖지 않으며, 이는 장면-선형(scene-linear) 이미지에 해당합니다.
   • 장면-선형(workflow)을 사용할 때는 단순한 감마 모델(gamma model)을 넘는 뷰잉 트랜스폼(viewing transform)이 필요합니다. S자형(S-shaped) 톤 맵핑 변환을 적용하지 않으면 장면-선형 이미지를 제대로 표시할 수 없습니다.

정리

• 디스플레이-선형과 장면-선형 이미지는 명확하게 구분해야 하며, 이 두 용어를 구분하지 않으면 이미지 처리나 디스플레이 결과에서 예상치 못한 문제를 일으킬 수 있습니다. 장면-선형 이미지를 다룰 때는 적절한 S자형 톤 맵핑을 적용하여 밝기 범위를 자연스럽게 표현해야 합니다.

 

2.4. Color Correction, Color Space, and “Log”

로그(Log) 인코딩 개념 정리

1. 정수 인코딩의 필요성
   • 고동역 영역(scene-referred) 색상 데이터를 저장할 때, 정수 인코딩이 필요한 경우가 많음.
   • 예: 디지털 영화 카메라에서 사용하는 10비트 정수 포맷(HDCAM SR, DPX 등).
2. 선형 인코딩의 문제점
   • 선형 정수 인코딩은 고동역 데이터를 표현할 때 양자화(quantization)로 인해 품질 저하 발생.
3. 로그 인코딩의 장점
   • 부동소수점(floating-point) 방식의 대부분의 이점을 유지.
   • 정수 기반 저장 매체를 사용해도 동적 범위를 효율적으로 표현 가능.
4. 로그 인코딩 원리
   • 정수 로그 공간의 연속적인 값들은 선형 공간에서 곱셈적 관계를 가짐.
   • 픽셀 밝기를 참조 수준 대비 스톱(stops) 값으로 변환 후 정수로 저장.
5. 로그 이미지의 특성
   • 넓은 동적 범위를 표현할 수 있음.
   • 대부분의 중간 톤 픽셀이 인코딩 공간의 중간 부분에 집중.
   • 로그 이미지를 sRGB 모니터에서 직접 표시하면 낮은 대비(low contrast)로 나타남.

이 이미지는 장면 강도의 높은 동적 범위를 표현하기 위해 정수 로그 인코딩을 사용하고 있어, 디스플레이에 매핑될 때 대비가 낮아 보입니다. 이 이미지는 비공식적으로 "Marci"로 알려져 있으며, 영화 상영에서 흔히 사용되는 참조 이미지입니다. 이 이미지는 원래 필름 네거티브 스캔(Kodak Corporation 제공)이며, 해당 웹사이트에서 다운로드할 수 있습니다.

 

로그(Log) 공간의 다양성과 주의점

1. 로그 공간의 차이점
   • 모든 로그 공간이 동일하지 않음.
   • 카메라 제조사는 로그 인코딩 방식을 각 카메라의 동적 범위, 노이즈 특성, 클리핑(clipping) 동작에 맞춰 최적화함.
2. 대표적인 로그 공간 예시
   • Sony S-Log
   • RED의 REDLog
   • Arri LogC
   • Cineon16 (클래식 방식)
3. 이미지 처리 시 주의사항
   • 이미지가 어떤 로그 공간으로 인코딩되었는지 확인 후 적절한 선형화(linearization) 적용 필요.
   • 메타데이터 손실 시 문제:
     • 로그 인코딩 방식(로그 flavor)을 판별하기 어려워질 수 있음.
     • 잘못된 처리로 인해 이미지 품질이 저하될 가능성 존재.

 

3. Motion-Picture Color Management

컬러 파이프라인(Color Pipeline) 개요

1. 컬러 파이프라인 정의
   • 영화 제작 과정에서 사용되는 모든 컬러 변환 과정을 포함한 체계.
   • 목적: 전체 제작 과정에서 일관된 색상 처리를 보장.
2. 컬러 파이프라인의 주요 단계
   • 텍스처 페인팅(Texture Painting)
   • 매트 페인팅(Matte Painting)
   • 촬영 현장의 조명 캡처(On-Set Lighting Capture)
   • 영화 카메라 입력(Camera Inputs)
   • 조명(Lighting)
   • 렌더링(Rendering)
   • 합성(Compositing)
   • 디지털 인터미디엇(Digital Intermediate, DI)
3. 올바른 컬러 관리의 중요성
   • 모든 단계에서 컬러 인코딩(Color Encoding)이 명확히 정의되어야 함.
   • 이를 통해 컬러 왜곡을 방지하고, 제작 과정 전반에 걸쳐 일관된 결과물을 보장.

 

Visual Effects Color Pipelines

전통적인 VFX 컬러 파이프라인 개요

1. 핵심 원칙
   • 원본 필름(Plate)에 손상을 주지 않는 것을 최우선으로 함.
   • 목적: VFX 샷과 비-VFX 샷이 자연스럽게 전환(intercutting)되도록 보장.
2. 컬러 변환 과정
   • 원본 필름 촬영 데이터는 로그(Log) 색상 공간(일반적으로 카메라 로그)으로 전달됨.
   • 이후 장면 선형(Scene-Linear) 공간으로 변환:
     • 가역 변환(Invertible Transform) 방식 사용.
     • 주로 1D 카메라-선형 변환이 사용되며, 경우에 따라 행렬(Matrix) 변환으로 보정.
3. 시각화 및 변환
   • 3D-LUT를 사용해 최종 출력 과정을 에뮬레이션:
     • 출력 예시: 프린트 필름 에뮬레이션, S-커브(S-shaped) 변환.
   • 시각화(transform)는 이미지에 굽혀넣지 않음(baking).
     • 단, 편집용 출력이나 임시 미리보기와 같은 임시 목적물(throw-away deliveries)에서는 적용 가능.
4. 최종 전달물
   • 디지털 인터미디엇(DI) 단계로 전달되는 최종 데이터는 원본 촬영의 고품질 표현(highest-fidelity representation)이어야 함.

 

Animated Feature Color Pipelines

애니메이션 장편 컬러 파이프라인 개요

1. 특징: 전산적으로 생성된 이미지
   • 모든 이미지가 컴퓨터에서 합성되므로, 원본 필름(Plate) 복원의 문제가 없음.
   • 시각 변환(Viewing Transform) 선택에 더 큰 자유를 가질 수 있음.
2. 전통적 워크플로우의 도입
   • 완전한 CG 환경에서도 전통적인 필름 워크플로우에서 유용한 부분은 유지하는 것이 바람직.
   • 컴퓨터를 가상 영화 세트(Virtual Movie-Set)로 간주:
     • 가상 카메라, 가상 네거티브 필름, 가상 프린트 필름 개념 사용.
   • 실제 필름 프로세스를 모방하되, 색채학적 복잡성은 제거하고 단순화된 이상적인 변환 사용.
3. 컬러 파이프라인 주요 변환
   • 가상 네거티브 변환(Virtual Negative Transform):
     • 장면 선형(Scene-Linear) → DI 전달에 적합한 로그-정수(Log-Integer) 인코딩으로 변환.
     • DI 이전에 이 변환을 이미지에 굽혀넣음(Baking).
   • 가상 프린트 변환(Virtual Print Transform):
     • 가상 네거티브를 시각화하기 위한 변환.
     • DI 이후에 굽혀넣음.
4. 변환 방식
   • 보통 채널별 동일한 1D 곡선(1-D Curve)으로 정의하며, 경우에 따라 행렬 변환(Matrixing) 포함.
   • 복잡한 3D-LUT는 극장 개봉 시 필름 프린트 에뮬레이션 등 일부 상황에서만 사용.
   • DI에서 트림 패스(trim pass)를 통해 3D-LUT 필요성을 제거하기도 함.
5. 전통적 vs. 물리 기반 워크플로우
   • 과거에는 단일 단계로 선형 → 디스플레이 변환(예: 감마 변환) 수행.
   • 물리 기반 워크플로우는 네거티브와 프린트 변환을 분리하여 HDR 렌더링 및 DI 작업에 유리.
   • 이러한 접근법이 점점 더 선호됨.

 

3.1. Digital Intermediate, Mastering, and Delivery

디지털 인터미디엇(Digital Intermediate, DI) 개요

1. DI의 정의와 목적
   • 디지털 인터미디엇(DI):
     • 전체 영화 영상을 전용 하드웨어 장치에 로드하여, 최종 상영 환경을 모사하는 공간에서 컬러를 보정하는 프로세스.
   • 주요 목적:
     • 각 샷의 컬러 보정과 영화의 최종 시각적 룩 결정.
     • 컬러 타이밍(Color Timing) 또는 그레이딩(Grading)으로도 불림.
2. 마스터링(Mastering)
   • 출력 장치에 맞는 뷰 변환(View Transform)을 굽혀넣고 최종 컬러 보정을 수행하는 단계.
   • DI 단계 이후 최종적인 마감 작업.
3. DI 환경의 중요성
   • 최종 상영 환경과 동일한 환경에서 작업 수행:
     • 디지털 시네마: 극장 환경에서 매칭된 디지털 프로젝터 사용.
     • 홈 시어터: 이상적인 홈 환경을 기반으로 작업.
     • 필름 릴리스: 극장 환경에서 디지털 프로젝터를 사용하며, 필름 에뮬레이션 3D-LUT과 함께 프린트 하우스에서 시각적 매칭 확인.
4. 정밀한 보정 요구
   • DI 및 마스터링 과정은 칼리브레이션(Calibration)에 매우 엄격한 허용 오차를 가짐.
   • 해당 단계는 이미지 색상 조정이 마지막으로 이루어지는 시점.
5. 상용 DI 시스템과 주요 기업
   • 상용 DI 시스템:
     • Lustre, DaVinci, Baselight, NuCoda 등.
   • 대표 기업:
     • Deluxe, Technicolor 등 전통적으로 DI 작업을 담당한 기업.

 

Color Correction and Working Space

디지털 인터미디엇(DI)의 컬러 처리 접근 방식

DI에서 컬러를 처리하는 데에는 두 가지 주요 접근 방식이 있습니다.

---

1. 비디오 중심 접근(Video-Centric Approach)

• 작업 방식:
  • 디스플레이 기준(Display-Referred) 이미지가 DI에 로드됩니다.
  • 별도의 뷰 변환(View Transform) 없이 작업이 진행됩니다.
  • 컬러 보정기는 디스플레이 기준 프레임 버퍼를 직접 수정 (Photoshop과 유사한 방식).
• 장점:
  • 프로세스 단순성: 복잡한 변환 과정이 불필요.
  • 프리렌더 이미지에 적은 컬러 보정을 적용해도 아티팩트가 발생하지 않음.
• 단점:
  • 원본 이미지의 세부 정보가 뷰 변환 과정에서 사전에 손실될 수 있음.
  • 예: 과다 노출된 이미지에서 클리핑된 데이터는 복원 불가.

---

2. 필름 중심 접근(Film-Centric Approach)

• 작업 방식:
  • 장면 기준(Scene-Referred) 이미지가 DI에 로드됩니다.
  • 뷰 변환(3D-LUT)을 통해 최종 색상 외형을 생성.
  • 컬러 보정은 장면 기준 데이터를 기반으로 하며, 뷰 변환을 통과한 결과를 미리보며 진행.
• 장점:
  • 원본 카메라의 전체 다이나믹 레인지를 유지하며 고품질 작업 가능.
  • 일반적으로 카메라에 최적화된 로그(Log) 인코딩 사용.
  • 향후 부동소수점 장면 기준 데이터를 직접 처리하는 DI 시스템이 보편화될 전망.
• 단점:
  • 비디오 접근 방식에 비해 프로세스가 상대적으로 복잡.

---

필름 중심 접근의 추가 특징

1. 뷰 변환 및 출력:
   • S-커브(S-shaped Tone Curve)를 사용하여 기준 출력 장치의 외형을 에뮬레이션.
   • 예: 필름 인쇄용 극장 배급 시, 특정 개발 및 프린트 프로세스를 에뮬레이션하는 3D-LUT 사용.
   • 디지털 배급 시, 해당 필름 프린트 에뮬레이션을 DI 이후, 디지털 배급 전 단계에서 굽혀넣음.
2. 디지털 전용 배급의 유연성:
   • 디지털 전용 배급의 경우, 뷰 변환 선택에 더 큰 자유가 있음.
3. 컬러 수정 과정:
   • 장면 선형(Scene-Linear) 또는 로그(Log) 컬러 공간에서 이미지 수정.
   • 수정된 결과를 뷰 변환을 거친 후의 외형을 기준으로 시각적 판단.

---

요약

• 비디오 중심 접근: 단순하고 빠르지만, 이미지 세부 정보 손실 가능.
• 필름 중심 접근: 복잡하지만, 원본의 다이나믹 레인지를 보존하여 고품질 결과 제공.
• 필름 중심 방식은 뷰 변환과 컬러 보정을 분리하여 극장 배급용과 디지털 배급용 모두 적합.
• 로그 인코딩 및 S-커브는 DI 워크플로우에서 일반적이며, 고품질 작업 환경을 지원.

 

로그 데이터와 장면 기준 접근의 장점

1. 장면 기준(Scene-Referred) 접근의 장점
   • 다이나믹 레인지 보존:
     • 원본 카메라 데이터의 다이나믹 레인지를 최대한 보존하여 과다 노출된 경우에도 클리핑 없이 세부 정보를 복원 가능.
     • 예: 로그(Log) 데이터에서 노출을 조정하면 이전에 보이지 않았던 세부 사항을 드러낼 수 있음.
   • 필름 제작 과정과의 유사성:
     • 필름에서 원본 네거티브에 더 많은 데이터를 캡처한 경우, 다양한 프린트 노출을 통해 높은 충실도를 유지할 수 있음.
   • 높은 품질의 컬러 보정:
     • 로그 DI의 컬러 보정은 고충실도로 수행되며, 적절한 보정이 이미지의 색상 범위를 손상시키지 않음.

---

1. DPX와 EXR의 사용 사례
   • DPX 포맷:
     • 로그 데이터를 DI에 전달하는 데 일반적으로 사용.
     • 10비트: 필름 그레인(잡음)이 많은 이미지에 충분히 적합.
     • 16비트: 저잡음의 컴퓨터 생성 이미지(CG)에서 점점 더 일반화.
   • EXR 포맷:
     • 장면 선형(Scene-Linear) 데이터를 DI에 전달할 때 16비트 부동소수점(Floating Point)이 권장.
     • 16비트 정수: 선형 데이터를 나타내기 위해 사용하기에는 권장되지 않음.

3.2. Lighting, Rendering, Shading