렌즈 주 광선 각도 및 문제점인 CRA 불일치의 정의

렌즈 주 광선 각도 불일치 및 이미지 품질에 미치는 영향

이미지 센서의 주 광선 각도는 무엇입니까?

먼저 최신 상보형 금속 산화막 반도체(CMOS) 픽셀의 아키텍처부터 시작하겠습니다.

다음은 제가 마크업한 Sony 웹사이트의 단순화된 픽셀 아키텍처입니다. 이 단순화된 마케팅 그림에서 픽셀의 여러 구성 요소를 볼 수 있습니다.

UofR에서 예전에 공부했던 다이오드 입문 교재는 Sze and Lee "Semiconductor Devices, 3rd ed."입니다.

렌즈의 주 광선 각도는 무엇입니까?

렌즈의 주 광선은 광학 시스템에서 조리개 스톱의 중심을 통과하는 광선입니다.

물체 공간에서 렌즈를 보면 주 광선은 입사 동공에서 광축을 가로지르는 광선입니다.

이미지 공간에서 보면 출사 동공의 중심에 있는 광선입니다.

Hecht의 Optics Fifth Edition 185페이지에는 일반적인 3요소 광학 이미징 시스템에 대한 훌륭한 1차 광학 다이어그램과 설명이 있습니다.

주 광선은 물체 공간의 모든 조명 지점에 존재합니다. "실제" 렌즈에서는 어떻게 보이는지 살펴봅시다.

일반적으로 주 광선 입사각을 논할 때 렌즈 조합의 가장 넓은 시야에 해당하는 "최대 CRA"를 지칭합니다.

렌즈의 주 광선과 센서의 주 광선을 정확하게 비교하려면 이미지의 사용 가능한 영역 전체에서 CRA를 고려해야 합니다.

CRA 불일치는 물리적으로 어떻게 나타나며, 높은 CRA 각도에서 CRA 불일치가 더 중요한 이유는 무엇입니까?

로우 프로파일 렌즈(짧은 TTL)는 일반적으로 매우 높은 CRA를 갖습니다. 이는 낮은 CRA 요구 사항이 설계에 적용될 경우 광학 설계 성능이 수렴되지 않기 때문입니다.

휴대폰 제조업체의 시스템 수준 이미지 품질을 개선하기 위해 센서 제조업체는 렌즈 CRA를 보정하도록 센서의 마이크로 렌즈의 공간 설계를 조정합니다. 이러한 마이크로 렌즈 조정은 일반적으로 대량 생산(>1천만 개/년) 업체만 이용할 수 있으므로 나머지 업체는 올바른 센서 변형 및 해당 렌즈를 선택하기 위해 최선을 다해야 합니다.

25° CRA에서 마이크로렌즈의 경사 의존도(CIL023 2.2mm F/2.2)

15° CRA에서 마이크로렌즈의 경사 의존도(CIL039 3.9mm F/2.8)

CRA 불일치로 인한 색상 음영 보정.

CRA mismatch CAN be corrected for in post process, but ONLY in applications with well controlled static illumination such as industrial machine vision for inspection.

When the light sources change, it becomes challenging to compensate. This is due the friendly topic of metamerism. We've seen a major CRA mismatch (20° non-linear mismatch) overcome before in a regular indoor environment, so it is doable to a "good enough" extent. This requires advanced ISP tuning with a calculated pixel-level spectral energy distribution 3DMLUT approach.This in turn will slow down other performance metrics in your camera and/or require more compute, so generally not the best practice to get into this situation.

Additionally, there are only a handful of leading image quality experts with the requisite knowhow and experience to get to a "good enough" quality with a >15° nonlinear mismatch with a sensor at 33°. I estimate <50 people in the world and it is near impossible to hire them as they are in high demand at big tech companies.

So unless you are fortunate enough to be on a team with one of these experts, we highly advise against venturing down the rabbit hole of thinking you can solve >15° nonlinear CRA mismatch in software: your project will likely have a 6-12 month delay and budget overrun.

Regardless of the approach and expertise there will be more color tuning corner cases that occur with huge CRA mismatch, than when you have a well-matched lens to sensor CRA.

광학 설계에서 CRA의 중요성

CRA는 캡처된 이미지 품질에 큰 영향을 미치므로 광학 설계 및 디지털 이미징에서 중요한 파라미터입니다.

고품질 이미지를 얻고 비네팅 및 색상 음영과 같은 결함을 완화하려면 정확한 CRA가 필요합니다.

CRA는 광축과 렌즈의 주 광선 사이의 각도 관계와 관련이 있으므로 이미지 품질을 결정하는 핵심 요소입니다. 광학 설계에서 CRA가 이미지 센서의 픽셀 아키텍처와 올바르게 정렬되도록 하는 것이 중요합니다. 이 정렬은 정확한 색상 재현 및 선명도로 이미지를 캡처하는 데 도움이 되며, 이는 의료 이미징 및 고해상도 사진과 같이 높은 충실도가 필요한 애플리케이션에서 특히 중요합니다.

핵심 내용: 렌즈 주 광선 각도를 센서에 최대한 가깝게 일치시키되, CRA 불일치에 과도하게 집중하지 마십시오.

We generally recommend matching CRA within +/-10° if the sensor's CRA is <10°, +/-7° if the sensor's CRA is >10° and <20°, and within +/-4° if the sensor's CRA is >20°.

However, it really depends on the pixel architecture and your application.

Jon Stern from GoPro's optics team provided his opinion publicly during a talk at the Embedded Vision Summit in 2020: View Slide 22 Here.

This mismatch tolerance must hold across the entire field of view, so make sure to compare a full plot if the sensor's specification sheet says "non-linear" on it.

Incorrect CRA matching can result in radial red to green color shading from the center of an image to the corner.

This shading is dependent upon illumination conditions, so it makes Image Quality Tuning extremely difficult.

This is a common issue when trying to build a camera using a "Mobile" Sensor with an "Industrial" Lens or vis-versa. We've seen multiple startup projects run into this issue, resulting in extensive cost (>$100k) and schedule (>1yr) overruns.