렌즈 주광각의 정의와 끔찍한 CRA 불일치

렌즈 최고 광선 각도 불일치와 이미지 품질에 미치는 영향

이미지 센서의 주광각이란 무엇인가요?

먼저 최신 CMOS(상보형 금속 산화막 반도체) 픽셀의 아키텍처부터 살펴보겠습니다.

다음은 다음에서 가져온 단순화된 픽셀 아키텍처입니다. 소니의 웹사이트 이 단순화된 마케팅 도면에서는 픽셀의 다양한 구성 요소를 볼 수 있습니다.

예전에 UofR에서 공부했던 다이오드 입문 교과서는 Sze와 Lee의 "반도체 소자, 3판"입니다.

렌즈의 주광각이란 무엇인가요?

렌즈의 주광선은 광학 시스템에서 조리개 스톱의 중심을 통과하는 광선입니다.

물체 공간에서 렌즈를 들여다보면 주광선은 입구 동공에서 광축을 가로지르는 광선입니다.

이미지 공간에서 보면 출구 동공의 중심에 있는 광선입니다.

Hecht의 광학 5판에는 일반적인 3요소 광학 이미지 시스템에 대한 훌륭한 1차 광학 도표와 설명이 185페이지에 나와 있습니다:

주광선은 물체 공간의 모든 조명 지점에 대해 존재합니다.

사람들이 주광선 각도를 논의할 때 일반적으로 렌즈 조합의 가장 넓은 시야각에 해당하는 '최대 CRA'를 언급합니다.

렌즈의 주광선과 센서의 주광선을 정확하게 비교하려면 이미지의 사용 가능한 영역 전체에 걸친 CRA를 고려해야 합니다.

CRA 불일치란 물리적으로 어떤 모습이며 높은 CRA 각도에서 CRA 불일치가 더 중요한 이유는 무엇인가요?

로우 프로파일 렌즈(짧은 TTL)는 일반적으로 CRA가 매우 높은데, 이는 설계에 낮은 CRA 요구 사항을 강제할 경우 광학 설계 성능이 수렴되지 않기 때문입니다.

센서 제조업체는 시스템 수준의 이미지 품질을 제공하기 위해 센서에서 마이크로 렌즈의 공간 설계를 조정하여 렌즈 CRA를 보정합니다. 이 마이크로렌즈 조정은 일반적으로 대량 생산(연간 10백만 개 이상)을 하는 기업에서만 가능하므로 나머지 기업들은 올바른 센서 변형과 그에 맞는 렌즈를 선택하기 위해 최선을 다해야 합니다.

25° CRA에서 마이크로렌즈의 경사 의존도(CIL023 2.2mm F/2.2)

15° CRA에서 마이크로렌즈의 경사 의존도(CIL039 3.9mm F/2.8)

CRA 불일치로 인한 색상 음영 보정.

CRA mismatch CAN be corrected for in post process, but ONLY in applications with well controlled static illumination such as industrial machine vision for inspection.

When the light sources change, it becomes challenging to compensate. This is due the friendly topic of metamerism. We've seen a major CRA mismatch (20° non-linear mismatch) overcome before in a regular indoor environment, so it is doable to a "good enough" extent. This requires advanced ISP tuning with a calculated pixel-level spectral energy distribution 3DMLUT approach.This in turn will slow down other performance metrics in your camera and/or require more compute, so generally not the best practice to get into this situation.

Additionally, there are only a handful of leading image quality experts with the requisite knowhow and experience to get to a "good enough" quality with a >15° nonlinear mismatch with a sensor at 33°. I estimate <50 people in the world and it is near impossible to hire them as they are in high demand at big tech companies.

So unless you are fortunate enough to be on a team with one of these experts, we highly advise against venturing down the rabbit hole of thinking you can solve >15° nonlinear CRA mismatch in software: your project will likely have a 6-12 month delay and budget overrun.

Regardless of the approach and expertise there will be more color tuning corner cases that occur with huge CRA mismatch, than when you have a well-matched lens to sensor CRA.

광학 설계에서 CRA의 중요성

CRA는 캡처한 이미지의 품질에 큰 영향을 미치기 때문에 광학 설계 및 디지털 이미징에서 중요한 매개변수입니다.

고품질 이미지를 얻고 비네팅 및 컬러 음영과 같은 아티팩트를 완화하려면 정확한 CRA가 필요합니다.

CRA는 광축과 렌즈의 주광선 사이의 각도 관계와 관련이 있으므로 이미지 품질을 결정하는 핵심 요소입니다. 광학 설계에서 CRA가 이미지 센서의 픽셀 아키텍처와 올바르게 정렬되도록 하는 것은 매우 중요합니다. 이러한 정렬은 정확한 색 재현과 선명도로 이미지를 캡처하는 데 도움이 되며, 이는 의료 영상 및 고해상도 사진과 같이 높은 충실도가 필요한 애플리케이션에서 특히 중요합니다.

요점: 렌즈 주 광선 각도를 센서에 최대한 가깝게 일치시키되, CRA 불일치에 대해 과도하게 인덱싱하지 마세요.

We generally recommend matching CRA within +/-10° if the sensor's CRA is <10°, +/-7° if the sensor's CRA is >10° and <20°, and within +/-4° if the sensor's CRA is >20°.

However, it really depends on the pixel architecture and your application.

Jon Stern from GoPro's optics team provided his opinion publicly during a talk at the Embedded Vision Summit in 2020: View Slide 22 Here.

This mismatch tolerance must hold across the entire field of view, so make sure to compare a full plot if the sensor's specification sheet says "non-linear" on it.

Incorrect CRA matching can result in radial red to green color shading from the center of an image to the corner.

This shading is dependent upon illumination conditions, so it makes Image Quality Tuning extremely difficult.

This is a common issue when trying to build a camera using a "Mobile" Sensor with an "Industrial" Lens or vis-versa. We've seen multiple startup projects run into this issue, resulting in extensive cost (>$100k) and schedule (>1yr) overruns.