이미지 센서의 주광각이란 무엇인가요?
먼저 최신 CMOS(상보형 금속 산화막 반도체) 픽셀의 아키텍처부터 살펴봅시다. 다음은 제가 마크업한 소니 웹사이트의 단순화된 픽셀 아키텍처입니다.
이 단순화된 마케팅 그림에서 픽셀의 다양한 구성 요소를 볼 수 있습니다.
예전에 UofR에서 공부했던 다이오드 입문 교과서는 Szeand Lee "Semiconductor Devices, 3rd ed."입니다.
렌즈의 주광각이란 무엇인가요?
렌즈의 주광선은 광학 시스템에서 조리개 스톱의 중심을 통과하는 광선입니다.
물체 공간에서 렌즈를 들여다보면 주광선은 입구 동공에서 광축을 가로지르는 광선입니다.
이미지 공간에서 보면 출구 동공의 중심에 있는 광선입니다.
Hecht의 광학 5판에는일반적인 3요소 광학 이미징 시스템에 대한 훌륭한 1차 광학 다이어그램과 설명이 185페이지에 나와 있습니다:
주광선은 물체 공간의 모든 조명 지점에 대해 존재합니다.
사람들이 주광선 각도를 논의할 때 일반적으로 렌즈 조합의 가장 넓은 시야각에 해당하는 '최대 CRA'를 언급합니다.
렌즈의 주광선과 센서의 주광선을 정확하게 비교하려면 이미지의 사용 가능한 영역 전체에 걸친 CRA를 고려해야 합니다.
CRA 불일치란 물리적으로 어떤 모습이며 높은 CRA 각도에서 CRA 불일치가 더 중요한 이유는 무엇인가요?
로우 프로파일 렌즈(짧은 TTL)는 일반적으로 CRA가 매우 높은데, 설계에 낮은 CRA 요구 사항을 강제할 경우 광학 설계 성능이 수렴되지 않기 때문입니다(좋지 않음).
센서 제조업체는 시스템 수준의 이미지 품질을 제공하기 위해 센서에서 마이크로 렌즈의 공간 설계를 조정하여 렌즈 CRA를 보정합니다. 이 마이크로렌즈 조정은 일반적으로 대량 생산(연간 10백만 개 이상)을 하는 기업에서만 가능하므로 나머지 기업들은 올바른 센서 변형과 그에 맞는 렌즈를 선택하기 위해 최선을 다해야 합니다.
CRA 불일치로 인한 색상 음영 보정하기
CRA mismatch CAN be corrected for in post process, but ONLY in applications with well controlled static illumination such as industrial machine vision for inspection.
When the light sources change, it becomes challenging to compensate. This is due the friendly topic of metamerism. We've seen a major CRA mismatch (20° non-linear mismatch) overcome before in a regular indoor environment, so it is doable to a "good enough" extent. This requires advanced ISP tuning with a calculated pixel-level spectral energy distribution 3DMLUT approach. This in turn will slow down other performance metrics in your camera and/or require more compute, so generally not the best practice to get into this sitatuon.
Additionally, there are only a handful of leading image quality experts with the requisite knowhow and experience to get to a "good enough" quality with a >15° nonlinear mismatch with a sensor at 33°. I estimate <50 people in the world and it is near impossible to hire them as they are in high demand at big tech companies. So unless you are fortunate enough to be on a team with one of these experts, we highly advise against venturing down the rabbit hole of thinking you can solve >15° nonlinear CRA mismatch in software: your project will likely have a 6-12 month delay and budget overrun.
Regardless of the approach and expertise there will be more color tuning corner cases that occur with huge CRA mismatch, than when you have a well-matched lens to sensor CRA.
The Take-Away: We suggest Low Linear CRA (~<20°) Lenses/Sensors when Possible.
Otherwise Match the Lens Chief Ray Angle As Closely to the sensor as possible
We generally recommend matching CRA within +/-10° if the sensor's CRA is <10°, +/-7° if the sensor's CRA is >10° and <20°, and within +/-4° if the sensor's CRA is >20°.
However, it really depends on the pixel architecture and your application.
Jon Stern from GoPro's optics team provided his opinion publicly during a talk at the Embedded Vision Summit in 2020: View Slide 22 Here.
This mismatch tolerance must hold across the entire field of view, so make sure to compare a full plot if the sensor's specification sheet says "non-linear" on it.
Incorrect CRA matching can result in radial red to green color shading from the center of an image to the corner.
This shading is dependent upon illumination conditions, so it makes Image Quality Tuning extremely difficult.
This is a common issue when trying to build a camera using a "Mobile" Sensor with an "Industrial" Lens or vis-versa. We've seen multiple startup projects run into this issue, resulting in extensive cost (>$100k) and schedule (>1yr) overruns.