“스마트폰 뭐 사지?” 카메라가 중요한 당신을 위한 이미지센서 설명서

카메라: 스마트폰을 고르기 위한 핵심적 가치

스마트폰을 고르는 데에는 소비자 마다 여러 기준이 있을 수 있다. 누구에게는 세련되고 매혹적인 디자인이, 누군가에겐 폴드, 플립과 같은 특이한 폼팩터가, 누구에게는 Retina® 처럼 선명한 디스플레이가, 누군가에겐 저렴한 비용 등이 각각이 스마트폰을 구매하기 위한 이유가 된다.

그 중, 최근 가장 각광받는 이유는 아마도 “카메라”일 것이다. 디지털카메라 시장을 집어삼킨 이미지센서 기술의 발전을 통해, 사람들은 스마트폰만으로도 하루에도 여러 장의 사진과 동영상을 찍고, 편집하고, 공유할 수 있게 되었다. 이를 통해, 소셜 네트워크 서비스의 트렌드는 과거 텍스트 피드 중심의 페이스북/트위터에서, 이미지 피드 중심의 인스타그램으로, 최근에는 틱톡/쇼츠/릴스 와 같은 숏폼 동영상 피드로 실시간으로 변모하고 있다.

안드로이드 진영을 대표하는 삼성전자의 플래그십 스마트폰인 “Galaxy S23 Ultra”는 22년 2월 2일 공개되었다. 2억화소가 넘는 이미지센서를 탑재해 최대 100배줌이 가능한 스페이스 줌 기능은 갤럭시 S23의 핵심 기능으로 많은 소비자들의 보름달 인증샷을 이끌어냈다.

iOS/Mac 생태계를 구축한 애플의 플래그십 스마트폰인 “iPhone14 Pro Max”는 2022년 9월 7일 공개되었다. 비록 애플은 이미지센서를 자체 설계한 삼성과는 달리 소니의 이미지센서인 “IMX803”를 채택하였으나, 자체 설계된 NPU를 포함한 A16 Bionic SoC의 뛰어난 성능을 통해 이미지의 AI처리를 극대화하여 이미지 품질에 대한 호평을 얻는 중이다.

(좌) 삼성전자 Galaxy S23 Ultra, (우) 애플 iPhone 14 Pro Max

그런데, 카메라 성능을 비교하기 위해 각 제품의 상세 기술설명서(Specification; 이하 “스펙”; 특허에서의 명세서와 동일)를 열어보면 어려운 표현과 숫자들이 즐비하여 성능을 직관적으로 파악하기 어렵다. 일반적으로 카메라의 전체 성능을 판단하기 위해서는 엄청나게 많은 기술 요소가 고려되어야 하므로, 본 칼럼에서는 독자의 이해의 편의를 위해 “이미지 센서”를 중심으로 카메라 성능을 살피겠다.

예를 들어, 삼성전자의 갤럭시 S23 울트라의 카메라 스펙은, 결국 삼성전자 “Galaxy S23 Ultra”에 탑재된 이미지 센서의 “ISOCELL HP2” 의 스펙에 의해 주로 결정된다. 삼성전자에서 자체설계된 “ISOCELL HP2”의 스펙은 “Effective Resoultion 200M”, “Pixel Size 0.6 µm”, “Optical Format 1/1.3”(inch)”등으로 설명되는데, 상당히 복잡해 보인다.

삼성전자 이미지센서 “ISOCELL HP2” 상세 기술설명 (출처)

애플의 아이폰 카메라 스펙은 조금 더 알아보기 어렵다. 애플은 이미지센서를 자체 생산하는 대신, 카메라 전통의 명가 소니의 이미지 센서를 iPhone 라인업에 적용하고 있기 때문이다. 소니에서 공식적으로 밝힌 메인 이미지센서 “IMX803”의 스펙은 “48MP”, “1/1.28inch”, “1.22µm” 등 서로 다른 숫자가 조금 익숙해진 단위와 함께 기재될 뿐 그 성능을 구체적으로 이해하기는 마찬가지로 어렵다.

소니 이미지센서 “IMX803” 상세 기술설명 (출처)

이러저러한 숫자와 기능들로 무장한 Android 진영과 Mac 진영의 대표 스마트폰의 카메라 성능을 이해하기 위해, 기본적인 원리와 기능부를 먼저 이해해보자.

스마트폰 카메라 배경지식: 픽셀·이미지센서·ISP

이미지 센서를 이해하기 위해서는 크게 “픽셀”, “이미지센서”, “ISP”를 파악할 필요가 있다.

(1) 픽셀

픽셀(pixel; PX)이란 이미지센서 분야에서는 수광소자로 해석된다. 한마디로 트랜지스터를 이용해 객체로부터 빛을 수광하는 것이다. 최근의 CMOS 기반 이미지 센서는 대부분 그림 3과 같은 “4-Tr” 구조의 픽셀 설계를 이용한다.

삼성전자 미국특허 US 2022/0132079 A1 Fig. 11; 픽셀 구조

(2) 이미지센서

픽셀에서 수광된 빛(아날로그 신호; VOUT)는 로직을 거쳐 디지털 신호로 변환 및 처리(IDAT)된다. 이미지센서는, 객체로부터 반사된 빛이 수광되고(픽셀 어레이), 디지털 신호로 변환 및 처리하는 각종 기능부들의 집합이라고 이해하는 편이 빠르다. 아래의 그림 4는 이미지센서에서의 기능부를 개념적으로 도시하고 있으나, 실제 물리적 구현은 도 5에 가깝다.

삼성전자 미국특허 US 2022/0132079 A1 Fig. 1; 이미지센서 구조

소니 3-layer stacked CMOS Image Sensor 소개자료

(3) ISP

ISP(Image Signal Processor)는 이미지센서로부터 출력된 이미지데이터(IDAT)를 후처리하는 기능부이다. 예를 들어, 베이어 변환, 노이즈 제거, 3A 보정, 비닝, 특성 강화 등 다양한 소프트웨어적 후처리가 ISP에서 수행된다. 최근에는 스마트폰의 두뇌인 AP(Application Processor) 및 NPU의 고도화로 인해, 이미지가 AP/NPU에서 보정되어 보다 선명한 이미지가 제공되고 있다.

삼성전자 미국특허 US 2022/0132079 A1 Fig. 16; 이미지센서-ISP-AP 관계도

그럼, 픽셀·이미지센서·ISP에 대한 가벼운 배경지식을 이용해 스마트폰 카메라의 스펙을 해석해보자.

스마트폰 카메라 스펙 읽기

갤럭시 S23 울트라와 iPhone 14 프로 맥스의 카메라 스팩을 비교하며 해석해본다.

(1) 유효 해상도(Effective Resolution)

“ISOCELL HP2”의 Effective Resolution(유효 해상도)는 200Million. 즉 2억개의 픽셀을 가지고 있다는 것이다. 수광소자인 픽셀은 이미지의 최소 단위가 되므로, 픽셀의 수가 많으면 많을수록 정밀한 이미지를 센싱할 수 있다. 이에 비해 “IMX803”의 유효 해상도는 48MP로, 갤럭시 S23 울트라보다는 픽셀 개수가 적다.

삼성전자 미국특허 US 2022/0132079 A1 Fig. 7C; 픽셀 어레이 일부 개념도

(2) 픽셀 크기(Pixel size)

“ISOCELL HP2”의 픽셀 크기는 0.6 µm(마이크로미터). 하나의 이미지 센서(정확하게는 픽셀 어레이)에 픽셀이 얼마나 작게 배열되었냐는 의미이다. 이미지 센서의 크기가 동일하다면 픽셀 수가 많을수록 픽셀 크기가 작아질 텐데, 이는 첨단 공정을 통해 얼마나 미세하게 픽셀구조를 구현할 수 있는지에 대한 지표이다. 이에 비해, “IMX803”의 픽셀 크기는 1.22µm(마이크로미터)로, 단위 픽셀의 크기는 큰 편이다.

삼성전자 미국특허 US 2022/0132079 A1 Fig. 6D; 픽셀 단면도

그러나 픽셀 개수와 크기는 그 대소에 따라 다양한 기능적 트레이드오프가 있어서 숫자만으로 단순비교하기는 어렵다. 예컨대, 픽셀이 큰 경우, 수광면적이 상대적으로 넓어지고 노이즈가 적은 고화질 이미지를 촬상할 수 있다. 다른 한편, 삼성전자의 ISOCELL 기술은 픽셀간 격벽을 통해 광 손실 및 간섭을 최소화할 수 있어, 보다 많은 픽셀 수에도 강건함을 유지할 수 있다. 즉, 이미지센서의 크기가 동일하다면 픽셀 개수와 크기에는 단순히 큰 값보다는 트레이드오프를 고려한 최적의 값이 필요하다.

(3) Optical Format

Optical format은 이미지 센서 상단의 렌즈(Optic)에 상이 맺히는 영역을 의미하는데, 일반적으로 역분수 형태(1/x)로 표현된다. 광학적인 이유로 인해 렌즈가 이미지센서의 크기를 모두 덮어야하므로, 이미지센서는 자신의 (가로x세로) 길이보다는 optical format을 통해 그 크기가 간접적으로 표현된다. 통상적으로는 optical format은 이미지센서 크기(대각선 길이)의 1.5배이다. 이를 통해 스펙을 비교해보면, “ISOCELL HP2”의 Optical Format(광학 규격)은 1/1.3”(inch)이고, 이에 비해 “IMX803”의 optical format은 “1/1.28inch”이다. 이미지센서 자체의 크기는 “IMX803”가 더 큰것이다.

요컨대, Optical format이 클수록 이미지센서가 크다는 것을 의미하고(통상 클 수록, 수광능력이 좋은 큰 픽셀이 많이 배열될 수 있으므로 해상도는 좋아질 것이다. 물론, 픽셀의 크기와 수와 마찬가지로, 이미지센서의 크기가 크면 카메라 성능은 좋아지는 반면, 스마트폰에서의 카메라모듈 크기 비율이 높아지게 되고 이는 전체 스마트폰 배치설계에서 다른 기능부의 크기 감축을 유발하므로 이 역시 트레이드오프를 고려한 최적의 크기 설계가 필요하다.

삼성전자/애플 특허상 렌즈-이미지센서 배열 비교 도면

(4) Post-processing

이미지 후처리 등은 양 사가 서로 상당히 상이하다.

예컨대, 삼성전자는 이미지센서의 물리적 크기 등 스펙 외에도, 저조도: 1.2µm, 50MP 4:1 binning, 2.4µm, 12.5MP 16:1 binning을 지원한다. 간단히 설명하자면, Tetra2pixel이라는 비닝기술을 통해, 가로x세로 각각 4개(tetra)씩의 서브픽셀을 하나의 픽셀로 묶어 더 큰 픽셀로 빛을 수광한 것과 같은 기능을 유발한다는 것이다. 이러한 비닝은 ISP 또는 AP에서 별도로 수행되어 보다 고화질의 이미지를 합성 및 출력할 수 있는 것이다.

애플도 마찬가지로 A16 Bionic 의 강력한 NPU 파워로, AI 보정을 통해 high Dynamic Range 및 IOS(손떨림방지) 등 물리적 센싱 외의 다양한 후속 기능을 지원하고 있다.

그림 2를 다시 읽어보며 내용을 정리하면, 물리적·광학적으로는 “유효해상도가 크고”, “optical format이 클수록” 해상도가 좋아질 가능성이 크다고 해석할 수 있다. 그러나, 다양한 제반 기술들, 예컨대 ISP와 AP, NPU의 지원을 받은 후처리 로직, 처리속도, 전력사용량 등이 고려된 기술의 총아가 바로 카메라인 만큼, 스펙에 기재된 다양한 숫자를 참고하여 자신의 성향에 맞는 이미지를 보여주는 스마트폰을 찾아보자.

–김동현 BLT 변리사

-원문 : 스마트폰 뭐 사지? – 카메라가 중요한 당신을 위한 이미지센서 설명서

글: 외부기고(contribution@platum.com)

ⓒ '스타트업 전문 미디어 & 중화권 전문 네트워크' 플래텀, 조건부 전재 및 재배포 허용