iPhone 12 Pro에는 왜 자율주행차에 쓰는 LiDAR가 들어갔을까?

에 의해서 | 2020-10-15 | Mobile & UX | 코멘트 0개

10월 12일 애플 행사에서 아이폰 12가 발표되었습니다. 발표 내용을 보던 중 폰에 라이다(LiDAR) 센서를 탑재했다는 소식을 듣고 조금 놀랐습니다. 라이다는 자율 주행차와 관련해서 뉴스에 자주 등장하는 장치인데, 워낙 비싸서 차에 라이다를 넣는지 아닌지가 중요한 이슈입니다. 테슬라가 차 만들 때도 안 넣는 라이다를 애플이 폰에 넣는다니? 하는 궁금증에서 출발해서 관련 자료를 찾아봤습니다.

Apple iPhone 12 LiDAR Scanner

LiDAR(라이다)는 무엇인가?

라이다는 LASER + RADER 장치라고 할 수 있습니다. 레이더는 전파를 사용하는데 라이다는 전파 대신 레이저를 쏘아서 주변을 탐지합니다. 라이다 스캐너에서 사물에 레이저를 쏘고 빛이 반사되어서 돌아오는 시간을 측정해서 거리와 깊이를 알아냅니다.

3D 스캐닝 기술을 스마트폰에 내장하려는 시도는 기존에도 다양하게 있었습니다. 구글은 2014년에 탱고 프로젝트를 선보이면서 개발자들이 AR 경험을 만드는 환경을 제공했지만 현재는 해당 프로젝트를 중단했습니다. 기술적으로는 의미가 있지만 사람들에게 차별화된 경험을 제공하는 데는 실패했기 때문입니다.

애플에서 제공한 페이스 ID도 3D 인식 기술을 스마트폰에 적용한 경우입니다. 그런데 라이다와 특성이 다릅니다. 페이스 ID는 센서로 사람은 못 보는 적외선 패턴(점)을 출력해서 얼굴 형태를 인식할 수 있게 만든 기술입니다. 근접 거리에서 사람 얼굴을 인식할 수 있게 특화된 기술이라 다른 용도에 활용하긴 어렵습니다. (페이스 ID 기술 관련 테스트 영상 참고)

애플이 라이다 센서를 도입하는 방식은 상당히 조심스럽습니다. 애플은 2020년 상반기, 아이패드 프로 4세대에 LiDAR 센서를 먼저 적용했습니다. 애플이 카메라 렌즈 등 신기술을 도입할 때 보통 가장 비싼 아이폰부터 적용하고 차차 다른 제품으로 확산하는데, 라이다 센서는 예외적으로 아이패드 부터 적용한 것입니다. 기존에 실패한 탱고 프로젝트 등을 고려해서 시간 여유를 두고 사람들에게 어떤 경험의 차이를 제공할 수 있을지 고민한 것 같습니다.

그래서 애플이 아이폰 12 프로 이상에 전격 도입한 라이다 센서로 어떤 경험을 제공하겠다고 했을까요? 발표 시점에 애플이 제시한 라이다 센서가 필요한 이유를 알아보겠습니다.

image.png
LiDAR Depth map

애플은 LiDAR 센서로 어떤 경험을 제공하는가?

아이폰 12 프로 출시 시점에 애플에서 라이다로 직접 제공하는 기능은 인물 사진 오토포커스 향상 기능입니다.

  • 야간 모드 인물 사진 (from 애플 설명)
    • LiDAR는 또한 저조도 환경에서의 순간 오토포커스와 같은 프로급 카메라 시스템의 첨단 기능들을 활용할 수 있게 해줍니다. 또한 LiDAR 심도 맵의 디테일이 와이드 카메라에서의 야간 모드 인물 사진 촬영을 가능하게 해주죠. 게다가 이제 Neural Engine이 저조도 환경에서도 피사체는 또렷하게, 배경은 아름답게 블러 처리해준답니다.

애플은 아이폰 12에서 계산으로 사진을 개선하는 컴퓨테이셔널 포토그래피 수준을 한층 높였습니다. 아주 어두울 때, 라이다에서 얻은 심도 맵을 바탕으로 최대 6배 빠르게 초점을 잡습니다. 그리고 머신러닝을 담당하는 칩에서 촬영한 장면과 픽셀을 분석해서 사람이 더 생생하게 느낄 수 있게 사진 밝기와 채도 등을 조정합니다. 이런 시도가 성공적일 경우, 구도만 잘 맞으면 전문가가 수동으로 조정한 것 같은 고품질 사진을 얻을 수 있습니다.

애플에서는 라이다 센서의 특징을 다음과 같이 설명합니다.

  • 더 높은 정확성을 위한 더 많은 정보, 나노초 만에 완성되는 세밀한 심도 맵
    • LiDAR 스캐너는 송신기에서 쏜 비가시광선이 물체에 반사되어 다시 수신기까지 돌아오는 데 걸리는 시간을 기반으로 절대 심도를 측정합니다. LiDAR는 또한 iOS 14의 심도 프레임워크와 연동하여 카메라의 전체 시야각에 펼쳐진 장면을 대상으로 엄청난 양의 고해상도 데이터를 생성하죠. 나노초 간격으로 발사되는 빛이 지속적으로 장면을 측정하면서, 동시에 심도 맵을 정밀하게 다듬어나갑니다. AR의 판도를 뒤바꾸는 기술이죠.
  • 즉각적인 AR 구현
    • LiDAR는 공간 내 다양한 표면들을 즉시 인식합니다. 그래서 AR 앱도 장면 분석에 곧바로 착수해 해당 공간에 맞춘 경험을 구현할 수 있죠.
  • 씬 지오메트리
    • 공간 속 모든 표면을 디테일하게 인식하는 LiDAR는 사실적인 느낌을 구현할 수 있는 위치라면 어디에든 AR 콘텐츠를 배치할 수 있습니다. 곡선형 소파 위에도, 의자 뒤에도 심지어 잡동사니로 어질러진 책상 위라도 문제없죠. 이와 같은 기술은 AR 앱들을 훨씬 더 똑똑하게 만듭니다. 예를 들어 거실에 자연 풍경을 투사하면, 잔디는 가구가 없는 바닥에서만 자라는 식으로 펼쳐져 당신의 공간 안에 자연스럽게 어우러지죠.
  • 향상된 오클루전
    • 정확한 심도 맵은 iPhone 12 Pro가 특정한 물체 앞에 어떤 물체가 놓여있는지를 더욱 정확히 인식하게 해줍니다. 실제 아파트 산책로를 따라 달리는 AR 캐릭터가 주차된 자동차와 그 뒤에 서 있는 나무 사이를 정확히 지나가는 식이죠. 덕분에 몰입도 높은 증강 현실 경험이 지속됩니다.

라이다 센서의 활약은 이제 시작이라고 생각합니다. 앞으로 어떤 서비스들이 나올지는 마지막 섹션을 참고해주세요.

아이폰 12 LiDAR 센서의 특징은?

여러 자료를 살펴보면 다음과 같은 특징이 중요해 보입니다.

  • 빠르고 즉시 사용할 수 있다
    • 전용 라이다 스캐너가 들어가면서 공간을 분석하고 인식하는 속도가 빨라졌습니다.
    • 앱을 켜서 사용하기까지 기존 센서와 기술로는 AR에 준비 시간이 필요하며 동작이 느리고, 정밀하지 못했는데 이제 쓸만한 서비스를 바로 사용할 수 있게 되었습니다.
  • Room Scale 을 지원한다
    • 아이폰 12 프로의 라이다는 5M 까지 주변 환경을 인식합니다. 보통 이 정도 규모를 공간에서 사용할 수 있으면 룸-스케일 AR을 지원한다고 말합니다. 후면 카메라로 비추는 방 하나 정도 크기의 공간에서 빠르게 표면 정보를 찾아내는데, 센서가 탐지하는 범위는 후면 카메라로 사진을 찍을 수 있는 범위입니다. 개발자들이 개발 할 때 사진 정보와 해당 장면의 심도 정보를 함께 받을 수 있을 것이라고 합니다.
  • 정밀도 또한 Room Scale
    • 방 전체를 스캔하는 정도의 센서니까 아무래도 세세한 분석 능력이 뛰어나진 않습니다. 그래서 책상 위에 있는 사물을 스캔해서 정밀하게 3D 모형을 만들 수 있는 정도는 아닙니다. 하지만 비율과 크기는 정확하게 알 수 있고, 머신 러닝을 이용하면 이런 센서로도 할 수 있는 일은 굉장히 많을 것 입니다.  
image.png
Esper – LiDAR 테스트 용으로 만든 앱 (HALIDE)

라이다 스캐너로 우리가 어떤 앱을 만들 수 있는지는 iOS용 전문 카메라 앱 Halide 개발팀이 만든 PoC 영상을 보면 알 수 있습니다. 이 테스트 용 앱은 애플에서 공개한 저해상 3D 표면 데이터를 활용해서 주변 환경을 3D 모델로 만들어 냅니다. 앱으로 주변 환경의 영상을 찍으면 3D 모형을 얻을 수 있습니다. 모형 자체가 3D 이므로 사람이 선반과 싱크대 사이를 걸어가는 것을 합성해서 표시할 수 있습니다.

애플 AR 서비스의 미래는?

아이폰 12 LiDAR 센서의 의미를 간단히 말하자면 ‘이제 제대로 된 AR 서비스를 구현할 준비가 되었다’고 할 수 있습니다. 심도 센서를 쓰지 않는 기존 AR은 포켓몬고 처럼 현실과 실제로는 잘 연계되지 않는 흉내 내기 서비스였습니다. 이제 현실 공간과 가상의 물체가 제대로 어우러지는 서비스를 만들 수 있게 된 것입니다.

블룸버그 기사에 따르면 애플은 2021년에 VR 헤드셋을 2023년에 가벼운 AR 안경을 출시할 예정이라고 합니다. 그렇다면 2023년 부터는 본격적으로 AR 시장이 열린다고 볼 수 있겠습니다.

  • 2020년 04월 – iPad Pro에 LiDAR 센서 채택
  • 2020년 10월 – iPhone 12 Pro에 LiDAR 센서 채택
  • 2021~22년 – 게임, 비디오 감상, 가상 회의에 중점을 둔 VR & AR 헤드셋 출시 (예상)
  • 2023년 – 가벼운 AR 안경 출시 (예상)
image.png
IKEA Place – 새로운 Studio Mode (Apple)

그리고 다음과 같은 특허를 보시면 애플이 그리는 미래를 짐작할 수 있습니다. 재미있고 독특한 특허들이 많습니다.

Complete Anatomy – 모빌리티 평가 도구 (Apple)

앞서 언급한 블룸버그 기사를 보면 애플에서 현재 1,000여명의 기술자들이 AR과 VR 분야의 연구를 하고 있다고 합니다. 이 중에는 게임 시스템 개발자, 아이폰 하드웨어 개발자, 소프트웨어 개발자들이 있고, 이전 NASA 기술자, 게임 개발자, 그래픽 전문가 등이 함께 일한다고 합니다. 애플이 VR, AR을 통해서 보여주는 우주는 어떤 모습일까요? 정말 2021년에 볼 수 있을지 궁금합니다.

[ 참고 기사 ]
What is a LiDAR scanner, the iPhone 12 Pro’s camera upgrade, anyway?
A major feature in Apple’s new iPad Pro could be a clue to where the company’s products are headed
iPhone 12 Pro and LiDAR — why this exciting tech will beat Galaxy Note 20

관련 글 보기



인기 글

0개의 댓글

댓글 제출

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

Shares
Share This