RGB-X 모델로 풍부한 시각적 인사이트 발굴
Machine Learning은 멀티모달 방향으로 진화하고 있으며, Computer Vision의 많은 모델이 이제 비전 및 3D와 같은 영역으로 확장되고 있습니다. 더 조용하지만 빠르게 발전해 온 한 분야는 RGB-X 데이터입니다. 여기서는 적외선, 깊이 또는 표면 노멀과 같은 추가 데이터가 기존 RGB(Red, Green, Blue) 정보와 함께 통합됩니다.
최근 Zilliz가 주최한 NYC Unstructured Data Meetup에서 Voxel51의 Machine Learning 및 Developer Relations 전문가인 Daniel Gural은 RGB-X 모델에 대한 통찰력 있는 발표를 진행하며, 이러한 복잡한 데이터 형식으로 작업할 때의 최신 발전과 모범 사례를 강조했습니다. 그의 발표는 또한 성장 중인 Visual AI 분야의 주요 모델 몇 가지를 살펴보고, RGB-X 모델이 이미지 분석에 가져오는 더 풍부하고 상세한 데이터를 처리하는 데 유용한 지침을 제공했습니다. 이 블로그에서는 Gural의 발표에서 얻은 핵심 내용을 정리해 보겠습니다. 더 자세한 내용에 관심이 있다면 YouTube에서 전체 발표를 시청하세요.
RGB-X 모델 이해하기
RGB-X 모델은 컴퓨터 비전의 고급 머신러닝 모델로, 깊이, 적외선 또는 표면 노멀과 같은 추가 채널을 통합하여 기존 RGB(Red, Green, Blue) 데이터를 확장합니다. RGB-X의 X는 다음과 같은 다양한 유형의 데이터를 나타낼 수 있습니다.
깊이 정보: 장면 속 카메라와 객체 사이의 거리를 측정하여 공간적 맥락을 제공합니다. 예를 들어 자율주행차 시나리오에서 깊이 데이터는 차량이 보행자가 5미터 떨어져 있음을 판단하도록 도와 안전한 주행을 지원할 수 있습니다.
적외선 데이터: 열 신호를 포착하여 야간 투시 및 열화상 이미징에 유용합니다. 야생동물 모니터링에서 적외선 데이터는 연구자들이 동물을 방해하지 않고 밤에 동물의 움직임을 추적할 수 있게 해줍니다.
노멀 맵: 표면의 방향을 보여주며, 사실적인 3D 렌더링과 조명 계산에 필수적입니다. 가상현실 게임에서 노멀 맵은 텍스처와 조명의 사실감을 높여 더 몰입감 있는 환경을 만듭니다.
열화상 이미징: 적외선과 유사하게 온도 변화에 초점을 맞추지만, 특히 열 분포를 측정합니다. 건물 점검에서 열화상 이미징은 열 손실 영역이나 전기 문제를 식별하여 잠재적 문제를 조기에 감지하는 데 도움이 됩니다.
이러한 추가 채널은 정보의 차원을 더해 시각적 장면을 보다 종합적으로 분석하고 이해할 수 있게 합니다. RGB-X 모델이 실제로 이 데이터를 어떻게 통합하는지 이해하기 위해, 건물 앞에 서 있는 사람의 다음 예를 살펴보겠습니다.
Figure- Different representations of a person standing in front of a building.png
그림: 건물 앞에 서 있는 사람의 다양한 표현
위에는 건물 앞에 서 있는 사람을 네 가지 다른 방식으로 표현한 것이 있습니다. POSE 패널은 골격 포즈 추정이 오버레이된 원본 이미지를 보여줍니다. SEG 패널은 세분화를 표시하며, 다양한 신체 부위와 의류 아이템이 색상으로 구분되어 있습니다. DEPTH 패널은 색상 그라데이션을 사용해 깊이를 나타내며, 더 따뜻한 색상은 더 가까운 객체를 의미합니다. NORMAL 패널은 표면 법선을 보여주며, 색상을 사용해 3D 공간에서 표면의 방향을 나타냅니다.
이 예시는 RGB-X 모델이 포즈 추정, 세분화, 깊이 인식, 표면 법선 계산을 포함해 장면의 여러 측면을 동시에 처리할 수 있음을 보여줍니다. 이러한 다면적 접근 방식은 시각 정보에 대한 보다 총체적인 이해를 가능하게 합니다. 이러한 구성 요소를 자세히 살펴보겠습니다:
포즈 추정: 이미지에서 인체 부위의 위치와 방향을 식별합니다. 관절을 찾고 사람의 골격 표현을 만들기 위해 키포인트 감지를 사용합니다. 피트니스 애플리케이션에서 포즈 추정은 사용자의 자세를 이상적인 모델과 비교하여 운동 중 자세를 교정하는 데 도움이 될 수 있습니다.
세분화: 이 과정은 이미지를 여러 세그먼트 또는 객체로 나눕니다. RGB-X 모델에서는 다양한 신체 부위, 의류 아이템, 배경 요소를 구분할 수 있습니다. 예를 들어, 증강 현실 패션 앱에서 세분화는 의류 아이템을 사용자의 몸에 정확하게 오버레이하여 다양한 옷을 가상으로 입어볼 수 있게 해줄 수 있습니다.
깊이 인식: 깊이 정보를 사용하여 모델은 장면의 3D 구조를 이해할 수 있습니다. 이미지에서 더 따뜻한 색상(빨간색과 노란색)은 카메라에 더 가까운 객체를 나타내고, 더 차가운 색상(파란색과 보라색)은 더 먼 요소를 나타냅니다. 이는 로봇 애플리케이션에서 매우 중요할 수 있으며, 로봇이 창고에서 장애물을 피해 이동하는 데 도움이 됩니다.
표면 법선 계산: 이 기술은 3D 공간에서 표면의 방향을 계산합니다. NORMAL 패널의 색상 코딩은 서로 다른 표면 방향을 나타내며, 장면 내 객체의 기하 구조를 이해하는 데 중요한 정보를 제공합니다. 3D 모델링 소프트웨어에서 표면 법선 정보는 아티스트가 더 사실적인 텍스처와 조명 효과를 만드는 데 도움이 될 수 있습니다.
이제 RGB-X 모델의 핵심 구성 요소를 살펴보았으므로, 이러한 모델이 복잡한 시각적 과제를 해결하기 위해 다양한 산업에서 어떻게 적용될 수 있는지 알아보겠습니다.
RGB-X 모델의 애플리케이션
다면적인 시각 정보를 처리할 수 있는 능력을 갖춘 RGB-X 모델은 프레임 간 객체 추적 및 험난한 지형 조사 등 다양한 산업과 사용 사례에서 활용되고 있습니다.
1. 프레임 간 객체 추적
RGB-X 모델은 객체 추적에 적합하며, 여러 비디오 또는 이미지 시퀀스 프레임에 걸쳐 객체를 따라감으로써 기존의 객체 감지를 넘어섭니다. 이러한 모델은 향상된 성능을 위해 RGB 데이터와 추가 모달리티를 함께 사용합니다.
Gural이 공유한 RGB-X 추적 시스템 구조를 살펴보겠습니다:
Figure- RGB-X tracking system structure.png
그림: RGB-X 추적 시스템 구조
이 시스템은 다양한 소스의 입력으로 시작됩니다 - RGB 카메라와 깊이, 열 또는 기타 데이터 유형을 캡처하는 센서입니다. 이러한 입력은 중앙 RGB Tracker로 전달됩니다.
이 핵심을 둘러싸는 두 가지 주요 처리 스트림은 모달리티-비의존적 및 모달리티-인식 구성 요소입니다. 모달리티-비의존적 부분은 모든 입력 유형에 공통적인 특징을 처리하는 반면, 모달리티-인식 섹션은 깊이 또는 열 데이터와 같은 특정 입력 모달리티에 특화됩니다.
이 시스템은 Memory (MeME) 및 Embedding (Emb.) 모듈을 포함한 Shallow Embedding 기술을 사용하여 초기 입력 표현을 생성합니다. 그 다음 Deep Prompting이 이어지며, 반복적인 Memory 및 Prompt 모듈을 사용하여 정보를 정제하고 맥락화합니다.
이러한 구성 요소들은 함께 작동하여 범용 RGB-X 시각 객체 추적(VOT) 시스템을 형성합니다. 이 시스템은 깊이, 이벤트 데이터, 열화상과 같은 소스의 정보를 정렬하고 처리하여 다양한 모달리티 전반에서 추적을 가능하게 합니다.
이 접근 방식은 RGB-X 모델이 다양한 조건에서 객체를 효과적으로 추적할 수 있도록 합니다. 적용 분야는 다음과 같습니다:
감시 시스템: 센서 유형 간 전환을 포함하여 여러 카메라 피드 전반에서 개인 또는 객체를 추적합니다.
자율주행차: 다양한 조건에서 추적을 유지하기 위해 시각, 깊이, 잠재적으로 열 데이터를 사용하여 차량, 보행자, 장애물을 실시간으로 추적합니다.
로보틱스: 시각 데이터만으로는 충분하지 않을 때 여러 데이터 스트림을 사용하여 객체 지속성을 유지함으로써 로봇이 동적 환경에서 객체를 추적하고 상호작용하도록 돕습니다.
스포츠 분석: 성과 분석을 위해 선수와 장비를 추적하며, 생리학적 모니터링을 위해 시각 추적을 적외선과 같은 다른 데이터 유형과 결합할 수 있습니다.
RGB-X 추적의 멀티모달 특성은 조명 변화, 부분 가림, 복잡한 환경과 같은 까다로운 조건에서도 일관된 성능을 가능하게 합니다. 객체가 시각적으로 가려지면 깊이 또는 열 정보가 추적 정확도를 유지하는 데 도움이 될 수 있습니다.
2. 험난한 지형 조사
RGB-X 모델은 특히 까다로운 환경에서 조사 및 매핑 애플리케이션에 도움이 됩니다. 주요 사용 사례는 다음과 같습니다:
드론 기반 매핑: 드론에 RGB-X 지원 센서를 장착하면 도보로 접근하기 어렵거나 위험한 지역의 상세한 3D 지도를 만들 수 있습니다. 예를 들어, 자연재해 이후 RGB-X 기능을 갖춘 드론은 피해 지역을 신속하게 매핑하여 응급 구조대가 작업을 더 효과적으로 계획하도록 도울 수 있습니다.
온보드 처리: 고급 RGB-X 모델은 드론에서 직접 실시간 처리를 수행할 수 있어 즉각적인 분석과 의사결정을 가능하게 합니다. 수색 및 구조 시나리오에서 드론은 모든 데이터를 기지국으로 다시 전송하지 않고도 실종자의 위치를 자율적으로 식별하고 보고할 수 있습니다.
지질 조사: RGB-X 데이터의 깊이 및 법선 정보는 지형 특징과 지질 구조를 이해하는 데 유용합니다. 광산 탐사에서 RGB-X 모델은 넓은 토지 영역의 표면 특징과 구성을 분석하여 광물 매장 가능성이 높은 지역을 식별하는 데 도움이 될 수 있습니다.
그림- RGB-X 데이터가 단순한 항공 이미지를 3D 모델로 변환하는 방법 .png
그림: RGB-X 데이터가 단순한 항공 이미지를 3D 모델로 변환하는 방법
위 이미지는 RGB-X 데이터가 단순한 항공 이미지를 상세한 3D 모델로 변환하여 도시 개발, 농업, 환경 모니터링과 같은 다양한 분야에서 정밀한 분석과 계획을 가능하게 하는 방법을 보여줍니다. 예를 들어, 도시 계획가들은 이러한 모델을 사용하여 새로운 건설 프로젝트가 기존 건물의 일조 노출에 미치는 영향을 평가할 수 있습니다.
RGB-X 모델 개발의 발전
RGB-X 모델 개발의 최근 발전은 성능과 기능에서 상당한 개선을 가져왔습니다.
1. Sapiens와 그 이후
Sapiens 모델 은 RGB-X 처리에서 중요한 도약을 나타냅니다. 이 모델은 시각적 이해의 서로 다른 측면에 각각 초점을 맞춘 네 가지 특화 모델로 구성됩니다:
자세 추정: 이 모델은 관절과 얼굴 랜드마크 같은 인체의 핵심 지점을 식별하여 장면 속 사람들의 자세를 판단합니다. 컨볼루션 신경망(CNN)과 그래프 신경망(GNN)을 조합하여 이러한 핵심 지점을 정확하게 위치시키고 연결합니다. 실제 응용 사례로, 이 모델은 스마트 체육관에서 운동 자세에 대한 실시간 피드백을 제공하는 데 사용될 수 있습니다.
세그멘테이션: 세그멘테이션 모델은 이미지를 서로 다른 영역으로 나누어 다양한 객체, 신체 부위 또는 배경 요소를 식별합니다. 완전 컨볼루션 네트워크(FCN) 또는 U-Net 아키텍처를 사용하여 픽셀 단위 분류를 생성합니다. 이 모델은 자율주행차에서 보행자, 차량, 도로 표지판과 같은 거리 장면의 다양한 요소를 정확하게 식별하고 분리하는 데 적용될 수 있습니다.
깊이 인식: 이 모델은 카메라로부터 각 픽셀까지의 거리를 추정하여 장면의 깊이 맵을 생성합니다. 종종 스테레오 매칭이나 인코더-디코더 아키텍처를 사용하는 단안 깊이 추정과 같은 기법을 활용합니다. 로봇공학 응용 분야에서 이 깊이 정보는 로봇이 다양한 크기와 형태의 물체를 정확하게 집는 데 도움을 줄 수 있습니다.
표면 법선 계산: 이 모델은 3D 공간에서 표면의 방향을 계산합니다. 특수한 CNN 아키텍처를 사용하여 각 픽셀의 표면 법선 벡터를 추정하며, 장면 속 객체의 기하 구조에 대한 중요한 정보를 제공합니다. 이는 증강 현실 응용 분야에서 유용할 수 있으며, 가상 객체가 실제 세계의 표면과 현실감 있게 상호작용할 수 있도록 합니다. Sapiens가 실제로 작동하는 모습을 살펴보겠습니다.
그림- 두 피사체에 대한 자세, 세그멘테이션, 깊이 및 법선 맵을 보여주는 RGB-X 모델 출력.png
그림: 두 피사체에 대한 자세, 세그멘테이션, 깊이 및 법선 맵을 보여주는 RGB-X 모델 출력
위 이미지는 Sapiens와 같은 고급 RGB-X 모델의 기능을 보여줍니다. 각각 원본 이미지, 자세 추정, 세그멘테이션, 깊이 맵, 표면 법선 맵이라는 다섯 개 패널로 구성된 두 세트의 이미지를 표시합니다. 위쪽 행은 성인을 보여주고, 아래쪽 행은 어린이를 보여줍니다. 이는 모델이 다양한 피사체를 정확하게 처리할 수 있음을 보여줍니다.
2. 세밀한 검색
RGB-X 데이터에서 사용할 수 있는 정보가 증가함에 따라, 시각 데이터베이스 내에서 더 상세하고 구체적인 검색을 수행할 수 있습니다. 예를 들어:
특정 각도에서 촬영된 드론 이미지 찾기: 법선 맵 정보를 활용하여, 시스템은 표면이 카메라를 기준으로 특정 각도로 배향된 이미지를 식별할 수 있습니다. 이는 건축 조사에서 유용할 수 있으며, 분석가가 특정 시점에서 촬영된 건물 이미지를 찾을 수 있게 합니다.
장면 내 깊이를 기반으로 객체 식별: 깊이 채널은 카메라로부터 객체까지의 거리를 지정하는 쿼리를 가능하게 하여, 더 정밀한 공간 검색을 지원합니다. 소매 재고 관리 시스템에서는 선반의 특정 깊이에 놓인 제품을 찾는 데 도움이 될 수 있습니다.
적외선 데이터에서 열 이상 검색: 열 채널은 비정상적인 열 신호가 있는 영역을 식별할 수 있으며, 이는 산업 검사나 야생동물 모니터링과 같은 응용 분야에서 유용합니다. 예를 들어, 대규모 태양광 발전소에서는 이 기능을 통해 유지보수가 필요할 수 있는 과열 패널을 빠르게 식별할 수 있습니다.
3. 체화 AI와 자율주행차
RGB-X 모델은 특히 자율주행차에서 체화 AI 개발에 중요한 역할을 하고 있습니다. 몇 가지 응용 사례는 다음과 같습니다:
고급 내비게이션: 깊이 및 노멀 정보를 사용하여 도로 상태와 장애물을 더 잘 이해합니다. 이를 통해 차량은 주변 환경의 상세한 3D 지도를 실시간으로 생성할 수 있습니다. 예를 들어, 자동차는 포트홀의 깊이와 형태를 이해함으로써 이를 감지하고 우회할 수 있습니다.
객체 식별: RGB 및 적외선 데이터를 결합하여 다양한 조명 조건에서 객체 감지를 개선합니다. 이는 저조도나 악천후 조건에서 보행자, 동물 또는 장애물을 식별하는 데 특히 유용합니다. 예를 들어, 안개 낀 밤에 시스템은 RGB 이미지만으로는 명확하게 보이지 않는 경우에도 길을 건너는 보행자를 감지할 수 있습니다.
승객 모니터링: 깊이 및 열 데이터를 사용하여 승객의 건강과 안전을 모니터링합니다. 이 접근 방식은 차량 내부에서 고통의 징후나 비정상적인 행동을 감지할 수 있습니다. 예를 들어, 시스템은 승객이 잠들었거나 의료 응급 상황을 겪고 있는지를 감지하여 차량이 적절한 조치를 취하도록 할 수 있습니다.
자율주행차에서 RGB-X 모델의 적용은 단순한 장애물 회피를 넘어섭니다. 이러한 모델은 사용자가 차량 밖의 물체를 가리키고 해당 물체에 대한 정보를 받을 수 있게 하거나 차량 내부 승객의 건강과 안전을 모니터링하는 등 더 정교한 상호작용을 가능하게 합니다.
RGB-X 모델의 과제와 고려 사항
이러한 발전은 흥미로운 새로운 가능성을 열어 주지만, 실제 환경에서 RGB-X 모델을 배포할 때 수반되는 과제와 고려 사항을 인식하는 것이 중요합니다. 여기에는 다음이 포함됩니다.
데이터 복잡성: 4채널 데이터를 관리하고 처리하려면 더 많은 컴퓨팅 리소스와 저장 용량이 필요합니다. 이는 하드웨어에 대한 요구를 증가시키며 효율적인 데이터 관리 전략을 필요로 합니다.
모델 해석 가능성: 모델이 더 복잡해짐에 따라, 그 결정이 해석 가능하고 설명 가능하도록 보장하는 것이 중요해집니다. 개발자는 RGB-X 모델의 결정을 더 투명하게 만들기 위해 attention visualization 또는 feature importance analysis와 같은 기법을 구현해야 할 수도 있습니다.
윤리와 개인정보 보호: RGB-X 모델의 향상된 기능은 데이터 개인정보 보호와 AI의 윤리적 사용에 대한 새로운 질문을 제기합니다. 예를 들어, 짧은 비디오 클립에서 상세한 3D 아바타를 생성하는 능력은 개인의 프라이버시와 동의에 영향을 미칠 수 있습니다. RGB-X 기술을 구현하는 조직은 강력한 데이터 보호 정책을 개발하고 데이터가 캡처 및 처리되는 개인으로부터 명확한 동의를 얻어야 할 수도 있습니다.
RGB-X 모델과 벡터 데이터베이스 통합
Gural이 그의 발표에서 강조하듯이, RGB-X 모델은 단순한 추론을 넘어섭니다. 그는 “이러한 모델을 사용하면 surface normal, depth, thermal data 또는 관심 있는 다른 채널에 대한 예측을 할 수 있을 뿐만 아니라, 그것들에 대한 embedding도 생성할 수 있습니다.”라고 설명합니다. 이 통찰은 RGB-X 모델의 이중 기능을 강조합니다. 즉, 다중 채널 출력을 예측하고 복잡한 시각적 특징을 포착하는 강력한 벡터 임베딩을 생성하여 이미지 검색이나 분류와 같은 다운스트림 작업을 위한 더 풍부한 표현을 제공할 수 있습니다.
RGB-X 모델이 고차원 임베딩을 생성함에 따라, 이러한 임베딩의 효율적인 저장, 인덱싱, 검색이 중요해집니다. 벡터 데이터베이스인 Milvus와 Zilliz Cloud는 이러한 복잡한 다차원 데이터를 관리하도록 특별히 설계되어, RGB-X 모델이 생성하는 풍부한 임베딩을 처리하고 최적화하는 데 이상적인 솔루션입니다.
벡터 데이터베이스가 RGB-X 모델 애플리케이션을 향상시키는 방법은 다음과 같습니다:
효율적인 유사도 검색: 벡터 데이터베이스는 고차원 임베딩 공간에서 유사한 항목을 찾습니다. RGB-X 데이터의 경우, 복잡한 기준에 따라 시각적 또는 구조적으로 유사한 장면을 빠르게 찾습니다. 대규모 감시 시스템에서 운영자는 Milvus를 사용해 깊이, 열화상 또는 결합된 RGB-X 공간에서 유사한 임베딩 패턴을 가진 영상을 즉시 검색할 수 있습니다.
확장성: RGB-X 애플리케이션이 성장함에 따라 벡터 임베딩의 양도 증가합니다. Zilliz Cloud와 같은 벡터 데이터베이스는 이러한 임베딩의 방대한 데이터셋을 처리할 수 있어, 도시 전역 센서 네트워크나 대규모 위성 이미지 분석과 같은 애플리케이션에 이상적입니다.
유연한 스키마: RGB-X 출력은 시각적 특징부터 깊이 및 열화상 표현에 이르기까지 다양한 유형의 벡터 임베딩을 생성하는 경우가 많습니다. Milvus는 이러한 다양성을 수용하여 서로 다른 RGB-X 측면 임베딩의 통합 저장 및 쿼리를 가능하게 합니다.
RAG 및 GenAI: RGB-X 벡터 임베딩을 Milvus에 저장하면 GenAI 애플리케이션을 위한 더 효과적인 검색 증강 생성(RAG) 파이프라인을 구축할 수 있습니다. 이 접근 방식은 멀티모달 임베딩을 사용해 복잡한 시각적 장면에 대해 추론해야 하는 AI 모델의 성능을 크게 향상시킬 수 있습니다.
멀티모달 임베딩 지원: Milvus는 다양한 모달리티의 임베딩을 저장하고 비교하는 데 적합합니다. 이 기능은 시각, 깊이, 열화상 임베딩 공간 간의 관계를 분석하는 RGB-X 애플리케이션에 매우 중요합니다.
Milvus를 FiftyOne과 같은 도구와 통합하면 RGB-X 워크플로를 더욱 향상시킬 수 있습니다. 이러한 통합을 통해 데이터셋과 해당 임베딩의 원활한 관리, 복잡한 RGB-X 출력의 시각화, 대규모 멀티채널 이미지 임베딩 컬렉션 전반에 걸친 효율적인 유사도 검색이 가능합니다.
실습: FiftyOne을 사용한 단안 깊이 추정
RGB-X 모델의 실제 적용 사례를 설명하기 위해, SUNRGBD 데이터셋으로 FiftyOne을 사용한 단안 깊이 추정 실습 예제를 살펴보겠습니다. Gural이 강연에서 공유한, RGB-D(RGB + Depth) 데이터를 Fifty One에 로드하고 처리하는 방법을 다룹니다. 또한 이 데이터에서 RGB-X 모델을 활용하는 전체 튜토리얼 링크도 포함하겠습니다.
1단계: 설정 및 설치
먼저, 필요한 라이브러리를 설치하고 데이터셋을 다운로드해야 합니다:
!pip install fiftyone
!curl -o sunrgbd.zip https://rgbd.cs.princeton.edu/data/SUNRGBD.zip
!unzip sunrgbd.zip
이 코드는 FiftyOne을 설치하고, SUNRGBD 데이터셋을 다운로드한 뒤 압축을 풉니다. FiftyOne은 컴퓨터 비전 작업에 유용한 데이터셋 관리 및 시각화 도구입니다.
2단계: 필요한 라이브러리 가져오기
다음으로, 필요한 Python 라이브러리를 가져옵니다:
from glob import glob
import numpy as np
from PIL import Image
import torch
import fiftyone as fo
import fiftyone.zoo as foz
import fiftyone.brain as fob
from fiftyone import ViewField as F
이러한 import는 파일 처리(glob), 수치 연산(numpy), 이미지 처리(PIL), 딥러닝(torch), 데이터셋 관리(fiftyone)를 위한 도구를 제공합니다.
3단계: 데이터셋 생성
이제 FiftyOne 데이터셋을 만들고 SUNRGBD 데이터셋의 샘플로 채웁니다:
dataset = fo.Dataset(name="SUNRGBD-20", persistent=True)
# Restrict to 20 scenes
scene_dirs = glob("SUNRGBD/k*/*/*")[:20]
samples = []
for scene_dir in scene_dirs:
# Get image file path from scene directory
image_path = glob(f"{scene_dir}/image/*")[0]
# Get depth map file path from scene directory
depth_path = glob(f"{scene_dir}/depth_bfx/*")[0]
depth_map = np.array(Image.open(depth_path))
depth_map = (depth_map * 255 / np.max(depth_map)).astype("uint8")
sample = fo.Sample(
filepath=image_path,
gt_depth=fo.Heatmap(map=depth_map),
)
samples.append(sample)
dataset.add_samples(samples)
이 코드는 "SUNRGBD-20"이라는 새 FiftyOne 데이터셋을 생성합니다. 그런 다음 SUNRGBD 데이터셋에서 20개의 장면을 반복하며, 각 장면에 대해 RGB 이미지와 해당 깊이 맵을 모두 로드합니다. 깊이 맵은 더 쉽게 시각화할 수 있도록 정규화되고 8비트 형식으로 변환됩니다. 각 이미지-깊이 쌍은 샘플로 데이터셋에 추가되며, 깊이 맵은 heatmap으로 저장됩니다.
4단계: FiftyOne 앱 실행하기
마지막으로, 데이터셋을 시각화하기 위해 FiftyOne 앱을 실행합니다:
session = fo.launch_app(dataset, auto=False)
# Then open tab to localhost:5151 in browser
이 코드는 데이터셋을 탐색하고 분석하기 위한 웹 기반 인터페이스를 제공하는 FiftyOne 앱을 실행합니다. 웹 브라우저를 열고 localhost:5151로 이동하여 이 인터페이스에 접근할 수 있습니다.
인터페이스는 다음과 유사해야 합니다:
Figure- Depth maps from the SUNRGBD-20 dataset in FiftyOne.png
그림: FiftyOne의 SUNRGBD-20 데이터셋에서 가져온 깊이 맵
이 출력은 우리가 만든 SUNRGBD-20 데이터셋의 깊이 맵을 보여줍니다. heatmap은 다양한 실내 장면의 깊이 정보를 나타내며, 더 밝은 노란색과 초록색은 더 가까운 객체나 표면을 나타내고, 더 어두운 파란색은 카메라에서 더 먼 영역을 나타냅니다.
이제 데이터셋을 로드했으므로, 이 튜토리얼을 따라 데이터셋에서 단안 깊이 추정 모델을 실행할 수 있습니다.
RGB-X 모델과 머신 러닝의 미래
RGB-X 모델이 계속 발전함에 따라, 머신 러닝과 AI의 미래에 상당한 영향을 미칠 가능성이 큽니다:
1. 향상된 인간-디지털 상호작용
RGB-X 모델은 인간과 디지털 시스템 간의 보다 자연스럽고 직관적인 상호작용을 가능하게 합니다. 몇 가지 잠재적 응용 분야는 다음과 같습니다:
짧은 비디오 클립에서 사실적인 3D 아바타 생성: RGB-X 모델은 깊이 및 normal 정보를 활용하여 제한된 입력 데이터로부터 개인의 더 정확하고 상세한 3D 표현을 생성할 수 있습니다. 이는 가상 회의를 혁신하여, 참가자들이 자신의 표정과 움직임을 정확하게 모방하는 생생한 아바타로 표현될 수 있게 할 수 있습니다.
가상 및 증강 현실을 위한 제스처 인식 개선: 추가 정보 채널을 통해 손과 몸의 움직임을 더 정밀하게 추적할 수 있어, 더 반응성이 뛰어나고 몰입감 있는 VR/AR 경험을 가능하게 합니다. 예를 들어, VR 조각 애플리케이션에서 시스템은 미세한 손가락 움직임을 정확하게 감지하여 가상 점토를 더 정밀하고 직관적으로 조작할 수 있게 할 수 있습니다.
얼굴 인식 및 감정 감지 시스템 향상: 깊이 및 열 데이터를 통합함으로써, 이러한 시스템은 얼굴 표정과 생리적 반응을 더 잘 이해할 수 있어 더 정확한 감정 감지로 이어집니다. 이는 기업이 제품이나 광고에 대한 청중의 반응을 더 정확하게 파악할 수 있는 시장 조사에 적용될 수 있습니다.
Gural은 단순한 비디오 입력으로 상세한 3D 아바타를 생성하는 RGB-X 모델의 잠재력을 강조했습니다. 이 기술은 비디오 게임부터 가상 사무실에 이르기까지 가상 환경에서 우리가 상호작용하는 방식을 바꿀 수 있습니다.
2. 고급 로보틱스
RGB-X 데이터의 멀티모달 특성은 로보틱스에서 특히 가치가 있습니다:
개선된 객체 조작: 깊이 및 법선 데이터는 로봇이 객체의 형태와 질감을 더 잘 이해하도록 도와 다양한 객체를 더 정밀하게 파지하고 조작할 수 있게 합니다. 창고 환경에서 로봇은 섬세한 유리 제품부터 특이한 형태의 포장재까지 매우 다양한 제품을 동일한 능숙함으로 다룰 수 있습니다.
향상된 내비게이션: RGB와 깊이 정보를 결합하면 복잡한 환경에서 더 정밀한 움직임이 가능해져, 로봇이 어수선하거나 동적인 공간을 탐색하는 능력이 향상됩니다. 예를 들어, 가정 보조 로봇은 가구와 반려동물을 피해 이동하고 사람들을 더 효과적으로 이동시킬 수 있습니다.
더 나은 인간-로봇 상호작용: 인간의 자세와 제스처를 더 정확하게 이해함으로써 로봇은 사람들과 더 자연스럽게 상호작용하고, 미묘한 단서를 해석하며 적절하게 반응할 수 있습니다. 이는 의료 환경에서 특히 가치가 있을 수 있으며, 로봇이 환자의 움직임과 비언어적 의사소통에 민감하게 대응하면서 환자를 보조할 수 있습니다.
3. 환경 모니터링 및 보전
RGB-X 모델은 우리가 환경을 모니터링하고 보호하는 방식을 혁신할 잠재력을 가지고 있습니다:
정밀한 산림 매핑: 정확한 나무 수 집계와 종 식별을 위해 RGB 이미지와 깊이 정보를 결합합니다. 이는 산림 관리 및 보전 활동에 도움이 될 수 있습니다. 예를 들어, 연구자들은 RGB-X 센서가 장착된 드론을 사용해 산림의 건강 상태를 빠르게 평가하고, 질병이나 벌채의 영향을 받은 지역을 높은 정밀도로 식별할 수 있습니다.
야생동물 추적: 열화상 및 RGB 데이터를 사용해 동물 개체군을 비침습적으로 모니터링합니다. 이 접근 방식은 대상에 방해를 주지 않으면서 동물 행동과 서식지 이용에 대한 귀중한 통찰을 제공할 수 있습니다. 예를 들어, 보전 활동가들은 RGB-X가 장착된 카메라를 사용해 저조도 조건이나 빽빽한 식생 속에서도 자연 서식지의 멸종위기종을 추적할 수 있습니다.
기후 변화 영향 평가: 깊이 및 법선 데이터를 활용해 해안 침식이나 빙하 후퇴와 같은 지형 변화를 시간에 따라 추적합니다. 시간에 따른 풍경의 상세한 3D 모델을 생성함으로써 과학자들은 기후 변화의 영향을 더 정확하게 정량화하고 시각화할 수 있습니다. 이는 해수면 상승과 그것이 해안 지역사회에 미치는 영향을 모니터링하는 데 특히 유용할 수 있습니다.
결론
Gural은 RGB-X 모델 개발의 발전을 공유하며, 이러한 모델이 전통적인 RGB 채널을 넘어 컴퓨터 비전과 AI의 새로운 차원을 여는 방식을 보여주었습니다. 깊이, 적외선 등의 추가 데이터를 통합함으로써 RGB-X 모델은 시각 분석 역량을 재정의했으며, 자율주행 차량, 로보틱스, 환경 모니터링과 같은 다양한 응용 분야에서 매우 가치 있는 기술이 되었습니다.
추가 자료
계속 읽기
3 Easiest Ways to Use Claude Code on Your Mobile Phone
Run Claude Code from your phone with Remote Control, Happy Coder, or SSH + Tailscale. Comparison table, setup steps, and tools for typing, memory, and parallel tasks.
Smarter Autoscaling in Zilliz Cloud: Always Optimized for Every Workload
With the latest upgrade, Zilliz Cloud introduces smarter autoscaling—a fully automated, more streamlined, elastic resource management system.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.