엔비디아 NVIDIA Deepstream에 대해서 알아보자

nvidia deepstream

NVIDIA DeepStream이란?

• 모든 애플리케이션에는 안정적인 실시간 IVA가 필요하다.
• Intelligent Video Analytics의 보다 손쉬운 개발을 지원하며 개발자들은 deepstream을 사용해 실시간으로 동영상 프레임을 처리하고, 이해하며 분류 작업을 진행할 수 있다.
• 또한 매우 높은 수준으로 요구되는 처리량(Throughput) 및 반응 시간(Latency)에 대한 요건을 충족시킬 수 있다.
• NVIDIA의 DeepStream SDK는 AI 기반의 다중 센서 처리, 비디오, 오디오 및 이미지 이해를 위한 GStreamer 기반의 완전한 스트리밍 분석 툴킷
• 픽셀 및 센서 데이터를 실행 가능한 인사이트로 변환하는 End-to-End 서비스 및 설루션을 구축하기 위한 플랫폼인 NVIDIA Metropolis의 필수적인 부분이기도 하다.

 

deepstream 이해도

IVA(intelligent video analytics) : 비디오 콘텐츠를 실시간으로 분석하고, 메타데이터를 추출하고, 경고를 보내고, 보안 담당자 또는 기타 시스템에 실행 가능한 인텔리전스를 제공함으로써 카메라에 인공 지능을 추가한다.

 

 

NVIDIA DeepStream의 특징

1. 강력하고 유연한 SDK
2. 다중 프로그래밍 옵션 = C/C++, Python = 유연성 제공
3. DeepStream은 직관적인 인터페이스에서 제어하면서 SaaS로 배포할 수 있는 유연한 애플리케이션을 만들 수 있는 다양한 플러그인을 위한 새로운 REST-API를 도입
4. DeepStream은 개발자와 기업 모두를 위해 구축되었으며 최첨단 SSD, YOLO, FasterRCNN 및 MaskRCNN과 같은 인기 있는 개체 감지 및 분할 모델에 대한 광범위한 AI 모델 지원을 제공
5. Graph Composer는 DeepStream 개발자에게 강력한 로우 코드 개발 옵션을 제공

 

• AI 기반 비디오 및 이미지 분석을 위한 원활한 스트리밍 파이프라인 구축 가능
• 다양한 하드웨어 가속 플러그인과 함께 제공됨
• OpenCV 함수 및 라이브러리 통합 가능
• Pytorch 및 Tensor Flow와 같은 기본 프레임워크에 모델을 배포하거나 다중 GPU, 다중 스트림 및 일괄 처리 지원 옵션과 함께 높은 처리량의 추론을 위해 NVIDIA TensorRT를 사용하여 최상의 성능 달성 가능
• 모든 클라우드 및 에지에서 실행될 수 있으므로 에지와 클라우드 간의 효과적인 양방향 메시징, 보안, 스마트 녹화 및 무선 AI 모델 업데이트와 같은 IoT의 요구사항 처리 가능
• 특히 Smart Record 기능을 사용하면 선택적 기록을 통해 에지에서 디스크 공간을 절약할 수 있음
• 클라우드 레지스트리의 전체 앱 또는 개별 AI 모델에 대한 원활한 OTA(Over-the-Air) 업데이트를 통해 다운 타임 없이 정확성을 지속적으로 개선 가능
• Kafka, MQTT 및 AMQP와의 IoT 통합 인터페이스 및 AWS IoT 및 Microsoft Azure IoT 와의 turnkey integration 제공 가능
• NVIDIA NGC 컨테이너를 사용하여 고성능 딥스트림 클라우드 네이트브 애플리케이션 구축 가능
• Kubernetes 및 Helm 차트를 통해 대규모로 배포하고 컨테이너화 된 앱 관리 가능

 

 

NVIDIA Metropolis이란?

1. 이 메트로폴리스(Metropolis)는 리테일 분석, 지능형 교통시스템, 창고 및 물류, 제조, 치안, 배수 시스템 등의 유지보수, 생체 인식을 활용하는 액세스 제어, 차량의 교통상황을 측정하여 교통 체증을 해소하는 대중교통 분야에 널리 이용된다. 이 메트로폴리스는 본 글에서 언급하는 NVIDIA DeepStream을 사용하여 더 뛰어난 성능과 확장성을 경험해 볼 수 있다. 그 외에도 Transfer Learning Toolkit 및 TensorRT 도 활용할 수 있다.

 

2. 참고로 메트로폴리스는 AI 및 IoT 애플리캐이션을 에지에서 클라우드까지 생성, 배포 및 확장할 수 있는 플랫폼이다. 많은 중국의 지능형 영상분석(IVA) 기업들이 메트로폴리스를 채택하고 있다. 그중 유명한 하이크비전(Hikvision)의 인식 및 매칭 기술은 데이터 규모가 10배 이상 증가하는데도 90% 이상의 검출율(recall rate)을 기록하는 놀라운 성과를 보였는데, 이를 위해 하이크비전은 엔비디아 젯슨(Jetson)이 적용된 카메라와 네트워크 비디오 레코더, 테슬라(Tesla) P4 GPU 가속기로 구동되는 클라우드 서버, 트레이닝에 활용되는 DGX-1 AI 슈퍼컴퓨터의 엄청난 컴퓨터 연산력을 함께 활용했다고 한다. 하이크 비전 연구소의 (Shiliang Pu) 소장은 "뛰어난 GPU 성능과 엔비디아의 엔드-투-엔드 AI 및 딥러닝 플랫폼을 동영상 스트림에 적용할 경우 여러 산업 부문에서 보다 스마트한 애플리캐이션 개발이 가능하다"라고 말했다.

 

 

 

참고사이트

DeepStream SDK

 

 

알아도 더 어려운 거 같다...