[자료제공:엔비디아]

- NIM 마이크로서비스와 AI 블루프린트 등 엔비디아 기술로 AI 비디오 처리 과정 간소화, 시청자 참여 향상

- 콘텐츠 제작, 스트리밍, 라이브 미디어 경험 혁신하는 최신 AI 기반의 이니셔티브

엔비디아가 엔비디아 미디어2(NVIDIA Media2)를 소개했다. 이는 콘텐츠 제작, 스트리밍, 라이브 미디어 경험을 혁신하는 최신 AI 기반의 이니셔티브이다.

엔비디아는 GPU, RTX 실시간 레이 트레이싱, 뉴럴 렌더링 기술 개발부터 이제는 AI를 위한 컴퓨팅 혁신까지 이끌며, 수십 년간 컴퓨터 그래픽의 최전선에서 미디어와 엔터테인먼트 분야의 경계를 확장시켜왔다.

미디어2는 엔비디아 NIM 마이크로서비스(microservices)와 AI 블루프린트(Blueprints)와 같은 기술을 바탕으로, 스타트업과 소프트웨어 파트너들의 혁신적인 AI 애플리케이션을 결합했다. 이를 통해 미디어2는 AI를 활용해 더 스마트하고 임팩트 있는 콘텐츠를 생성해 각 시청자의 취향에 맞춰 변화할 수 있도록 한다.

급변하는 크리에이티브 분야에서 기업들은 엔비디아 미디어2를 활용해, 3조 달러 규모의 미디어, 엔터테인먼트 산업에서 첨단 기술을 통해 시청자가 콘텐츠를 소비하고 참여하는 방식을 혁신할 수 있다.

미디어2 핵심에 있는 엔비디아 기술

미디어, 엔터테인먼트 산업이 생성형 AI와 가속 컴퓨팅을 수용함에 따라 엔비디아 기술은 콘텐츠의 생성, 전달 및 경험 방식을 혁신적으로 변화시키고 있다.

미디어용 엔비디아 홀로스캔(Holoscan)은 방송, 스트리밍, 라이브 스포츠 분야의 기업이 AI와 동일한 인프라에서 실시간 비디오 처리를 가능하게 하는 소프트웨어 기반 AI 지원 플랫폼이다. 이 플랫폼은 엔비디아 가속화된 인프라에서 다양한 공급업체의 애플리케이션을 제공한다.

엔비디아 블랙웰(Blackwell) 아키텍처는 차세대 데이터 강화된 지능형 콘텐츠 생성, 하이퍼 개인화된 미디어를 주도하는 데 필요한 성능을 제공한다. 엔비디아 호퍼 세대에 비해 최대 25배 더 높은 에너지 효율로 데이터 센터 규모의 생성형 AI 워크플로우를 처리하도록 설계됐다. 블랙웰은 GPU, CPU, DPU, 엔비디아 NV링크(NVLink) 스위치 칩, 엔비디아 인피니밴드(InfiniBand) 스위치, 이더넷 스위치의 6가지 유형의 칩을 통합한다.

엔비디아 블랙웰은 프로덕션급 AI를 위한 엔드-투-엔드 소프트웨어 플랫폼인 엔비디아 AI 엔터프라이즈(Enterprise)에서 지원한다. 엔비디아 AI 엔터프라이즈는 미디어 회사가 엔비디아 가속 클라우드, 데이터 센터, 워크스테이션에 배포할 수 있는 엔비디아 NIM 마이크로서비스, AI 프레임워크, 라이브러리, 도구로 구성된다. 이에는 다음과 같은 다양한 도구와 서비스가 포함된다:

· 라마 3.1-405B- 인스트럭트(Lama 3.1-405B-Instruct) NIM 마이크로서비스는 합성 데이터 생성, 증류(distillation), 추론 기능을 제공해 챗봇, 코딩, 도메인별 작업을 지원한다.

· 다국어 정보 검색을 가능하게 하는 미스트랄-네모-12B-인스트럭트(Mistral-NeMo-12B-Instruct) NIM 마이크로서비스는 다국어 정보를 검색, 처리하고 가져오는 기능을 제공한다. 이는 AI 모델의 출력 품질의 정확도와 글로벌 관련성을 향상시키는 데 핵심적인 역할을 한다.

· 엔비디아 옴니버스 블루프린트는 정밀한 시각적 생성 AI를 위한 3D 조건화 도구로, 광고주가 실시간 렌더링과 생성형 AI를 활용해 브랜드에 맞고 제품에 정확한, 개인화된 마케팅 콘텐츠를 대규모로 쉽게 제작하도록 도와준다. 이런 과정에서 기존 브랜드의 중요한 제품 자산이 손상되지 않는다.

· 엔비디아 네모 리트리버 임베딩(NeMo Retriver embedding)과 리랭킹 NIM 마이크로서비스(reranking NIM microservice)는 텍스트 문서, 전사본, 뉴스 기사, 기타 서면 콘텐츠를 벡터화하고 재정렬하는 마이크로서비스이다. 이런 기능을 통해 미디어 기업은 생성형 AI 프로젝트를 발전시키고 정확한 다국어 지원 시스템을 구축할 수 있다.

· 엔비디아 코스모스 네모트론(Cosmos Nemotron) 비전 언어 모델 NIM 마이크로서비스는 텍스트, 이미지, 비디오의 의미와 맥락을 이해할 수 있는 멀티모달 VLM이다. 이 마이크로서비스를 통해 미디어 기업은 자연어로 이미지와 비디오를 효과적으로 검색하고 유용한 답변을 얻을 수 있다.

· VSS(비디오 검색 및 요약을 위한 엔비디아 AI 블루프린트)는 VLM과 LLM을 통합하고, 클라우드 환경에서 사용할 수 있는 구성 요소를 제공해, 비디오 콘텐츠를 분석, 검색, 요약하는 애플리케이션 개발을 가능하게 한다.

· 엔비디아 에디파이(Edify) 멀티모달 생성형 AI 아키텍처는 텍스트나 이미지 프롬프트를 기반으로 이미지, 3D 모델, HDRi 환경 등의 시각적 자산을 생성하는 기능을 제공한다. 이 기술은 고급 편집 도구와 개발자를 위한 효율적인 교육 기능을 제공한다. 엔비디아 AI 파운드리(Foundry)를 통해 서비스 제공업체는 엔비디아 NIM 마이크로서비스를 사용해 시각적인 상업 서비스에 맞게 Edify 모델을 사용자 정의할 수 있다.

미디어2 생태계의 파트너

다양한 산업 분야의 기업과 조직들은 엔비디아 기술을 채택해 스토리텔링의 방식이나 경험을 혁신하고 있다.

게티이미지(Getty Images)와 셔터스톡(Shutterstock)은 엔비디아 에디파이로 구축된 지능형 콘텐츠 생성 서비스이다. 또한 AI 모델은 엔비디아 NIM 마이크로서비스와 함께 최대 성능을 위해 최적화되고 패키징됐다.

브리아(Bria)는 개발자를 위해 설계된 최초의 상업용 시각적 생성형 AI 플랫폼이다. 100% 라이선스 데이터를 기반으로 훈련됐으며, 책임 있는 AI 원칙을 기반으로 구축됐다. 이 플랫폼은 맞춤형 파이프라인, 원활한 통합, 유연한 배포를 위한 도구를 제공해, 엔터프라이즈급 규정 준수와 확장과 예측 가능한 콘텐츠 생성을 보장한다. 엔비디아 NIM 마이크로서비스로 최적화된 브리아는 더 빠르고 안전하며 확장 가능한 프로덕션 준비 솔루션을 제공한다.

런웨이(Runway)는 아티스트와 영화 제작자를 위해 고급 크리에이티브 도구를 제공하는 AI 플랫폼이다. 이 기업의 젠-3 알파 터보(Gen-3 Alpha Turbo) 모델은 비디오 생성에서 뛰어난 성능을 발휘하며, 팬, 틸트, 줌과 같은 정밀한 카메라 움직임을 가능하게 하는 새로운 카메라 제어 기능을 포함한다. 런웨이는 엔비디아 CV-쿠다(CV-CUDA) 오픈 소스 라이브러리와 엔비디아 GPU의 통합을 통해 세분화 모델에서 고해상도 비디오를 처리하는 데 필요한 속도를 단축시킨다.

원더 다이내믹스(Wonder Dynamics)는 오토데스크(Autodesk)의 자회사로, 원더 애니메이션(Wonder Animation) 베타 버전을 출시했다. 이 소프트웨어는 강력한 비디오-3D 장면을 특징으로 하며, 어떤 비디오 시퀀스도 3D 애니메이션 장면으로 변환할 수 있어 애니메이션 영화제작에 활용될 수 있다. 엔비디아 GPU 기술로 가속화된 원더 애니메이션은 시각 효과 아티스트와 애니메이터에게 사용하기 쉽고 유연한 도구를 제공해 전통적으로 3D 애니메이션, 시각 효과 작업의 시간, 복잡성, 노력을 크게 줄일 뿐 아니라, 아티스트가 창의성을 전적으로 발휘할 수 있도록 돕는다.

컴캐스트(Comcast)의 스카이(Sky) 혁신 팀은 엔비디아와 협력해 글로벌 플랫폼을 구축을 위해 엔비디아 NIM 마이크로서비스, 파트너 모델을 테스트하고 있다. 이런 도입을 통해 음성 명령 기능을 사용하면 실시간 스포츠 방송 중에 경기 요약 정보를 요청할 수 있다. 또한 추가적인 다른 관련 정보를 쉽게 얻을 수 있어서 전세계 고객들에게 더 나은 상호작용과 접근성을 제공할 수 있다.

창의적인 콘텐츠나 솔루션을 개발하는 기업이자 최대 규모의 가상 스튜디오 네트워크를 갖춘 뷰(Vū)는 엔비디아 가속 생성형 AI 기술을 통해 가상 환경과 몰입형 콘텐츠를 더욱 쉽게 제작할 수 있게 됐다.

스타트업을 위한 엔비디아 인셉셥(Inception) 프로그램의 회원사인 트웰브랩스(Twente Labs)는 인간처럼 비디오를 이해할 수 있는 고급 멀티모달 기초 모델을 개발하고 있다. 이를 통해 정밀한 의미 검색, 콘텐츠 분석, 비디오-텍스트 생성이 가능해진다. 트웰브랩스는 엔비디아 H100 GPU를 사용해 모델의 추론 성능을 크게 향상시켜 초당 처리되는 요청 수를 최대 7배 개선하는 성과를 달성했다.

S4 캐피탈(Capita)의 몽크스(Monks)는 최첨단 AI 기술을 사용해, 실시간 콘텐츠 분할 기능을 갖추고, 각 팬의 관심사에 맞춰진 경험을 제공함으로써 라이브 방송을 향상시키고 있다. 미디어용 엔비디아 홀로스캔으로 구동되는 이 회사의 솔루션은 비디오 콘텐츠에 대한 상황에 맞는 메타데이터를 생성하고, 생성된 데이터는 시간에 따라 주소가 지정된 미디어 저장소에 삽입된다. 이를 통해 사용자는 비디오 콘텐츠 내에서 원하는 장면을 특정 행동을 기반으로 쉽게 찾을 수 있다. 

또한 몽크스는 엔비디아 네모 큐레이터(Curator)를 사용해 데이터를 처리하고 스포츠 리그, 지적 재산(IP) 보유자를 위한 맞춤형 AI 모델을 구축하고 라이선스를 통해 새로운 수익 창출의 기회를 열고 있다. 이러한 기술을 결합하면 방송사들은 이벤트가 진행되는 동안 팬들에게 관련성 높은 콘텐츠를 원활하게 제공할 수 있으며, 시청자들의 변화하는 요구에 맞춰 콘텐츠를 조정할 수 있다.

미디어 회사들은 방대한 양의 비디오 콘텐츠를 관리하고 찾고, 분류하고, 완성된 자산으로 편집하는 데 어려움을 겪으며 시간도 많이 소요된다. 선도적인 미디어 전문 컨설턴트이자 시스템 통합업체인 큐베스트(Qvest)는 NIM 마이크로서비스를 기반으로 한 AI 비디오 검색 엔진을 개발해 비디오 파일의 데이터 캡처를 자동화함으로써 이 프로세스를 가속화한다. 이를 통해 사용자는 자신이 의도한 이야기에 적합한 비디오를 효율적으로 찾고 쉽게 맥락을 파악할 수 있다.

버라이즌(Verizon)은 신뢰할 수 있고 안전한 프라이빗 5G 네트워크를 엔비디아 AI 엔터프라이즈와 NIM 마이크로서비스 등 엔비디아의 풀스택 AI 플랫폼과 통합해, 글로벌 기업 운영과 라이브 미디어, 스포츠 콘텐츠를 혁신하고 있다. 이를 통해 버라이즌은 최신 AI 솔루션을 엣지(데이터가 생성되는 위치 가까이)에서 제공할 수 있다. 이 솔루션을 통해 스트리머, 스포츠 리그, 법적 권리 보유자들은 고성능 5G 연결과 생성형 AI, 에이전트 AI, 확장 현실, 그리고 개인화된 콘텐츠 제공을 가능하게 하는 스트리밍 애플리케이션을 활용함으로써, 팬 경험을 더욱 향상시키고 상호작용과 몰입도를 높일 수 있다. 또한 이러한 기술은 코치, 선수, 심판과 팬들에게 실시간 데이터 분석을 제공해 선수의 성과와 시청자 참여도를 높이는 데 도움을 준다. 5G 기반의 기업용 AI의 사용 사례를 통해 자동화와 생산성도 촉진할 수 있다.

엔비디아 미디어2 활용

엔비디아 미디어2 이니셔티브는 기업이 지능적이고 데이터를 기반으로 하는 몰입형 기술을 통해 미디어와 엔터테인먼트의 미래를 재정의할 수 있도록 지원한다. 이를 통해 기업은 경쟁 우위를 확보하고 산업 전반에 걸쳐 혁신을 주도할 수 있는 역량을 갖출 수 있다.

엔비디아와 모델 개발자들이 제공하는 NIM 마이크로서비스과 정기적으로 추가되는 새로운 모델을 이제 사용할 수 있다.