Nielsen Sports의 Tamir Rubinsky, Aviad Aranias와 공동으로 작성한 객원 게시물입니다..

닐슨 스포츠 청중 통찰력, 데이터 및 분석 분야의 글로벌 리더로서 세계의 미디어와 콘텐츠를 형성합니다. 모든 채널과 플랫폼에서 사람들과 그들의 행동에 대한 이해를 통해 우리는 고객에게 독립적이고 실행 가능한 인텔리전스를 제공하여 현재와 미래에 고객과 연결하고 소통할 수 있도록 합니다.

Nielsen Sports의 사명은 고객(브랜드 및 권리 보유자)에게 TV, 온라인, 소셜 미디어 및 기타 모든 채널을 포함한 모든 채널에서 스포츠 후원 광고 캠페인의 투자 수익(ROI)과 효과를 측정할 수 있는 기능을 제공하는 것입니다. 신문까지 포함하여 지역, 국가, 국제 수준에서 정확한 타겟팅을 제공합니다.

이 게시물에서는 Nielsen Sports가 다음을 사용하여 프로덕션에서 수천 개의 다양한 기계 학습(ML) 모델을 실행하는 시스템을 현대화한 방법을 설명합니다. 아마존 세이지 메이커 다중 모델 엔드포인트(MME)를 사용하고 운영 및 금융 비용을 75% 절감했습니다.

채널 비디오 세분화의 과제

우리의 기술은 인공지능(AI), 특히 컴퓨터 비전(CV)을 기반으로 하여 브랜드 노출을 추적하고 위치를 정확하게 식별할 수 있습니다. 예를 들어, 브랜드가 배너에 있는지 셔츠에 있는지 식별합니다. 또한 간판 상단 모서리나 소매 등 상품의 브랜드 위치를 식별합니다. 다음 그림은 태그 지정 시스템의 예를 보여줍니다.

확장 및 비용 문제를 이해하기 위해 몇 가지 대표적인 수치를 살펴보겠습니다. 매달 다양한 채널에서 120억 100,000천만 건 이상의 브랜드 노출을 식별하며, 시스템은 6개 이상의 브랜드와 다양한 브랜드의 식별을 지원해야 합니다. 우리는 XNUMX억 개 이상의 데이터 포인트를 갖춘 세계 최대 규모의 브랜드 노출 데이터베이스 중 하나를 구축했습니다.

우리의 미디어 평가 프로세스에는 다음 그림과 같이 여러 단계가 포함됩니다.

1. 첫째, 우리는 국제 녹음 시스템을 사용하여 전 세계 수천 개의 채널을 녹음합니다.
2. 방송 일정(전자 프로그래밍 가이드)과 결합하여 콘텐츠를 다음 단계로 스트리밍합니다. 게임 방송 자체와 다른 콘텐츠 또는 광고를 분할하고 분리하는 것입니다.
3. 우리는 리그 점수, 관련 팀, 선수 등 각 세그먼트에 추가 메타데이터를 추가하는 미디어 모니터링을 수행합니다.
4. 브랜드 가시성에 대한 노출 분석을 수행한 후 오디언스 정보를 결합하여 캠페인 가치를 계산합니다.
5. 정보는 대시보드나 분석 보고서를 통해 고객에게 전달됩니다. 분석가는 원시 데이터에 직접 액세스하거나 데이터 웨어하우스를 통해 액세스할 수 있습니다.

우리는 1,000개 이상의 채널과 연간 수만 시간의 비디오 규모를 운영하기 때문에 분석 프로세스를 위한 확장 가능한 자동화 시스템이 필요합니다. 당사의 솔루션은 자동으로 방송을 분할하고 나머지 콘텐츠에서 관련 비디오 클립을 분리하는 방법을 알고 있습니다.

이는 채널의 특정 특성을 분석하기 위해 자체 개발한 전용 알고리즘과 모델을 사용하여 수행됩니다.

전체적으로 우리는 비용이 많이 들고 운영 오버헤드가 발생하며 오류가 발생하기 쉽고 속도가 느린 이 임무를 지원하기 위해 프로덕션에서 수천 개의 다양한 모델을 실행하고 있습니다. 새로운 모델 아키텍처를 갖춘 모델을 생산하는 데 몇 달이 걸렸습니다.

이것이 바로 우리가 시스템을 혁신하고 재구성하고 싶었던 곳입니다.

SageMaker MME를 사용하여 CV 모델을 위한 비용 효율적인 확장

기존 비디오 분할 시스템은 테스트, 변경 및 유지 관리가 어려웠습니다. 일부 과제에는 기존 ML 프레임워크 작업, 구성 요소 간의 상호 종속성, 최적화하기 어려운 워크플로 등이 포함됩니다. 이는 우리가 Stateful 솔루션인 파이프라인을 위해 RabbitMQ를 기반으로 했기 때문입니다. 기능 추출과 같은 하나의 구성 요소를 디버깅하려면 모든 파이프라인을 테스트해야 했습니다.

다음 다이어그램은 이전 아키텍처를 보여줍니다.

분석의 일환으로 머신에서 단일 모델을 실행하는 것과 같은 성능 병목 현상을 식별했는데, 이는 30~40%의 낮은 GPU 활용률을 보여주었습니다. 또한 모델에 대한 비효율적인 파이프라인 실행 및 스케줄링 알고리즘도 발견했습니다.

따라서 우리는 성능 최적화 개선을 구현하고 동적 배치 크기를 지원하며 여러 모델을 동시에 실행하는 SageMaker를 기반으로 하는 새로운 다중 테넌트 아키텍처를 구축하기로 결정했습니다.

워크플로를 실행할 때마다 비디오 그룹을 대상으로 합니다. 각 비디오의 길이는 30~90분이며, 각 그룹에는 XNUMX개 이상의 모델이 출연합니다.

예를 들어 보겠습니다. 동영상의 길이는 60분이고 3,600개의 이미지로 구성되며 각 이미지는 첫 번째 단계에서 세 가지 다른 ML 모델에 의해 추론되어야 합니다. SageMaker MME를 사용하면 12개 이미지의 배치를 병렬로 실행할 수 있으며 전체 배치는 2초 이내에 완료됩니다. 보통 하루에는 20개 이상의 비디오 그룹이 있고, 주말에는 100개 이상의 비디오 그룹이 있을 수 있습니다.

다음 다이어그램은 SageMaker MME를 사용하는 새롭고 단순화된 아키텍처를 보여줍니다.

결과

새로운 아키텍처를 통해 우리는 원하는 많은 결과를 얻었으며 기존 아키텍처에 비해 눈에 보이지 않는 몇 가지 이점을 얻었습니다.

• 더 나은 런타임 – 배치 크기(동시 12개 비디오)를 늘리고 여러 모델을 동시에 실행(33개 모델 병렬)하여 전체 파이프라인 런타임을 1시간에서 40분으로 XNUMX% 줄였습니다.
• 향상된 인프라 – SageMaker를 사용하여 기존 인프라를 업그레이드했으며 현재 g5.xlarge와 같은 최신 GPU가 포함된 최신 AWS 인스턴스를 사용하고 있습니다. 변경으로 인한 가장 큰 이점 중 하나는 TorchScript 및 CUDA 최적화 사용으로 인한 즉각적인 성능 향상입니다.
• 최적화된 인프라 활용 – 여러 모델을 호스팅할 수 있는 단일 엔드포인트를 가짐으로써 유지 관리해야 하는 엔드포인트 수와 머신 수를 모두 줄일 수 있을 뿐만 아니라 단일 머신과 해당 GPU의 활용도도 높일 수 있습니다. 5개의 비디오가 포함된 특정 작업의 경우 이제 g75 인스턴스 머신 5개만 사용하므로 이전 솔루션에 비해 80%의 비용 이점을 얻을 수 있습니다. 낮 동안의 일반적인 워크로드의 경우 GPU 사용률이 40% 이상인 gXNUMX.xlarge의 단일 머신이 포함된 단일 엔드포인트를 사용합니다. 비교하자면, 이전 솔루션의 활용도는 XNUMX% 미만이었습니다.
• 민첩성 및 생산성 향상 – SageMaker를 사용하면 모델 마이그레이션에 소요되는 시간을 줄이고 핵심 알고리즘과 모델을 개선하는 데 더 많은 시간을 할애할 수 있습니다. 이를 통해 엔지니어링 및 데이터 과학 팀의 생산성이 향상되었습니다. 이전에는 7개월이 넘게 걸리던 새로운 ML 모델을 이제 1일 이내에 연구하고 배포할 수 있습니다. 속도와 계획이 75% 향상되었습니다.
• 더 나은 품질과 자신감 – SageMaker A/B 테스트 기능을 사용하면 모델을 점진적으로 배포하고 안전하게 롤백할 수 있습니다. 프로덕션까지의 수명주기가 빨라지면서 ML 모델의 정확성과 결과도 향상되었습니다.

다음 그림은 이전 아키텍처(30)의 GPU 활용도를 보여줍니다.-GPU 활용도 40%).

다음 그림은 단순화된 새로운 아키텍처(90% GPU 활용률)의 GPU 활용률을 보여줍니다.

결론

이 게시물에서는 Nielsen Sports가 SageMaker MME를 사용하여 생산 중인 수천 개의 다양한 모델을 실행하는 시스템을 현대화하고 운영 및 재정 비용을 75% 절감한 방법을 공유했습니다.

자세한 내용은 다음을 참조하십시오.

---

저자에 관하여

에이 탄 셀라 Amazon Web Services의 생성적 AI 및 기계 학습 전문가 솔루션 설계자입니다. 그는 AWS 고객과 협력하여 지침과 기술 지원을 제공하고 AWS에서 생성적 AI 및 기계 학습 솔루션을 구축하고 운영하도록 돕습니다. 여가 시간에 Eitan은 조깅을 즐기고 최신 기계 학습 기사를 읽는 것을 즐깁니다.

갈 골드만 그는 최첨단 솔루션에 대한 열정을 갖고 있는 AWS의 수석 소프트웨어 엔지니어이자 엔터프라이즈 수석 솔루션 아키텍트입니다. 그는 다양한 분산형 기계 학습 서비스 및 솔루션을 전문으로 개발했습니다. Gal은 또한 AWS 고객이 엔지니어링 및 Generative AI 문제를 가속화하고 극복하도록 돕는 데 중점을 두고 있습니다.

탈 판첵 Amazon Web Services를 사용한 인공 지능 및 기계 학습 분야의 수석 비즈니스 개발 관리자입니다. BD 전문가로서 그는 AWS 서비스의 채택, 활용 및 수익 증대를 담당하고 있습니다. 그는 고객 및 업계 요구 사항을 수집하고 AWS 제품 팀과 협력하여 AWS 솔루션을 혁신, 개발 및 제공합니다.

타미르 루빈스키 Nielsen Sports에서 글로벌 R&D 엔지니어링을 이끌고 혁신적인 제품을 구축하고 성과가 뛰어난 팀을 관리하는 데 있어 광범위한 경험을 제공합니다. 그의 작업은 혁신적인 AI 기반 솔루션을 통해 스포츠 후원 미디어 평가를 변화시켰습니다.

아비아드 아라니아스 MLOps 팀 리더이자 Nielsen 스포츠 분석 설계자로서 다양한 채널에서 스포츠 이벤트 비디오를 분석하기 위한 복잡한 파이프라인 제작을 전문으로 합니다. 그는 대규모 데이터를 효율적으로 처리하기 위해 딥 러닝 모델을 구축하고 배포하는 데 탁월합니다. 여가 시간에는 맛있는 나폴리 피자 굽기를 즐깁니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/