넷플릭스의 분석 엔지니어링 작업에 대한 설문조사 제1부

안녕하세요, 여러분! 오늘은 넷플릭스에서의 분석 엔지니어링(Analytics Engineering)에 관한 흥미로운 내용을 공유하고자 합니다. 이 글은 넷플릭스 내부의 연례 분석 엔지니어링 컨퍼런스에서 발표된 내용을 바탕으로 작성된 다부작 시리즈의 첫 번째 부분입니다. 이번 포스트에서는 넷플릭스가 어떻게 효율적으로 고품질의 행동 가능한 분석 인사이트를 생산하고 전달하는지를 다룰 예정입니다. 후속 글에서는 분석 공학의 다양한 응용 사례와 기술적인 측면을 더 깊이 탐구할 것입니다.

넷플릭스의 데이터 분석

넷플릭스는 전 세계의 고객들이 원하는 콘텐츠를 쉽게 찾을 수 있도록 돕는 것을 목표로 하고 있습니다. 넷플릭스의 분석 작업은 고객들이 흥미를 느끼고 더 많은 콘텐츠를 즐길 수 있도록 콘텐츠를 제작하고 배포하는 데 큰 역할을 하고 있습니다. 분석 엔지니어들은 비즈니스 및 제품 파트너십을 통해 깊은 통찰력을 제공하며, 비즈니스 문제를 해결하는 솔루션을 설계하고 유지하는 일에 참여하고 있습니다.

매년 우리는 분석 엔지니어링 커뮤니티를 위한 '분석 서밋'을 개최합니다. 이는 넷플릭스 전반에 걸쳐 분석 결과를 공유하고 분석 관행에 대해 논의하며, 커뮤니티 내의 관계를 구축하는 3일간의 내부 회의입니다. 이번 서밋에서도 다양한 흥미로운 주제를 다루었으며, 그중 몇 가지를 소개하고자 합니다.

데이터정션(DataJunction): 실험과 분석의 통합

넷플릭스에서는 메트릭 생성 및 사용이 종종 복잡합니다. 메트릭 정의가 여러 데이터베이스와 문서 사이트에 분산되어 있어, 분석가와 데이터 과학자들이 신뢰할 수 있는 정보를 신속하게 찾기 어려운 경우가 많습니다. 이러한 파편화는 일관성을 감소시키고 시간을 낭비하게 만듭니다.

이에 대한 해결책으로 '데이터정션'이 등장했습니다. 데이터정션은 메트릭 정의가 존재하는 중앙 저장소 역할을 하며, 메트릭 소유자가 정의한 메트릭을 등록한 후, 조직 내에서 해당 메트릭 정의를 적용하여 데이터를 집계할 수 있게 돕습니다.

예를 들어, 분석가가 "총 스트리밍 시간" 메트릭을 생성하려면 두 가지 정보를 제공해야 합니다.

1. 사실 테이블의 정보
2. 메트릭 표현식

이와 같은 방식으로 조직 내에서 메트릭 소비자는 데이터정션을 사용하여 SQL 쿼리 또는 결과 데이터를 요청할 수 있습니다.

LORE: 넷플릭스의 분석 접근성 확대

넷플릭스는 데이터와 분석이 비즈니스 의사 결정을 지원한다고 믿습니다. 그러나 많은 대시보드 제품이 적은 사용자를 기록하고 있으며, 서로 다른 메트릭 계산 방법으로 인해 일관성 문제가 발생하고 있습니다.

이에 따라 우리는 LORE라는 챗봇을 통해 유용한 인사이트를 제공하고자 했습니다. LORE는 대화형 인터페이스를 통해 비즈니스 사용자가 데이터에 접근할 수 있도록 돕습니다. 이 과정에서 벌어지는 사용자 신뢰 구축, 훈련, 피드백 루프와 같은 문제를 해결하고 있습니다.

마무리

분석 엔지니어링은 넷플릭스의 데이터 문화 구축에 중요한 기여를 하고 있습니다. 앞으로도 우리는 비즈니스 사용자가 데이터를 효과적으로 활용할 수 있도록 노력할 것이며, 지속적인 개선을 통해 보다 나은 분석 환경을 조성하겠습니다.

더 많은 정보를 얻고 싶으시다면 넷플릭스 연구 사이트를 방문해보세요. 함께 엔터테인먼트를 즐기고 싶으시다면, 우리의 오픈 포지션도 확인해보세요!

부족한 부분이나 가지고 계신 질문이 있다면 댓글로 남겨주세요. 여러분의 생각이 궁금합니다!