Технический стек Netflix — Базы данных.

Команда инженеров Netflix выбирает различные базы данных, чтобы обеспечить масштабируемую потоковую передачу.

диаграмма

Реляционные базы данных: Netflix выбирает MySQL для выставления счетов, подписок, налогов и доходов. Они также используют CockroachDB для поддержки мультирегиональной архитектуры active-active, глобальных транзакций и рабочих процессов конвейера передачи данных.

Столбчатые базы данных: Netflix в основном использует их в аналитических целях. Они используют Redshift и Druid для хранения структурированных данных, Spark и конвейерную обработку данных, а также Tableau для визуализации данных.

Базы данных ключ-значение: Netflix в основном использует EVCache, построенный поверх Memcached. EVCache работает с Netflix уже более 10 лет и используется для большинства сервисов, кэшируя различные данные, такие как домашняя страница Netflix и личные рекомендации.

Базы данных с широкими столбцами: Cassandra обычно используется Netflix по умолчанию. Они используют его практически для всего, включая информацию о видео / актерах, пользовательские данные, информацию об устройстве и историю просмотров.

Базы данных временных рядов: Netflix создала базу данных в памяти с открытым исходным кодом под названием Atlas для хранения и агрегирования показателей.

Неструктурированные данные: S3 является выбором по умолчанию и хранит практически все, что связано с изображениями / видео / метриками / файлами журналов. Apache Iceberg также используется с S3 для хранения больших объемов данных.

Если вы работаете в крупной компании и хотите обсудить технологический стек вашей компании, не стесняйтесь обращаться ко мне. По умолчанию все сообщения будут обрабатываться как анонимные.

Источник: ByteByteGo

Вот последние статьи, которые вы, возможно, пропустили:

высокий звук

Присоединяйтесь к талантливому коллективу ByteByteGo

Если вы ищете новую работу, присоединяйтесь к коллективу, чтобы получить индивидуальные предложения о работе от выбранных компаний. Доступны общедоступные или анонимные варианты.