Евгений Ермаков - Руководитель DWH,
Яндекс GO

Исторически монолитные и централизованные, современные DWH претерпевают изменения: к ним применяют микросервисную архитектуру, которая давно сменила монолиты в бэкенде. Data Mesh уверенно "шагает по планете", все больше компаний пытаются его внедрить, но стоит ли этот подход окружающего его хайпа или это просто веяние моды?

Как сохранить единообразие, где место детального слоя в этом подходе, как управлять таким разрозненным и гетерогенным хранилищем?

В рамках своего доклада я расскажу, как мы в Яндексе Go начали применять этот подход, на какие грабли наступили и в каком месте подстелили себе соломку.

Дмитрий Володин - Руководитель направления обработки данных, СИБУР Диджитал;
Иван Самохин - Инженер данных, СИБУР Диджитал;

Одна из целей создания хранилища данных - обеспечение интегрированности информации.

Эту задачу можно решать созданием высоконормализованных детальных слоёв.
Обычно всё начинается с выбора модели, и, хотя это очень непросто выбрать между Data Vault, Anchor modeling или 3-ей нормальной форме, это только первый маленький шаг.
Если не уделять внимание другим важным требованиям к процессу и данным, выйдет плохо.

Начнём наш доклад с истории про создание детального слоя в Сибур Диджитал.
Отправляясь вниз по эмоциональной дуге, мы поделимся нашим печальным опытом первого подхода к снаряду.
Разберём те ключевые ошибки, которые нашли сами и обсудим те, которые увидите вы.

Закончим на позитивное ноте - даже из очень грустных ситуаций есть выход, и мы его нашли (надеемся).