Хранилища данных на службе BIЭлементы архитектуры

Доклад принят в программу конференции
Александр Крашенинников
Badoo

Занимается BI-инфраструктурой, масштабированием под нагрузки. Обожает всё распределённое - Spark, Hadoop, ClickHouse. В последние два успел вложить всю любовь в виде code contributions.

Алексей Еремихин
Badoo

Разработчик высоконагруженных систем с элементами BigData.

Тезисы

Когда в компании надо принимать решения на основании показателей, отдел BI — главный помощник.

В ход идут пересечения потоков данных, витрины, data research и просто метод пристального взгляда.

Для решения всех возникающих случаев манипуляции данными не всегда существует универсальное хранилище, которое является серебряной пулей. Hadoop — это, как правило, высокий показатель latency, аналитические базы данных — не OLTP, в каких-то решениях отсутствует поддержка транзакционности.

В докладе рассмотрим, как мы в BI используем связку Exasol и Hadoop. Рассмотрим аспекты ETL и технические решения, которые мы используем для интеграции этих хранилищ.

Базы данных / другое
,
Hadoop
,
ETL

Другие доклады секции Элементы архитектуры