Тематика обсуждения:

  • Противоречивый ETL

Исходный запрос был следующий: Везде нужно применять событийку, но чаще быстрей делать на сосущих скриптах

Итоговая схема

Theme-01

Таймкод внутри стрима

Упоминаемые технологии

  • Apache Airflow
  • Vector.dev

Ретроспективный разбор

периодически мы пересматриваем свои мысленные эксперименты и отмечаем интересные вещи или возможные недочеты

  • Кажется что это часть DataLake и на самом деле похоже, но по сути это “Гибрид”