XMASKNEWS
Aktualizacja:
Help Net SecurityEN→PLAI

Dagster: Open-source'owy orkiestrator potoków danych natywny dla chmury

Dagster to otwartoźródłowe narzędzie do zarządzania potokami danych, które śledzi zależności między zbiorami, modelami ML i raportami.

Dagster to rozwiązanie open-source służące do orkiestracji potoków danych, które decyduje o kolejności i czasie wykonywania poszczególnych zadań. Kluczową funkcją narzędzia jest śledzenie pochodzenia danych (lineage), co pozwala szybko zidentyfikować, które tabele lub modele uczenia maszynowego zostały dotknięte błędem w źródle. W systemie każdy element danych traktowany jest jako zasób (asset) zdefiniowany za pomocą funkcji w języku Python.

Narzędzie oferuje zaawansowane mechanizmy kontroli jakości poprzez tzw. asset checks. Są to testy pisane bezpośrednio w kodzie, które mogą blokować dalsze przetwarzanie danych, jeśli wykryją nieprawidłowości, takie jak obecność wartości null w kolumnie. Dzięki temu błędy nie są propagowane do kolejnych etapów potoku. Dagster wspiera również partycjonowanie danych oraz automatyczne uzupełnianie brakujących okresów (backfill).

Projekt wspiera wersje Pythona od 3.9 do 3.14 i posiada gotowe integracje z popularnymi narzędziami, takimi jak dbt. Użytkownicy mogą zarządzać procesami poprzez interfejs webowy, który wizualizuje graf zależności między zasobami.