DAGs. I Airflow er en DAG – eller a Directed Acyclic Graph – en samling af alle de opgaver, du ønsker at køre, organiseret på en måde, der afspejler deres relationer og afhængigheder.
Hvordan laver du DAG'er i Airflow?
For at oprette en DAG i Airflow skal du altid importere DAG-klassen Efter DAG-klassen kommer importen af operatører. Grundlæggende skal du for hver operatør, du vil bruge, foretage den tilsvarende import. For eksempel, hvis du vil udføre en Python-funktion, skal du importere PythonOperator.
Hvor leder Airflow efter DAG'er?
Airflow ser i din DAGS_FOLDER efter moduler, der indeholder DAG-objekter i deres globale navneområde og tilføjer de objekter, den finder i DagBag.
Hvordan opbevarer Airflow DAG'er?
Apache Airflow Metadata Database:
Metadatadatabasen gemmer konfigurationer, såsom variabler og forbindelser Den gemmer også brugeroplysninger, roller og politikker. Til sidst parser planlæggeren alle DAG'erne og gemmer relevante metadata såsom tidsplansintervaller, statistik fra hver kørsel og deres opgaver.
Er Airflow et ETL-værktøj?
Airflow er ikke et ETL-værktøj i sig selv. Men den administrerer, strukturerer og organiserer ETL-pipelines ved hjælp af noget, der kaldes Directed Acyclic Graphs (DAG'er). … Metadatadatabasen gemmer arbejdsgange/opgaver (DAG'er).
