Detaillierter Kursinhalt
Modul 1 - Einführung in Cloud Composer
Themen
- Der Bedarf des Dateningenieurs an Workflow-Orchestrierung
- Einführung in Apache Airflow
- Cloud-Komponist
- Umgebung einrichten
- Verwendung von Composer und Airflow
Zielsetzungen
- Erkunden Sie Apache Airflow und Cloud Composer.
- Bereitstellung von Cloud Composer-Instanzen.
- Erkunden Sie die Benutzeroberflächen von Airflow und Composer.
Aktivitäten
- Übung: Bereitstellung von Cloud Composer
Modul 2 - Erstellen und Verwalten von DAGs
Themen
- DAG-Struktur und bewährte Verfahren
- Gemeinsame Betreiber
- Abhängigkeiten, Auslöseregeln und Flusskontrolle
- Integration von Airflow und Google Cloud Services
Zielsetzungen
- DAGs schreiben.
- Erkunden Sie gängige Airflow-Operatoren.
- Verwalten Sie Auslöser, Abhängigkeiten und Ablaufsteuerung.
- Integrieren Sie Airflow mit Google Cloud Services.
Aktivitäten
- Übung: Zusammenstellen eines Datenverarbeitungs-Workflows
Modul 3 - Fortgeschrittene Luftstromtechniken und bewährte Verfahren
Themen
- Erweiterte Airflow-Funktionen
- Fehlersuche in DAGs
- Leistung und Skalierbarkeit
- Sicherheit und Zugangskontrolle
- Beobachtbarkeit und Überwachung
Zielsetzungen
- Nutzen Sie die erweiterten Airflow-Funktionen.
- Debug DAGs.
- Beobachten und überwachen Sie Ihre laufenden DAGs
Aktivitäten
- Übung: Erweitern und Überwachen von DAGs