Kursüberblick
In diesem Kurs wird erläutert, wie Sie Databricks und Apache Spark auf Azure verwenden, um Datenprojekte von der Erkundung bis zur Produktion zu nutzen. Sie erfahren, wie Sie große Datasets mit Spark DataFrames, Spark SQL und PySpark einbinden, transformieren und analysieren und dabei Sicherheit in der Verwaltung der verteilten Datenverarbeitung gewinnen. Unterwegs sammeln Sie praktische Erfahrungen mit dem Databricks-Arbeitsbereich – Navigieren durch Cluster und Erstellen sowie Optimieren von Delta-Tabellen. Außerdem werden Sie sich mit den Datentechnikpraktiken vertraut machen, einschließlich des Entwerfens von ETL-Pipelines, der Behandlung der Schemaentwicklung und der Erzwingung der Datenqualität. Der Kurs geht dann zur Orchestrierung über und zeigt Ihnen, wie Sie Arbeitslasten mithilfe von Lakeflow-Jobs und -Pipelines automatisieren und verwalten können. Um die Dinge abzurunden, erkunden Sie Governance- und Sicherheitsfunktionen wie Unity Catalog und Purview-Integration, um sicherzustellen, dass Sie mit Daten in einer sicheren, gut verwalteten und produktionsfähigen Umgebung arbeiten können.
Zielgruppe
Bevor Sie diesen Kurs absolvieren, sollten die Lernenden bereits mit den Grundlagen von Python und SQL vertraut sein. Dazu gehört die Möglichkeit, einfache Python-Skripts zu schreiben und mit allgemeinen Datenstrukturen zu arbeiten sowie SQL-Abfragen zum Filtern, Verknüpfen und Aggregieren von Daten zu schreiben. Ein grundlegendes Verständnis gängiger Dateiformate wie CSV, JSON oder Parkett hilft auch beim Arbeiten mit Datasets. Darüber hinaus ist die Vertrautheit mit dem Azure-Portal und den Kerndiensten wie Azure Storage wichtig, zusammen mit einem allgemeinen Bewusstsein für Datenkonzepte wie Batch- und Streamingverarbeitung und strukturierte und unstrukturierte Daten. Obwohl nicht zwingend erforderlich, kann vorherige Erfahrung mit Big Data-Frameworks wie Spark und der Arbeit mit Jupyter-Notizbüchern den Übergang zu Databricks erleichtern.
Voraussetzungen
Bevor Sie mit diesem Lernpfad beginnen, sollten Sie sich bereits mit den Grundlagen von Python und SQL vertraut machen. Dazu gehört die Möglichkeit, einfache Python-Skripts zu schreiben und mit allgemeinen Datenstrukturen zu arbeiten sowie SQL-Abfragen zum Filtern, Verknüpfen und Aggregieren von Daten zu schreiben. Ein grundlegendes Verständnis gängiger Dateiformate wie CSV, JSON oder Parkett hilft auch beim Arbeiten mit Datasets.
Darüber hinaus ist die Vertrautheit mit dem Azure-Portal und den Kerndiensten wie Azure Storage wichtig, zusammen mit einem allgemeinen Bewusstsein für Datenkonzepte wie Batch- und Streamingverarbeitung und strukturierte und unstrukturierte Daten. Obwohl nicht zwingend erforderlich, kann vorherige Erfahrung mit Big Data-Frameworks wie Spark und der Arbeit mit Jupyter-Notizbüchern den Übergang zu Databricks erleichtern.
Kursinhalt
Erkunden von Azure Databricks
- Einführung
- Erste Schritte mit Azure Databricks
- Erkennen von Azure Databricks-Workloads
- Verständnis der grundlegenden Konzepte
- Data Governance mithilfe von Unity Catalog und Microsoft Purview
- Übung - Azure Databricks erkunden
- Modulbewertung
- Zusammenfassung
Durchführen einer Datenanalyse mit Azure Databricks
- Einführung
- Erfassen von Daten mit Azure Databricks
- Datenerkundungstools in Azure Databricks
- Datenanalyse mit DataFrame-APIs
- Übung – Erkunden von Daten mit Azure Databricks
- Modulbewertung
- Zusammenfassung
Verwenden von Apache Spark in Azure Databricks
- Einführung
- Einführung in Spark
- Erstellen eines Spark-Clusters
- Verwenden von Spark in Notebooks
- Verwenden von Spark zum Arbeiten mit Datendateien
- Visualisieren von Daten
- Übung : Verwenden von Spark in Azure Databricks
- Modulbewertung
- Zusammenfassung
Verwalten von Daten mit Delta Lake
- Einführung
- Erste Schritte mit Delta Lake
- Erstellen von Deltatabellen
- Implementieren der Schemaerzwingung
- Datenversionsverwaltung und Zeitreise in Delta Lake
- Datenintegrität mit Delta Lake
- Übung: Verwenden von Delta Lake in Azure Databricks
- Modulbewertung
- Zusammenfassung
Erstellen von deklarativen Lakeflow-Pipelines
- Einführung
- Erkunden von Lakeflow Declarative Pipelines
- Erfassung und Integration von Daten
- Echtzeitverarbeitung
- Übung – Erstellen einer deklarativen Lakeflow-Pipeline
- Modulbewertung
- Zusammenfassung
Bereitstellen von Workloads mit Lakeflow-Aufträgen
- Einführung
- Was sind Lakeflow Jobs?
- Grundlegendes zu wichtigen Komponenten von Lakeflow-Aufträgen
- Erkunden der Vorteile von Lakeflow-Aufträgen
- Bereitstellen von Workloads mithilfe von Lakeflow Jobs
- Übung – Erstellen eines Lakeflow-Auftrags
- Modulbewertung
- Zusammenfassung
Deutsch
Englisch
Polnisch
Ukrainisch
Niederlande
Polen
Ukraine
Saudi-Arabien
Vereinigte Arabische Emirate