Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration (DWBQ-SDQA) – Details

Detaillierter Kursinhalt

Modul 01 Grundlagen der BigQuery-Architektur
Themen
  • Einführung
  • BigQuery-Kerninfrastruktur
  • BigQuery-Speicher
  • BigQuery-Abfrageverarbeitung
  • BigQuery-Daten-Mischung
Zielsetzungen
  • Erläutern Sie die Vorteile der säulenförmigen Speicherung.
  • Verstehen, wie BigQuery Daten verarbeitet.
  • Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern.
Aktivitäten
  • Labore und Demos
Modul 02 Speicher- und Schema-Optimierungen
Themen
  • BigQuery-Speicher
  • Partitionierung und Clustering
  • Verschachtelte und wiederholte Felder
  • ARRAY- und STRUCT-Syntax
  • Bewährte Praktiken
Zielsetzungen
  • Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder).
  • Partitionieren und Clustern von Daten für bessere Leistung
  • Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder.
  • Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen
Aktivitäten
  • Labore und Demos
Modul 03 Dateneingabe
Themen
  • Data Ingestion Options
  • Batch-Ingestion
  • Streaming-Ingestion
  • Veraltete Streaming-API
  • BigQuery-Speicher-Schreib-API
  • Materialisierung von Abfragen
  • Abfrage externer Datenquellen
  • Datenübertragungsdienst
Zielsetzungen
  • Aufnahme von Batch- und Streaming-Daten.
  • Abfrage externer Datenquellen.
  • Planen Sie Datenübertragungen.
  • Verstehen, wie man die Storage Write API verwendet.
Aktivitäten
  • Labore und Demos
Modul 04 Ändern von Daten
Themen
  • Verwaltung von Änderungen in Data Warehouses
  • Umgang mit sich langsam ändernden Abmessungen (SCD)
  • DML-Anweisungen
  • DML Best Practices und häufige Probleme
Zielsetzungen
  • DML-Anweisungen schreiben.
  • Behebung häufiger DML-Leistungsprobleme und Engpässe.
  • Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor.
Modul 05 Verbesserung der Leseleistung
Themen
  • BigQuery’s Cache
  • Materialisierte Ansichten
  • BI-Engine
  • Hoher Lesedurchsatz
  • BigQuery-Speicher-Lese-API
Zielsetzungen
  • Erforschen Sie den Cache von BigQuery.
  • Erstellen Sie materialisierte Ansichten.
  • Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen.
  • Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher.
  • Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen.
Aktivitäten
  • Labore und Demos
Modul 06 Optimierung und Fehlerbehebung von Abfragen
Themen
  • Einfache Abfrage-Ausführung
  • SELECTs und Aggregation
  • JOINs und Skewed JOINs
  • Filtern und Ordnen
  • Bewährte Praktiken für Funktionen
Zielsetzungen
  • Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan.
  • Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln.
  • Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen.
Aktivitäten
  • Labore und Demos
Modul 07 Arbeitslastmanagement und Preisgestaltung
Themen
  • BigQuery-Steckplätze
  • Preismodelle und Schätzungen
  • Slot-Reservierungen
  • Kostenkontrolle
Zielsetzungen
  • Definieren Sie einen BigQuery-Slot.
  • Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API).
  • Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen.
  • Ermittlung der besten Praktiken zur Kostenkontrolle.
Aktivitäten
  • Demos
Modul 08 Protokollierung und Überwachung
Themen
  • Cloud-Überwachung
  • BigQuery-Verwaltungsbereich
  • Cloud Audit Logs
  • INFORMATION_SCHEMA
  • Abfragepfad und häufige Fehler
Zielsetzungen
  • Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen.
  • Erkunden Sie das BigQuery-Verwaltungsfeld.
  • Verwenden Sie Cloud Audit-Protokolle.
  • Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten.
Aktivitäten
  • Labore und Demos
Modul 09 Sicherheit in BigQuery
Themen
  • Sichere Ressourcen mit IAM
  • Autorisierte Ansichten
  • Sichere Daten durch Klassifizierung
  • Verschlüsselung
  • Datenermittlung und -verwaltung
Zielsetzungen
  • Erkunden Sie die Datenerkennung mit Data Catalog.
  • Erörterung der Datenverwaltung mit DLP API und Datenkatalog.
  • Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern.
  • Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene).
  • Verstehen, wie BigQuery Verschlüsselung verwendet.
Aktivitäten
  • Labore und Demos
Modul 10 Automatisieren von Arbeitsbelastungen
Themen
  • Terminierungsabfragen
  • Skripting
  • Gespeicherte Prozeduren
  • Integration mit Big Data-Produkten
Zielsetzungen
  • Zeitplanabfragen.
  • Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen.
  • Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können.
Aktivitäten
  • Demos
Modul 11 Maschinelles Lernen in BigQuery
Themen
  • Einführung in BigQuery ML
  • Wie man mit BigQuery ML Vorhersagen macht
  • Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt
  • Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML
  • Zeitreihenmodelle mit BigQuery ML
  • BigQuery ML-Erklärbarkeit
Zielsetzungen
  • Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML.
  • Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.
  • Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme.
Aktivitäten
  • Labore und Demos