О программе
В этом курсе рассматриваются шаблоны и методы проектирования данных, связанные с работой с пакетными аналитическими решениями и решениями в реальном времени с использованием технологий платформы данных Azure. Курс начинается со знакомства с основными технологиями вычислений и хранения, которые используются для создания аналитического решения, а затем будут рассмотрены вопросы разработки аналитических уровней обслуживания и интерактивного исследования данных, хранящихся в файлах в озере данных, а также различные методы, которые можно использовать для загрузки данных с помощью возможностей Apache Spark, имеющихся в Azure Synapse Analytics или Azure Databricks. В курсе рассматриваются вопросы анализа производительности аналитической системы для оптимизации производительности загрузки данных
Варианты обучения
32 ак. ч
Кому подойдет программа
Курс предназначен для профессионалов в области данных, архитекторов данных и профессионалов в области бизнес-аналитики, которые хотят узнать об инженерии данных и создании аналитических решений с использованием технологий платформы данных, существующих в Microsoft Azure.
Программа обучения
Модуль 1: Возможности вычислений и хранения для инженерии данных
Введение в Azure Synapse Analytics.
Введение в Azure Databricks.
Введение в архитектуру Delta Lake в Azure Databricks.
Введение в хранилище озера данных Azure.
Работа с потоками данных с помощью Azure Stream Analytics
Лабораторная работа: Изучение вариантов вычислений и хранения для рабочих нагрузок инженерии данных.
Модуль 2: Разработка и реализация уровня обслуживания
Разработка многомерной схемы для оптимизации аналитических рабочих нагрузок.
Выполнение масштабного преобразования без кода с помощью фабрики данных Azure.
Заполнение медленно изменяющихся измерений в конвейерах Azure Synapse Analytics.
Лабораторная работа: Разработка и реализация уровня обслуживания.
Модуль 3. Рекомендации по проектированию данных для исходных файлов
Проектирование современного хранилища данных с помощью Azure Synapse Analytics.
Защита хранилища данных в Azure Synapse Analytics.
Лабораторная работа: Вопросы инженерии данных.
Модуль 4. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics
Изучение возможностей бессерверных пулов SQL в Azure Synapse.
Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse.
Создание объектов метаданных в бессерверных пулах SQL Azure Synapse.
Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse.
Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL.
Модуль 5: Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark
Введение в проектирование больших данных с помощью Apache Spark в Azure Synapse Analytics.
Получение данных с помощью записных книжек Apache Spark в Azure Synapse Analytics.
Преобразование данных с помощью DataFrames в пулах Apache Spark в Azure Synapse Analytics.
Интеграция пулов SQL и Apache Spark в Azure Synapse Analytics.
Лабораторная работа: Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark.
Модуль 6. Исследование и преобразование данных в Azure Databricks
Обзор Azure Databricks.
Чтение и запись данных в Azure Databricks.
Работа с DataFrames в Azure Databricks.
Работа с расширенными методами DataFrames в Azure Databricks.
Лабораторная работа: Исследование и преобразование данных в Azure Databricks.
Модуль 7. Получение и загрузка данных в хранилище данных
Использование лучших практик загрузки данных в Azure Synapse Analytics.
Прием петабайтов с помощью фабрики данных Azure Data Factory.
Лабораторная работа: Получение и загрузка данных в хранилище данных.
Модуль 8: Преобразование данных с помощью фабрики данных Azure Data Factory или конвейера Azure Synapse Pipelines
Интеграция данных с фабрикой данных Azure Data Factory или конвейером Azure Synapse Pipelines.
Масштабируемое преобразование без кода с помощью Azure Data Factory или Azure Synapse Pipelines.
Лабораторная работа: Преобразование данных с помощью фабрики данных Azure или конвейера Azure Synapse Pipelines.
Модуль 9: Управление перемещением и преобразованием данных в Azure Data Factory или Azure Synapse Pipelines
Управление перемещением и преобразованием данных в Azure Data Factory.
Лабораторная работа: Управление перемещением и преобразованием данных в Azure Synapse Pipelines.
Модуль 10: Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse
Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics.
Особенности Azure Synapse Analytics для разработчиков хранилища данных.
Лабораторная работа: Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse.
Модуль 11: Анализ и оптимизация хранилища данных
Анализ и оптимизация хранилища данных в Azure Synapse Analytics.
Лабораторная работа: Анализ и оптимизация хранилища данных.
Модуль 12: Сопровождение гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link
Проектирование гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics.
Настройка ссылки Azure Synapse Link с помощью Azure Cosmos DB.
Запросы к Azure Cosmos DB с пулами Apache Spark.
Запросы к Azure Cosmos DB с бессерверными пулами SQL.
Лабораторная работа: Сопровождение гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link.
Модуль 13: Комплексная безопасность с помощью Azure Synapse Analytics
Защита хранилища данных в Azure Synapse Analytics.
Настройка и управление секретами в Azure Key Vault.
Внедрение контроля соответствия для конфиденциальных данных.
Лабораторная работа: Комплексная безопасность с помощью Azure Synapse Analytics.
Модуль 14: Обработка потоков в реальном времени с помощью Stream Analytics
Обеспечение надежного обмена сообщениями для приложений Big Data с помощью концентраторов событий Azure Event Hubs.
Работа с потоками данных с помощью Azure Stream Analytics.
Обработка потоков данных с помощью Azure Stream Analytics.
Лабораторная работа: Обработка потоков в реальном времени с помощью Stream Analytics.
Модуль 15: Создание решения для потоковой обработки с концентраторами событий Event Hubs и Azure Databricks
Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks.
Лабораторная работа: Создание решения для потоковой обработки с концентраторами событий и Azure Databricks.
Модуль 16. Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics
Создание отчетов с помощью Power BI, используя его интеграцию с Azure Synapse Analytics.
Лабораторная работа: Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics.
Модуль 17: Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics
Использование интегрированных процессов машинного обучения в Azure Synapse Analytics.
Лабораторная работа: Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics.
СЛУШАТЕЛИ
Отзывы
Об этом учебном заведении пока никто не оставил отзыв. Станьте первым!
Оставить отзыв