ГлавнаяКурсыPythonРазработкаРабота с Apache Spark 3.5 на Python

Работа с Apache Spark 3.5 на Python

Код: ITC-PySpark3

Формат проведения

Продолжительность

40 академических часов

Вендор

Python

Тематика

Разработка

Аудитория курса

Курс предназначен для исследователей, разработчиков и специалистов по анализу данных, планирующих использовать Python для решения задач, связанных с обработкой больших объемов данных с помощью Apache Hadoop и Apache Spark

Содержание курса

1 Обзор архитектуры Hadoop.

Алгоритм MR.
Менеджер ресурсов YARN.
Распределенная система хранения файлов HDFS.
Важнейшие компоненты экосистемы Hadoop.
Практическая работа.

2. Архитектура Spark.

Устройство Spark.
Кластерные планировщики для Spark.
Фрейм данных.
Основа фрейма - RDD.
Практическая работа.

3 Поглощение данных (ingestion).

Принцип ленности (lasy).
Загрузка данных из файла.
Загрузка из баз данных.
Практическая работа.

4 Углубленные способы обмена данными.

Работа с JSON.
Работа с XML.
Стандартные форматы для больших данных.
Процесс потребления из баз данных.
Расширенные запросы.
Обзор потребления из других источников.
Создание и обнаружение доступных источников.
Структурированные потоки.
Практическая работа.

5 Трансформация данных.

Spark SQL.
Трансформация данных на уровне записи.
Трансформация документов в целом.
Трансформация на основе UDF.

6 Углубленные возможности Spark.

Кэширование.
Экспорт.
Конвейеры обработки.
Развертывание приложения.
Практическая работа.

7 Обзор MLlib.

Статистика.
Источники данных.
Конвейеры.
Извлечение, преобразование, выбор признаков.
Практическая работа.
Классификация и регрессия.
Кластеризация.
Коллаборативная фильтрация.
Распознавание образов.
Выбор и настройка модели.
Практическая работа.

Работа с Apache Spark 3.5 на Python

Дата скоро будет объявлена

79 998 ₽

Затрудняетесь
с выбором курса?

Оставьте заявку на консультацию

Как происходит обучение в АйТи Клауд

01 Выбор курса

В Учебном центре «АйТи Клауд» Вы можете подобрать курсы с полезным для Вас содержанием. УЦ «АйТи Клауд» готов предложить 1200+ программ различной тематики и степени сложности. Мы проводим курсы, авторизованные производителями ИТ, и также авторские программы от ведущих ИТ-экспертов.

02 Процесс обучения

Вы можете пройти обучение в различных форматах:

в очном - на территории Учебного центра либо территории Заказчика,
онлайн - на российской онлайн-платформе в режиме реального времени, через интернет, с выполнением всех необходимых практических заданий под онлайн-руководством преподавателя.

03 Выдача документов

По завершении обучения Вы получите удостоверение о повышении сертификации или сертификат (если у Вас отсутствует диплом о высшем образовании). После обучения на авторизованных курсах Вам также будет выдан сертификат от производителя.

Подробнее о формах обучения

Затрудняетесь
с выбором курса?

Оставьте заявку на консультацию

Хотите преподавать в АйТи Клауд?

Если вы имеете компетенции и хотите работать тренером курсов в АйТи Клауд - оставьте ваши данные, мы свяжемся с вами!

Узнать больше