+7 (707) 217-62-85
Разработчик ETL
Ближе к данным!
Курс ETL01 - "Разработчик ETL" направлен на обучение студентов основам и передовым техникам разработки ETL-процессов (Extract, Transform, Load), которые являются ключевыми для эффективного построения и управления хранилищами данных в современных IT-системах.
Подать заявку на обучение
(бесплатное по программе Tech Orda)
(бесплатное по программе Tech Orda)
Отправьте заявку для получения бесплатной консультации
Отправля сообщение Вы соглашаетесь на обработку персональных данных.
Цели и задачи курса
Основная цель курса - подготовить квалифицированных специалистов, способных разрабатывать, настраивать и оптимизировать ETL-процессы, а также управлять данными в хранилищах. Задачи курса включают изучение принципов работы с базами данных, освоение языка SQL, изучение инструментов ETL и обретения навыков построения ETL потоков.
- Модуль SQL
- Основы работы с СУБД Oracle: Предоставление участникам знаний об архитектуре и ключевых компонентах СУБД Oracle, включая основные принципы управления базами данных. Задача направлена на формирование понимания устройства и функционирования реляционных баз данных на примере Oracle.
- Работа с данными: Изучение основ работы с данными, включая литералы, типы данных, процесс создания таблиц, а также освоение DML операций, таких как вставка, обновление и удаление данных. Это необходимо для освоения базовых операций по работе с данными в СУБД.
- Продвинутые операции с данными: Погружение в более сложные аспекты работы с данными, включая нормализацию данных для оптимизации структуры базы данных, использование внешних ключей для обеспечения целостности данных, а также создание и применение ограничений на уровне таблиц и столбцов.
- Запросы и анализ данных: Разработка навыков составления сложных запросов с использованием различных методов соединения таблиц, фильтрации и сортировки данных, применение однострочных и групповых функций. Глубокое изучение возможностей подзапросов и аналитических функций Oracle для эффективного анализа данных.
- Продвинутые возможности SQL: Освоение продвинутых функций SQL, включая использование предложений DECODE и CASE WHEN, работы с системными словарями, создание и использование представлений. Также включает настройку ролей и прав доступа, понимание работы с индексами и планами запросов, а также основы партиционирования для оптимизации производительности.
- Модуль ETLВведение в ETL-процессы:
- Основы ETL: Знакомство с концепциями и архитектурой ETL-процессов. Обучение учащихся пониманию циклов извлечения, трансформации и загрузки данных, а также роли этих процессов в построении и управлении хранилищами данных.
- Планирование ETL-потоков: Изучение методик планирования и разработки ETL-потоков. Фокус на важности предварительного анализа источников данных, определения требований к данным и проектирования процессов трансформации данных.
- Освоение Informatica PowerCenter: Глубокое погружение в функциональность и возможности Informatica PowerCenter как лидирующего инструмента для разработки ETL-процессов. Практическое применение знаний на реальных задачах и проектах.
- Разработка ETL-процессов: Изучение методов создания, настройки и оптимизации ETL-процессов в Informatica PowerCenter. Включает работу с различными типами источников данных, трансформациями и целевыми системами.
- Применение трансформаций: Подробное рассмотрение различных типов трансформаций в ETL-процессах, включая фильтрацию, агрегацию, сортировку и объединение данных. Разработка навыков применения трансформаций для решения специфических задач обработки данных.
- Управление качеством данных: Основы обеспечения и контроля качества данных в процессе ETL. Изучение методов очистки, валидации и верификации данных для обеспечения их точности и целостности.
- Работа с SCD: Понимание и реализация концепций медленно меняющихся измерений (SCD типы 1, 2, 3). Изучение методик управления историчностью и изменениями данных в хранилище.
- Оптимизация и мониторинг ETL-процессов:
- Оптимизация производительности: Изучение методов оптимизации ETL-процессов для повышения их эффективности и производительности. Рассмотрение стратегий параллелизма, буферизации данных и минимизации времени выполнения.
- Мониторинг и устранение проблем: Разработка навыков мониторинга выполнения ETL-процессов и быстрого реагирования на возникающие проблемы. Изучение инструментов и методов для диагностики и устранения ошибок.
- Разработка и реализация ETL-проекта: Подведение итогов обучения через выполнение финального проекта, в котором участники применят полученные знания и навыки для создания комплексного ETL-процесса, включающего извлечение данных из разнообразных источников, их трансформацию согласно бизнес-логике и загрузку в хранилище данных или дата-март.
Описание целевой аудитории в возрасте от 18 до 45 лет.
- Студенты и выпускники университетов и колледжей, специализирующихся на области информационных технологий, баз данных или связанных областях.
- Они стремятся приобрести практические навыки и знания, которые помогут им в поиске работы или карьерном росте в области разработки хранилищ данных.
- Профессионалы, уже работающие в области IT, баз данных, аналитики или связанных областях, и стремящиеся расширить свои навыки в области разработки хранилищ данных.
- Это могут быть разработчики баз данных, администраторы баз данных, ETL-специалисты, аналитики данных и другие специалисты, связанные с обработкой и анализом данных.
- Бизнес-аналитики и менеджеры проектов, которые хотят лучше понимать процесс разработки и управления хранилищами данных, чтобы эффективнее управлять проектами и анализировать данные.
- Они стремятся получить технические знания и навыки, необходимые для взаимодействия с разработчиками хранилищ данных и правильного использования данных в своей работе.
- Профессионалы, работающие в области бизнес-интеллекта и аналитики данных, и стремящиеся углубить свои знания о хранилищах данных и связанных инструментах.
- Они хотят улучшить свои навыки в создании отчетов, дашбордов и визуализации данных, используя хранилища данных и инструменты бизнес-аналитики.
Стоимость курса
600 000 тенге
Стоимость курса за 6 месяцев обучения.
0 тенге
По программе Tech Orda — программа финансирования для подготовки
IT-специалистов в частных школах Республики Казахстан.
IT-специалистов в частных школах Республики Казахстан.
Узнать больше
Обучение в гибридном формате, 2 раза в неделю по 2 академ. часа, либо по 4 академ. часа 1 раз в неделю
Продолжительность 32 недели, 128 академ. часа
Содержание каждого модуля
Курс состоит из 4 модулей:
- Язык SQL
- ETL Инструмент (Informatica Power Center 10)
Основы языка SQL
- Введение в язык SQL
- Основные типы данных и операторы
- Создание таблиц и базовые операции с данными
- SELECT-запросы с условиями
- Сортировка данных с использованием оператора ORDER BY
- Операторы ограничения (LIMIT, OFFSET)
- Встроенные функции (строковые, числовые, даты и времена)
- Использование алиасов для улучшения читаемости запросов
- Работа с NULL значениями
- Использование агрегатных функций (MIN, MAX, SUM, AVG, COUNT) с группировкой данных
- Создание представлений (VIEW) для упрощения доступа к данным
- Использование индексов для оптимизации выполнения запросов
- Работа с хранимыми процедурами и функциями
- Управление правами доступа к объектам базы данных
- Использование объединений таблиц для объединения данных
- Оптимизация выполнения запросов с использованием подзапросов
- Индексирование таблиц для улучшения производительности
- Оптимизация запросов с использованием индикаторов выполнения (EXPLAIN PLAN)
Введение в ETL-процессы и роль ETL-инструментов
Трансформация данных
- Обзор процесса извлечения, преобразования и загрузки данных (ETL)
- Роль ETL-инструментов в процессе ETL
- Описание функций и возможностей Informatica Power Center 10
- Установка и настройка инструмента
- Подключение к различным источникам данных (базы данных, файлы, веб-сервисы и т.д.)
- Настройка параметров подключения и извлечение данных
Трансформация данных
- Преобразование данных с использованием различных трансформаций
- Фильтрация, сортировка и объединение данных
- Использование условных выражений и функций для обработки данных
- Создание целей загрузки данных в хранилище
- Настройка параметров загрузки и обновление данных
- Обработка ошибок и мониторинг процесса загрузки данных
Этапы и критерии отбора потенциальных студентов по программе Tech Orda
1
Заявка
Первым шагом является подача заявки, включая резюме и мотивационное письмо, в котором кандидат объясняет, почему он заинтересован в этой программе и какие его цели
2
Проверка предварительных требований
Отборщики проверяют предварительные требования, такие как образование, профессиональный опыт и предварительные навыки в области информационных технологий.
3
Онлайн тестирование
Кандидаты могут быть приглашены на прохождение онлайн-теста, например, теста по SQL
4
Собеседование
Этот этап обычно включает в себя интервью с командой образовательной программы, чтобы оценить мотивацию кандидата, понимание им концепций работы с данными и его способность к критическому мышлению
5
Финальное решение
На основе всех предыдущих этапов команда программы принимает окончательное решение о приеме кандидата.
Наша команда
Эксперты хранилища данных
- Жигер КасымкановАрхитектор DWHIT архитектор с глубокими знаниями в области баз данных, программирования и системной интеграции. Владеет широким спектром технологий, включая ORACLE, PostgreSQL, Greenplum и Python, Airflow, Informatica и имеет значительный опыт в разработке и управлении IT-проектами.
- Султан МолобаевАрхитектор DWHВысококвалифицированный архитектор DWH с более чем 16-летним опытом в разработке и архитектуре хранилищ данных. Он обладает выдающимися навыками в проектировании структур данных, оптимизации витрин данных и разработке отчетности, владея технологиями Oracle, Sybase IQ, PL/SQL, Python для Data Science, Informatica и Oracle Data Integrator.
Султан также опытен в построении DWH и разработке приложений на QlikView, выделяясь структурным мышлением, самоорганизацией и коммуникативностью.
Подать заявку на обучение
(бесплатное по программе Tech Orda)
(бесплатное по программе Tech Orda)
Отправьте заявку для получения бесплатной консультации
Отправля сообщение Вы соглашаетесь на обработку персональных данных.
© All Right Reserved. TOO "2дэй академи".
e-mail us: info@twoday.kz
