Траектория подготовки профессиональных специалистов по Data Engineering

Аннотация:
В докладе рассматриваются вопросы преподавания студентам   профильных специальностей предметов, связанных с обработкой больших объемов данных (BigData).

Обработка больших данных  в настоящие время переживает момент бурного развития. По данным аналитического агенства PAC мировой рынок решений для обработки больших данных (Big Data) вырастет почти в 7 раз до 20 млрд евро в 2016 году по сравнению с 3 млрд евро в 2010 году. Среднегодовой рост рынка технология BigData составляет 31.7%. В связи с этим наблюдается постоянно-повышающийся спрос на специалистов в этой  области.

Начиная с 2014 года на Механико-математическом факультете Пермского государственного научно-исследовательского университета (ПГНИУ) совместно с о специалистами группы компаний ИВС (ГК ИВС) читается  курс лекций, посвященный обработке Больших Данных.  Курсы ориентированы на изучения следующих тем:

·         Обзор современных технологий обработки Больших Данных;

·         Обработка данных в рамках технологии Apache Hadoop:

·         Распределенная файловая система HDFS;

·         Распределенная обработка данных по технологии MapReduce;

·         Распределенная обработка супербольших графов по технологии Apache Giraph;

·         NoSQL база данных HBase;

·         Репозиторий C2R/Lily;

·         Облачная поисковая система/индексатор Solr;

·         Системауправления большими и  супербольшими кластерами YARN.

·         InMemory-технологии обработки больших данных:

·         Технология Spark, Spark SQL;

·         Потоковая обработка данных по технологии Spark Streaming;

·         Обработка супербольших графов по технологии GraphX.

Слушатели получают возможность применять получаемые знания и навыки на реальных проектах группы компаний ИВС. Основной акцент обучения  делается на получение разносторонних практических навыков в области разработки приложений с необходимой теоретической подготовкой для решения сложных и интересных задач.

Преподаватели дисциплин профессионального цикла являются действующими разработчиками, участвующими в коммерческих и научно-исследовательских проектах. Курс лекций позволяет слушателям получать ценный опыт решения производственных задач. Полученные знания используются в текущих разработках, ведущимися в группе компаний ИВС:

·         создание, хранение и поддержка больших и супербольших онтологий с использованием технологий BigData и генетических алгоритмов;

·         интеллектуальный облачный архив документов archivarius;

·         аналитическая система анализа транспортных потоков Сокол-аналитик;

·         и другие.