Senior Data Engineer (направление Data Science & Data Lake)

Вакансия № 14764944 от компании Норникель на Электронной Службе Занятости Населения Москвы.

✷ Смотрите другие предложения работы от компании Норникель.

☑ Основной блок:

Опыт работы: 3–6 лет.

Тип занятости: полная занятость.

График работы: полный день.

Зарплата: по результату собеседования.

Примерное место работы: Россия, Москва.

☑ Актуальность объявления:

Это объявление № 14764944 добавлено в базу данных: Среда, 5 февраля 2025 года.

Дата его обновления на этом интернет-ресурсе: Вторник, 18 марта 2025 года.

☑ Статистика предложения работы № 14764944:

Прочитано соискателями - 238 раз(а);
Отправлено откликов - 0 раз(а);

☑ Репутация компании "Норникель":

Читайте свежие отзывы сотрудников об этом работодателе здесь!

Оставить своё мнение об этой компании можно тут без регистрации и бесплатно.

☑ Подробности о вакантном месте:

Обязанности работника:

Анализ бизнес потребностей и декомпозиция предполагаемых направлений, требующих проработки;
Подготовка имеющихся данных и данных, доступных для получения и создание новых источников данных для анализа при выполнении задач, выполняемых Data Science консультантами;
Применение алгоритмов и инструментов для сбора и трансформации данных в удобный для анализа вид;
Осуществление контроля за качеством собираемых данных их агрегацией и хранением;
Анализ и повышение эффективности реализации процессов по сбору и хранению данных;
Формирование направлений развития источников данных,
Моделирование очистки данных (cleaning), построение архитектуры решения в части источников данных и их трансформации;
Выделение и перевод части процедур по очистке и подготовки данных (первично выполняемых при анализе данных) в облати трансформации данных; подготовка вторичных истоничков данных;
Поддержание концепции многоуровневой модели данных в "Озере данных";
Описание основной идеи в части потоков и трансформации данных;
Оценка качества данных;
Использование и настройка инструментов для работы с большими массивами полуструктурированных или неструктурированных данных;
Простое и понятное изложение сложных концепций в части моделей и трансформаций данных и технической реализации.

Требования к работнику:

Опыт в роли Data Engineer на 2-3 проектах (необходимо предоставить информацию - проект, роль, выполненные задачи, результатаы, подтверждения результатов);
Знание одной или нескольких профессиональных систем/языков: SQL, NoSQL, Java Script;
Опыт работы с Hadoop (Cloudera), Spark, Imala, Hive, MapReduce, Pig, Data streaming (Kafka, NiFi);
Работа в следующем технологическом окружении:
• Python Application Server (Anaconda)
• Jupyter notebook, Jupyter Hub
• R server, RStudio
• Hadoop (Cloudera CDP+CDF), Spark, RedHat, Ubuntu, CentOs
• GitLab, Jenkins.

Будем преимуществом:

Сертификация в области MS DBA, Orcale DBA, по направлению Big Data от производителей на основе экосистемы Hadoop (например, Cloudera, Hortonworks, Huawei и др.);
Опыт работы по направлению анализа промышленных данных, видеоаналитика и т.д.;
Опыт работы с Data streaming, Spark, Kubernetes, Docker;
Начальные знания по направлениям Data Mining, Machine Learning, статистической обработки данных, математического моделирования;
Знание нескольких систем/языков - например, R, Python, Matlab, RapidMiner, Java, Scala, C++;
Опыт интеграции решений с платформами отчетности;
Опыт переноса разработок на мобильные и автономные системы (NVidia Jetson, Xavier);
Опыт администрирования с использованием Jira, Confluence желателен;
Опыт работы в крупных промышленные холдингах: сектор добычи и переработка, энергетический сектор, телеком и т.д.