Data Engineer

☑ Основной блок:

Опыт работы: 1–3 года.

Тип занятости: полная занятость.

График работы: график: 5/2 (рабочих часов: 8).

Зарплата: по результату собеседования.

Примерное место работы: Россия, Москва.

☑ Актуальность объявления:

Это объявление № 35311212 добавлено в базу данных: Вторник, 18 февраля 2025 года.

Дата его обновления на этом интернет-ресурсе: Вторник, 18 марта 2025 года.

☑ Репутация компании "VK":

Читайте свежие отзывы сотрудников об этом работодателе здесь!

Оставить своё мнение об этой компании можно тут без регистрации и бесплатно.

☑ Подробности о вакантном месте:

Наш департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. У нас в команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.

Ищем опытного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайт.

Задачи:

• проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.

Требования к работнику:

• знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Git, Linux, Docker;
• опыт работы с терминалом по SSH.

Будет плюсом:

• умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.

☑ О компании:

Логотип (эмблема, торговая марка, бренд) компании:

Сфера деятельности компании: Информационные технологии, системная интеграция, интернет; СМИ, маркетинг, реклама, BTL, PR, дизайн, продюсирование; .

☑ Отклинуться сообщением, резюме, запросить телефон, отправить жалобу (претензию):