Data engineer на продукт Антиспам (Big Data)

Вакансия № 25360142 от компании ПАО «МТС», IT на Электронной Службе Занятости Населения Москвы.

✷ Смотрите другие предложения работы от компании ПАО «МТС», IT.

☑ Основной блок:

Опыт работы: 1–3 года.

Тип занятости: полная занятость.

График работы: удаленная работа.

Зарплата: по результату собеседования.

Место работы (точный адрес): Россия, Москва, проспект Андропова, 18к9.

☑ Актуальность объявления:

Это объявление № 25360142 добавлено в базу данных: Понедельник, 17 февраля 2025 года.

Дата его обновления на этом интернет-ресурсе: Понедельник, 17 марта 2025 года.

☑ Статистика предложения работы № 25360142:

Прочитано соискателями - 96 раз(а);
Отправлено откликов - 0 раз(а);

☑ Репутация компании "ПАО «МТС», IT":

Читайте свежие отзывы сотрудников об этом работодателе здесь!

Оставить своё мнение об этой компании можно тут без регистрации и бесплатно.

☑ Подробности о вакантном месте:

Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Обязательно:

Понимание моделей данных и принципов устройства хранилищ данных
Хорошее знание SQL, работа с хранимыми процедурами
Опыт работы хотя бы с одной промышленной БД
Знание стека Hadoop/Hive/Spark и опыт работы с большими объемами данных
Знание Python, написание API
Знакомство с CI/CD и Docker
Умение вести проекты в GIT

Что предстоит делать?

Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием Airflow, MLflow, а также собственных разработок
Организация потоков данных в рамках микросервисной архитектуры платформы, реализация обработки данных в хранимых процедурах БД
Интеграция с внешними системами (FTP, API)
Поддержка разработанных решений и обеспечение качества данных

Сейчас мы ищем Data Engineer на продукт Антиспам

Антиспам - это база пользователей услуг на основе данных, которая уже превысила 20 млн, блокируется более 120 млн вызовов в месяц. При входящем вызове номера проверяются по справочнику организаций и по спам-базе, которая обновляется в онлайн-режиме с помощью технологий Big Data. Если номер принадлежит спамеру, он не сможет до вас дозвониться

В зависимости от услуги, высветится наименование организации, его категория (при наличии информации), а ненужный звонок блокируется либо направляется на голосового бота или голосовую почту. Абонент затем увидит, какая организация ему звонила, может прослушать оставленное сообщение или прочитать его расшифровку

Цель: защитить абонентов от назойливых нецелевых звонков спамеров, предоставить информации о звонящем номере и цели звонка

Что вы найдете в команде Big Data?

Стек:

Используем язык программирования Python
Большие данные храним в Hadoop, обрабатываем на Spark (Pyspark, Scala) и SQL
Также работаем с данными в PostgreSQL, Teradata, Greenplum
Стек ML - Pandas, Scikit-learn, XGBoost, PyTorch, Transformers, BERT, MLflow
Процессы автоматизируем в Airflow
Контроль версии кода и доступность такового в Git
Управляем задачами через Jira и Confluence
Мониторинг: Grafana, Prometheus

Команда: в команде Data engineer сейчас 30 человек (во всей Big Data МТС более 300 человек). Все Data инженеры разработчики поделены на группы со своими лидами. Каждую неделю мы обмениваемся опытом на совместных синках.

Data инженеры работают в продуктах со своей автономной командой, в которой есть все роли: аналитики, DS, разработчики, девопсы, менеджеры продукта.

Условия труда:

каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16” MacBook Pro или Dell на выбор.

Есть ли обучение?