Data Engineer Python, Платформа, Хранение и обработка данных

Вакансия № 25624932 от компании Ozon Информационные технологии на Электронной Службе Занятости Населения Москвы.

✷ Смотрите другие предложения работы от компании Ozon Информационные технологии.

☑ Основной блок:

Опыт работы: 3–6 лет.

Тип занятости: полная занятость.

График работы: полный день.

Зарплата: по результату собеседования.

Место работы (точный адрес): Россия, Москва, Пресненская набережная, 10.

☑ Актуальность объявления:

Это объявление № 25624932 добавлено в базу данных: Суббота, 1 февраля 2025 года.

Дата его обновления на этом интернет-ресурсе: Вторник, 18 марта 2025 года.

☑ Статистика предложения работы № 25624932:

Прочитано соискателями - 87 раз(а);
Отправлено откликов - 0 раз(а);

☑ Репутация компании "Ozon Информационные технологии":

Читайте свежие отзывы сотрудников об этом работодателе здесь!

Оставить своё мнение об этой компании можно тут без регистрации и бесплатно.

☑ Подробности о вакантном месте:

Команда DE-infra занимается разработкой инструмента управления главного двигателя автоматизации в компании Ozon – Airflow, по модели Airflow as a Service, а также разработкой инструмента интеграции данных.

Мы помогаем нашим пользователям разрабатывать пайплайны движения данных и предосталяем им окружение для работы. В процессе работы мы используем практики DevOps, разнообразные инструменты и технологии: Python, Kubernetes, Airflow, Hadoop, Spark, MySQL, PostgreSql, Vertica, ClickHouse, Prometheus, Hive, Kafka, Grafana, Git, Helm.

Наш стек:

Python;
Vertica, MS SQL, ClickHouse, Hadoop (hadoop3, hdfs, yarn, hive) и др.;
Airflow (Celery Executor, k8s);
Gitlab CI/CD, Kubernetes;
Kafka, Prometheus, Grafana;
Gitlab, GIT.

Вам предстоит:

Поддержка пользователей в контексте подвоза данных: реакция, анализ проблемы, фикс или задача на фикс;
Анализ возникающих проблем: мониторинг, алертинг, анализ логов сервисов, анализ и чтение логов подов в k8s, анализ метрик БД и сервисов;
Помощь пользователям в оптимизации запросов, таблиц и загрузок в БД Verica;
AirFlow: написание/рефакторинг обобщенного кода для привоза данных;
Рефакторинг ДАГов AirFlow;
Реализация фабрики AirFlow: сетап, грейсфул апдейт;
Поддержка работоспособности AirFlow: введение метрик, борды, алертов;
Развитие AirFlow: кастомные операторы, common code;
Внедрение dev/stage контура AirFlow, локальная отладка, e2e тесты;
Документирование разрабатываемых решений;
Проведение code review;
Развивать базу знаний по работе с базой данных для бизнес-пользователей.

Мы ожидаем:

Уверенное владение Python;
Опыт работы с Airflow (Celery Executor, k8s);
Опыт работы с аналитическими БД (Vertica/Greenplum/BigQuery/Redshift/Synapse);
Опыт работы с СУБД (Postgre SQL/MS SQL);
Опыт работы с Kubernetes, GIT;
Опыт работы с KV-хранилищами.

Будет плюсом:

Опыт работы с Kafka, Prometheus, Grafana;
Владение Scala;
Опыт работы с Hadoop (hdfs, yarn, hive).

Мы предлагаем:

Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce;
Свободу действий в принятии решений;
Достойный уровень заработной платы;
Профессиональную команду, которой мы гордимся;
Возможность развиваться вместе с нашим бизнесом.