Data engineer

ТОО "Мобайл Телеком-Сервис" (Объединенная Компания Tele2/ALTEL) г.Алматы
Требуемый опыт работы: От 1 года до 3 лет Полная занятость, Полный день
Вакансия закрыта
Создана:

Подано заявок:
0

Количество просмотров:
897

   Детали конкурса
Обязанности:
  • Участие в процессах организации, сбора, обработки и хранение информации
  • Участие в разработке и реализации архитектуры Единого Пространства
    Данных компании на всех уровнях от источника и до конечных универсальных и
    специализированных агрегатов и витрин данных
  • Участие в создание среды интеграции данных и пайплайн (конвейеров данных)
    с помощью инструментов, которые обеспечивают федеративный доступ и
    объединяют данные из разных источников
  • Участие в разработке ETL/ELT процессов для автоматизации миграции данных
    между учетными системами, DWH (Data Lake)
  • Приведение не-/структурированных данных из различных динамических
    источников к виду, необходимому для работы аналитиков
  • Контроль и поддержка потоков данных и связанных систем (настройка
    мониторинга и нотификаций)
  • Обеспечение доступности данных в регламентированные сроки
  • Организация процессов тестирования (нагрузочного/периодического) потоков
    данных
  • Обработка ошибок и создание надёжных конвейеров обработки данных
  • Поддержка документации по источникам и потокам данных в актуальном
    состоянии

Требования:

  • Знание алгоритмов и структур данных;
  • Опыт работы с БД (Oracle, Clickhouse, PostgreSQL, Greenplum и др.);
  • Опыт работы с промышленными ETL/ELT - инструментами (Power Centre
    Informatica / Oracle Data Integrator / Talend и др.); Airflow, NiFi
  • Опыт и навыки использования SQL, PL/SQL на продвинутом уровне;
  • Опыт построения хранилищ данных и многомерных кубов (OLAP технологии);
  • Знания моделей данных Data Vault, Star scheme, Snowflake scheme;
  • Опыт использования Business Intelligence платформ (Oracle BI, Power BI,
    QlickView, Tableau);
  • Опыт работы с операционными системами семейства Windows, *nix;
  • Знание Python, Java или Scala;
  • Знания принципов построения распределенных систем хранения и обработки
    данных;
  • Понимание работы: протоколы – HTTP(S), LDAP, SMTP, (S)FTP, SOAP;
  • Архитектура: REST, SOA, API; Структура данных: JSON, XML, WSDL, XSD;
  • Опыт работы с системами управления версиями (SVN, Git); Jira / KM –
    Confluence;
  • Желателен опыт работы с ElasticSearch;
  • Опыт работы с технологиями обработки больших данных: Hadoop, Spark,
    Kafka;
  • Опыт работы с Apache Hive, Impala.

Необходимые навыки

  • SQL
  • Java
  • Python
  • Postgresql
  • Power BI
  • Tableau
  • Oracle Bi
  • Spark
  • Hadoop
  • Clickhouse
  • Kafka
  • scala
  • QlickView
  • Greenplum
  • ETL/ELT
  • Airflow

Необходимые степени образования

  • Бакалавр
  • Специалист
  • Магистр