Big Data департаментінің жетекші инженері (аутстаффинг)

«KMG Digital» ЖШС Астана қ.
Қажетті жұмыс тәжірибесі: 5 жылдан Еңбекпен толық қамтылу, Толық күн
Бос жұмыс орын тоқтатылды
Құрылған күні:

Берілген өтінім:
8

Қаралған саны:
318

   Конкурс туралы

Міндеттері:

  • Data Lakehouse бағытын дамыту (Apache Iceberg + Spark + Trino + Kafka) қабатты архитектурамен bronze/silver/gold; Корпоративтік деректер қоймасын (DWH/КХД) және аналитикалық витриналарды жобалау және қолдау;
  • Бизнес-процестердің тоқтап қалуынсыз дереккөздерден (MSSQL, PostgreSQL және т.б.) end-to-end CDC процестерін ұйымдастыру және іске асыру (Debezium/Kafka Connect);
  • ETL/ELT-пайплайндарды және Airflow оркестрациясын әзірлеу және қолдау (batch трансформациялар);
  • Деректер сапасын қамтамасыз ету, модельдердің дұрыстығын бақылау, source
    → target сәйкестігін және жүктеу толықтығын тексеру; Деректерді интеграциялау және көшіру жобаларына қатысу (соның ішінде MDM/АСУ НСИ және BI бағыттарымен өзара әрекеттесу);
  • КХД/Lakehouse дамуы мәселелері бойынша бизнес-бөлімшелермен, деректер иелерімен, ИТ-командалармен және мердігерлермен өзара әрекеттесу; Департамент басшылығы үшін бағытты дамытуға арналған техникалық құжаттама мен ұсыныстарды дайындау;
  • incident response-қа қатысу және data flow ішіндегі мәселелерді диагностикалау

Талаптар:

  • Жоғары кәсіби білім
  • Қызмет бейіні бойынша кемінде 5 жыл жұмыс тәжірибесі
  • Қосымша талаптар:
  • apache iceberg, spark, trino, kafka/debezium, clickhouse, dbt, sql, gitlab ci/cd-пен жұмыс тәжірибесі құпталады, сондай-ақ бейінді сертификаттардың болуы (мысалы, microsoft certified: azure data engineer associate, dbt
    certified developer немесе dwh/data engineering бойынша ұқсас сертификаттар) (күдік: мәтінде “аналогичных” берілген — нақты баламасын көрсету қажет болуы мүмкін).

Шарттар:

  • аутстаффинг секторы бойынша ресімдеу
  • Әлеуметтік пакет

Қажетті қабілеттер

  • ETL/ELT
  • DWH
  • Data Lakehouse
  • инженерия данных