Дата-инженер
ТОО "Центр развития цифровой экономики" г.Астана
Требуемый опыт работы: Не менее 3 лет Полная занятость, Полный день
Вакансия приостановлена
- Создана:
-
18.02.2025
- Подано заявок:
- 13
- Количество просмотров:
- 1120
Обязанности:
- разработка и поддержка инфраструктуры данных, включая системы для работы с данными.
- сбор и обработка данных из внутренних и внешних источников.
- разработка процессов создания наборов данных для анализа и моделирования.
- управление хранилищем данных, обеспечение их чистоты и устранение ошибок.
- классификация, категоризация и структурирование данных.
- разработка API и маршрутизация данных.
- управление бэкэнд-контуром поддерживаемых баз данных.
- участие в проектировании, прототипировании и описании интеграционного взаимодействия между информационными системами.
- разработка и поддержка сервисов по управлению данными.
- разработка процессов хранения и передачи данных.
- участие в реализации мероприятий по управлению рисками в рамках своей компетенции.
Требования:
- высшее профессиональное (информационные системы и/или разработка программного обеспечения) образование
- стаж работы в области IT и цифровизации не менее 3 лет.
- Должен знать: прикладные компьютерные программы и инструменты:
- Инструменты BI
- Minio S3
- Apache Spark
- Apache Kafka, Apache Flink
- Kubernetes
- Python (Data processing, API)
- Data modeling: Kimball, Inmon, OBT
- Опыт работы с DBT
- Глубокие знание SQL (оптимзация запросов, window functions, cte)
- Опыт работы с ETL-процессами и инструментами
- Опыт работы с MPP базами данных (Clickhouse)
- Tech stack: Python, DBT, Apache Airflow, Apache Superset, ClickHouse, Apache Kafka, PostgreSQL, Apache Cassandra, GitLab, Docker
- Аналитическое мышление, креативность, умение работы в команде.
Условия:
- Трудоустройство в соответствии с ТК РК
- График работы 5/2