Data engineer
ТОО "Мобайл Телеком-Сервис" (Объединенная Компания Tele2/ALTEL) г.Алматы
Требуемый опыт работы: От 1 года до 3 лет Полная занятость, Полный день
Обязанности:
- Участие в процессах организации, сбора, обработки и хранение информации
- Участие в разработке и реализации архитектуры Единого Пространства
Данных компании на всех уровнях от источника и до конечных универсальных и
специализированных агрегатов и витрин данных - Участие в создание среды интеграции данных и пайплайн (конвейеров данных)
с помощью инструментов, которые обеспечивают федеративный доступ и
объединяют данные из разных источников - Участие в разработке ETL/ELT процессов для автоматизации миграции данных
между учетными системами, DWH (Data Lake) - Приведение не-/структурированных данных из различных динамических
источников к виду, необходимому для работы аналитиков - Контроль и поддержка потоков данных и связанных систем (настройка
мониторинга и нотификаций) - Обеспечение доступности данных в регламентированные сроки
- Организация процессов тестирования (нагрузочного/периодического) потоков
данных - Обработка ошибок и создание надёжных конвейеров обработки данных
- Поддержка документации по источникам и потокам данных в актуальном
состоянии
Требования:
- Знание алгоритмов и структур данных;
- Опыт работы с БД (Oracle, Clickhouse, PostgreSQL, Greenplum и др.);
- Опыт работы с промышленными ETL/ELT - инструментами (Power Centre
Informatica / Oracle Data Integrator / Talend и др.); Airflow, NiFi - Опыт и навыки использования SQL, PL/SQL на продвинутом уровне;
- Опыт построения хранилищ данных и многомерных кубов (OLAP технологии);
- Знания моделей данных Data Vault, Star scheme, Snowflake scheme;
- Опыт использования Business Intelligence платформ (Oracle BI, Power BI,
QlickView, Tableau); - Опыт работы с операционными системами семейства Windows, *nix;
- Знание Python, Java или Scala;
- Знания принципов построения распределенных систем хранения и обработки
данных; - Понимание работы: протоколы – HTTP(S), LDAP, SMTP, (S)FTP, SOAP;
- Архитектура: REST, SOA, API; Структура данных: JSON, XML, WSDL, XSD;
- Опыт работы с системами управления версиями (SVN, Git); Jira / KM –
Confluence; - Желателен опыт работы с ElasticSearch;
- Опыт работы с технологиями обработки больших данных: Hadoop, Spark,
Kafka; - Опыт работы с Apache Hive, Impala.
Необходимые навыки
- SQL
- Java
- Python
- Postgresql
- Power BI
- Tableau
- Oracle Bi
- Spark
- Hadoop
- Clickhouse
- Kafka
- scala
- QlickView
- Greenplum
- ETL/ELT
- Airflow
Необходимые степени образования
- Бакалавр
- Специалист
- Магистр
Похожие вакансии
Начальник Службы технической поддержки крупных корпоративных клиентов
АО "Казахтелеком" | Полная занятость
| г.Алматы
21.11.2024 | 173
Специалист 2 категории Отдел эксплуатации сетей, сектор материально-технического сопровождения
ТОО "ВОСТОКТЕЛЕКОМ" | Полная занятость
| г.Алматы
18.11.2024 | 657
Бизнес-аналитик Департамента планирования и аналитики
АО "Казахтелеком" | Полная занятость
| г.Алматы
28.10.2024 | 552