#вакансия #алматы #оффлайн #workITkz #python
Должность: Junior Data Engineer
Компания: ТОО ""Alldata"" (Adata.kz)
https://adata.kz
Город: Алматы
Занятость: оффлайн
Оплата: От 150к до 400к
Компания Adata.kz занимается разработкой информационных сервисов.
• Проверка юридических лиц на благонадёжность и аффилированность.
• Проверка на наличие штрафов.
• Поиск и аналитика тендеров.
• Поиск вакансий и резюме.
• Аналитика по внешней экономической деятельности компаний (импортно-экспортные отношения).
• Автоматизация проверок комплаенс рисков.
Описание вакансии:
Инженер данных, специализирующийся на построении эффективных пайплайнов для сбора, обработки, хранения и предоставления данных конечным пользователям.
Обязанности:
• сбор данных из различных источников и предварительная обработка
• разработка и автоматизация ETL пайплайнов
• разработка микросервисов
• проектирование архитектуры базы данных
• написание запросов и формирование выгрузок
• уверенное владение Python
• уверенное владение SQL (желателен опыт с PostgreSQL)
• опыт работы с Git
• опыт работы с инструментами Postman/Insomnia
• полностью офисный формат
• оформление по ТК РК
• график работы 5/2, с 09:00-18:00
• месторасположение офиса: г. Алматы, ул.Ходжанова 79, БЦ ""Аврора""
Будет плюсом:
• знание C#, Go
• опыт проектирования Data Warehouse, Data Lake, Data Lakehouse
• опыт работы с ElasticSearch, Data Build Tool(DBT), ClickHouse
• опыт реализации ETL пайпланов с помощью инструмента Talend DI или его аналогов
• понимание микросервисной архитектуры и опыт работы с gRPC фреймворком
• опыт работы с Linux
• понимание контейнеризации и опыт работы с Docker и K8S
• опыт работы с очередями и брокерами сообщений (RabbitMQ, Kafka)
• опыт работы с Apache Airflow
• опыт работы с Big Data и оптимизацией запросов
• опыт работы и внедрения Debezium(CDC)
• опыт проектирования потоковой(стриминговой) обработки данных с помощью Apache Spark
Контакты:
Telegram @AssemM7
Whatsapp
Навыки
Apache Airflow
Apache Spark
C#
data extraction, transformation and loading tools
Debezium
Go
gRPC
Kafka
manage ICT virtualisation environments
operating systems
PostgreSQL
Python (computer programming)
RabbitMQ
SQL
tools for software configuration management
Домены
Big Data
Business Analytics
Compliance
Data Lake
Data lakehouse
Data Warehouse
ИИ навыки
analyse big data
Apache Airflow
Apache Kafka
Apache Spark
Big Data
C#
ClickHouse
data build tool (dbt)
data extraction, transformation and loading tools
Data Lake
data lakehouse
Data Warehouse
Debezium
Docker
ИИ домены
Business Analytics
Compliance
Data Engineering
International trade analytics
Labour market analytics
Legal entity verification
Tender analytics
* Домены определены автоматически с помощью нейросети