Ведущий инженер данных в VK Видео, Москва
#гибрид
Компания:Vk
🔹Задачи
-Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд
-Собирать витрины, оптимизировать
-Писать адхоки и выгрузки, раздебаги
-Собирать требования
🔹Требования
-Понимание работы параллельных вычислений на кластере
-Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
-Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
-Знание Git и работа с кодом в команде (ревью)
Контакты: https://team.vk.company/vacancy/45275/
Навыки
ClickHouse
Hadoop
Python (computer programming)
Spark
tools for software configuration management
YT
ИИ навыки
Algorithms
analyse pipeline database information
Apache Airflow
Apache Spark
ClickHouse
conduct ICT code review
Data Warehouse
Hadoop
process data
Python (computer programming)
SQL
tools for software configuration management
use concurrent programming
YT (YTsaurus)
ИИ домены
Analytics
Big Data
Data Engineering
Machine Learning
* Домены определены автоматически с помощью нейросети