#вакансия #dataplatform #streaming #kafka #flink #clickhouse #web3 #remote
Вакансия: Senior Data Platform Engineer (Real-time Streaming)
Компания: Lagrange Labs
Вилка: 9 000 – 13 000 USD
Условия: Full-time, Remote, работа с High-load данными
Задачи:
— Проектирование и эксплуатация платформы обработки данных реального времени для индексации мультичейн-событий.
— Построение высокопроизводительных стриминг-пайплайнов на базе Apache Kafka и Apache Flink / Spark Streaming.
— Оптимизация хранилищ данных (ClickHouse, PostgreSQL) для быстрой аналитической обработки и отдачи состояния ZK-пруверам.
— Разработка и поддержка коннекторов к блокчейн-нодам (Ethereum, L2s) для захвата данных в реальном времени (CDC).
— Обеспечение консистентности и точности данных (Data Quality) в условиях высокой волатильности блокчейн-сетей (обработка реоргов).
— Масштабирование инфраструктуры данных в Kubernetes (EKS/GCP) и настройка мониторинга (Prometheus/Grafana).
— Взаимодействие с командами протокола и аналитики для обеспечения минимальной задержки (low latency) данных.
Требования:
— Опыт работы в Data Engineering / Infrastructure от 5 лет.
— Экспертное владение инструментами стриминга (Kafka, Flink/Spark) и понимание семантики exactly-once.
— Глубокие знания распределенных систем и баз данных (ClickHouse, Druid или аналоги).
— Уверенное владение Java, Scala или Python.
— Опыт работы с облачной инфраструктурой и IaC (Terraform, Kubernetes).
— Понимание специфики блокчейн-данных (блоки, транзакции, логи событий, JSON-RPC).
— Английский язык: Upper-Intermediate (активная техническая коммуникация).
Будет плюсом:
— Опыт построения систем индексации блокчейнов (с нуля или на базе существующих решений).
— Понимание концепций ZK-Rollups и передачи сообщений между сетями.
— Опыт работы в проектах с Big Data (PB-scale).
Контакт для связи: Gorskines