Data Platform Engineer Senior Remote

#вакансия #dataplatform #streaming #kafka #flink #clickhouse #web3 #remote Вакансия: Senior Data Platform Engineer (Real-time Streaming) Компания: Lagrange Labs Вилка: 9 000 – 13 000 USD Условия: Full-time, Remote, работа с High-load данными Задачи: — Проектирование и эксплуатация платформы обработки данных реального времени для индексации мультичейн-событий. — Построение высокопроизводительных стриминг-пайплайнов на базе Apache Kafka и Apache Flink / Spark Streaming. — Оптимизация хранилищ данных (ClickHouse, PostgreSQL) для быстрой аналитической обработки и отдачи состояния ZK-пруверам. — Разработка и поддержка коннекторов к блокчейн-нодам (Ethereum, L2s) для захвата данных в реальном времени (CDC). — Обеспечение консистентности и точности данных (Data Quality) в условиях высокой волатильности блокчейн-сетей (обработка реоргов). — Масштабирование инфраструктуры данных в Kubernetes (EKS/GCP) и настройка мониторинга (Prometheus/Grafana). — Взаимодействие с командами протокола и аналитики для обеспечения минимальной задержки (low latency) данных. Требования: — Опыт работы в Data Engineering / Infrastructure от 5 лет. — Экспертное владение инструментами стриминга (Kafka, Flink/Spark) и понимание семантики exactly-once. — Глубокие знания распределенных систем и баз данных (ClickHouse, Druid или аналоги). — Уверенное владение Java, Scala или Python. — Опыт работы с облачной инфраструктурой и IaC (Terraform, Kubernetes). — Понимание специфики блокчейн-данных (блоки, транзакции, логи событий, JSON-RPC). — Английский язык: Upper-Intermediate (активная техническая коммуникация). Будет плюсом: — Опыт построения систем индексации блокчейнов (с нуля или на базе существующих решений). — Понимание концепций ZK-Rollups и передачи сообщений между сетями. — Опыт работы в проектах с Big Data (PB-scale). Контакт для связи: Gorskines