с марта 2023 по н. в. · Удалённо
Пришёл дата-инженером в марте 2023 года, в апреле 2024 года стал Senior Data Engineer.
Руковожу командой платформы данных: архитектура lakehouse, стриминг и миграции, которые окупаются.
- Собрал и возглавляю команду из шести дата-инженеров, которая ведёт корпоративные ETL/ELT-пайплайны на Databricks в гибридной среде AWS и Azure.
- Спроектировал lakehouse по схеме Medallion (Bronze, Silver, Gold), который обрабатывает более 7 ТБ в день в Azure, AWS, GCP, Snowflake, Redshift и BigQuery.
- Перенёс устаревший ETL на Azure Data Factory, Databricks, Snowflake и Delta Lake и сократил операционные расходы на 40%.
- Отвечаю за высоконагруженные пакетные и CDC-пайплайны на Python и PySpark: оркестрация на Airflow и dbt, загрузка из источников через NiFi и Informatica.
- Добавил слой потоковой обработки на Kafka, Spark Streaming и Azure Event Hub: данные доступны меньше чем за секунду.
- Ввёл стандарты качества данных, управления, каталогизации и lineage на Unity Catalog и Schema Registry; автоматизировал инфраструктуру с Terraform, Docker, Kubernetes и CI/CD.
- Менторю инженеров разного уровня: моделирование данных, производительность запросов и пайплайнов, облачная архитектура.
DatabricksPySparkAzure Data FactorySnowflakeKafkaAirflowdbtNiFiTerraformKubernetes




