Проект развития Data analytics / Data governance инструментария в TOP-2 банке России.
Разработка ядра хранилища данных и инструментов:
- анализа, трансформации, подготовки данных;
- инструментов управления метаданными;
- интеллектуальных оркестраторов потоков данных (offline и real-time);
- автоматизированного тестирования качества данных с применением AI;
- автоматизации обработчиков данных с применением AI (AST-кодогенерация).
Инструментарий разработки кода: Python 3
Требуемый опыт работы и навыки:
Обязательно:
- опыт разработки на Python от 2 лет, связанных с интеграцией либо процессингом больших данных (Hive/Spark, аналитические СУБД)
- опыт работы с Apache Airflow
- уверенное знание SQL, в частности PostgreSQL
Желательно:
- понимание процессов промышленной разработки (в частности test-driven development)
- понимание микросервисной архитектуры, а также архитектуры аналитических систем, в частности хранилищ данных
Образование, специальность: Высшее техническое профильное (IT)