управление загрузкой
Orchestrator GO
Управляет потоками данных в платформе GRIP. Инициирует и отслеживает статус выполнения процессов и задач
Orchestrator является сердцем платформы Gridfore, которое связывает в единое функциональное целое другие компоненты платформы, управляет жизненным циклом процессов
Терминология
Процесс
Контейнер для операций, который содержит в себе параметры для запуска задач
Задача
Базовая сущность, состоящая из операций и параметров для её запуска
Операция
Базовая выполняемая функция
Подписка
Механизм с помощью, которого осуществляется синхронизация между процессами и задачами с помощью событий
Период
Временной интервал, используемый в процессах для определения историчности выполняемых задач: загрузки данных и построения витрин
Событие
Сущность для обмена между процессами и задачами, которая используется в подписках
Барьер
Механизм синхронизации операций, используемый в подписках
Orchestrator
Базовый сервис GRIP, который предназначен для управления всеми операциями системы (ETL, DQ, ML) путём принятия решений на основе предварительных настроек процессов и задач, а также текущего состояния ресурсов системы
Функциональные особенности
- 1МодульностьWe are the leading firm by delivering quality and value to our clients.
- 2Потоки связий сценариев и операцийOur managers are always ready to answer your questions. You can call us at the weekends and at night.
- 3Учет бизнес-периодов загрузкиThis method lets us to get success in problems of all levels.
- 4МониторингAll our professionals have more than 5 years of legal experiences.
Модульность
Orchestrator реализует единый интерфейс управления и контроля над выполнением процессов и задач, за счет выделения выполняемой функции в интерфейс. Таким образом в задаче можно указать название любой функции, которая может быть выполнена (при этом должен собираться контракт, объявленный в интерфейсе) - вызов сервис, обращение к данным, вызов внешнего сервиса или выполнение запроса к БД.
Управляющий поток
Управляющий поток – это сложный граф сценариев и операций
Orchestrator позволяет управлять бизнес-процессами, со сложной структурой связей отдельных процессов и задач, а также их выполнением.
Связь между задачами и процессами реализуется по модели подписки:
Каждая активность системы порождает события (не)успешного выполнения определённых задач. GO постоянно контролирует изменения состояния выполнения задач в системе, проверяет выполнение условий старта новых активностей. Новая задача может быть запущена немедленно после выполнения всех реквизитов её подписки.
Orchestrator позволяет управлять бизнес-процессами, со сложной структурой связей отдельных процессов и задач, а также их выполнением.
Связь между задачами и процессами реализуется по модели подписки:
Каждая активность системы порождает события (не)успешного выполнения определённых задач. GO постоянно контролирует изменения состояния выполнения задач в системе, проверяет выполнение условий старта новых активностей. Новая задача может быть запущена немедленно после выполнения всех реквизитов её подписки.
Прикладному разработчику не нужно знать, как именно реализована загрузка данных, в которых он нуждается. Ему достаточно подписаться на необходимые события, пререквизит для разрабатываемой им задачи. Логику взаимодействия, в том числе зависимости от нескольких пререквизитов (событий), настройки периодов выполнит Orchestrator.
Например, задача по расчёту недельных агрегатов может зависеть от загрузки фактов из двух различных источников. Разработчик может подписаться на события, которые выставляют оба эти источника, и указать период обновления витрины (неделя). Orchestrator запустит задачу обновления витрины в тот момент, когда за расчётную неделю будут полностью загружены все дневные данные по обоим источникам
