О клиенте и контексте
Крупный металлургический холдинг, объединяющий несколько производственных площадок, складов и сбытовых подразделений. Компания столкнулась с проблемой фрагментарности данных, которая препятствовала принятию обоснованных решений в области производства, логистики и продаж.
Исходные условия на момент начала проекта
- Фрагментарность данных: информация из производственных систем, складов и внешних источников собиралась вручную или через разрозненные каналы, что снижало её актуальность.
- Высокие затраты: поддержка и анализ данных требовали значительных ресурсов из-за отсутствия централизованной платформы.
- Медленное принятие решений: задержки в обработке данных тормозили оптимизацию производственных процессов и реагирование на рыночные изменения.
- Лоскутная интеграция: системы обменивались данными по принципу «точка-точка», что создавало сложности в поддержке и масштабировании.
- Разнородность источников: в периметре использовались 10 различных конфигураций 1С, системы Directum RX и Directum 5, внешние веб-сайты, а также сервисы передачи данных через FTP, SFTP, FTPS, SCP и REST API.
- Медленные системы: некоторые устаревшие системы не справлялись с высокими нагрузками, вызывая задержки в обработке данных.
- Отсутствие единого мониторинга: невозможно было отслеживать целостность и актуальность данных в реальном времени.
Цели внедрения
- Централизовать обмен данными между 1С (10 конфигураций), Directum RX, Directum 5, внешними веб-сайтами и различными сервисами (FTP, SFTP, FTPS, SCP, REST API).
- Устранить проблемы лоскутной интеграции, создав единую отказоустойчивую платформу.
- Обеспечить высокую производительность для обработки более 2 млн пакетов данных в сутки.
- Разработать кастомизированные алгоритмы для работы с «медленными» системами.
- Создать систему мониторинга и контроля для прозрачности данных.
- Дать внутренней команде инструменты для самостоятельного управления и расширения платформы.
Реализация
USEBUS был внедрен как корпоративная шина данных, объединяющая разрозненные системы и сервисы в единую экосистему. Решение построено на технологиях Apache Kafka для высокопроизводительной потоковой обработки, Apache NiFi для маршрутизации и логирования, API-шлюз для обработки запросов от внешних сервисов и веб-сайтов.
Разработаны специализированные адаптеры для 10 конфигураций 1С, Directum RX и Directum 5, а также для подключения через FTP, SFTP, FTPS, SCP и REST API (2 приложения). Для «медленных» систем внедрены механизмы кэширования и асинхронной обработки, что позволило устранить узкие места и повысить производительность. Платформа развернута на Kubernetes в geo-redundant конфигурации, обеспечивая отказоустойчивость и масштабируемость. Внедрен план аварийного восстановления (DRP) с автоматической репликацией данных и маршрутов.
Для мониторинга реализована система трассировки данных с использованием уникальных идентификаторов для каждого пакета, что обеспечило полный контроль над процессами обмена.
Потоки данных организованы следующим образом: данные из 1С, Directum или внешних источников (FTP, веб-сайты) поступают через API-шлюз или адаптеры, обрабатываются в NiFi, сохраняются и маршрутизируются через Kafka в целевые системы. Все процессы реализованы как независимые модули для повышения надежности.
Результаты и подтвержденные эффекты
Платформа показывает высокую производительность и стабильно обрабатывает более 2 млн пакетов данных в сутки, выдерживая пиковые нагрузки до 250 запросов в секунду (RPS). За счет автоматизации процессов было исключено ручное сопровождение обмена данными, что сократило операционные расходы на 40%. Были устранены узкие места. Кастомизированные алгоритмы для «медленных» систем увеличили их пропускную способность в 10 раз (с 2 RPS до 20 RPS). Система мониторинга обеспечивает полный контроль над движением данных, исключая потери и дублирование, а актуальные данные поступают в аналитические системы в реальном времени, ускоряя принятие решений на 50%.