О клиенте и контексте
Крупный агропромышленный холдинг, который управляет множеством ферм, складов и торговых точек. Компания столкнулась с проблемами из-за сложной ИТ-инфраструктуры и разрозненных источников данных. Это мешало ей работать эффективно и быстро принимать решения.
Исходные условия на момент начала проекта:
- Информация с ферм, складов и магазинов не была связана между собой, что затрудняло анализ и оперативные действия.
- Используемые технологии, например Apache Camel, были сложными в обслуживании, устаревшими и требовали много знаний от сотрудников.
- Объединение таких систем, как SAP SF, 1С ЗУП и OpenText, стоило больших денег и времени.
- Данные передавались медленно, форматы не совпадали, что усложняло аналитику.
- Увеличение киберугроз требовало надежной защиты данных, особенно при работе с партнерами.
- Используемая система Enerbus не обеспечивала быструю доставку данных, не позволяла масштабироваться и была дорогой в поддержке.
Технические трудности
- Разные системы (SAP, 1С, OpenText и другие) работали с разными форматами данных.
- Интеграция с государственными системами (например, ФГИС «Меркурий» или «Честный Знак») была сложной.
- Семь систем работали очень медленно (всего 2 запроса в секунду).
- Форматы данных не совпадали, что мешало их анализировать.
- Хранилище на 16 ТБ обрабатывало 5,5 ТБ данных в год и большие файлы до 1,3 ГБ.
Цели внедрения
- Соединить 20 источников данных с 370 получателями через 80 интеграционных потоков.
- Создать надежную систему, способную обрабатывать 1 миллион транзакций в день и более 100 транзакций в секунду в пиковые моменты.
- Поддерживать работу со сложными и медленными системами, такими как SAP или «Платон».
- Улучшить безопасность, масштабируемость и контроль за данными.
- Обучить сотрудников самостоятельно управлять системой.
- Снизить затраты и улучшить качество данных для аналитики.
Реализация
Объединили все данные из SAP, 1С, OpenText и других источников с помощью технологий Apache Kafka (для потоков данных), Apache NiFi (для маршрутизации) и специального API-шлюза. Скорость обработки выросла до 50 запросов в секунду (в 25 раз больше, чем раньше).
Создали адаптеры, чтобы старые системы работали без полной замены.
Система развернута на Kubernetes с резервным копированием и автоматическим переключением в случае сбоев (99,99% времени работы).
Добавили защиту данных через сегментацию сети и дополнительные проверки. Внедрили инструменты для отслеживания работы системы и предотвращения сбоев.
Оптимизировали обработку 5,5 ТБ данных в год, включая большие файлы.
Добавили возможность прогнозировать урожайность и тренды на основе данных в реальном времени.
ИТ-команду обучили управлять платформой самостоятельно.
По результатам внедрения
- За 6 недель настроили 80 интеграционных потоков.
- Подключили сложные системы, такие как «Меркурий» и «Честный Знак».
- Убрали узкие места в медленных системах с помощью кэширования.
- Привели данные к единому формату для удобной аналитики.
- Настроили хранилище для работы с большими объемами данных.
Результаты и подтвержденные эффекты
- Обрабатывает 1 миллион транзакций в день и более 100 в секунду в пике.
- Семь слабых систем больше не тормозят работу.
- Затраты на интеграцию снизились на 30%, что сэкономило миллионы.
- Ошибки в данных сократились на 40%.
- Время вывода продукции сократилось на 25% благодаря аналитике.
- Производительность выросла на 15%.
- Решения принимаются в 3 раза быстрее благодаря данным в реальном времени.
- Система работает 99,99% времени без потери данных.
- Управляет 5,5 ТБ данных в год и большими файлами.
- Сотрудники сами управляют системой.
Главные цифры
- Транзакции: 1 миллион+ в день.
- Пиковая нагрузка: 100+ транзакций в секунду.
- Потоки: 80 шт, соединяют 120 источников с 370 получателями.
- Хранилище: 5,5 ТБ в год, размер файла — до 1,3 ГБ.
- Экономия: 30% снижение затрат.
- Время работы: 99,99%.
- Обучение: 20+ специалистов.
Выводы
Платформа USEBUS помогла создать единое информационное пространство, обеспечив высокую производительность и экономию.
Теперь компания может прогнозировать тренды, быстро реагировать на изменения и быть лидером в агробизнесе.