Функционал системы
Интеграционная платформа USEBUS обеспечивает следующий набор функциональных возможностей:
Многопользовательская среда создания интеграций
Многопользовательская среда создания интеграций
Визуальное конфигурирование интеграционных потоков при помощи
доработанного GUI, являющегося надстройкой над различными opensorce-решениями.
Мультитенантный (мультиарендный) пользовательский интерфейс,
с механизмами контроля доступов.
Настройки совместного использования разными группами
пользователей и управления определёнными частями потока.
Обеспечение безопасности хранения и передачи данных
Обеспечение безопасности хранения и передачи данных
Аутентификация и авторизация входящих запросов, возможность
сквозного «проброса» access token в систему получатель.
Безопасность хранения и передачи данных (SSL, SSH, HTTPS)
с помощью шифрования, что обеспечивает защиту данных от несанкционированного
доступа или умышленной подмены.
Встроенная аутентификация / авторизация на основе ролей.
Ролевая модель доступов корпоративного уровня ORBAC.
Сбор и транспортировка данных
Сбор и транспортировка данных
Сбор данных из различных источников, включая файлы логов,
датчики и приложения в режиме реального времени или в пакетном режиме.
Синхронная и асинхронная передача сообщений.
Различные варианты запуска процессов: по триггерам, по событиям
внутри систем источниках и получателях, по расписанию.
Поддержка интеграций типа файлового обмена на основе встроенного
объектного хранилища S3 Minio для файлов до 50 Тб.
Мониторинг и логирование потоков данных
Мониторинг и логирование потоков данных
Групповая и пакетная трассировка для наглядного отслеживания
изменений данных и отладки интеграционных потоков.
Встроенная система логирования на основе ELK стека и возможность
интеграции с подсистемой логирования (например, Splunk).
Мониторинг потоков данных и выявления потенциальных проблем
в целях предотвращения потери данных или обеспечения корректной передачи данных
на основе Prometheus и Grafana с настраиваемым механизмом уведомлений.
Возможность интеграции с другими подсистемами мониторинга.
Оптимизация и управление потоками данных
Оптимизация и управление потоками данных
Динамическая приоритезация обработки данных в зависимости
от текущих условий, обеспечивая быструю обработку критически важных данных
и оптимизируя использование ресурсов для максимальной эффективности.
Встроенные механизмы для сжатия и декомпрессии данных,
что позволяет уменьшить объём передаваемых и хранимых данных, снижая затраты
на хранение и передачу.
Встроенные механизмы для автоматического обнаружения,
регистрации, исправления, повторной обработки или маршрутизации проблемных
данных в специальные очереди для анализа и устранения.
Обеспечение надёжности и высокоскоростной обработки данных
Обеспечение надёжности и высокоскоростной обработки
данных
Настраиваемая персистентность данных для достижения необходимого
уровня надёжности и скорости обработки данных.
Асинхронное взаимодействие обеспечивает высокую пропускную
способность и естественную буферизацию данных при нестабильной скорости потока
и частоте поступления пакетов данных.
Различные варианты кэширования часто запрашиваемых данных:
persistent cache, in-memory cache для интеграций с «медленными» системами
и требовательными к времени отклика.
Параллелизация обработки данных с использованием
многопоточности, что позволяет эффективно распределять нагрузку по кластеру
и обеспечивать высокую производительность при работе с большими объёмами данных.
Администрирование и масштабируемость
Администрирование и масштабируемость
Перемещение интеграционных потоков данных между стендами.
Поддержка различных вариантов развёртывания системы:
неотказоустойчивая (для окружений разработки), отказоустойчивая (для тестовых,
предпродакшен и продакшн окружений), отказоустойчивая с георезервацией
и репликацией (для критически важных задач и данных).
Кластеризация с возможностью георезервации и обработки данных.
Возможность встраивания в интеграционный поток самописных
сервисов, адаптеров и обработчиков.
Возможность создания собственных процессоров на языке Java,
Python и других языках.
Расширяемость компонентов без нарушения Лицензии.
Обогащение и трансформация данных
Обогащение и трансформация данных
Обогащение данных путём добавления дополнительной информации
(например, метки времени, данных геолокации или идентификаторов пользователей)
для улучшения качества данных и полезности их анализа.
Механизмы трансформация данных путём изменения их формата,
структуры или содержимого в целях оптимизации анализа данных и обеспечения
совместимости данных с системами.
Поддержка преобразования всех основных форматов данных (JSON,
XML, TXT, Avro и т.д.).
Маршрутизация данных в разные пункты назначения (например,
Hadoop, Hive или Spark) для регламентного обеспечения данными потребителей.
Многопользовательская среда создания интеграций
Визуальное конфигурирование интеграционных потоков
при помощи доработанного GUI, являющегося надстройкой над различными
opensorce-решениями.
Мультитенантный (мультиарендный) пользовательский интерфейс,
с механизмами контроля доступов.
Настройки совместного использования разными группами
пользователей и управления определёнными частями потока.
Обеспечение безопасности хранения и передачи данных
Аутентификация и авторизация входящих запросов, возможность
сквозного «проброса» access token в систему получатель.
Безопасность хранения и передачи данных (SSL, SSH, HTTPS)
с помощью шифрования, что обеспечивает защиту данных от несанкционированного
доступа или умышленной подмены.
Встроенная аутентификация / авторизация на основе ролей.
Ролевая модель доступов корпоративного уровня ORBAC.
Сбор и транспортировка данных
Сбор данных из различных источников, включая файлы логов,
датчики и приложения в режиме реального времени или в пакетном режиме.
Синхронная и асинхронная передача сообщений.
Различные варианты запуска процессов: по триггерам,
по событиям внутри систем источниках и получателях, по расписанию.
Поддержка интеграций типа файлового обмена на основе
встроенного объектного хранилища S3 Minio для файлов до 50 Тб.
Мониторинг и логирование потоков данных
Групповая и пакетная трассировка для наглядного отслеживания
изменений данных и отладки интеграционных потоков.
Встроенная система логирования на основе ELK стека
и возможность интеграции с подсистемой логирования (например, Splunk).
Мониторинг потоков данных и выявления потенциальных проблем
в целях предотвращения потери данных или обеспечения корректной передачи
данных на основе Prometheus и Grafana с настраиваемым механизмом
уведомлений.
Возможность интеграции с другими подсистемами мониторинга.
Оптимизация и управление потоками данных
Динамическая приоритезация обработки данных в зависимости
от текущих условий, обеспечивая быструю обработку критически важных данных
и оптимизируя использование ресурсов для максимальной эффективности.
Встроенные механизмы для сжатия и декомпрессии данных,
что позволяет уменьшить объём передаваемых и хранимых данных, снижая затраты
на хранение и передачу.
Встроенные механизмы для автоматического обнаружения,
регистрации, исправления, повторной обработки или маршрутизации проблемных
данных в специальные очереди для анализа и устранения.
Обеспечение надёжности и высокоскоростной обработки данных
Настраиваемая персистентность данных для достижения
необходимого уровня надёжности и скорости обработки данных.
Асинхронное взаимодействие обеспечивает высокую пропускную
способность и естественную буферизацию данных при нестабильной скорости
потока и частоте поступления пакетов данных.
Различные варианты кэширования часто запрашиваемых данных:
persistent cache, in-memory cache для интеграций с «медленными» системами
и требовательными к времени отклика.
Параллелизация обработки данных с использованием
многопоточности, что позволяет эффективно распределять нагрузку по кластеру
и обеспечивать высокую производительность при работе с большими объёмами
данных.
Администрирование и масштабируемость
Перемещение интеграционных потоков данных между стендами.
Поддержка различных вариантов развёртывания системы:
неотказоустойчивая (для окружений разработки), отказоустойчивая
(для тестовых, предпродакшен и продакшн окружений), отказоустойчивая
с георезервацией и репликацией (для критически важных задач и данных).
Кластеризация с возможностью георезервации и обработки
данных.
Расширяемость компонентов без нарушения Лицензии.
Обогащение и трансформация данных
Обогащение данных путём добавления дополнительной информации
(например, метки времени, данных геолокации или идентификаторов
пользователей) для улучшения качества данных и полезности их анализа.
Механизмы трансформация данных путём изменения их формата,
структуры или содержимого в целях оптимизации анализа данных и обеспечения
совместимости данных с системами.
Поддержка преобразования всех основных форматов данных
(JSON, XML, TXT, Avro и т.д.).
Маршрутизация данных в разные пункты назначения (например,
Hadoop, Hive или Spark) для регламентного обеспечения данными потребителей.
