Тип публикации: статья из журнала
Год издания: 2024
Ключевые слова: data processing, organization, materials, processing methods, management, information storage, обработка данных, организация, материалы, методы обработки, менеджмент, хранение информации
Аннотация: Задачей исследования является определение подходов к реализации конвейерной обработки данных. Для организации мониторинга конвейера обработки данных, помимо контроля отдельных этапов обработки, тестирования и восстановления отдельных комплексов, планируется создать автоматический мониторинг состояния и работоспособности всего конвеПоказать полностьюйера. Важно включить возможность автоматического запуска тестов, проверки качества данных и описания метаданных. Необходимо получать проактивную информацию об инцидентах при выполнении этапов обработки данных, чтобы система могла автоматически предпринимать корректирующие действия. Все инциденты должны быть зарегистрированы. Протокол должен содержать информацию о том, на каком этапе обработки произошел инцидент, по какой причине и что предприняла система в этой ситуации. In order to organize monitoring of the data processing pipeline, in addition to monitoring individual stages of processing, testing and restoration of individual complexes, it is planned to create automatic monitoring of the condition and operability of the entire pipeline. It is important to enable the ability to automatically run tests, check data quality, and describe metadata. It is necessary to receive proactive information about incidents when performing data processing steps so that the system can automatically take corrective actions. All incidents must be recorded. The protocol should contain information about at what stage of processing the incident occurred, for what reason and what the system did in this situation.
Журнал: Конкурентоспособность в глобальном мире: экономика, наука, технологии
Выпуск журнала: № 10
Номера страниц: 311-314
ISSN журнала: 2412883X
Место издания: Киров
Издатель: Лукин А.С.