ЭФФЕКТИВНОЕ ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ ХАРАКТЕРИСТИК ВЫЧИСЛИТЕЛЬНЫХ ЗАДАНИЙ ПО РАСШИРЕННЫМ МЕТАДАННЫМ

С. А. Петунин
Вопросы атомной науки и техники. Сер. Математическое моделирование физических процессов 2019. Вып.2. С. 68-80.

       В составе системного программного обеспечения большинства высокопроизводительных вычислительных систем в настоящее время используется менеджер ресурсов и планировщик заданий Slurm. База данных статистики планировщика является основным источником анализа рабочей нагрузки, понимание которой позволяет повышать эффективность использования ресурсов вычислительных систем.

       Проведено исследование применения статистического метода Random Forest, относящегося к группе машинного обучения, для прогнозирования временных показателей вычислительного задания: времени ожидания в очереди и времени выполнения. Все эксперименты проведены на журнальных данных большого объема менеджера ресурсов и планировщика заданий Slurm, накопленных в течение различных календарных периодов. Программы обработки данных реализованы в виде скриптов в рамках статистической системы R. Принципиальной идеей работы явилось включение в структуру прогнозных моделей новых уникальных метаданных вычислительных заданий, не используемых ранее. Результаты исследований показали более чем двукратную эффективность предложенных прогнозных моделей по сравнению с оценками пользователей и планировщика. Работа является первым шагом в проекте внедрения автоматических сервисов управления вычислительными заданиями на уровне метапланировщика в целях автоматизации запросов ресурсов, а также для более качественного оповещения пользователей (рис. 11, табл. 5, список лит. - 14 назв.).

Полный текст статьи