Прогнозирование загрузки вычислительного кластера методами анализа временных рядов

Аннотация

управление ресурсами вычислительного кластера требует прогноза будущей загрузки: недооценка спроса приводит к деградации сервисов, переоценка — к избыточному резервированию и лишним затратам. В работе на данных производственной трассы Alibaba GPU Trace 2020 решается задача краткосрочного прогнозирования почасовой загрузки процессоров, графических ускорителей и оперативной памяти кластера с горизонтом в один час и тестовым окном в 168 часов. События задач агрегированы в почасовые ряды усреднением по времени. Сопоставлены пять моделей: наивный прогноз по последнему наблюдению, модель проинтегрированного скользящего среднего, рекуррентная нейронная сеть с долгой краткосрочной памятью, байесовская динамическая линейная модель и многомерная модель векторной авторегрессии с отбором лагов глубиной до 168 часов. Критерии сравнения — точность прогноза, качество 99-процентного доверительного интервала, точность предсказания направления изменения и экономия резервируемых ресурсов. Наивысшую точность дает байесовская динамическая линейная модель: средняя абсолютная ошибка на 6–9 процентов ниже, чем у наивного прогноза; для оперативной памяти конкурентоспособна рекуррентная сеть, а векторная авторегрессия полезна для прогнозирования загрузки процессоров и ускорителей. Переход от резервирования по историческому максимуму к резервированию по верхней границе прогнозного интервала сокращает объем резерва на 22–30 процентов при покрытии 96–99 процентов.