Сравнение методов кодирования аудиосигналов для многослойных спайковых нейронных сетей в задачах классификации

Аннотация

рассматривается представление коротких речевых сигналов последовательностями спайков для классификации многослойной спайковой нейронной сетью в потоковом режиме. Сравниваются три метода кодирования: интегральное частотное кодирование, потоковое спектральное кодирование и кодирование локальной динамики сигнала — все с единой архитектурой сети из нейронов Leaky Integrate-and-Fire, обучаемой методом суррогатного градиента. Эксперименты на наборах Google Speech Commands v0.01 (GSC) и Heidelberg Digits (HD) показали: для GSC наивысшая точность (83,1 %) достигается при интегральном кодировании, для HD все методы дают сравнимые точности. Потоковое спектральное кодирование требует лишь 4 шагов симуляции на один шаг спектрограммы, что снижает задержку ответа сети. Кодирование локальной динамики дает на GSC точность 80,1 % (на 3 % ниже интегрального) при более компактном входном представлении. Результаты позволяют дать рекомендации по выбору спайкового кодирования под заданные ограничения на вычислительные ресурсы.