Ключевые слова
кодирование аудиосигналов
распознавание речи
многослойный перцептрон
суррогатный градиент
Как цитировать
Аннотация
рассматривается представление коротких речевых сигналов последовательностями спайков для классификации многослойной спайковой нейронной сетью в потоковом режиме. Сравниваются три метода кодирования: интегральное частотное кодирование, потоковое спектральное кодирование и кодирование локальной динамики сигнала — все с единой архитектурой сети из нейронов Leaky Integrate-and-Fire, обучаемой методом суррогатного градиента. Эксперименты на наборах Google Speech Commands v0.01 (GSC) и Heidelberg Digits (HD) показали: для GSC наивысшая точность (83,1 %) достигается при интегральном кодировании, для HD все методы дают сравнимые точности. Потоковое спектральное кодирование требует лишь 4 шагов симуляции на один шаг спектрограммы, что снижает задержку ответа сети. Кодирование локальной динамики дает на GSC точность 80,1 % (на 3 % ниже интегрального) при более компактном входном представлении. Результаты позволяют дать рекомендации по выбору спайкового кодирования под заданные ограничения на вычислительные ресурсы.
Благодарности
Литература
Neftci E. O., Mostafa H., Zenke F. Surrogate Gradient Learning in Spiking Neural Networks: Bringing the Power of Gradient-Based Optimization to Spiking Neural Networks. IEEE Signal Processing Magazine. 2019;36(6):51–63.
Bellec G., Salaj D., Subramoney A., Legenstein R., Maass W. Spike-Frequency Adaptation Provides a Long Short-Term Memory to Networks of Spiking Neurons. Nature Communications. 2020;11:3690.
Auge D., Hille J., Mueller E., Knoll A. A Survey of Encoding Techniques for Signal Processing in Spiking Neural Networks. Neural Networks. 2021;142:273–301.
Cramer B., Stradmann Y., Schemmel J., Zenke F. The Heidelberg Spiking Data Sets for the Systematic Evaluation of Spiking Neural Networks. IEEE Transactions on Neural Networks and Learning Systems. 2022;33(7):2744–2757.
Rybka R. B., Dyakova E. O., Serenko A. V., Sboev A. G. Spiking Neural Network with Quantized Weights for Audio Stream Classification. Studies in Computational Intelligence. 2025;1179:89–97.
Matsukatova A. N., Prudnikov N. V., Kulagin V. A. et al. Combination of Organic-Based Reservoir Computing and Spiking Neuromorphic Systems for a Robust and Efficient Pattern Classification. Adv. Intell. Syst. 2023;5:2200407.
Warden P. Speech Commands: A Dataset for Limited-Vocabulary Speech Recognition. 2018. arXiv:1804.03209.
Bittar A., Garner P. N. A Surrogate Gradient Spiking Baseline for Speech Command Recognition. Frontiers in Neuroscience. 2022;16:865897.
Wang J., Yu L., Huang L., Zhou C., Zhang H., Song Z., Zhang M., Ma Z., Zhang Z. Efficient Speech Command Recognition Leveraging Spiking Neural Network and Curriculum LearningBased Knowledge Distillation. 2024. arXiv:2412.12858.
Zhang S., Yang Q., Ma C., Wu J., Li H., Tan K. C. TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling. Proceedings of the AAAI Conference on Artificial Intelligence. 2024.
Stewart K. M., Shea T., Pacik-Nelson N., Gallo E., Danielescu A. Speech2Spikes: Efficient Audio Encoding Pipeline for Real-Time Neuromorphic Systems. Proceedings of the 2023 Annual Neuro-Inspired Computational Elements Conference (NICE). 2023:1–7. DOI: 10.1145/3584954.3584995.
Yin B., Corradi F., Bohté S. M. Accurate and Efficient Time-Domain Classification With Adaptive Spiking Recurrent Neural Networks. Nature Machine Intelligence. 2021;3:905–913.
Hammouamri I., Khalfaoui-Hassani I., Masquelier T. Learning Delays in Spiking Neural Networks Using Dilated Convolutions with Learnable Spacings. The Twelfth International Conference on Learning Representations (ICLR). 2024.
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.