Keywords
optimization methods
numerical instability
regularization methods
How to Cite
Abstract
We propose a general topological approach to the analysis of artificial neural networks using simplicial complexes and the approximation of continuous mappings with simplicial ones. The essential properties of numerical instability in such problems were identified. It is associated with ill-posed problems in Hilbert space and regularization methods typically applied to Big Data processing. We formulated the criteria of artificial neural network accuracy and applicability and included some implementation examples based on the interpolation theory. Advancing P.L. Chebyshev’s ideas about the best approximation may be an entry point to various mathematical research on artificial neural network training dataset optimization.
References
Данфорд Н., Шварц Дж.Т. Линейные операторы. Общая теория. Т. 1. М: ИЛ; 1962.
Бахвалов Н. С. Численные методы. М: Наука; 1973.
Runge K. Über empirische Funktionen und die Interpolation zwischen äquidistanten Ordinaten. Zeitschrift für Matematik und Physik. 1901;46:224–243.
Бернштейн С. Н. Собрание сочинений. Т. 1–4. М., 1952–1964.
Дзядык В. К. Введение в теорию равномерного приближения функций полиномами. М.: Наука; 1977.
Калиткин Н. Н. Численные методы. М.: Наука; 1988.
Александров П. С., Пасынков Б. А. Введение в теорию размерности. М.: Наука; 1973.
Березин И. С., Жидков Н. П. Методы вычислений. М.: ГИФМЛ; 1962.
Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. М.: Наука; 1972.
Николаев Е. С., Самарский А. А. Выбор итерационных параметров в методе Ричардсона. ЖВМ и МФ. 1972;12:960–973.
Бетелин В. Б., Галкин В. А., Дубовик А. О. Точные решения системы Навье–Стокса для несжимаемой жидкости в случае задач, связанных с нефтегазовой отраслью. Доклады Российской академии наук. Математика, информатика, процессы управления. 2020;495:13–16.
Новости ФГУ ФНЦ НИИСИ РАН. Режим доступа: https://www.niisi.ru/news.htm.
Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения. ДАН СССР. 1957;114(5):953–956.
Hecht-Nielsen R. Kolmogorov's Mapping Neural Network Existence Theorem. Proceedings of the International Conference on Neural Networks. New York: IEEE Press; 1987;III:11–14.
Funahashi K. On the Approximate Realization of Continuous Mappings by Neural Networks. Neural Networks. 1989;2(3):183–192.
Cybenko G. Approximation by Superposition of a Sigmoidal Function. Math. Control, Signals and Systems. 1989;2:303–314.
Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. М.: Наука; 1986.