Константа Липшица сигмоидной сети
Рассмотрим слоистую сигмоидную сеть со следующими свойствами:
1. Число входных сигналов — n 0.
2. Число нейронов в i- м слое — ni .
3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
4. Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.
5. Все синаптические веса ограничены по модулю единицей.
6. В сети m слоев.
В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица i- го слоя можно оценить следующей величиной:
Используя формулу (4) получаем оценку константы Липшица всей сети:
Если используется нейроны типа S 1, то ΛP =c и оценка константы Липшица сети равна:
Для нейронов типа S2 , то ΛP =1/- и оценка константы Липшица сети равна:
Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.
Другое по теме
ПЯТИЛЕТКА ПЫШНЫХ ПОХОРОН
4 факультет изменился. Те энтузиасты-идеалисты, которые
закладывали его основу в начале 60-х годов, уже состарились и отошли от дел.
Зато больше стало «хороших военных», чем-то похожих на наше Чудо. После
переезда на МУЦ тихая ...