Функциональная предобработка преследует единственную цель — снижение константы Липшица задачи. В разделе «Предобработка, облегчающая обучение», был приведен пример такой предобработки. Рассмотрим общий случай функциональной предобработки, отображающих входной признак x в k- мерный вектор z . Зададимся набором из k чисел, удовлетворяющих следующим условиям: x min<y 1<…<yk -1<yk <x max.

Таблица 9. Пример функциональной предобработки числового признака x ∈[0,5], при условии, что сигналы нейронов принадлежат интервалу [-1,1]. В сигмоидной предобработке использована φ(x )=x /(1+|x |), а в шапочной — φ(x )=2/(1+x ²)-1. Были выбраны четыре точки yi=i .

x z 1(x )z 2(x )z 3(x )z 4(x )Линейная предобработка1.50.5-0.5-1-13.5110.5-0.5Сигмоидная предобработка1.50.3333-0.3333-0.6-0.71423.50.71420.60.3333-0.3333Шапочная предобработка1.50.60.6-0.3846-0.72413.5-0.7241-0.38460.60.6Пусть φ — функция, определенная на интервале [x min-yk , x max-y 1], а φ min,φ max — минимальное и максимальное значения функции φ на этом интервале. Тогда i- я координата вектора z вычисляется по следующей формуле:

(17)

Линейная предобработка

. В линейной предобработке используется кусочно линейная функция:

(18)

Графики функций zi (x ) представлены на рис. 2а. Видно, что с увеличением значения признака x ни одна функция не убывает, а их сумма возрастает. В табл. 9 представлены значения этих функций для двух точек — x 1=1.5 и x 2=3.5.

Сигмоидная предобработка

. В сигмоидной предобработке может использоваться любая сигмоидная функция. Если в качестве сигмоидной функции использовать функцию S 2, приведенную в разделе «Нейрон» этой главы, то формула (17) примет следующий вид:

Графики функций zi (x ) представлены на рис. 2б. Видно, что с увеличением значения признака x ни одна функция не убывает, а их сумма возрастает. В табл. 9 представлены значения этих функций для двух точек x 1=1.5 и x 2=3.5.

Шапочная предобработка

. Для шапочной предобработки используются любые функции, имеющие график в виде «шапочки». Например, функция φ(x )=1/(1+x ²).

Графики функций zi (x ) представлены на рис. 2 в. Видно, что с увеличением значения признака x ни одна из функций zi (x ) , ни их сумма не ведут себя монотонно. В табл. 9 представлены значения этих функций для двух точек x 1=1.5 и x 2=3.5.