Тензорные сети
Для увеличения числа линейно независимых эталонов, не приводящих к прозрачности сети, используется прием перехода к тензорным или многочастичным сетям [75, 86, 93, 293].
В тензорных сетях используются тензорные степени векторов. k- ой тензорной степенью вектора x будем называть тензор x⊗k, полученный как тензорное произведение k векторов x. Перевод на турецкии e-perevod.kz.
Поскольку в данной работе тензоры используются только как элементы векторного пространства, далее будем использовать термин вектор вместо тензор. Вектор x⊗k является nk -мерным вектором. Однако пространство L (x⊗k) имеет размерность, не превышающую величину
, где
— число сочетаний из p по q . Обозначим через x⊗k множество k- х тензорных степеней всех возможных образов.
Теорема
. При k<n в множестве x⊗k линейно независимыми являются
векторов. Доказательство теоремы приведено в последнем разделе данной главы.
Небольшая модернизация треугольника Паскаля, позволяет легко вычислять эту величину. На рис. 2 приведен «тензорный» треугольник Паскаля. При его построении использованы следующие правила:
1. Первая строка содержит двойку, поскольку при n= 2 в множестве X всего два неколлинеарных вектора.
2. При переходе к новой строке, первый элемент получается добавлением единицы к первому элементу предыдущей строки, второй — как сумма первого и второго элементов предыдущей строки, третий — как сумма второго и третьего элементов и т. д. Последний элемент получается удвоением последнего элемента предыдущей строки.
Рис. 2. “Тензорный” треугольник Паскаля
В табл. 1 приведено сравнение трех оценок информационной емкости тензорных сетей для некоторых значений n и k. Первая оценка — nk — заведомо завышена, вторая —
— дается формулой Эйлера для размерности пространства симметричных тензоров и третья — точное значение.
Таблица 1.
Как легко видеть из таблицы, уточнение при переходе к оценке rn,k является весьма существенным. С другой стороны, предельная информационная емкость тензорной сети (число правильно воспроизводимых образов) может существенно превышать число нейронов, например, для 10 нейронов тензорная сеть валентности 8 имеет предельную информационную емкость 511.
Легко показать, что если множество векторов xi не содержит противоположно направленных, то размерность пространства L (x⊗k) равна числу векторов в множестве xi .
Сеть (2) для случая тензорных сетей имеет вид
(9)
а ортогональная тензорная сеть
(10)
где rij -1 — элемент матрицы Γ-1(x⊗k).
Рассмотрим, как изменяется степень коррелированности эталонов при переходе к тензорным сетям (9)
Таким образом, при использовании сетей (9) сильно снижается ограничение на степень коррелированности эталонов. Для эталонов, приведенных на рис. 1, данные о степени коррелированности эталонов для нескольких тензорных степеней приведены в табл. 2.
Таблица 2. Степени коррелированности эталонов, приведенных на рис. 1, для различных тензорных степеней.
Тензорная степеньСтепень коррелированностиУсловияCAB CAC CBC CAB+CAC CAB+CBC CAC+CBC 10.740.720.861.461.601.5820.550.520.741.071.291.2630.410.370.640.781.051.0140.300.260.550.560.850.8150.220.190.470.410.690.6660.160.140.400.300.560.5470.120.100.350.220.470.4580.090.070.300.160.390.37Анализ данных, приведенных в табл. 2, показывает, что при тензорных степенях 1, 2 и 3 степень коррелированности эталонов не удовлетворяет первому из достаточных условий (
), а при степенях меньше 8 — второму (
).
Таким образом, чем выше тензорная степень сети (9), тем слабее становится ограничение на степень коррелированности эталонов. Сеть (10) не чувствительна к степени коррелированности эталонов.
Другое по теме
1. Загадочный скачок параметра D″ в теории
движения Луны
В настоящее время на основе теории движения
Луны [534] составлены расчетные таблицы, так называемые каноны, в которых для
каждого затмения вычислены его дата, полоса прохождения лунной тени, фаза и
т. д. См., например, изв ...