Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Мгновенно обучаемые нейронные сети — это прямые искусственные нейронные сети, которые создают новый скрытый нейрон для каждого нового обучающего примера. Веса этого скрытого нейрона отделяют не только данный обучающий пример, но и другие примеры, близкие к нему, обеспечивая тем самым обобщающую способность. Это разделение выполняется с использованием ближайшей гиперплоскости, которую можно мгновенно определить. В двух наиболее важных реализациях окрестность обобщения либо меняется в зависимости от обучающего примера (сеть CC1), либо остается постоянной (сеть CC4). Эти сети используют унарное кодирование для эффективного представления наборов данных. Этот тип сети был впервые предложен в статье Субхаша Кака в 1993 году. Они также применяются для быстрой классификации документов, глубокого обучения и интеллектуального анализа данных. Как и другие нейронные сети, они обычно используются в виде программного обеспечения, но также были реализованы на аппаратном уровне с использованием ПЛИС (FPGA) и оптическими методами.
Instantaneously trained neural networks are feedforward artificial neural networks that create a new hidden neuron node for each novel training sample. The weights to this hidden neuron separate out not only this training sample but others that are near it, thus providing generalization. This separation is done using the nearest hyperplane that can be written down instantaneously. In the two most important implementations the neighborhood of generalization either varies with the training sample (CC1 network) or remains constant (CC4 network). These networks use unary coding for an effective representation of the data sets. This type of network was first proposed in a 1993 paper of Subhash Kak. They have also been used in instant classification of documents and for deep learning and data mining. As in other neural networks, their normal use is as software, but they have also been implemented in hardware using FPGAs and by optical implementation.
Сеть CC4
В сети CC4, являющейся трехслойной сетью, число входных узлов на один больше размера обучающего вектора, при этом дополнительный узел служит узлом смещения, вход которого всегда равен 1. Для бинарных входных векторов веса от входных узлов к скрытому нейрону (например, с индексом j), соответствующие обученному вектору, задаются следующей формулой:
In the CC4 network, which is a three stage network, the number of input nodes is one more than the size of the training vector, with the extra node serving as the biasing node whose input is always 1. For binary input vectors, the weights from the input nodes to the hidden neuron (say of index j) corresponding to the trained vector is given by the following formula:
где – радиус обобщения, а – вес Хэмминга (количество единиц) в бинарной последовательности. Веса от скрытого слоя к выходному слою равны 1 или -1, в зависимости от того, принадлежит вектор к данному выходному классу или нет. Нейроны в скрытом и выходном слоях выдают 1, если взвешенная сумма на входе равна 0 или положительна, и 0, если взвешенная сумма на входе отрицательна:
where is the radius of generalization and is the Hamming weight (the number of 1s) of the binary sequence. From the hidden layer to the output layer the weights are 1 or 1 depending on whether the vector belongs to a given output class or not. The neurons in the hidden and output layers output 1 if the weighted sum to the input is 0 or positive and 0, if the weighted sum to the input is negative:
Другие сети
Сеть CC4 также была модифицирована для работы с небинарными входными данными и различными радиусами обобщения, что фактически обеспечивает реализацию CC1. В сетях с обратной связью сети Уилшоу и Хопфилда способны к мгновенному обучению.
The CC4 network has also been modified to include non binary input with varying radii of generalization so that it effectively provides a CC1 implementation. In feedback networks the Willshaw network as well as the Hopfield network are able to learn instantaneously.