Wstęp do sieci neuronowych
Dystans, jaki dzieli nas od zwierząt to prawie dokładnie sześć cali, czyli tyle ile jest pomiędzy uszami. Stwierdzenie to, w sposób nieco humorystyczny oddaje sedno różnicy pomiędzy ludźmi, a resztą żywych organizmów na ziemi. A polega ona na budowie i funkcjonalności naszego mózgu. Korzystamy z niego codziennie, w każdej chwili, nawet, gdy śpimy, a jednocześnie jest on chyba najsłabiej poznanym obiektem, jaki znany jest dzisiejszej nauce. Dlatego też od pewnego czasu, a dokładniej od 1943 roku, kiedy to McCulloch i Pitts przedstawili w postaci układu arytmetyczno-logicznego pierwszy formalny model neuronu, ludzie nauki zaczęli próby zgłębienia tajemnicy mózgu i procesów w nim zachodzących przy pomocy elektronicznych maszyn liczących, które w dzisiejszych czasach zostały zastąpione przez superkomputery o ogromnych mocach obliczeniowych.
Jednak nawet tak potężne maszyny nie są w stanie dorównać człowiekowi w czynnościach dla nas tak prostych i oczywistych jak rozpoznawanie innych osób, zapachów, rozumienie mowy, taniec, śpiew. Dlaczego tak się dzieje, oto zagadka, która nadal nie jest do końca rozwiązana. Jedną z prób symulacji procesów zachodzących w mózgu jest modelowanie pojedynczych neuronów, a następnie budowanie z nich sieci. Mózg ludzki składa się z ok. 1011 neuronów, a każdy z neuronów posiada około 104 synaps doprowadzających do niego sygnał. Dla porównania sieć użyta do kompresji obrazu składa się z maksymalnie trzech warstw po 2500 neuronów i tyleż samo synaps do każdego z nich, jednak zwykle, np. dla podobrazu o rozmiarach 4x4 piksele jest to sieć 16x4x16 neuronów z 4 do 16 synaps dla każdego z nich. Widać na tym przykładzie, że jest to naprawdę niewiele w porównaniu z mózgiem przeciętnego „zjadacza chleba”.
Najważniejsze prace oraz przełomowe odkrycia w dziedzinie sieci neuronowych przedstawia poniższa tabela.
|
Data |
Opis Wydarzenia |
|
1943 |
McCulloch i Pitts przedstawiają pierwszy formalny opis modelu neuronu w postaci układu arytmetyczno-logicznego. |
|
1949 |
Odkrycie przez Donalda Hebba możliwości przechowywania informacji w strukturze połączeń pomiędzy neuronami. Pierwsza propozycja metody uczenia polegająca na zmianach wag tych połączeń – Reguła Hebba. |
|
1954 |
Minsky buduje pierwszą sieć neuronową. |
|
1958 |
Rosenblatt buduje perceptron – maszynę klasyfikującą obrazy i stosującą do nauki modyfikacje wag połączeń pomiędzy neuronami. |
|
1960 |
Budowa urządzenia ADALINE i jego rozwinięcia MADALINE do rozpoznawania obrazów, przewidywania pogody i sterowania adaptacyjnego. |
|
1960, 1962 |
Widrow i Hoff proponują nową efektywną metodę uczenia sieci. |
|
1965, 1968 |
Nilsson wydaje monografię podsumowującą osiągnięcia w dziedzinie sieci neuronowych. |
|
1969 |
Minsky i Papert wydają książkę poddającą wątpliwości możliwość uczenia sieci wielowarstwowych, co zapoczątkowało długi okres stagnacji w tej dziedzinie. |
|
1972, 1977 |
Amari prowadzi badania nad uczeniem się sieci z elementami progowymi. |
|
1974 |
Werbos proponuje nowe mechanizmy uczenia sieci warstwowych zauważone zostaną dopiero 10 lat później. |
|
1980 |
Fukushima i Miyaka rozwijają strukturę sieci neokognitron , która przy rozpoznawaniu obrazów próbuje naśladować zachowanie organizmów żywych |
|
1977, 1984, 1987 |
Kohonen i Anderson prowadzą badania nad pamięciami asocjacyjnymi. |
|
1982 |
Kohonen opracowuje sieci uczące się bez nauczyciela. |
|
1977, 1982 |
Grossberg i Carpenter rozwijają teorię adaptacyjnej sieci neuronowej. |
|
1982, 1984 |
Hopfield wprowadza rekurencyjną architekturę pamięci neuronowych. |
|
1986 |
McClelland i Rumelhart wydają dwutomową monografię nt. równoległego przetwarzania rozproszonego. |
|
Lata późniejsze |
Gwałtowny rozwój badań nad sieciami neuronowymi, ich zastosowaniem w przemyśle, medycynie, życiu codziennym i technice wojskowej. Metody optymalizacji, nieliniowe procesy złożone, procesy chaotyczne i algorytmy genetyczne podlegające rekombinacjom, mutacjom i selekcji. |
