Naukowcy z Uniwersytetu Hebrajskiego odkryli, że mózg przetwarza mowę warstwowo podobnie do modeli AI

Międzynarodowy zespół badaczy pod kierownictwem dr. Ariela Goldsteina z Uniwersytetu Hebrajskiego w Jerozolimie dokonał przełomowego odkrycia w dziedzinie neurolingwistyki. Naukowcy wykazali, że ludzki mózg przetwarza znaczenie mowy w sposób hierarchiczny i warstwowy, który wykazuje uderzające podobieństwo do działania dużych modeli językowych, takich jak GPT. Badanie to rzuca nowe światło na fundamentalne mechanizmy przetwarzania języka naturalnego zarówno w systemach biologicznych, jak i sztucznych.

Zespół przeanalizował dane elektrokortykograficzne (ECoG) pobrane od dziewięciu pacjentów z padaczką, którzy podczas monitorowania klinicznego słuchali trzydziestominutowej narracji. Technologia wykorzystująca cienkie siatki elektrod umieszczone bezpośrednio na korze mózgowej pozwoliła na rejestrację aktywności neuronalnej w kluczowych obszarach związanych z przetwarzaniem mowy, w tym w obszarze Broca i górnym zakręcie skroniowym, z wyjątkową precyzją czasową i przestrzenną.

"Byliśmy zaskoczeni, jak blisko czasowy rozwój znaczenia w mózgu zbiega się z sekwencją transformacji w ramach dużych modeli językowych," stwierdził dr Ariel Goldstein. "Mimo że systemy te są zorganizowane w zasadniczo odmienny sposób, oba wydają się dochodzić do podobnego nagromadzenia informacji krok po kroku, aby osiągnąć zrozumienie."

Kluczowym odkryciem badania był zaobserwowany stopniowy postęp przetwarzania informacji językowych. W regionie Broca szczyt zbieżności między sygnałami mózgowymi a wewnętrznymi reprezentacjami modelu językowego systematycznie przesuwał się w czasie wraz ze wzrostem głębokości warstwy modelu. Korelacja między głębokością warstwy a opóźnieniem aktywności osiągnęła wartość 0,85, co wskazuje na silną zależność.

Najbardziej wyraźny gradient czasowy zaobserwowano w wyższych ośrodkach językowych, takich jak biegun skroniowy, a nie w pierwotnej korze słuchowej. Na biegunie skroniowym różnica między szczytami aktywności odpowiadającymi najwcześniejszym i najgłębszym warstwom modelu przekraczała 500 milisekund. Wskazuje to na poszerzanie się okna czasowego, w którym przetwarzany jest kontekst – od pojedynczych dźwięków do znaczenia całych zdań i narracji.

Analiza wykazała, że klasyczne jednostki językowe – fonemy (minimalne jednostki dźwiękowe) i morfemy (minimalne jednostki znaczeniowe) – słabo przewidywały zarejestrowaną aktywność mózgu. Znacznie dokładniejszą zgodność zapewniały osadzenia kontekstowe (embeddings) – wektorowe reprezentacje słów kodujące ich znaczenie z uwzględnieniem otaczającego kontekstu.

Co więcej, słowa, które model językowy przewidział z wysokim prawdopodobieństwem, wykazywały wcześniejszą i silniejszą zbieżność z sygnałami neuronowymi niż słowa nieprzewidywalne. Wynik ten nie neguje znaczenia reguł gramatycznych, ale wskazuje, że w warunkach naturalnego postrzegania mowy rozproszony kontekst odgrywa główną rolę w kształtowaniu znaczenia. Podważa to wyłącznie symboliczne teorie przetwarzania języka i wzmacnia pozycję teorii opartych na przewidywaniu i uczeniu statystycznym.

Istotne jest podkreślenie, że podobieństwo nie oznacza tożsamości. Architektura transformatorów, która leży u podstaw nowoczesnych modeli językowych, opiera się na równoległym przetwarzaniu długich sekwencji podczas treningu. Sieci neuronowe kory mózgowej działają w ramach ograniczeń biologicznych – z sekwencyjną dynamiką czasową i odmiennymi zasadami organizacji. Ponadto próba badawcza ograniczała się do dziewięciu pacjentów ze specyficznymi wskazaniami klinicznymi, a umiejscowienie elektrod różniło się w zależności od pacjenta.

Praca ta wyznacza jednak nowy standard w dziedzinie neurolingwistyki. Wszyscy autorzy udostępnili pełny zbiór danych publicznie – w tym bezpośrednie zapisy neuronalne zsynchronizowane z każdym słowem trzydziestominutowej historii, a także kod do analizy modeli. Ten krok przekształca debatę teoretyczną w możliwe do zweryfikowania twierdzenia i zachęca społeczność naukową do przeprowadzania testów porównawczych różnych teorii języka.

Odkrycie to stanowi rzadki przypadek, gdy porównanie systemów biologicznych i sztucznych nie tylko ukazuje ich funkcjonalne podobieństwo, ale także dostarcza narzędzi do badania jednej z najbardziej złożonych funkcji ludzkiego poznania.

Pozostaje kluczowe pytanie: czy odkryte hierarchiczne przetwarzanie krok po kroku jest uniwersalną zasadą organizacji złożonych systemów poznawczych niezależnie od podłoża, czy też jest zaskakującym, ale powierzchownym zbiegiem okoliczności dwóch zasadniczo różnych mechanizmów?

Badanie to otwiera nowe możliwości dla rozwoju bardziej zaawansowanych interfejsów mózg-komputer, neuroprotetyki mowy oraz głębszego zrozumienia zarówno ludzkiego mózgu, jak i sztucznej inteligencji. Może również prowadzić do opracowania bardziej efektywnych i biologicznie wiarygodnych modeli sztucznej inteligencji, które lepiej odzwierciedlają naturalne procesy poznawcze człowieka.

Źródła:

https://www.science.org/content/article/artificial-intelligence-turns-brain-activity-speech 

https://www.earth.com/news/our-brain-processes-speech-in-layers-much-like-ai-language-models/ 

https://physicianfocus.nyulangone.org/ai-reconstructs-unique-speech-from-brain-signals-how-it-wor... 

https://www.humanbrainproject.eu/en/follow-hbp/news/2023/05/08/human-brain-project-study-presents... 

https://research.google/blog/deciphering-language-processing-in-the-human-brain-through-llm-repre... 

https://www.biorxiv.org/content/10.1101/2024.02.20.580731v1.full-text