Efekt McGurka jest iluzorycznym zjawiskiem percepcyjnym , które pokazuje zakłócenia między słuchem a wzrokiem podczas postrzegania mowy . Efekt ten sugeruje multimodalność percepcji mowy. Efekt McGurka (znany również jako efekt McGurka-MacDonalda) występuje, gdy wzrok i słuch dostarczają nieodpowiednich sygnałów mowy. Z tego błędnego postrzegania wynikają dwa rodzaje zjawisk: fuzja i kombinacja.
Przypadkowe odkrycie efektu McGurka datuje się na lata 70., kiedy Harry McGurk i John MacDonald, psychologowie rozwoju z Uniwersytetu Surrey w Anglii, badali percepcję mowy u dzieci na różnych etapach ich rozwoju. Badani oglądali prezentację wideo mówiącej matki. Wideo było połączone z prezentacją dźwiękową z innego miejsca w pokoju. Słychać było sylabę /ba/, ale na ekranie pojawiła się sekwencja „ga”. Podczas pierwszego oglądania taśmy badacze dostrzegli trzecią sylabę /da/, która leżała na poziomie artykulacyjnym pomiędzy dwoma pierwszymi. Tak więc, zgodnie z efektem McGurka, widzenie kogoś wymawiającego sylabę /ga/ podczas słyszenia sylaby /ba/ powoduje złudzenie percepcyjne /da/. Dopiero po przetestowaniu dzieci i dorosłych za pomocą filmu, naukowcy po raz pierwszy opublikowali w 1976 roku w czasopiśmie Nature iluzję percepcyjną, którą zauważyli. Ten artykuł jest zatytułowany: Słysząc usta i widząc głos Efekt McGurka został później odtworzony i ponownie zbadany przez wiele zespołów badawczych.
Percepcja mowy była przez długi czas uważana za proces wyłącznie słuchowy. Podczas drugiej połowy XX th wieku, kilka badań uważane informacji wizualnej jako istotnego wkładu w percepcji mowy. W 1954 roku badacze William H. Sumby i Irwin Pollack wykazali, że zrozumiałość sygnału akustycznego zmieszanego z hałasem otoczenia jest znacznie lepsza dzięki czytaniu z ruchu warg. Przyczynia się to również do percepcji mowy, nawet jeśli wzrasta hałas otoczenia. Według tych badaczy czytanie z ruchu warg jest atutem i środkiem kompensacyjnym dla osób z ubytkiem słuchu. Uczestniczy również w przyswajaniu języka mówionego u dzieci głuchych. Czytanie z ust poprawia rozumienie wyraźnego sygnału mowy o złożonej treści semantycznej. Może poprawić rozumienie wypowiedzi wypowiadanych w języku obcym przez mówcę z obcym akcentem oraz podczas rozmowy kilku mówców w miejscu, w którym panuje hałas otoczenia.
Fuzja i kombinacja to dwa rodzaje iluzorycznych zjawisk obserwowanych podczas efektu McGurka. Każdemu zjawisku towarzyszy rodzaj spółgłosek ( fonem ). Sekwencja zdarzeń dla efektu pozostaje taka sama. W ten sposób sylaby słuchowe typu CV (/ba/) są połączone z wizualną prezentacją ruchów artykulacyjnych odpowiadających innej sylabie typu CV (/ga/), co powoduje subtelny konflikt między modalnością wzrokową i słuchową. Te modalności tworzą następnie syntezę różnych postrzeganych informacji. Zjawiska te można wykorzystać np. do tworzenia programów rozpoznawania mowy
Zjawisko fuzji wynika z symulacji tak zwanej produkcji pośredniej po fuzji sylaby postrzeganej i sylaby słyszanej. Sylaba rozpoczynająca się od spółgłoski welarnej (g, k, w) jest przedstawiona wizualnie. Towarzyszy mu sylaba rozpoczynająca się od dwuwargowej spółgłoski (p, b, m), która jest przedstawiona w formie dźwiękowej. Fuzja tych dwóch informacji symuluje produkcję pośrednią (np.:/da/).
Przykład ilustruje zjawisko fuzji:
Zjawisko kombinacji łączy wizualną prezentację sylaby rozpoczynającej się spółgłoską dwuwargową ze słuchaniem sylaby rozpoczynającej się spółgłoską welarną. Dochodzi do dodania tych dwóch zjawisk. Prezentowana jest wizualna prezentacja dwuwargowej spółgłoski (p, b, m). Towarzyszy mu słuchowa prezentacja spółgłoski welarnej (g, k, w). Temat łączy informacje widziane i słyszane. Dostrzega na przykład kombinację typu /bga/.
Oto przykład ilustrujący zjawisko kombinacji:
Efekt McGurka jest silnym efektem . Struktura zgłoskowa, kontekst wyrazów lub zdań nie mają wpływu na wygląd zjawiska (patrz punkt 2), niezależnie od długości wyrazów lub zdań, np. struktura zgłoskowa nie ma znaczenia, czy jest to CV, VCV lub nawet VC, widzialna miednica w połączeniu z ustami dwuwargowymi zawsze będzie skutkować postrzeganiem fuzji. Efekt ma również zastosowanie do słów i zdań, o ile przeciwstawiają one welarny dwuwargowy.
Sylaba:
CV: Wysłyszane: / ba /
Widziane: / ga /
Postrzegane: / da /, V
VCV: Odsłuchane: / aba /
Widziane: / aga /
Postrzegane: /ada/
Słowo:
Odsłuchane: / poczta /
Widziane: / transakcja /
Postrzegane: / paznokieć /
Sformułowanie :
Usłyszałem: / mój babcia papież mi poo brive /
Widziałem: / mój gag koke me koo drozd /
Postrzegane: / mój tata nauczył mnie jeździć /
Efekt McGurka jest nie do powstrzymania . Jednostka nie może nie być wrażliwa na mechanizmy fonacyjne, nawet jeśli jej intencja jest przeciwna. Wbrew sobie będzie wrażliwy na różne mechanizmy. Pojęcie to implikuje, że umysł jest poznawczo nieprzenikniony i wykonuje swoje przetwarzanie bez wpływu innych domen poznawczych (pamięć, rozumowanie, mechanizmy uwagi itp.) Odruch szybki, obowiązkowy i nieelastyczny.
Na efekt McGurka wpływa kilka zmiennych w różnych warunkach eksperymentalnych. Po pierwsze, wielu autorów wykazały, że efekt McGurk może być pod wpływem orientacji przestrzennej twarzy mówiącego, a dokładniej gdy powierzchnia jest nachylona, po drugie, gdy doczesne desynchronizacja . Bodźców przekracza 200ms, efekt McGurk wpływa trzecie, testowany język może różnić się niektórymi wynikami. Ta zmienna odnosi się do właściwości bodźców. Badania przeprowadzone w kilku językach (angielski, hiszpański, malajski, koreański, francuski itp.) przyniosły mieszane wyniki. W niektórych językach efekt McGurka wydaje się mniej solidny. Na przykład osoby mówiące po chińsku i japońsku są niewrażliwe na efekt McGurka. Wyniki te można wyjaśnić w kategoriach kulturowych; w obu kulturach uważa się za niegrzeczne patrzenie na twarz mówcy. Zmienność efektu może być związana z różnicami w systemach fonetycznych języków, różnymi ograniczeniami fonotaktycznymi i różnicami kulturowymi.
W przeciwieństwie do tego, niektóre zmienne nie mają wpływu na efekt McGurka. Przestrzenne oddzielenie bodźców słuchowych i wzrokowych nie wpływa na siłę efektu, o czym świadczą badania Colin, Radeau, Deltenre i Morais z 2001 roku.