Dlaczego dzieci osiągają gorsze wyniki w badaniach online niż twarzą w twarz? Eksperci mają odpowiedź

• Zdalne badania rozwoju gramatycznego dzieci po pandemii
• Format online vs. stacjonarny
• Dlaczego stacjonarne badania dają lepsze wyniki?
• Dlaczego stacjonarnie dzieci uzyskiwały wyższe wyniki?
• Przyszłość badań online - korzyści i wyzwania
• Potrzeba odrębnych norm dla badań online i stacjonarnych
• Czasochłonne kodowanie danych

Dlatego wyniki badań online prowadzonych z dziećmi nie powinny być porównywane bezpośrednio z wynikami badań prowadzonych stacjonarnie – podkreślają badacze.

Zdalne badania rozwoju gramatycznego dzieci po pandemii

W rozmowie z PAP autorka badań dr Natalia Banasik-Jemielniak zaznaczyła, że na pomysł badania poziomu rozwoju gramatycznego dzieci w formie online oraz stacjonarnie wpadła po pandemii, która była ogromnym wyzwaniem dla badań empirycznych z udziałem dzieci.

- Nie można było, tak jak wcześniej, przyjść do przedszkola czy do domu rodziny i przeprowadzić testów/zadań. W pandemii zarówno zespoły badawcze, jak i specjaliści prowadzący językową diagnostykę oraz terapię dzieci przystosowali się i wiele rzeczy robili zdalnie – wspomniała badaczka.

Jak dodała, w warunkach, kiedy nie było innego wyjścia, było to oczywiste. - Ale kiedy możemy znów prowadzić badania stacjonarne, prowadzenie badań online jest bardzo kuszące, bo oszczędza czas, środki finansowe i pozwala dotrzeć do osób, do których byśmy nie dotarli – zwróciła uwagę. Nie dawało jej jednak spokoju pytanie: czy daje to rzeczywiście te same wyniki, co tradycyjne spotkanie z dzieckiem twarzą w twarz.

Format online vs. stacjonarny

- Postanowiłam to zbadać przy okazji większego projektu, który prowadziłam – zrelacjonowała. Liczyła, że oba formaty okażą się równoważne, a to pozwoliłoby w jej projekcie ogromnie poszerzyć zasięg. Nie tylko dotrzeć do polskich rodzin rozsianych po Europie, ale też do dzieci polskojęzycznych np. w Nowej Zelandii czy Australii; gdziekolwiek - bez konieczności wysyłania tam badaczy. - Gdyby testowanie online dawało porównywalne wyniki, rozwiązałoby to problem logistyczny. I finansowy – tłumaczyła.

Zespół Badań nad Językiem i Humorem APS porównał wykonanie tzw. zadania powtarzania zdań w dwóch formatach: synchronicznie online oraz w warunkach bezpośredniego kontaktu. Zadanie powtarzania zdań to narzędzie często wykorzystywane do oceny rozwoju językowego dzieci, w szczególności do poziomu gramatyki. Przebadano łącznie 147 dzieci w wieku od 4 do 7 lat, z tego 92 dzieci wielojęzycznych (polski oraz angielski lub niemiecki) i 55 dzieci jednojęzycznych.

Badacze starali się, żeby podczas badań jak najwięcej elementów było identycznych w obu warunkach: w obu przypadkach dziecko patrzyło na ekran laptopa i powtarzało zdania odtwarzane z głośnika - to samo nagranie, ta sama animacja z misiem idącym po skarb. - Różnica polegała na tym, czy badaczka siedziała obok dziecka, czy łączyła się przez wideokonferencję. Więc sama procedura testowa była maksymalnie zbliżona – opisała dr Banasik-Jemielniak.

Dlaczego stacjonarne badania dają lepsze wyniki?

Okazało się jednak, że badania online i twarzą w twarz nie są wymienne. Dzieci - i jednojęzyczne, i wielojęzyczne - uzyskiwały wyższe wyniki w warunkach stacjonarnych.

Co ciekawe, pojawiła się różnica we wzorcach między dziećmi jedno- i wielojęzycznymi, co było dla badaczki zaskoczeniem. - Spodziewałam się, że format badania będzie miał jakieś znaczenie, ale nie przewidziałam, że grupy zareagują tak odmiennie – mówi.

Dzieci jednojęzyczne konsekwentnie radziły sobie lepiej twarzą w twarz. Dzieci wielojęzyczne natomiast poprawiały wyniki przy drugiej próbie - niezależnie od tego, czy była online czy stacjonarna. - Jakby szybciej adaptowały się do samej sytuacji testowej. To ciekawy trop, który wymaga dalszych badań – zwróciła uwagę badaczka.

Dlaczego stacjonarnie dzieci uzyskiwały wyższe wyniki?

Dlaczego stacjonarnie dzieci uzyskiwały wyższe wyniki? Jedną z hipotez, którą podała Banasik-Jemielniak jest to, że „fizyczna obecność badaczki prawdopodobnie działa wspierająco - nawet jeśli samo zadanie polega na powtarzaniu nagranych zdań, nie na interakcji z osobą”.

Badaczka przywołała teorię obecności społecznej, która mówi, że „komunikacja przez ekran pozbawiona jest wielu subtelnych sygnałów: mikroekspresji, kontaktu wzrokowego, bliskości”. - Dla dzieci, których umiejętności komunikacyjne dopiero się kształtują, ta redukcja może mieć znaczenie – zauważyła. - Poza tym spotkanie na żywo z badaczką, która przyjechała specjalnie do dziecka, siada obok, prawdopodobnie buduje pewną relację – dodała.

Jak zaznaczyła, osobiście było dla niej fascynujące, że zdarzyło jej się prowadzić badania z dziećmi, które słysząc zdania odtwarzane z laptopa po prostu milczały. - Rozumiały instrukcję, patrzyły na ekran, ale nie powtarzały. Kiedy jednak zaczęłam sama czytać im te same zdania, podjęły próbę. To pokazuje coś, czego nie da się łatwo uchwycić w danych ilościowych: dla niektórych dzieci głos z głośnika to nie to samo, co głos żywego człowieka siedzącego obok – powiedziała dr Banasik-Jemielniak.

Przyszłość badań online - korzyści i wyzwania

- Jeśli format badania może wpływać na rezultat, to specjaliści pracujący z dziećmi - w diagnozie, terapii, poradniach, a także w edukacji - potrzebują jasnych wskazówek interpretacyjnych – zaznaczyła.

Jej zdaniem ten wynik „nie jest argument przeciw badaniom online". - Raczej informacją o tym, że wyniki badań online prowadzonych z dziećmi nie powinny być porównywane bezpośrednio z wynikami badań prowadzonych stacjonarnie – wyjaśniła.

- Zdalne badania nadal są potrzebne i mają mocne uzasadnienie. Pozwalają dotrzeć do rodzin, które w innym wypadku nie wzięłyby udziału w projektach - ze względu na odległość, koszty dojazdu, ograniczenia czasowe, opiekę nad rodzeństwem czy stan zdrowia - wymieniała. Ponadto badania online ułatwiają też udział rodzin mieszkających poza dużymi ośrodkami oraz tych, które są słabiej reprezentowane w klasycznych badaniach. - W praktyce oznacza to większą różnorodność próby i lepszą szansę, by badania rozwojowe nie opisywały wyłącznie wąskiej grupy dzieci – dodała.

Jednak zaznaczyła, że jej badania dają przede wszystkim ostrzeżenie, żeby nie przenosić bezkrytycznie norm z badań stacjonarnych na online. Trzeba – jej zdaniem - pamiętać, że są to w zasadzie inne badania. - Jeśli narzędzie diagnostyczne wystandaryzowano w gabinecie, nie możemy automatycznie stosować tych samych progów do wyników uzyskanych w sposób zapośredniczony przez ekran. Dziecko z wynikiem poniżej normy online mogłoby wypaść lepiej stacjonarnie. Ryzykujemy błędną diagnozę – podkreśliła naukowczyni z APS.

I podała konkretny przykład. - Wyobraźmy sobie sytuację: rodzice mieszkający w Wielkiej Brytanii chcą sprawdzić, jak rozwija się polszczyzna ich dwujęzycznego dziecka. Polski logopeda przeprowadza badanie przez internet - bo inaczej się nie da. Korzysta z testu, który ma normy opracowane w Polsce, w warunkach gabinetowych. Dziecko wypada na granicy normy. Co to znaczy? Czy jego język rzeczywiście rozwija się wolniej? Czy może w gabinecie, twarzą w twarz, wypadłoby lepiej? Nasze badania sugerują, że to drugie jest bardzo prawdopodobne. A to oznacza ryzyko błędnej diagnozy – opisała.

Potrzeba odrębnych norm dla badań online i stacjonarnych

Jej zdaniem po pierwsze potrzebujemy odrębnych norm dla badań online i stacjonarnych. - Jeśli test był standaryzowany w gabinecie, jego normy nie przenoszą się automatycznie na wersję internetową – powiedziała. - Po drugie, w raportach z badań - zarówno naukowych, jak i diagnostycznych - powinniśmy zawsze podawać, w jakim formacie zebrano dane – dodała.

Badania trwały kilka lat - sam proces rekrutacji i szkolenia zespołu badaczek zajął wiele miesięcy. - W badaniach wykorzystywaliśmy kilka zadań i bardzo zależało nam na tym, żeby badaczki były solidnie przygotowane. Wykształcenie psychologiczne - niezbędne w tego rodzaju przedsięwzięciach - dawało dobrą podstawę, ale potrzebna była też biegłość w konkretnych narzędziach. Badania były prowadzone między innymi w Niemczech, a organizacja takich wyjazdów to osobne wyzwanie – zaznaczyła Banasik-Jemielniak.

Czasochłonne kodowanie danych

- Czasochłonne było też kodowanie danych. Wszystkie wypowiedzi dzieci trzeba było ręcznie transkrybować. Żadna automatyczna transkrypcja, żadne AI, nie radzi sobie dobrze jeszcze z mową dziecięcą. Większość nagrań wymagała wielokrotnego odsłuchiwania – tłumaczyła badaczka. Długotrwały był również sam proces naukowy.

Badania były finansowane przez Narodowe Centrum Nauki (NCN) w ramach projektu OPUS.

Anna Mikołajczyk-Kłębek (PAP)