V Pedagogických rozhladoch c. 2/2020 sme v príspevku Informácia o medzinárodnom projekte TeachUP, realizovanom v rámci European Schoolnet (EUN), uviedli základné informácie o projekte. V tomto príspevku opíšeme vybrané výsledky riešenia projektu, zamerané na skúmanie efektívnosti vzdelávania budúcich ucitelov (ITE) a ucitelov (CPD), prostredníctvom masových otvorených online kurzov (MOOC). Zistenia môzu byt zaujímavé pre tvorcov vzdelávacích politík, inštitúcie zaoberajúce sa profesijným rozvojom ucitelov, poskytovatelov online kurzov a iných, ktorí sa zaujímajú o online vzdelávanie prostredníctvom MOOC systémov.
V rámci projektu TeachUP sa realizovalo experimentálne overovanie personalizovanej podpory úcastníkov online kurzov. Tútori poskytovali individuálnu podporu vybraným úcastníkom zaradeným do experimentálnych skupín. Bola im ponúknutá špecifická individuálna online podpora, ako aj mechanizmus zahrnajúci podnecovanie úcastníka, jeho externé pozorovanie a vedenie. Úcastníci v kontrolných skupinách absolvovali online vzdelávanie bez podpory tútorov. V projekte sa skúmal vplyv personalizovanej podpory na mieru zacatia, úcasti a úspešného absolvovania online kurzov, procesy sebariadeného ucenia úcastníkov (Self-regulated learning online) a konzistentnost hodnotenia aplikacných výstupov úcastníkov kurzov kolegami (Peer-assessment), v porovnaní s hodnotením expertmi.
Personalizovaný model podpory úcastníkov
Cielom personalizovanej podpory bolo individuálne pomôct úcastníkom úspešne absolvovat online kurz a rozvinút ich schopnosti nezávislého sebariadeného ucenia sa. Podpora bola realizovaná prostredníctvom intervencií, ktoré boli zamerané na štyri oblasti:
- podpora k zacatiu a pokracovaniu v kurzoch,
- spätná väzba a poradenstvo k obsahu a témam kurzov,
- rozvoj kompetencií sebariadeného ucenia sa,
- motivácia a vnímanie podpory úcastníkmi.
Personalizácia bola klúcovým prvkom online podpory. Bola dosahovaná identifikáciou individuálnych potrieb úcastníka a poskytovaním podpory, ktorá reflektovala zistené potreby podla profilu úcastníka a jeho správania sa pocas kurzu. Dáta o úcastníkoch boli snímané v rámci úvodného prieskumu (Baseline Survey), zo vzdelávacej platformy, správ tútorov, prieskumu po skoncení kurzu a prieskumu po skoncení všetkých kurzov (Follow-up Survey).
Úvodný prieskum záujemcovia vyplnali pri prihlasovaní sa. Zistovali sa v nom informácie o ich profesijnom zameraní, IT schopnostiach, názoroch a skúsenostiach s online vzdelávaním a sebariadeným ucením. Údaje boli pouzité v automaticky generovanej analýze, ktorá urcovala, co je potrebné úcastníkovi ponúknut, napr. ked má nízku úroven IT zrucností, nemá skúsenosti s online vzdelávaním, má nízku úroven sebariadeného ucenia a pod. Platforma kurzu reagovala na dalšie potreby úcastníkov, napr. ked nezacali vzdelávanie do piatich dní od zaciatku modulu, neodoslali svoje práce ani dva dni po termíne, zadávali otázky bez toho, aby si pozreli stránku s najcastejšie kladenými otázkami, indikovali nespokojnost alebo sklamanie so spätnou väzbou a pod.
Aktivacný mechanizmus sa spúštal na základe zistení z úvodného prieskumu a ponúkol úcastníkovi akciu, napr. individuálny video rozhovor na tému, ako pracovat v prostredí kurzu. Akcie boli prispôsobené potrebám kazdého úcastníka na základe jeho profilu. Celkovo bolo pripravených devät intervencií, spocívajúcich v aktivacnom mechanizme a prislúchajúcej akcii, ktoré boli vytvorené na základe prieskumu. Intervencie zohladnovali zvolenú vzdelávaciu stratégiu a nastavené casové rámce, ktoré mohli byt pre niektorých úcastníkov zlozité a potenciálne problematické, napr. odovzdanie zadaných úloh a ich kolegiálne hodnotenie.
Personalizovaná podpora bola realizovaná tútormi, ako agentmi podpory (Support Agents), ktorí mali skúsenosti s online vzdelávaním a sebariadeným ucením. Pracovali so skupinou maximálne 100 úcastníkov. V priebehu kurzu sledovali správanie a reakcie úcastníkov v kurze. Platforma im umoznila identifikovat vhodné intervencie a ponúknut úcastníkovi personalizovanú podporu. Tútori pomáhali úcastníkom prekonávat problémy, ktoré boli identifikované na základe úvodného prieskumu, reálneho správania sa a postupu v kurze alebo na poziadanie úcastníka.
Moderátori mali za úlohu vytvorit z úcastníkov v kurze aktívnu uciacu sa komunitu, v ktorej sa vzájomne od seba ucia a podporujú. Reagovali na otázky úcastníkov a podnecovali hladanie odpovedí v komunite uciacich sa. Zverejnovali otázky a názory na diskusnom fóre alebo sociálnych sietach. Upozornovali na uzitocné ucebné a informacné zdroje pre dalšie štúdium, posielali upozornenia, pripomínali blíziace sa termíny odovzdania zadaní, motivovali a ocenovali príspevky úcastníkov na sociálnych sietach. Organizovali synchrónne online stretnutia, ktoré boli dostupné pre všetkých úcastníkov formou webinárov, Twitter chat-u a pod.
Experimentálne skúmanie
Do experimentálneho skúmania bolo zapojených 10 krajín: Rakúsko, Estónsko, Grécko, Madarsko, Litva, Malta, Portugalsko, Španielsko, Turecko a Slovensko. Vzorka bola tvorená ucitelmi nizšieho sekundárneho vzdelávania na úrovni ISCED 2 z verejných škôl a študentov ucitelstva z verejných vysokých škôl. Úcast v kurzoch bola ponúknutá ucitelom zo stratifikovanej vzorky škôl a bola dobrovolná. Celkovo bola vzorka tvorená 4 090 TeachUP ucitelmi. Ucitelia vo vzorke boli náhodne rozdelení na polovicu do experimentálnej skupiny a kontrolnej skupiny. Kazdá skupina v krajine bola vedená osobitne, aby sa predišlo tzv. online kontaminácii. Obidvom skupinám bol ponúknutý rovnaký kurz, ktorý bol v prípade experimentálnej skupiny doplnený o personalizovanú podporu.
Výsledky projektu
Analýza bola zameraná na zistenia týkajúce sa vplyvu personalizovanej podpory na participáciu v kurzoch, rozvoj kompetencií v sebariadenom ucení a rozdiely v hodnotení aplikacných úloh kolegami v kurze a expertným hodnotením. Ukázalo sa, ze úcastníci mali málo predchádzajúcich skúseností s online kurzami. Len 12 % študentov a 16 % ucitelov v posledných troch rokoch zacalo aspon jeden online kurz. Zistenia v projekte ukázali, ze celkovo vnímajú ucitelia online vzdelávanie ako prínosné pre ich profesijný rozvoj.
Analyzovali sa rozdiely medzi tými, ktorí dokoncili a nedokoncili kurzy. Úvodný prieskum neposkytol postacujúce odpovede, ktoré by umoznili predikciu, ci úcastník kurz ukoncí alebo nie. V kontrolnej skupine, ktorá nemala podporu tútorov, sa ukázalo, ze vyššia pravdepodobnost, ze úcastník absolvuje kurz je daná tým, ze má dobré pripojenie na internet v škole, má skúsenosti s online kurzami, vyucuje predmety charakterizované ako STEM (Science, Technology, Engineering, Mathematics) a má skúsenosti s profesijnou uciacou sa online komunitou.
Vo výsledkoch sa dokázala jasná závislost medzi poctom zacatých a absolvovaných kurzov. Prejavilo sa, ze cím viac kurzov úcastník zacal a absolvoval, tým stúpla pravdepodobnost, ze zacne a absolvuje aj nasledujúce kurzy. Dalším výsledkom bolo, ze sa s vyšším poctom absolvovaných online kurzov zvyšovala aj pravdepodobnost, ze ich úcastníci dokoncia. V projekte 7 z 10 prihlásených úcastníkov zacalo aspon jeden zo štyroch kurzov a takmer 3 z 10 ukoncili aspon jeden z kurzov. Ukázal sa vplyv série štyroch po sebe nasledujúcich kurzov. Ak sa záujemca prihlásil na viac kurzov, pravdepodobnost, ze ich úspešne absolvuje bola vyššia. Pri prvom kurze bola 46,1 %, pri druhom a tretom sa významne zvýšila nad 70 %, az na 78,4 % v štvrtom kurze. Významnú úlohu tu zohrávala vnútorná motivácia, prínos kurzu pre prácu úcastníka, rozšírenie jeho existujúcej bázy poznatkov a prínos pre jeho další profesijný rozvoj.
Vplyv personalizovanej podpory na úcast v kurzoch
Hlavná otázka, na ktorú sa v projekte hladala odpoved, bola, ci personalizovaná podpora zvýši úcast študentov a ucitelov v online kurzoch? Hlavné zistenia ukazujú, ze personalizovaná podpora zvýšila ukazovatel absolvovania kurzu medzi prihlásenými o 10 %. V experimentálnej skupine bola 42 % pravdepodobnost absolvovania, v porovnaní s 32 % v kontrolnej skupine, co môzeme povazovat za vysoké percento ukoncenia v porovnaní s obvyklým priemerom 10 az 12 % absolventov z celkového poctu tých, ktorí zacali online kurz. Tento výsledok je kombináciou niekolkých intervencií zameraných na zacatie vzdelávania úcastníka v kurze, do ktorého sa prihlásil, ako aj iných intervencií zameraných na úspešné absolvovanie vzdelávania. Ukázalo sa však, ze personalizovaná podpora nefunguje u všetkých rovnako, pretoze jej vplyvom sa úcast v kurzoch nezmenila u študentov z krajín EÚ a Turecka.
Sebariadené ucenie
Dalšia cast výsledkov sa týkala sebariadeného ucenia, ktoré je dôlezitým prvkom v online kurzoch. Vyzaduje si velkú mieru sebakontroly, zvládnutie casového manazmentu vlastného vzdelávania, komunikáciu s kolegami v kurze, spracovanie zadaných úloh a vysokú vnútornú motiváciu. Zahrna nasledujúcich šest prvkov, ktoré boli v projekte skúmané: 1. Stanovenie si vlastných cielov ucenia sa v online kurze; 2. Strategické plánovanie zahrnajúce urcenie poradia a casu vzdelávania a dokoncenia aktivít na dosiahnutie cielov; 3. Sebahodnotenie zamerané na hodnotenie vlastného výkonu a postupu v ucení; 4. Stratégiu plnenia úloh v rámci pracovného a osobného manazmentu casu; 5. Kombinovanie nových a existujúcich poznatkov a ich aplikácia; 6. Hladanie pomoci od lektorov, kolegov v kurze a externých konzultantov.
Úvodný prieskum ukázal, ze úcastníci online kurzov majú priemernú úroven kompetencií sebariadeného ucenia (medzi 0,58 a 0,65 v škále od 0 do 1). Z výsledkov projektu vyplynulo, ze personalizovaná podpora tútorov nemala významný vplyv na sebariadené ucenie tých, ktorí ukoncili kurzy. Predpokladá sa však, ze tí, ktorí ukoncili aspon jeden kurz, majú vyššiu mieru schopností sebariadeného ucenia sa, nez tí, ktorí neukoncili ani jeden. Z pozorovania úcastníkov však vyplynuli niektoré úskalia sebariadeného ucenia. Prvým váznym úskalím je zacatie vzdelávania v online kurze. Druhým je zaradenie vzdelávacích aktivít do casového harmonogramu úcastníka a jeho dodrziavanie. Väcšina úcastníkov mala problém drzat krok s aktivitami naplánovanými v online kurze v priebehu týzdna, v ktorom prebiehalo vzdelávanie. Najcastejšou uvádzanou prícinou boli iné aktivity, ktoré museli úcastníci kurzov vykonávat.
Napriek snahám budovat uciacu sa komunitu, úcastníci vykazovali pomerne nízku potrebu vyhladávat pomoc iných kolegov. Ukázalo sa, ze významným faktorom v online vzdelávaní je vytrvalost úcastníka, ktorá je urcitou garanciou, ze zacaté online vzdelávanie úspešne absolvuje. Zistilo sa, ze cím viac kurzov úcastník absolvoval v projekte, tým lepšia bola jeho schopnost stanovit si ciele vlastného ucenia. Znízila sa tiez tendencia hladat pomoc u iných, týkajúca sa riešenia problémov, s ktorými sa stretli pocas kurzu. Nepriamym efektom bolo, ze personalizovaná podpora viedla k zvýšeniu nezávislosti úcastníkov v procesoch online ucenia sa, u ktorých bola v úvodnom prieskume zistená vysoká potreba podpory. V experimentálnej skupine sa ukázala vyššia pravdepodobnost, ze úcastník ukoncí kurz, znízila sa vnímaná potreba spoliehat sa na iných, zvýšila sa schopnost stanovit si primerané ciele a formulovat vhodné plány vlastného ucenia sa.
Kolegiálne hodnotenie aplikacných úloh
Súcastou aplikacnej casti online kurzov bolo vytvorenie jednoduchej prípravy na vyucovaciu hodinu (Lesson plan). Spracované aplikacné úlohy úcastníci odovzdávali do systému a ten ich rozdelil medzi iných úcastníkov kurzu na hodnotenie kolegami (Peer-assessment). Hodnotenie bolo realizované podla vopred daných kritérií, prostredníctvom hodnotiacich tabuliek. Úroven a kvalita aplikacných úloh, príprav na vyucovacie hodiny, bola celkovo hodnotená ako velmi dobrá, rovnako kolegami, ako aj nezávislými expertmi, obvykle vysokoškolskými ucitelmi.
Ukázalo sa, ze kolegovia dávali v hodnoteniach vyššie skóre ako experti. Napriek tomu, ze rozdiel nebol velký, bol štatisticky významný. Rozdiel medzi hodnotením kolegov a expertov bol v priemere 10 % v škále 0 az 4 body. Viaceré vzájomné kolegiálne hodnotenia rovnakých príprav boli v súlade, zhodovali sa a neodporovali si, napriek tomu, ze vykazovali urcitú variabilitu. Hodnotenia kolegami boli obvykle menej detailné, menej konštruktívne a trochu viac pozitívne, nez hodnotenia expertmi. Úcastníci rovnako súhlasili s hodnotením od kolegov a expertov. Vnímali ich ako férové a prospešné pre ich další rozvoj.
Významné sú tiez iné efekty hodnotenia aplikacných úloh kolegami. Mohli vidiet a posúdit rôzne príklady aplikácií nových poznatkov vo vzdelávacom procese ich kolegami v kurze. Rozvíjali si tiez schopnosti sebahodnotenia vlastných úloh a hodnotenia aplikacných úloh iných kolegov. Tieto efekty vnímame ako velmi dôlezité pre další profesijný rozvoj úcastníkov kurzov a myslíme si, ze významne prevyšujú hodnotu o nieco vyššej odbornej erudície a citlivosti expertného hodnotenia.
Záver
V projekte TeachUP sa podarilo preukázat význam personalizovanej podpory v štyroch online kurzoch, ktoré boli realizované prostredníctvom MOOC systému EUN pre velký pocet úcastníkov. Ako významné sa ukázalo zvýšenie poctu úcastníkov, ktorí sa prihlásili a neskôr reálne nastúpili do online kurzov. Zvýšenie miery absolvovania online kurzov o priemerne 10 %, az na hodnotu 42 %, vplyvom personalizovanej podpory je zaujímavý výsledok, v porovnaní s obvyklými 10 % absolventov v iných online kurzoch. Nie všetky pouzité intervencie na podporu prihlásených úcastníkov sa však ukázali ako efektívne. Do budúcnosti bude potrebné znízit ponuku podpory, ktorá súvisí s IT schopnostami úcastníkov. Bude potrebné vyvinút taký model podpory, ktorý sa viac zameria na sebariadené ucenie a väcšie vyuzívanie uciacej sa komunity v kurze na zdielanie doterajších skúseností, ako aj nových poznatkov, ktoré vyplynuli z praktickej aplikácie nauceného. Ukázalo sa, ze v online kurzoch je významným faktorom casová flexibilita, v rámci ktorej môze úcastník absolvovat kurz. Moznost absolvovat online kurz len v danom harmonograme sa ukázala obmedzujúca pre velkú cast úcastníkov. Výsledky porovnania kolegiálneho hodnotenia aplikacných úloh úcastníkmi online kurzov hodnotíme ako zaujímavé, pretoze môzu významne znízit personálne náklady a zvýšit efektívnost realizácie online kurzov prostredníctvom MOOC systémov.
ZOZNAM BIBLIOGRAFICKÝCH ODKAZOV:
AZZOLINI, D., MARZADRO, S., RETTORE, E., 2020. TeachUP Evaluation Report, Draft version, June 2020. European Schoolnet, TeachUP project, Erasmus+, Brussels, 2020. Dostupné z: http://teachup.eun.org/documents/556205/5084344/TeachUP+Evaluation+report/7d63a3a3-535f-4044-9da1-313010e91fbb