Matematikou proti dezinterpretacím: S matematikem o tom, proč mají být statistiky maturit veřejně přístupné

Od roku 2015 usilujete o to, aby CERMAT, který má na starosti projekt státních maturit a přijímacích zkoušek na střední školy, poskytoval veřejnosti o výsledku těchto zkoušek detailní – takzvaná anonymizovaná – data. Na první pohled nemusí být zřejmé, proč je to důležité.

Význam analýzy podrobných dat dobře ilustruje následující příklad. Hodnocení maturitních slohů z češtiny a cizího jazyka se opět vrátí do škol, nyní je centrální. Od spuštění státní maturity v roce 2011 jsme už stěhování z centra do škol a zase nazpátek zažili. Naposledy CERMAT s ministerstvem argumentovaly, že hodnotitelé na školách v roce 2014 neoprávněně přidali aspoň bod asi osmi procentům maturantů, a zachránili je tím před propadnutím. Neboli že školy svým žákům nadržují, a hodnocení tak není férové. Neuspěla jen asi dvě procenta žáků, což podle CERMATu neodpovídalo „fyziologické“ míře propadovosti. Podařilo se mu přesvědčit zákonodárce, a ti hodnocení znovu svěřili centru.

Data ale říkají něco jiného. Za posledních 6 ročníků je propadovost v rozsahu 1,39 % až 3,58 %. Mezi hodnocením na školách a v centru není podstatný rozdíl a už vůbec ne tak velký, jak avizoval CERMAT. Takže k vaší otázce, proč je dostupnost maturitních dat důležitá: aby stát nemohl dělat svévolná rozhodnutí a aby se nedala obhájit nepodloženými argumenty.

Mnozí lidé si myslí, že stát má dostatečné kontrolní mechanismy, které veřejnost nemusí suplovat. Veřejnost je laická, tudíž nekompetentní, a je potřeba se i při kontrole spoléhat na odborníky, říkají.

To bývalý ředitel CERMATu Jiří Zíka říkal taky: „Kdyby byla data dostupná laikům, mohl by je každý interpretovat po svém.“ Skuteční odborníci ale vítají, když jim veřejnost pomáhá manévry CERMATu odhalit. Znám člověka z nezávislé odborné komise MŠMT, která je poslední instancí, než jsou výsledky odeslány do škol. Jednou jsem mu volal: „Podívejte, zjistil jsem to a to, víte o tom?“ Divil se, nevěděl. Kontroloval pak, zda vůbec dostali správné podklady. Dostali, ale CERMAT je na důležitá fakta neupozornil. O co šlo, k tomu se myslím ještě dostaneme.

Jaké trumfy navíc má podle vás laická veřejnost oproti té odborné?

Podle zákona profesora Parkinsona můžete pozornost komise snadno odvést stranou, když členům předložíte na začátku jednání nevýznamný problém. Veřejnost ale tvoří mnoho lidí jednajících nezávisle. Jako celek nejsou ničím omezováni, vyměňují si mezi sebou informace, kontrolují a korigují se navzájem. V roce 2017, když už fungovala naše webová stránka www.data-mat.cz, přišla do její emailové schránky informace od někoho, kdo s mým snažením sympatizoval. Upozornil mě, že CERMAT nenápadně změnil bodování u pěti úloh z češtiny. Nevšiml bych si toho, ale podle takzvaného klíče správných odpovědí, který je veřejný, CERMAT snížil nároky na bodový zisk u úloh, jež se v testu pravidelně opakují, ale s jiným obsahem. Například u těch, kde žáci posuzují věty podle toho, zda obsahují pravopisnou chybu. Říká se jim úlohy formátu ANO/NE.

K takovým zásahům se v CERMATu uchylují, pokud jim něco uteče. Když v jednom roce skokově narostla neúspěšnost v maturitním testu z češtiny, bylo to zařazením otevřených úloh. Ty jsou v zásadě vhodnější než úlohy zaškrtávací, ale dopadají prachmizerně. CERMAT to tehdy podcenil a nejspíš pak dělal s bodováním psí kusy. Výkyvy se snaží zahladit ad hoc změnou pravidel. Vzdělanost maturantů se nemění z roku na rok skokem. Když to tak podle výsledků testů vypadá, může za to obvykle chybně nastavená obtížnost.

Výsledky maturity z roku na rok analyzujeme a snažíme se z nich vyčíst trendy ve vzdělávání. Vy ale říkáte, že změny ve výsledcích mají hodně co do činění s interními procesy CERMATu.

Podoba testů a způsob jejich hodnocení mají na výsledky obrovský vliv. Když do té kuchyně nevidíte, může vám kuchař namíchat do jídla cokoli. Po skončení státní maturity CERMAT a ministerstvo pořádají tiskové konference, kde se vyhlašují nějaká „hausnumera“ a vážně se o nich diskutuje ve smyslu „žáci se mírně zlepšili nebo naopak zhoršili. Čím to asi je?“ Já na to říkám: „Dopadlo to podle toho, jak CERMAT nastavil obtížnost testu.“

Co CERMAT před vaší snahou o získání dat zveřejňoval dobrovolně a sám od sebe?

Celkovou průměrnou úspěšnost testu a procento neúspěšných. K dispozici byly celkové výsledky za jednotlivé školy a za skupiny oborů – například za SOŠ zdravotnické. Mě ale zajímaly podrobné výsledky jednotlivých úloh. Ačkoli dnes to vypadá zcela absurdně, CERMAT původně odmítal vydat třeba informaci o tom, kolik procent žáků vybralo v určité úloze možnost A, kolik možnost B atd. Mně se s pomocí veřejnosti podařilo dosáhnout, že dnes se na webu objevuje mnohem víc údajů. Nejen ty souhrnné informace o každé úloze každého testu, ale dokonce i anonymizovaná prvotní data. Tedy podrobné informace o tom, jak odpovídali jednotliví žáci. Žáky ovšem nelze z dat identifikovat.

K čemu nebo komu to konkrétně může být užitečné?

Velmi to zpřesňuje interpretaci výsledků. Ředitel Zíka například po celou dobu tvrdil, že malá úspěšnost v maturitních testech z matematiky je daná tím, že děti neumějí správně přečíst slovní úlohy. Špatné výsledky prezentoval jako problém čtenářské gramotnosti, neschopnosti číst s porozuměním. V maturitním testu z češtiny ale patří úlohy zaměřené na porozumění textu pravidelně k nejúspěšnějším. Z analýzy dat bylo velmi brzy jasné a prokazatelné, že problém v tomto není. Příčinou je, že děti neumějí matematizovat reálné situace, převést situaci popsanou slovy na matematickou rovnici.

Jak se to ze statistik pozná?

Typová úloha, na které si maturanti vylámali zuby, vypadala nějak takto. Nádrž se naplňuje stejně výkonnými čerpadly. Když se naplňuje dvěma, trvá to h hodin. Jak dlouho by nádrž naplňovalo n čerpadel? Z jazykového hlediska přece není na zadání nic obtížného. Pro maturanty byl ale obtížný převod do řeči vzorců. Nejdřív musíte h vynásobit dvěma, abyste zjistila, jak dlouho to trvá jednomu čerpadlu, a pak to vydělíte proměnnou n, protože n čerpadlům bude naplňování trvat n-krát kratší dobu. Je to učivo sedmé třídy základní školy. Když máte k dispozici procenta úspěšnosti všech úloh, vidíte, že žáci byli úspěšní při řešení celé řady rovnic včetně logaritmické, zatímco tuhle jednoduchou úlohu zvládlo méně než 16 procent maturantů. Jak to, že někteří vyřešili složitou rovnici a zároveň pohořeli na slovní úloze ze základky? Kdo umí vyšší matematiku, umí přece i tu nižší. Odpověď je jasná: při řešení rovnice část studentů jen mechanicky manipulovala se symboly, jak se to naučila, ale nerozuměla tomu, co dělá. Takovou manipulaci už dnes zvládne chytrý mobil, zatímco vyřešit úlohu o čerpadlech nebude umět ještě dlouho. Zrovna tohle je zpráva zásadního významu pro učitele: Proč by žáci měli umět vyřešit rovnici, kterou nedokážou sestavit?

Kdy jste se do dolování dat z CERMATu pustil? Co bylo na počátku?

Papírová karnevalová čepička. V jedné matematické úloze z roku 2015 měli maturanti vypočítat její povrch. CERMAT chtěl ověřit, že ze vzorce pro povrch kužele, který mohli najít v tabulkách, nezapočítají obsah podstavy. Skutečná karnevalová čepička opravdu nemá dno, ale ta podle obrázku u zadání ho měla, což některé studenty zmátlo. Část maturantů zaškrtla možnost, která dno zahrnovala, ale CERMAT jim odpověď neuznal. Někteří se na mě obraceli kvůli odvolání a mě začalo zajímat, kolik takových žáků mohlo celkem být. Při testování totiž platí v podobných případech lékařská zásada „hlavně neškodit“. Požádal jsem tedy o celkové výsledky této úlohy na základě zákona o svobodném přístupu k informacím. A Cermat žádost zamítl, nakonec postupně třikrát. Jeho první dvě rozhodnutí ministerstvo zrušilo na základě mých odvolání, jež poukazovala na formální nedostatky odůvodnění. Své odmítnutí CERMAT opřel o paragraf 183c školského zákona, který poskytování informací omezuje.

Ten mimo jiné říká, že informace se neposkytují, pokud vypovídají o jednotlivých žácích nebo jsou z takových informací odvozené.

CERMAT ale paragraf 183c interpretoval v rozporu s Listinou základních práv a svobod. Ta totiž zaručuje právo na informace dost velkoryse. Lze je podle ní omezit jen v případech ohrožení práv a svobod jiných lidí, bezpečnosti státu, veřejné bezpečnosti, ochrany veřejného zdraví nebo mravnosti. Paragraf 183c správně zakazuje poskytnout žadateli informaci o tom, jak konkrétní maturantka Jaroslava Skočdopolová vyřešila úlohu o čepičce. Chrání tím její osobnostní práva. Jenomže poskytnutím souhrnných výsledků úlohy o čepičce není ohroženo vůbec nic, tedy kromě CERMATu. A proto jejich poskytnutí nesmí podle Listiny zakázat ani zákon. Co by také ohrožovala informace, že možnost A vybralo 780 žáků, možnost B vybralo 9 577 žáků, … a možnost E vybralo 1 497 žáků? Proto jsem nakonec požadovanou informaci dostal. Trvalo to osm měsíců, ale stálo to za to.

Nebyla to jen tahanice o jednu úlohu. Správní řád totiž obsahuje pravidlo podobné soudnímu judikátu: pokud správní orgán nějak rozhodl, neměl by v příštích podobných případech rozhodnout jinak. A já jsem se rozhodl, že touto cestou získám výsledky všech úloh v maturitních testech z češtiny, matematiky a angličtiny. Prostřednictvím webové stránky jsem vyzval veřejnost, aby mi pomohla. Hned po příštích maturitách měl každý dobrovolník požádat ministerstvo o data úspěšnosti u jedné úlohy. Mnoho z nich to udělalo. Ministerstvo jsme upozorňovali, že nemusí odpovídat každému zvlášť, ale má zákonnou možnost vyřídit žádosti hromadně, zveřejněním výsledků. A tak se nakonec i stalo.

Anonymizovaná data zahrnují i přesné záznamy o tom, jak odpovídali jednotliví žáci (bez jejich osobních údajů). Nehrozí, že v některých případech bude možné žáka identifikovat?

Riziko je extrémně nízké. Ústavní soud rozhoduje v případě střetu více základních práv důsledně tak, že je třeba pečlivě zvážit důležitost ochrany každého z nich. Za příklad bych dal rozklikávací výsledky voleb. Právo na tajné hlasování zaručuje Listina. Když ale v malé vesničce dají všichni oprávnění voliči hlas stejné straně, z výsledků lze zjistit, jak volil Jaroslav Skočdopole, který tam žije. V posledních volbách do Sněmovny málem došlo k tomu, že se poslancem stal někdo, koho občané nezvolili. To by byl průšvih dotýkající se samotné podstaty demokratického státu. Příčinou bylo nezapočítávání přednostních hlasů udělených kandidátům, jejichž jména byla na druhé straně hlasovacího lístku.  Veřejně dostupná a přiměřeně anonymizovaná volební data tomu pomohla zabránit – ovšem za cenu velmi malého rizika pro pana Skočdopole. Myslím, že podobně je tomu například s uváděním informace o pohlaví žáků v anonymizovaných prvotních datech. Zatím tam není, ale být by tam měla, protože její přínos vyváží extrémně malé riziko, že kvůli tomu dojde k identifikaci výsledků Jaroslavy Skočdopolové.

V čem ten přínos spočívá?

Je důležité hlídat, aby třeba přijímačky byly stejně férové k oběma pohlavím. Při přípravě testů se na to musí pamatovat. Testy Kalibro ukazují, že dívky mají lepší výsledky v češtině, chlapci v matematice, a to dlouhodobě, během dvaceti pěti let. Pokud se něco takového prokáže u přijímacích testů, je třeba dbát na to, aby se zvýhodnění pro chlapce a pro dívky v jednotlivých předmětech vynulovala. O co budou lepší dívky v češtině, o to lepší budou chlapci v matematice. CERMAT zveřejnil na konci října 2018 analytickou zprávu o výsledcích přijímacích testů, podle níž nahrávaly loňské přijímačky na osmiletá gymnázia chlapcům: v matematice získávali víc, než ztráceli v češtině.

Pojďme si to tedy shrnout: Co přesně by měl tedy podle vás CERMAT zveřejňovat u maturit i příjímacích zkoušek na střední školy? A co již zveřejňuje?

Dnes už jsou z maturit i z přijímaček na střední školy rutinně zveřejňovány agregované výsledky testových úloh a občas také základní anonymizovaná data. Ty první mají k uživatelskému komfortu ještě velmi daleko – zde by se CERMAT mohl inspirovat třeba zmíněnými rozklikávacími výsledky voleb ČSÚ. Součástí těch druhých bývá i nepříliš podrobný údaj o typu školy a v podstatě chybí už jen údaj o pohlaví žáků. Problémem je ale zpoždění, s nímž se data dostávají na web. Výsledky jsou zajímavé a potřebné v době, kdy se diskutuje o zadáních, kdy rodiče žáků nebo maturanti připravují případná odvolání.

A poslední dotaz – tohle vše vás asi stálo stovky hodin času. Kde jste je vzal?

Stovky asi ne, ale pár desítek hodin určitě. Dal jsem si to jako dárek k odchodu do penze.

Oldřich Botlík (*1951) vystudoval matematiku na MFF UK v Praze, kde také absolvoval doktorské studium. V 80. letech vyučoval na jednom pražském gymnáziu, programoval rozmanitá podnětná počítačová prostředí pro děti a od té doby se věnuje školství jako systému. Po roce 1989 se stal nezávislým konzultantem a spoluautorem projektu testování žáků KALIBRO. Působil šest let jako předseda správní rady gymnázia PORG v Praze-Libni. Je zásadním kritikem současné podoby státní maturity a jednotných přijímacích testů kvůli jejich zpětným dopadům na práci učitelů a škol.

(Rozhovor vznikl pro Řízení školy.)

Tento text původně vyšel na EDUzín - Magazín o vzdělávání.