Оприлюднення результатів. З перших років існування ЗНО склалася практика публікації завдань тестів, що відбулися, правильних відповідей, шкал переводу первинних балів у підсумкові, деяких статистичних даних. Також щорічно публікуються офіційні звіти УЦОЯО, що містять як загальний аналіз результатів ЗНО, так і їхній аналіз у розрізі окремих тестів та регіонів. Разом з тим, є деякі зауваження та побажання стосовно цих матеріалів. Перш за все, це зникнення психометричних показників тестових завдань у звітах 2012 та 2013 р. Ці показники є дуже важливими з погляду оцінювання якості завдань. Тому їхнє вилучення із звітів відразу викликало питання, чи не погіршилася якість завдань у порівнянні з попередніми роками настільки помітно, що стало соромно публікувати відповідні дані. Хоча насправді причини могли бути і більш прозаїчними. Обсяг звітів помітно зріс (223 сторінки у 2007 р., 359 у 2011 р., 480 у 2013 р.), тому укладачі просто могли шукати за рахунок чого їх можна хоч трохи скоротити. 

В останньому випадку проблему можна було б вирішити окремою публікацією на сайті УЦОЯО первинних даних, що використовувалися для укладання звіту. У цьому контексті слід привітати нещодавнє оприлюднення психометричних показників тестів 2012 та 2013 р. на сайті УЦОЯО. Можливо, і в майбутньому є сенс надавати ці дані у компактному вигляді окремо від звітів, чи як додаток до них. Але у цьому випадку є сенс обговорити з фахівцями, які будуть користуватися даними, питання про найбільш зручний формат їх подання. 

Заслуговує на увагу і рекомендація ІV Міжнародної науково-методичної конференції «Освітні вимірювання–2013. ЗНО як інструмент забезпечення рівного доступу до вищої освіти й оцінювання якості освіти: оцінювання, інтерпретація, використання результатів» про надання фахівцям на їхнє запитання доступу до деперсоніфікованої повної бази результатів ЗНО. Це створює для них можливість отримання значно більшого обсягу корисної для оцінювання тестів і результатів тестування інформації. Як приклад тут можна навести матеріали аналізу тесту ЗНО-2013 р. з математики, опубліковані у статті [2]. А результатом таких досліджень будуть більш обґрунтовані рекомендації стосовно підвищення якості тестів.

Створення банку завдань. Останнім часом ця проблема досить активно обговорюється як фахівцями, так і більш широким колом науковців і освітян, що мають те чи інше відношення до ЗНО. Насправді сьогодні вже існує певний банк завдань, накопичений протягом близько 10 років існування ЗНО. Але він поки ще не повною мірою відповідає вимогам як за кількістю, так і за якістю завдань. Свідченням цього, зокрема, є велика частка тестових завдань, що не відповідають існуючим вимогам до показників складності, кореляції та дискримінації, про що йшлося у статтях [3-5]. Іншим свідченням є те, що при створенні тестів ЗНО використовується значна частка завдань, які не беруть із банку, а розробляють безпосередньо для чергового тестування. Тому можна тільки привітати ініціативу керівника УЦОЯО І.Л. Лікарчука з проведення громадського аудиту цього банку. Наявність достатньо великого добре структурованого банку завдань є необхідною передумовою забезпечення відповідності тестів специфікаціям, гарантування їхньої якості, створення рівноцінних паралельних версій, потрібних для організації декількох сесій ЗНО з окремих дисциплін і надання абітурієнтам можливості повторного тестування, запровадження комп’ютерного тестування і вирішення низки інших проблем. 

Комп'ютерне тестування. Про комп’ютерне тестування зазвичай говорять у двох значеннях. У першому випадку, його розглядають як стандартний тест, який відрізняється від звичної форми ЗНО лише тим, що абітурієнт отримує питання і відповідає на них за допомогою комп’ютера. Такі технології мають низку істотних переваг порівняно з традиційною паперовою формою тестування. Насамперед, це дає змогу спростити та прискорити обробку результатів тестування, підвищити гарантії конфіденційності матеріалів ЗНО. Застосування комп’ютерних технологій створює умови для використання мультимедійних засобів при створенні завдань, що значно розширює набір інструментів, які можуть використовуватися для цього. Прикладами є аудіо- та відео- матеріали, віртуальні лабораторії тощо. Крім того, такий спосіб тестування певною мірою знімає проблему незручності участі у тестуванні для абітурієнтів із сільської місцевості та малих міст, яка є найбільш гострою для окремих регіонів західної України, а також для тестів, які складає мала кількість абітурієнтів. Разом з тим виникають інші проблеми. Зокрема, це необхідність забезпечення пунктів тестування необхідною кількістю комп’ютерів та суттєва зміна вимог до підготовки організаторів тестування. Нажаль, досі зберігається і проблема істотно різного рівня комп’ютерної грамотності абітурієнтів, що буде ставити їх в нерівні умови при запровадженні комп’ютерного тестування.

У другому значенні комп’ютерне тестування передбачає також і безпосереднє формування для кожного абітурієнта індивідуального варіанта тесту шляхом вибору завдань із банку згідно із заданим алгоритмом. Багато фахівців вважають, що існуючі сьогодні алгоритми не здатні забезпечити виконання всіх вимог до характеристик тестів ЗНО, а також до рівноцінності тестів, які будуть складати різні абітурієнти. Тому на практиці такі методи сьогодні використовують досить обмежено не тільки в Україні, але і в інших державах. Втім, насправді головна проблема тут полягає не стільки в алгоритмах, скільки  у якості банку тестових завдань, точніше – у відсутності необхідної кількості завдань, які б задовольняли всі вимоги стосовно теми, типу, показників якості тощо. Для тестів з математики та фізики забезпечити рівноцінність генерованих комп’ютером варіантів тестів відносно нескладно, оскільки тут є можливість використовувати однотипні завдання, формулювання яких вирізняється лише окремими числовими параметрами, які також можна генерувати за допомогою комп’ютерних технологій. Для більшості інших дисциплін розв’язання цієї проблеми є набагато труднішим, бо створення паралельних форм тестів потребує дуже великої кількості завдань у кожній підгрупі банку. Але технології стрімко розвиваються і треба думати про запровадження згодом таких підходів. 

Слід зазначити і те, що вимогу рівноцінності паралельних форм тестів не треба робити занадто жорсткою. Паралельність треба забезпечити з урахуванням статистичних похибок оцінювання, які насправді є доволі високими, а також впливу інших об’єктивних факторів на підсумкові оцінки абітурієнтів. А таке завдання є набагато простішим.

Крім того, у світовій практиці є приклади, коли організатори тестів взагалі відмовляються від намагання досягнути рівноцінності тестів, що складають різні абітурієнти. Зокрема, тести GMAT [6], які використовують у багатьох країнах для відбору на програми MBA, передбачають серед інших складових адаптивні комп’ютерні тести, де складність наступних завдань визначається успішністю виконання попередніх. Звісно, що така система тестування має передбачати урахування складності завдань при їхньому оцінюванні. Методи вирішення цієї проблеми у сучасній теорії освітнього тестування добре відомі.

Термін проведення. У багатьох випадках подібне до ЗНО стандартизоване тестування відбувається протягом усього року декілька разів на рік. При цьому немає обмежень на кількість спроб, що надаються кожному потенційному абітурієнту. Наприклад американський тест SAT [7] відбувається сім разів на рік по суботах. Але за релігійними мотивами для окремих абітурієнтів складання тесту може бути перенесене на наступну неділю. Інваліди можуть проходити тестування вдома. Крім того, деяким категоріям тестованих на їхнє прохання може бути збільшено час тестування на 50 – 100 %. Іншій американський тест ACT [8], залежно від штату, можна складати від 4 до 6 разів на рік, тест для вступу до магістратури GRE [9] – тричі на рік тощо. 

Проведення тестів протягом усього року надає змогу активно використовувати завдання з відкритими відповідями розгорнутого типу, перевірка яких потребує певного часу. Зокрема для тесту SAT результати доступні online за три тижні, а оригінали сертифікатів можна отримати приблизно за шість тижнів після проходження тестування. При існуючий системі проведення ЗНО такі терміни опрацювання результатів є неприйнятними. Це стримує ширше використання завдань з розгорнутою відповіддю, на чому наполягає значна частка фахівців.

З іншого боку, проведення ЗНО протягом всього року потребує виключення з тестів завдань, які відповідають програмі останнього класу загальноосвітньої школи. Для деяких дисциплін (історія України, фізика, біологія, …) це може вимагати істотного перегляду не тільки програм ЗНО, але і програм загальної середньої освіти.

Іншими проблемами організації проведення тестів ЗНО протягом всього року є збільшення фінансування і забезпечення порівнянності результатів тестування. Фінансові питання в США і багатьох європейських країнах вирішуються шляхом встановлення оплати за складання тестів. Але окремі категорії абітурієнтів можуть отримати істотні пільги та знижки. Що ж стосується порівнянності результатів, то її можна досягти лише через створення якісного банку тестових завдань.

Паралельні сесії та результати минулих років. Багатьма освітянами, абітурієнтами та громадськими активістами часто ставиться під сумнів рівноцінність оцінок, одержуваних на паралельних сесіях ЗНО, а також коректність використання оцінок ЗНО минулих років при вступі. Насправді побоювання тут є істотно перевищеними. В статті [5] я вже наводив дані про статистичні похибки підсумкових балів ЗНО, а також деякі інші фактори невизначеності результатів тестування. В межах цих похибок сьогодні немає значимої різниці між результатами паралельних сесій, а також між результатами ЗНО різних років. Створення якісного банку тестових завдань дає змогу, з одного боку, підвищити надійність тестів і таким шляхом зменшити статистичні похибки результатів. А з іншого боку, це сприятиме і зменшенню розбіжностей між паралельними формами тестів і результатами різних років. Як вже зазначалося вище, у світовій практиці тести подібного рівня часто проводять декілька разів на рік. Тобто практика організації паралельних сесій тестування існує і є досить поширеною. 

Результати тестування попередніх років в інших країнах, як правило, є дійсними протягом декількох років (2 роки для мовних тестів SAT, ACT, IELTS та TOEFL, 5 років для GMAT та GRE) або взагалі не мають обмеження терміну дійсності (CAE, CPE). Втім, термін дії сертифікатів може бути скорочений, якщо істотно змінювалася методика тестування. Крім того, якщо абітурієнти складали тести за декілька років до вступу і не навчалися протягом цього періоду, університети можуть затребувати від них додаткових підтверджень здатності до навчання за заявленою освітньою програмою, наприклад, інформацію про досвід практичної роботи.  

Повторне тестування. У багатьох країнах допускається повторне складання тестів для підвищення оцінки. При цьому загальну кількість спроб, як правило, не обмежують, але можуть обмежувати інтервал між ними або кількість спроб протягом року. Як свідчить статистика тестів SAT і ACT, багатьом абітурієнтам вдається істотно підвищити свої оцінки. Це, зокрема, підтверджує існуючу у суспільстві думку, що результат тестування залежить не тільки від рівня знань абітурієнта але також і від рівня його готовності (у тому числі психологічної) до саме такого методу оцінювання. Зазвичай, повторні (а часто і перша) спроби тестування є платними. Крім того, у багатьох випадках університети можуть отримувати чи вимагати інформацію про результати всіх спроб. Тому організатори тестування часто рекомендують не захоплюватися перескладанням тестів і не робити більше 3 спроб.

Кількість дисциплін. Чи потрібно запроваджувати нові тести ЗНО? Серед пропозицій з цього приводу найчастіше згадують тест загальної навчальної компетентності, тести з інформатики, економіки, правознавства, деяких іноземних мов тощо. Відповідь на це питання повинна визначатися трьома факторами – наявністю попиту на результати відповідних тестів з боку університетів, достатнім для створення якісних тестів обсягом матеріалу у шкільній програмі, а також потенційною кількістю учасників тестування. 

Найбільш обґрунтованою здається пропозиція додати до ЗНО тест загальної навчальної компетентності. Основним доводом на її користь є те, що для багатьох спеціальностей ВНЗ жоден з існуючих сьогодні тестів не може вважатися профільним випробуванням. На відміну від інженерних, природничих та філологічних напрямів підготовки, освітні програми з правознавства, готельного господарства і деяких інших напрямів передбачають певний рівень загальної ерудиції, але не спираються значною мірою на знання жодної із шкільних дисциплін. У таких випадках заміна однієї з існуючих дисциплін тестування перевіркою загальної навчальної компетентності є цілком виправданою. Такі тести розробляються в Україні вже декілька років [10], але поки ще перебувають на етапі експериментального дослідження. 

Доцільність запровадження тесту з інформатики, насамперед слід оцінювати з погляду того, хто і з якою метою повинен його складати. Від цього залежатимуть очікувана кількість абітурієнтів, що будуть проходити тестування, його програма, рівень складності завдань та їхній розподіл за темами тощо. Але за будь-яких умов багато фахівців вважають, що поки зарано запроваджувати такий тест через недосконалість існуючих шкільних програм з інформатики. Також існує думка, що замість тесту з інформатики наявність базової компетентності в галузі інформаційних технологій доцільно підтверджувати загальноприйнятими в Європі і США сертифікатами ECDL (The European Computer Driving Licence) [11]. 

Стосовно запровадження тестів з економіки і правознавства основним запереченням є те, що обсяг матеріалу з цих дисциплін, передбачений шкільною програмою, є занадто малим для створення тестів ЗНО. Програми загальноосвітніх навчальних закладів з економіки та основ правознавства для рівнів стандарту й академічного, які мають бути основою для створення тестів, розраховані лише на 35 год. 

Є також пропозиції запровадити деякі мовні тести, зокрема тести з угорської та румунської мов. Але дуже сумнівно, що кількість бажаючих складати такі тести буде достатньою для забезпечення статистичної достовірності їхніх результатів. Таке саме зауваження стосується й існуючого тесту з іспанської мови, де, згідно із даними звітів УЦОЯО, наведеними на сайті протягом останніх років кількість тестованих перебувала у межах 165 – 197 осіб. Незважаючи на начебто непогані формальні показники якості цих тестів, гістограми розподілу результатів, наведені у звітах, свідчать про їхню статистичну нестійкість, а як наслідок, і про статистичну недостовірність результатів.

Розробка програм ЗНО. Існують різні погляди стосовно того, хто має розробляти програми ЗНО, і чи потрібні взагалі окремі програми, відмінні від стандартів загальної середньої освіти. Є думка, що для ЗНО окремі програми непотрібні, а тести треба розробляти на основі існуючих програм загальної середньої освіти. Але вона ґрунтується на нерозумінні того факту, що сьогодні ЗНО є не засобом підсумкової атестації школярів, а інструментом відбору студентів до ВНЗ. Тому більшість фахівців вважають, що створенням програм повинні сумісно займатися фахівці загальноосвітніх та вищих навчальних закладів. Перші добре розуміють специфіку шкільної освіти та відповідних програм. Але шкільні програми не повною мірою відповідають потребам програм вищої освіти. Тому доречним є і залучення фахівців ВНЗ до розробки програм ЗНО. 

Можливий і дещо спрощений підхід. Можна взяти за основу програми загальної середньої освіти і доручити фахівцям різних галузей знань визначити важливість перевірки передбачених цими програмами компетентностей для подальшого отримання вищої освіти з відповідних галузей. Далі можна було б вилучити з програм ЗНО ті теми, що експерти вважають непотрібними або малозначимими і отримати таким шляхом програми ЗНО. Додатково можна було б визначити пропорції між кількістю питань з кожного розділу, враховуючи ступінь затребуваності відповідних знань для успішності подальшого навчання за різними галузями освіти і інформацію про приблизний розподіл абітурієнтів, які складають тести, між цими галузями. Така інформація за попередній рік є в ЄДЕБО. Втім, такий підхід можливий лише за існуючої системи організації ЗНО, коли тестування відбувається після завершення повного курсу навчання у школі. 

Хто має створювати робочі групи з розробки програм ЗНО? Є дві основні пропозиції – МОН або УЦОЯО. Є певний сенс у тому, щоб за розробку програм відповідало МОН, як це відбувається сьогодні. З одного боку, це узгоджується з тим, що саме МОН розробляє стандарти як загальної середньої, так і вищої освіти. А з іншого боку, це дає змогу відокремити функції замовника і розробника тестів ЗНО, що мало б сприяти підвищенню їхньої якості. Крім того, у підпорядкуванні МОН є Інститут інноваційних технологій та змісту освіти, який здавалося б має всі необхідні ресурси (кадрові, інформаційні тощо) для розробки таких програм. Але практика останніх років свідчить, що програми часто розробляються з істотним запізненням, а їхня якість залишає бажати кращого.

У проекті нового Закону України "Про вищу освіту" функція затвердження стандартів вищої освіти передається новій установі – Національному агентству з якості вищої освіти, яке до того ж має враховувати пропозиції галузевих державних органів. Тому ідея зробити УЦОЯО розробником не тільки тестів, але і програм, також має певні переваги. Насамперед, це надало б змогу здешевити і прискорити розробку програм через спрощення численних погоджувальних процедур.

Порядок формування конкурсного балу. Сьогодні конкурсний бал абітурієнтів визначають як суму окремих показників, до яких належать бали сертифікатів ЗНО, середній бал атестату про загальну середню освіту, та, в окремих випадках, результати творчих випробувань і додаткові бали, що нараховуються окремим абітурієнтам за успіхи з окремих дисциплін (для призерів олімпіад і конкурсів МАН) і в деяких інших випадках [12]. Як основні напрями вдосконалення процедури вступу сьогодні розглядають зменшення внеску середнього балу атестату та додаткових показників, а також надання ВНЗ можливості встановлювати вагові коефіцієнти для показників, що залишаться. Втім такі зміни не дають змоги виправити деякі суттєві недоліки існуючої системи визначення конкурсних балів абітурієнтів. Вони полягають, насамперед, у некоректності підсумовування балів сертифікатів ЗНО, які визначають за методом еквіпроцентильного перетворення первинних результатів [13]. Крім того, вони не дають змоги достатньо повно враховувати особливості вимог конкретних напрямів підготовки та ВНЗ до рівня підготовки абітурієнтів. Тому доцільно надати ВНЗ можливість гнучкішого вибору методів оцінювання абітурієнтів, зокрема з використанням відомих методів прийняття багатокритеріальних рішень:

- головного показника, за яким конкурсним балом є бал профільного сертифікату ЗНО, а для інших показників встановлюють обмеження знизу;

- максимінного оцінювання, для якого конкурсним балом є мінімальна з оцінок сертифікатів ЗНО;

- максимаксного оцінювання, в якому конкурсний бал визначають як максимальну з оцінок сертифікатів ЗНО тощо.

ЗНО для молодших спеціалістів і магістрантів. Досвід застосування ЗНО при вступі на бакалаврські програми пропонується поширити для вступу на програми підготовки молодших спеціалістів та магістрів. Думка автора про проблеми запровадження ЗНО при вступі на магістерські програми була висвітлена у статті [14]. Стосовно молодших спеціалістів основним запереченням проти такої ініціативи може бути відсутність конкурсу на значну кількість спеціальностей. З іншого боку, існуючий порядок надає можливість вступу на старші курси бакалаврських програм без проходження ЗНО. Останнім часом все більша частка їхніх студентів потрапляє на навчання саме в такий спосіб. Він має певні переваги для студентів, оскільки надає змогу раніше отримати професійну кваліфікацію, а для окремих груп також зменшити сумарну оплату за навчання. Разом з тим, при цьому важко гарантувати належну якість загальноосвітньої підготовки студентів. Звісно, що існуючи проблеми неможливо вирішити тільки через регулювання порядку вступу. Але здається доцільним запровадження або окремого ЗНО при вступі на програми підготовки молодших спеціалістів за програмами базової середньої освіти, або складання існуючих тестів ЗНО випускниками цих програм при вступі до ВНЗ для отримання наступних рівнів вищої освіти.

Моніторинг якості загальної середньої освіти. Є багато пропозицій стосовно використання результатів ЗНО для моніторингу загальної середньої освіти. Деякі з них передбачають рейтингування загальноосвітніх навчальних закладів та регіонів за результатами ЗНО. Іноді навіть пропонують поставити за мету для всіх ЗНЗ та регіонів щорічне підвищення середнього балу ЗНО. Такі пропозиції не враховують рейтинговий характер оцінок ЗНО, наявність у загальноосвітніх навчальних закладів інших цілей та завдань (крім підготовки школярів до вступу у вищі навчальні заклади), внесок батьків та репетиторів у результати абітурієнтів на ЗНО, а також нерепрезентативність результатів ЗНО через те, що далеко не всі випускники шкіл складають тести з тих чи інших дисциплін.

Втім є інші можливості використовувати результати ЗНО як елементи систем моніторингу і забезпечення якості загальної середньої освіти. У тестах ЗНО зазвичай є завдання, що перевіряють наявність певних базових знань і вмінь абітурієнтів. Прикладами є завдання 1 тесту ЗНО-2013 з математики, завдання 17 тесту з географії, завдання 27 тесту з біології та інші. Якщо результати випускників певної школи з таких завдань з року в рік перебувають на рівні порогу вгадування, це є приводом для більш уважного аналізу роботи цієї школи і викладачів відповідної дисципліни. З іншого боку, якщо з року в рік всі випускники певної школи, що складають тести з якоїсь дисципліни, отримують високі (первинні) бали ЗНО, це свідчить про достатньо якісну роботу не тільки батьків та репетиторів, але, насамперед, школи і викладача. Звісно, що "високість" балів тут має визначатися з урахуванням специфіки, зокрема, профільності шкіл та класів, в яких навчалися ці випускники.

1. В.Бахрушин. Яких змін потребують тести ЗНО: до розробки концепції проекту змін у ЗНО. /ua/articles/archive/246-yakikh-zmin-potrebuyut-testi-zno-do-rozrobki-proektu-kontseptsiji-zmin-u-zno

2. Результати ЗНО 2013 із математики: аналітичні матеріали. /ua/analytics/247-rezultati-zno-2013-iz-matematiki-analitichni-materiali 

3. В.Бахрушин. Якість тестів ЗНО з фізики. /ua/articles/archive/233-yakist-testiv-zno-z-fiziki.

4. В.Бахрушин. Якість тестів ЗНО з математики. /ua/articles/archive/229-yakist-testiv-zno-z-matematiki.

5. В.Бахрушин. Наскільки якісними є тести ЗНО? /ua/articles/archive/107-naskilki-yakisnimi-e-testi-zno.

6.

7.

8.

9.

10. Ляшенко О.І. Тест загальної навчальної компетентності: основні засади і результати пілотування / О.І. Ляшенко, С.А. Раков // Педагогіка і психологія. – 2012. – № 2. – С. 27-35.

11.

12.

13. В.Бахрушин. Застосування освітніх вимірювань при рейтингу ванні абітурієнтів ВНЗ та вирішенні деяких інших завдань оцінювання якості освіти. /ua/articles/archive/131-zastosuvannya-osvitnikh-vimiryuvan-pri-rejtinguvanni-abiturientiv-vnz-ta-virishenni-deyakikh-inshikh-zavdan-otsinyuvannya-yakosti-osviti

14. В.Бахрушин. Чи можливо сьогодні використовувати ЗНО для вступу до магістратури? /ua/articles/archive/238-chi-mozhlivo-sogodni-vikoristovuvati-zno-dlya-vstupu-do-magistraturi

Володимир Бахрушин, д.ф.-м.н., професор, академік АН вищої школи України