3 січня 2014 року розпочалася реєстрація на зовнішнє незалежне оцінювання. Мало хто пригадує, що цього року ЗНО можна вважати ювіляром: у далекому вже 2004 році відбулося перше масове (в режимі експерименту) зовнішнє оцінювання за новим для України технологічним циклом. Тоді в ньому взяли участь 4 485 випускників з 946 шкіл. Результати за бажаннями випускників могли зараховуватися як державна підсумкова атестація, а також як вступний іспит до вищих навчальних закладів...

За десять років, що минули відтоді, зовнішнє незалежне оцінювання, незважаючи на неодноразові спроби девальвувати його роль та значення, зберегло свою суспільну підтримку та реноме єдиної (на сьогодні) успішної освітянської реформи. Та й не лише освітянської. Підтвердженням цьому є результати соціологічних опитувань, проведених у листопаді 2013 р. Фондом «Демократичні ініціативи ім. Ілька Кучеріва»: ЗНО підтримують 53% (нецільова група) та 65% (цільова група) опитаного населення. Тож, на перший погляд, начебто все добре. Та то лише на перший погляд і лише для тих, хто не хоче вникати в суть проблем цієї системи та розв’язувати їх. Навіть, якщо вони це мають робити за посадою. А таких проблем за десятиріччя назбиралося чимало. Зупинимося лише на деяких з них.

Проблема перша — технологія підготовки тестів для проведення зовнішнього оцінювання та їхня якість.

На жаль, як на етапі апробації та впровадження ЗНО, так і десять років потому, тести в Українському центрі оцінювання якості освіти є авторськими. Тобто всі завдання до тесту добирає та компонує в єдину структуру лише один методист Українського центру оцінювання якості освіти. Іншими словами, зміст тесту цілком і повністю залежить від рівня фахової підготовки цього спеціаліста, його світоглядних і методичних позицій і навіть глибини знання предмета, з якого укладається тест. Якщо ж до цього додати, що фахівці, які запрошуються на посади методистів, не проходять жорсткого конкурсного відбору, не мають достатніх знань з теорії та методики педагогічного тестування, не мають відповідного досвіду роботи та не забезпечуються заробітною платою належного рівня, то очевидно, що вплив особистісного фактору стає достатньо загрозливим у контексті забезпечення валідності тестів, що ними укладаються.

Подібна технологія укладання тестів неминуче впливає на їхню якість. За експертними оцінками В. Бахрушина, зробленими на прохання редколегії «Освітнього порталу», значна частина тестів ЗНО не відповідають формальним вимогам до якості, сформульованими сучасною теорією педагогічного тестування.

Насамперед це стосується вимог до надійності тестів, а також до складності, коефіцієнтів кореляції та дискримінативності завдань. Зокрема, для тестів з біології, географії, історії України, російської мови та фізики понад половину завдань мають коефіцієнти кореляції менші за 0,3. Як наслідок, успішність виконання більшості завдань практично не корелюється з успішністю виконання відповідних тестів у цілому. При відборі завдань для тестів їх укладачі орієнтуються лише на зміст шкільної програми і не враховують вимоги тих напрямів підготовки, на які вступатиме переважна частина абітурієнтів, котрі складають відповідні тести. Це є однією з основних причин того, що для деяких тестів (зокрема, для тестів з географії) значення показників якості значної частки завдань є незадовільними.

Для оцінювання якості тестів та тестових завдань, на думку В.Бахрушина, використовуються не зовсім придатні показники або показники, що розраховуються за некоректними методиками. Зокрема, як показник надійності тестів використовують величину альфа Кронбаха, яка характеризує не ретестову надійність (тобто відтворюваність результатів при повторних випробуваннях), а внутрішню узгодженість завдань. При оцінюванні складності тестових завдань не робиться поправка на вгадування. Це призводить до істотного завищення відповідного показника, істинна складність завдань є вищою, ніж випливає з офіційних звітів УЦОЯО.

Очевидно, усвідомлюючи цю проблему і побоюючись можливих негативних наслідків, керівники УЦОЯО, починаючи з 2011 року, запровадили практику приховування від громадськості інформації про психометричні показники тестових завдань, відмовившись публікувати їх у офіційних звітах. Таким управлінським рішенням створено прецедент, коли зацікавлені сторони позбавляються будь-яких можливостей для якісного аналізу результатів зовнішнього оцінювання. До таких, насамперед, віднесемо приймальні комісії університетів, котрі вболівають за якісний відбір абітурієнтів, Національну Академію педагогічних наук, на яку урядовими рішеннями покладено здійснення такого аналізу, авторів підручників і навчальних посібників, які б могли використати результати психометричного аналізу для вдосконалення навчальної та методичної літератури.

Проблема друга ― система визначення результатів зовнішнього незалежного оцінювання.

Ця система також залишилась незмінною: незважаючи на те, що порівняно з 2004 роком з’явилися додаткові сесії зовнішнього оцінювання, запроваджено тестування з предметів, в яких бере участь незначна кількість учасників (російська, іспанська, французька мови, всесвітня історія, світова література). Більше того, сутність рейтингової системи за десять років толком не зрозуміли не лише чимало ректорів, але й деякі керівники Міністерства освіти і науки України та УЦОЯО, плутаючи рейтинговий результат з оцінкою.

Відверто кажучи, за всіх позитивних аспектів використання рейтингової системи, вона має чимало недоліків. Цілком можна погодитися з думкою В.Бахрушина, що важко пояснити, чому у використовуваній сьогодні шкалі початком відліку є 100 балів, а не 0 балів, що статистична похибка підсумкового балу ЗНО є доволі високою, для різних дисциплін межі 95% довірчих інтервалів підсумкової оцінки відстають від центрів цих інтервалів на 6-12 балів. Ще більше запитань постає щодо доцільності використання 124-х балів для того, щоб визначити здатність абітурієнта здобувати вищу освіту. Яка, скажімо, різниця у рівні знань того, хто набрав 124 бали, і того, хто набрав 124,5 бали? Лише в тому, що перший не може бути зарахованим до ВНЗ, а другий потенційно може стати студентом.

При визначенні підсумкового балу ЗНО не враховується імовірність вгадування правильних відповідей. Для тестів з математики та фізики імовірність подолати прохідний бар'єр у 124 балів є істотною; для ЗНО 2009-2011 рр. вона коливалася в межах 15-62%. Імовірність вгадування може також істотно впливати на підсумкові бали абітурієнтів.

Для деяких тестів, наприклад, з математики та фізики, прохідні 124 бали відповідають 10-15% (іноді й менше), а 150 балів — 30-40% від максимально можливого первинного балу. Тому рейтингова шкала ЗНО не надає достовірної інформації про рівень підготовки абітурієнтів. Однак громадськість сприймає підсумкові бали не як показники, що відокремлюють 10% або 50% гірших абітурієнтів, а як межі між незадовільним, задовільним та добрим рівнями підготовки абітурієнтів.

Справедливості заради зазначимо, що у 2009-2010 роках в УЦОЯО за допомогою зарубіжних експертів розпочали пошук інших методик визначення результатів. Зокрема, як перехідний варіант було започатковано практику внесення до сертифікатів зовнішнього оцінювання не лише інформації про рейтинговий результат, але й даних про загальну кількість тестових балів, набраних абітурієнтом. Однак ця новація особливих результатів не дала, бо Умови прийому до вищих навчальних закладів, які затверджувалися міністерством, починаючи з 2010 року, передбачали врахування лише рейтингового результату.

Третя проблема — технологія проведення зовнішнього оцінювання.

Ця проблема також залишилась не розв’язаною, починаючи із 2004 року. УЦОЯО для тестування з кожного предмету формує мережу пунктів тестування, залучає найманий персонал до організації їхньої роботи, здійснює доставку з кожного пункту тестових зошитів з бланками відповідей та виконаних робіт до центрів перевірки. Кожна зі складових цієї технології, незважаючи на багаторічне використання, має ряд негативних характеристик, які практично неможливо усунути.

Зупинимося лише на деяких.

1. Відсутність відповідальності залучених працівників за результати своєї роботи на пункті тестування та за несанкціоноване втручання чи вплив на результати виконання тесту. Іншими словами, якщо один з присутніх в аудиторії педагогів вступить у змову з іншими і вирішить допомогти конкретному абітурієнту, він це зможе зробити без особливих проблем. Чинним законодавством за подібні дії не передбачена жодна відповідальність. Особливо актуальною ця проблема є для пунктів тестування, розташованих у районних центрах. Там до роботи залучаються вчителі шкіл цього ж району – люди, залежні від місцевого начальства і директорів закладів освіти. Абітурієнти, які проходять зовнішнє оцінювання, також є учнями місцевих закладів освіти...

На жаль, подібний чинник, поза сумнівом, добре працює й тоді, коли створюється один пункт тестування на декілька адміністративних районів. Завдяки сьогоднішнім комунікаційним можливостям і зв’язкам, що склалися в достатньо замкнутому освітянсько-адміністративному соціумі, знайти «потрібного» інструктора в потрібній аудиторії потрібного пункту тестування немає проблем. Назвемо лише один (найбільш поширений) прийом вирішення цієї проблеми. Йдеться про «несподіване» захворювання або звичайний «невихід» на роботу всіх або одного з інструкторів потрібної аудиторії в день тестування. І тоді керівник пункту тестування вимушений направляти в потрібну аудиторію запасного або того, хто потрапить «під руку». А «під руку» чи на роль «запасного» завжди може потрапити потрібний...

2. Не подолано проблему нормативного регулювання діяльності залучених осіб. Так, щоб виконувати обов’язки залученого для проведення зовнішнього оцінювання, педагог повинен написати або заяву про відпустку на цей день, або використати так звані «відгули», або ж «відпрацювати» години, проведені в пункті тестування, впродовж іншого робочого дня. Якщо так не буде зроблено, то контролюючими органами будуть негайно накладені відповідні стягнення. Раціонального пояснення, чому робота педагога не може вважатися педагогічною діяльністю і входити до його педагогічного навантаження, не існує.

3. Проведення ЗНО в пунктах тестування позбавлене нормального захисту. Якщо процеси підготовки і друку тестових зошитів, доставки їх до пунктів тестування достатньо захищені як фізично, так і з допомогою інших технологій, то в пунктах тестування основний захист - паперові пломби та сподівання на розуміння необхідності такої роботи з боку учасників процесу зовнішнього оцінювання. Але якщо подібні «засоби захисту» спрацьовували десять років тому, то сьогодні вони лише викликають іронію. Щоправда, минулого року УЦОЯО спробував ввести до процедури тестування … обшук. Зазначимо, що нічого подібного українська освітня історія не знала, починаючи з середини ХІХ століття. Хіба що за винятком сумнозвісних 30-х років минулого століття, коли обшуки в навчальних закладах та серед тих, хто навчається і навчає, були звичною справою. Тоді шукали «ворогів народу», а нині за допомогою обшуків намагаються знайти тих, хто виявився неслухняним: приніс із собою на тестування мобільний телефон чи плейєр - предмети, заборонені документами, що регламентують процедуру проведення ЗНО.

Цю процедуру в спільному наказі МОН та МВС від 24 травня 2013 р. №586/508 назвали дуже креативно: «здійснення з використанням металодетектора або інших технічних засобів вибіркового контролю за дотриманням абітурієнтами в аудиторіях вимоги щодо заборони мати при собі засоби зв'язку, пристрої зчитування, обробки, збереження та відтворення інформації...». Але справжню сутність такого «вибіркового контролю» яскравими фарбами змалювала начальник відділу Департаменту Державної служби охорони (ДСО) при МВС України С.Павловська на прес-конференції 11 червня 2013 року в інформаційній агенції Укрінформ: «Працівник пункту тестування, який запідозрив, що абітурієнт користується мобільним телефоном, диктофоном чи іншим засобом зв’язку, у перерві виводить його до охоронця, щоб той обшукав (виділено нами) металодетектором..»¹. Ось так, по-міліцейські прямолінійно і безапеляційно.

Це зовсім не те, що натяками та з нотками інтриги в голосі розповідали керівники УЦОЯО та регіональних центрів напередодні зовнішнього оцінювання про додаткові заходи контролю, посилення, технологічні перерви. На ділі виявилося так, як про це сказала представник служби ДСО і розповіла мама одного з абітурієнтів: «Учні спокійно виконували завдання. Несподівано відкрилися двері, оголосили технічну перерву. Охоронець у формі з грізним виглядом, кийком та балончиком на поясі підійшов до сина і почав обшукувати його металодектором. Нічого не знайшов. Потім ця процедура була проведена з кількома іншими учнями. Знову нічого. Перерва закінчилися. Знову почали писати. Але син, перенісши подібне приниження (бо невідомо чому вибір упав на нього), розгубився, не міг зосередитися і нормально працювати далі. Прийшовши додому, зізнався, що забув перенести в бланк всі відповіді, написані ним на чернетці. Тепер ця чернетка лежить переді мною і я не знаю, що робити далі...».

Залишимо для юристів і захисників прав дитини роздуми і дискусії щодо правомірності подібних дій освітян і правоохоронців. Але навіть у тих, хто не дуже посвячений у юридичні аспекти цієї проблеми, є чимало запитань. Наприклад: чому спільний наказ двох міністерств передбачає проведення подібних процедур «вибірково»?, адже за Конституцією всі громадяни рівні перед законом, мають однакові права та обов’язки.

Хто визначає об’єкт для такого обшуку (перевірки)? Якщо це охоронець, то якими критеріями відбору «об’єкта» він має користуватися і чи має достатній рівень компетенції для цього? Якщо інструктори, присутні в аудиторії, то чому вони не виконують своїх посадових обов’язків, якими й передбачені дії щодо упередження ситуацій з використання засобів передавання та прийому інформації? Не менш важливим є також питання про те, чому були бездіяльними посадові особи пункту тестування на етапі допуску абітурієнтів у приміщення? Адже саме там мав бути проведений ряд заходів з метою попередження використання заборонених під час ЗНО джерел отримання інформації.

Поза юридичною площиною відповідь на ці запитання є очевидною. Вибірковість пояснюється тим, що провести обшук сотень тисяч абітурієнтів упродовж кількох десятків хвилин неможливо. Вибір «об’єкта» перевірки є суб’єктивним і ситуативним за принципом «пальцем у небо». Отож і результативність та цінність запропоновано «ноу-хау» є глибоко сумнівною: на півмільйона тестувань 260 випадків виявлення пристроїв для отримання інформації. Натомість кількість психологічних стресів, випадків приниження людської гідності набагато більша. До цього також слід додати маргіналізацію принципу рівних умов для складання зовнішнього оцінювання. Проте, як видно, подібні речі ініціаторів і тих, хто впроваджує такого штибу «ноу-хау», не цікавлять.

У цьому контексті ініціаторам та організаторам ЗНО можемо порадити звернутися до російського досвіду проведення Єдиного державного екзамену (ЄДЕ). За даними преси сусідньої держави, «300 мільйонів рублів буде виділено в 2014 році на додатковий захист завдань Єдиного державного екзамену (ЄДЕ) від витоків... Не дивлячись на заклики Рососвнагляду не приносити на ЄДЕ сотові телефони, не купувати відповіді в мережі й не викладати свої завдання в інтернеті, щоб не залишитися без атестата, екзамени відбуваються на тлі багато чисельних повідомлень про порушення. Напередодні екзаменів в соціальних мережах з’являються контрольні вимірювальні матеріали і відповіді на них, а випускники викладають в інтернет фотографії своїх завдань»². Ця інформація переконливо свідчить, що в Росії сутність народної російської приказки «Батогом обуха не переб’єш» усвідомили добре. На відміну від нас...

Наведений приклад так чи інакше зумовив необхідність зупинитися ще на одній проблемі - видатки з державного бюджету на проведення зовнішнього оцінювання. У 2014 році заплановане їхнє зменшення, порівнюючи з 2013 роком, на 4,5% (5,5 млн грн.). Тоді, як за даними, що їх навела Л.Гриневич, «лише для поточних витрат УЦОЯО не вистачає більше 30 млн грн. А для того, щоб зробити якісь кроки розвитку, щонайменше, в цілому необхідно 48 млн грн»³.

Людині, не обізнаній з глибинними аспектами цієї проблеми, може здатися, що подібні цифри є не чим іншим, як видумкою чиновників УЦОЯО, які хочуть отримати у своє розпорядження додаткові бюджетні кошти. Насправді ситуація є дуже прикрою. Український центр оцінювання якості освіти не має елементарних умов для своєї діяльності. Близько сотні співробітників Центру працюють у колишніх підсобних господарських приміщеннях одного з київських ВНЗ загальною площею 440 кв.м., (включаючи коридори, господарські, підсобні приміщення), на базі яких функціонує головний офіс УЦОЯО. У 2006 році це приміщення йому було надане у тимчасове користування з перспективою перебазування через 4-5 років до нового.

Відтоді минуло 8 років, а Центр і досі там. Його структурний підрозділ (відділ «Банку тестових завдань») взагалі не має приміщення для роботи. Нещодавно через неплатоспроможність УЦОЯО цей відділ буквально викинули на вулицю з орендованого приміщення. Зазначимо, що це вже третє «переселення» цього відділу, який насправді має працювати в особливих умовах, що передбачають, насамперед, особливий режим доступу та захищеності. Але замість того, щоб вирішити цю проблему в Міносвіти і УЦОЯО знайшли «рішення»: опублікувати завдання з Банку тестових завдань у відкритому доступі...

На «пташиних правах» розміщуються в одному з чужих приміщень працівники відділів Центру, які займаються проблемами комп’ютерного забезпечення зовнішнього оцінювання. Основна комп’ютерна і сканувальна техніка, яку використовують в УЦОЯО, була придбана у далеких вже 2006-2007 роках; вона фізично і морально застаріла.

Унікальне обладнання Центру оперативної поліграфії, встановлене у 2008 році, давно відпрацювало свій ресурс і потребує негайної заміни. У регіональних центрів оцінювання якості освіти немає навіть мізерних коштів на придбання канцелярських товарів, оплату поштових видатків і телефонних розмов. Сканери регіональних центрів, що використовуються для обробки відповідей учасників оцінювання, скоро доведеться зв’язувати мотузками, бо вони, образно кажучи, давно струхлявіли від старості та інтенсивного використання.

Спробуємо знайти відповідь на запитання: «Якщо помріяти і уявити, що в українському бюджеті знайшлися додаткові десятки мільйонів коштів для УЦОЯО, то чи вирішать вони проблеми зовнішнього оцінювання?» Впевнені, що ні. Українську систему зовнішнього оцінювання необхідно серйозно реформувати. І чим швидше розпочати цей процес, тим ефективнішими будуть його результати.

Чого маємо досягти в результаті такої реформи? Не деталізуючи технологію, визначимо декілька її цілей.

По-перше, необхідно забезпечити належну законодавчу базу для проведення зовнішнього оцінювання.

По-друге, Український центр оцінювання якості освіти має позбутися статусу «закладу освіти» та «перебування в сфері управління Міністерства освіти і науки України» і реорганізуватися в незалежну міжвідомчу державну установу з особливим статусом.

По-третє, кожен абітурієнт (учасник зовнішнього оцінювання) повинен отримати змогу пройти тестування з будь-якого предмета декілька разів і самостійно обрати з отриманих результатів один, який подаватиме до приймальної комісії вищого навчального закладу. Зважаючи на фінансові можливості нашої держави, один раз таке оцінювання він проходитиме за бюджетні кошти, а решту - за рахунок коштів юридичних або фізичних осіб.

По-четверте, абітурієнт повинен мати змогу пройти зовнішнє оцінювання у будь-який зручний для нього час упродовж всього календарного року.

По-п’яте, результати оцінювання абітурієнт повинен отримати відразу після завершення тестування, а у випадку наявності в тестах завдань відкритого типу — не пізніше ніж через добу після складання тесту.

По-шосте, всі учасники зовнішнього оцінювання мають бути поставлені в однакові умови. Проходження ЗНО кожним абітурієнтом має супроводжуватися засобами відеофіксації. Мають бути технічно та фізично унеможливлені будь-які можливості використання інших джерел отримання інформації, крім тих, що будуть в аудиторії. А там можна дозволити користуватися певними таблицями, енциклопедіями, деякими словниками, калькуляторами.

По-сьоме, кожен абітурієнт повинен отримати право обрати тест різного рівня складності залежно від його життєвих планів та спеціалізації, яку він хоче отримувати у вищому навчальному закладі. Вищі навчальні заклади мають отримати можливість визначати рівень складності тесту, який повинен виконати абітурієнт, подаючи документи на участь в конкурсі на ту чи іншу спеціальність.

По-восьме, у процесі зовнішнього оцінювання не повинні використовуватися тестові зошити та бланки відповідей з друкованою основою.

По-дев’яте, укладання тестів для зовнішнього оцінювання має здійснюватися тільки на основі відповідного програмного забезпечення з Банку тестових завдань.

По-десяте, потрібно суттєво змінити систему менеджменту у цій галузі освітньої діяльності.

Свідомі того, що скептики, ознайомившись із цим переліком, апелюватимуть до попередньої частини статті, де йдеться про відсутність коштів на сьогоднішні потреби ЗНО. Але справа в тому, що за умови успішної реалізації пропонованої реформи вже через два роки потреба в коштах для проведення ЗНО не перевищуватиме тих обсягів, які передбачені для цих цілей в бюджеті на 2014 рік. Більше того, маємо всі підстави стверджувати, що обсяги централізованого фінансування можна буде поступово зменшувати, навіть за умови розширення функцій ЗНО, зокрема — проведення його для випускників бакалаврату ВНЗ. Підставою для подібних, можливо й надто оптимістичних, тверджень, є експрес-аналіз структури видатків на проведення зовнішнього незалежного оцінювання в Україні у 2013 році, що зазначені у нижченаведеному листі УЦОЯО.

За умови успішного завершення реформи системи зовнішнього оцінювання необхідність  видатків, зазначених у наведеному вище листі, повністю зникає. Їх необхідно буде здійснювати лише впродовж перехідного періоду, який, за нашими підрахунками, може скласти не більше двох років. Зрозуміло, що впродовж перехідного періоду потрібні будуть також додаткові видатки на здійснення заходів з реформування системи. Однак вони не будуть перевищувати суму, що її просить УЦОЯО додатково до затвердженого на 2014 рік бюджету. Окрім цього, додатково отримані кошти вкладатимуться у розвиток системи ЗНО, а не витрачатися на підтримку існуючої.

Наголосимо, що перелік цих заходів не є вичерпним. Він є дещо більшим, але інші заходи потребують розкриття певних технологічних аспектів реформування системи ЗНО. Наразі ми не бачимо доцільності та необхідності в цьому.

Також вважаємо за необхідне привернути увагу до того, що запропонована модель повністю усуває переважну більшість сформованих ризиків і проблем у проведенні зовнішнього оцінювання, що сформувалися на основі усталеної технології. В кінцевому результаті ми отримаємо систему, яка надалі підтримуватиме високий рейтинг довіри до неї з боку суспільства та споживачів результатів її діяльності.

Автор готовий до публічного обговорення винесених на розсуд читачів проблем та особистої участі в розробленні та реалізації концепції реформування системи зовнішнього оцінювання в Україні.

Ігор Лікарчук

Директор неурядової організації

«Центр тестових технологій і моніторингу якості освіти»

¹