Але при запровадженні ЗНО від самого початку перед розробниками тестів ставили завдання створити інструмент, придатний для ранжирування абітурієнтів, які одночасно складають один і той самий тест. Такий інструмент і було розроблено. Досвід його використання виявив і переваги, і проблеми. Однією з них є непорівнянність результатів тестів, що складалися у різні роки. Саме через це під тиском громадськості було прийняте рішення, що у 2015 р. при вступі до ВНЗ будуть враховуватися тільки цьогорічні сертифікати ЗНО. Для усунення наявних проблем потрібно розвивати методологію, вдосконалювати тести, вкладати кошти у розвиток матеріальної бази УЦОЯО тощо. Можливо, будуть потрібні і певні зміни у законодавстві. Наприклад, ст. 45, регламентуючи терміни затвердження переліку програм ЗНО, не враховує, що є не тільки такі дисципліни, за якими тестування проводиться вже багато років. Можуть бути і нові тести. Рішення про початок роботи над ними треба ухвалювати набагато раніше. Та сама ст. 45 передбачає, що разом із затвердженням переліків програм необхідно щорічно затверджувати і самі програми. Але ж щорічна зміна програм ЗНО є одним з головних факторів, які визначають непорівнянність результатів різних років. Тому, мабуть, є сенс переглянути і цю норму. Чого не потрібно робити – це протягувати через Верховну Раду скороспілі рішення, реалізація яких є неможливою. Тим більше, що пропоновані законопроектом 2335 норми взагалі виходять поза межі компетенції Верховної Ради, бо значною мірою стосуються не правових, а суто технологічних і методичних питань. Чи можна уявити собі, наприклад, що згодом, хтось з депутатів запропонує закон, за яким Уряд чи певна державна установа повинні будуть протягом 2 місяців створити механізм конвертації двигунів Мелітопольського моторного заводу у двигуни ПАТ «Мотор-Січ» для забезпечення рівних прав виробників на доступ до ринку?

Деякі показники тестів ЗНО

Нижче наведено деякі характеристики тестів ЗНО минулих років, які на мою думку, досить переконливо свідчать про непорівнянність результатів тестування різних років. Це стосується не тільки підсумкових балів за шкалою 100 – 200, але і первинних балів, які визначаються часткою успішно виконаних завдань. Чого варта лише відмінність середнього бала абітурієнтів за тести з математики майже в два рази у 2008 та 2013 р? При цьому слід врахувати, що на варіації середнього бала у протилежних напрямах впливають два основні фактори – «абсолютна» складність завдань і середній рівень знань абітурієнтів, які складають тест. У першому випадку вищі значення середнього бала свідчать про те, що абітурієнти отримають незаслужену перевагу над абітурієнтами іншого року, для якого середній бал був нижчим. У протилежному випадку, їх результати навпаки будуть занижені порівняно з конкурентами, що мають такий саме рівень підготовки. Який з цих факторів для кожного конкретного тесту був головним, сьогодні визначити вже неможливо. Тому будь-які спроби скорегувати результати з огляду на варіації середнього бала можуть дати протилежний ефект – похибка «скорегованих» оцінок може від цього не зменшитися, а зрости.

Дані таблиць взято з офіційних звітів УЦОЯО, розміщених за посиланням: У випадку проведення декількох сесій тестування в таблицях наведено показники тестів першої сесії

Англійська мова

Біологія

Географія

Історія України

Математика

 Українська мова та література

Фізика

Хімія

Розподіл результатів тестування

Під час обговорення законопроекту 2335 один з учасників сказав, що його противники і прихильники поділилися на за якоюсь політичною ознакою, а на тих, хто знає про існування нормального розподілу, і тих, хто про нього не знає. Щоправда у другій групі очевидним виключенням був один з авторів цього законопроекту О. Співаковський, який про нормальний розподіл знає дуже добре. Але можливо і він не знає, що розподіл результатів тестування зазвичай є не тільки дуже далеким від нормального, але і досить різним для різних років. Нижче наведено гістограми розподілу результатів тестування останніх років з англійської мови та математики, які взято з офіційних звітів УЦОЯО. Чи має хтось пропозиції, як можна прирівняти один до одного результати різних років, що мають такі розподіли первинних балів?

Що вказує моделювання?

Якщо не вдається перевірити значущість відмінностей результатів різних років за рахунок аналізу емпіричних даних, то залишається можливість спробувати оцінити її шляхом моделювання. Звісно, що у цьому випадку результат буде залежати від вихідних припущень. Перевірити їх правильність та адекватність моделі можна лише шляхом порівняння отриманих даних з емпіричними даними, яких немає. Втім певне уявлення про величину очікуваних ефектів ми все ж можемо отримати. Нижче наведено результати, які було визначено таким шляхом. Спочатку було згенеровано три набори «первинних» балів, які приблизно відповідали наведеним вище розподілам реальних результатів ЗНО з англійської мови за 2012 – 2014 р. Далі ці дані було перераховано у шкалу від 100 до 200 балів за новою методикою УЦОЯО. Але замість невідомого порогу «склав – не склав», який експерти для цих тестів не визначали, було взято поріг, що відповідав 8% гірших абітурієнтів. Це близьке до використовуваного раніше порогу у 124 бали.

На рисунку наведено залежності підсумкового бала від первинного. Через те, що максимальні кількості можливих балів у тестах різних років були різними, первинні бали приведено у відсотках від максимально можливого значення.

З наведених даних можна побачити, що відмінності між підсумковими оцінками, які відповідають однаковим первинним балам, є досить високими і перебувають переважно в межах 5 – 10 балів. Для порівняння: мінімальна різниця між оцінками тих, хто вступив у 2014 р. на бюджетну та контрактну форми навчання до КНУ ім. Тараса Шевченка (у розрахунку на одну дисципліну), дорівнювала 0,5 бала для спеціальності "мова і література" (спеціалізація: фольклористика, українська мова і література та іноземна мова), 0,2 бала для напрямів «Журналістика» та "Інформатика", 0,3 бала для напряму "Економіка підприємства", ... Тож говорити про те, що законопроект № 2335 дає змогу забезпечити рівний доступ до вищої освіти абітурієнтам, які складали ЗНО у різні роки, не доводиться.

Під час обговорень цього законопроекту лунала і така думка. Дійсно ми не можемо здійснити коректний перерахунок. Тому нехай він буде не дуже коректним і не дуже точним. Постраждають від цього лише найслабкіші абітурієнти. Для університетів немає великої різниці, кого саме з цих слабкіших приймати на навчання. Для університетів різниці дійсно немає. Але законопроект нібито спрямований не на захист університетів, а на захист прав абітурієнтів. А хтось з них обов’язково постраждає від пропонованої конвертації балів. Крім того, як видно з рисунка, постраждають не тільки найслабкіші, але і абітурієнти з досить високими балами. Тобто саме ті, для кого при вступі до провідних університетів кожний бал буде на вагу золота.

Як підсумок зазначу, що на мою думку, проблеми регіональних (і не тільки) університетів, які намагаються за допомогою цього законопроекту вирішити його автори, дійсно існують. У суспільстві є різні погляди на те, як їх можна вирішувати, якими мають бути вищі навчальні заклади і куди взагалі має рухатися система вищої освіти України. Ці проблеми треба обговорювати і шукати рішення, які б підтримувала переважна частина суспільства. Чого не треба робити – це приймати закони про корегування законів математики, чи, як висловився один з учасників дискусій, «про скасування закону Ома».

Володимир Бахрушин, д.ф.-м.н., професор, академік АН вищої школи України