Відповідь на це питання може дати формальний аналіз показників якості тестових завдань. Дані про ці показники містилися у Звітах УЦОЯО[1],[2],[3] за 2009-2011 р. (). Деякі результати статистичного аналізу якості наводилися нами раніше[4],[5],[6]. Нажаль, у звіті про ЗНО 2012 р.[7] є тільки загальні характеристики тестів, а дані про показники якості окремих завдань відсутні. Додаткову корисну інформацію може дати змістовий аналіз завдань з незадовільними значеннями формальних показників якості. Але спочатку — трохи теорії.

Тестові технології в освіті почали використовувати ще в Давньому світі, зокрема — у Китаї, Вавилоні та Греції. Але в сучасному розумінні їх розвиток відлічують від праць Ф.Гальтона, А.Біне та Т.Симона 2-ї половини XIX — початку XX ст. Існують дещо різні підходи до поняття педагогічного тесту. Найчастіше використовують визначення В.С.Аванесова, згідно з яким педагогічний тест — це «система паралельних завдань зростаючої складності, специфічної форми, що дає змогу якісно й ефективно оцінювати рівень та структуру підготовленості учнів»[8]. За В.С.Кімом: «Педагогічний тест — це система тестових завдань різної складності, яка дає змогу якісно й ефективно вимірювати рівень та структуру підготовленості випробуваних»[9]. У будь-якому випадку ми можемо розглядати тест як певну модель знань, доповнену засобами встановлення відповідності знань конкретного випробуваного цій моделі4-6. Але відомо, що будь-яка модель є цільовим, наближеним, неточним та неповним відображенням оригіналу. Тому якість педагогічного тесту має визначатися його спроможністю адекватно відобразити саме ті характеристики випробуваних, заради вимірювання яких його розробляли. Звідси випливає, що для досягнення різних цілей потрібні різні тести. Навіть якщо ми використовуємо тестування для відбору найбільш підготовлених абітурієнтів, ми повинні враховувати, що в різних сферах діяльності є різні моделі успішного фахівця. Тому різні університети мають різні моделі успішного студента5,6 й, відповідно, різні вимоги до абітурієнтів.

Ще однією проблемою є статистична природа результатів тестування. Навіть для якісного тесту одержувані оцінки є більш-менш правильними «в середньому», але для кожного конкретного випробуваного вони містять певну статистичну похибку, яку потрібно враховувати при підбитті підсумків тестування.

Не зупиняючись докладно на цих проблемах, що досі залишаються дискусійними, перейдемо до формальних показників якості тестів і тестових завдань. До них належать[10],[11],[12] валідність та надійність, які характеризують тест у цілому, а також складність, коефіцієнт кореляції та коефіцієнт чи індекс дискримінації, що характеризують якість окремих завдань. Розглянемо ці показники тестів ЗНО докладніше.

1. Валідність тесту відбиває його придатність для досягнення мети тестування. В педагогічних тестах її зазвичай перевіряють шляхом зіставлення результатів тестування контрольної групи з результатами оцінювання незалежними експертами. Для тестів ЗНО валідність не визначається через необхідність дотримання таємниці. Але існують непрямі дані[13], що свідчать про слабку кореляцію між результатами ЗНО та успішністю першокурсників ВНЗ.

2. Надійність тесту відображає відтворюваність його результатів. Для тестів ЗНО її визначають за допомогою показника α-Кронбаха. Його розрахунок не потребує повторного проходження тесту, що принципово з погляду методики проведення тестів ЗНО. Для тестів ЗНО 2009-2012 р. значення цього показника перебувають у межах 0,80-0,97, що зазвичай вважають задовільним, якщо виконано умови його застосовності. Але цей коефіцієнт має певні недоліки й, відповідно до сучасних уявлень, може неадекватно відображати надійність тесту[14],[15]. Зокрема, він характеризує внутрішню узгодженість тестових завдань, але не стійкість результатів тестування, що є більш важливою властивістю з погляду цілей ЗНО. Крім того, його значення істотно залежить від кількості тестових завдань і, за певних умов, може бути високим навіть для негомогенних тестів. Втім, застосування інших показників надійності знов таки неможливо через необхідність забезпечення таємності.

3. Складність тестового завдання (P-value) в тестах ЗНО визначається як частка балів, набраних за його виконання всіма учасниками від максимальної сумарної кількості балів, яку вони могли б отримати (у відсотках). Тобто, що вищим є значення показника, то легшим є відповідне завдання. Відразу можна зауважити, що теорія тестування вимагає корегування цього показника на імовірність вгадування, але при підбитті підсумків ЗНО цього не роблять, тому відповідні дані є не зовсім коректними, що буде проілюстровано далі.

Уявлення про складність завдань ЗНО дають рис. 1, 2, де зображено загальні (для всіх тестів) розподіли цих показників по роках та розподіли за окремими дисциплінами для ЗНО 2011 р.

Рис. 1. Розподіли показників складності для ЗНО 2009-2011 р.

Загальний рівень складності тестових завдань протягом 2009-2011 р. є практично однаковим. Але в розрізі окремих дисциплін спостерігаються істотні відмінності. Найбільш складними для абітурієнтів виявилися тести з фізики та математики, де переважна більшість завдань належить до групи складних (значення показника в межах 20-40%) та дуже складних (менш, ніж 20%). Велику частку складних завдань містять також тести з німецької, французької та англійської мови, історії України, хімії, географії й біології.

Рис. 2. Розподіл показників складності тестових завдань ЗНО-2011 за окремими дисциплінами: Ф — фізика, М — математика, НМ — німецька мова, ФМ — французька мова, Х — хімія, ІУ — історія України, Г — географія, АМ — англійська мова, Б — біологія, УМЛ — українська мова та література, РМ — російська мова, ІМ — іспанська мова

Але, насправді, частка складних завдань виявиться ще більшою, якщо ми врахуємо імовірність вгадування. Проілюструємо це таким прикладом:

Завдання 54-го тесту з української мови та літератури першої сесії ЗНО-2011 є таким: «До «письменників-«шістдесятників» належать:

А. Олександр Довженко, Андрій Малишко.

Б. Василь Барка, Іван Багряний.

В. Дмитро Павличко, Василь Симоненко.

Г. Юрій Яновський, Микола Куліш.

Д. Максим Рильський, Микола Тичина».

Розподіл відповідей по цьому завданню є таким: А — 17,78%, Б — 15,98%, В (правильна відповідь) — 34,70%, Г — 15,18%, Д — 15,73%. За оцінкою УЦОЯО, його складність дорівнює 34,7%. Але якщо ми врахуємо, що з правильних відповідей приблизно 16,2% є результатом вгадування, а не знання правильної відповіді, то правильною оцінкою складності буде значення близько 18,5%.

На рис. 3 показано порівняння оцінок складності завдань для тесту з математики ЗНО-2011. З нього ми можемо побачити, що оцінки УЦОЯО в більшості випадків є істотно завищеними, тобто згідно з ними завдання є значно легшими для абітурієнтів, ніж вони є насправді. Зокрема, для вказаного тесту з математики медіанне значення скорегованих оцінок приблизно на 14% менше аналогічного значення оцінок УЦОЯО.

Рис. 3. Співвідношення показників складності завдань тесту з математики ЗНО-2011 за даними УЦОЯО і оцінок, скорегованих на імовірність вгадування

4. Коефіцієнти кореляції тестових завдань відбивають зв'язок між успішністю їх виконання та результатами тесту в цілому. Зазвичай, рекомендують відбраковувати завдання, для яких коефіцієнт кореляції є меншим, ніж 0,3, та корегувати завдання з коефіцієнтами кореляції меншими, ніж 0,5. Перше з цих граничних значень є загальноприйнятою у прикладній статистиці межею між відсутністю кореляції й слабкою кореляцією, а друге — межею між слабкою та помірною кореляцією двох показників.

На рис. 4, 5 зображено загальні (для всіх тестів) розподіли коефіцієнтів кореляції завдань по роках та їх розподіли за окремими дисциплінами для ЗНО 2011 р. Як і для показників складності, ми бачимо, що загальний розподіл коефіцієнтів кореляції тестових завдань у 2009-2011 р. є практично однаковим. Але у розрізі окремих дисциплін спостерігаються істотні відмінності.

З наведених даних легко побачити, що за цим показником переважна більшість тестових завдань з усіх дисциплін має коефіцієнти кореляції менше 0,5, тобто вони потребують корегування. А для таких дисциплін, як історія України, біологія, фізика, географія та російська мова половина чи більшість завдань має коефіцієнти кореляції менші, ніж 0,3, тобто вони взагалі не придатні для використання у тестах, оскільки успішність їх виконання не корелює з підсумковим результатом виконання тестів.

Можна виокремити такі можливі причини низьких значень коефіцієнтів кореляції тестових завдань:

— низький загальний рівень знань абітурієнтів з відповідної дисципліни;

— занадто легкі завдання;

— наявність завдань, що передбачають відповіді на непринципові з погляду оцінювання абітурієнтів питання;

— наявність окремих некоректних завдань, що містять декілька правильних відповідей, не містять правильних відповідей або передбачають вибір серед неоднозначних оціночних суджень (слід зазначити, що частка таких завдань є невеликою).

Рис. 4. Розподіл коефіцієнтів кореляції тестових завдань для ЗНО 2009-2011 р.

Рис. 5. Розподіл коефіцієнтів кореляції тестових завдань за окремими дисциплінами для ЗНО-2011

Прикладами завдань, де низькі значення коефіцієнтів кореляції визначаються низьким рівнем знань абітурієнтів, є завдання 13 (коефіцієнт кореляції 0,08) і багато інших завдань тесту з фізики та завдання 2 тесту з географії (коефіцієнт кореляції 0,26) ЗНО-2011. Останнє формулюється так: «Можна здійснити навколосвітню подорож, дрейфуючи за течією:

А. Куросіо.

Б. Гольфстрім.

В. Західних Вітрів.

Г. Південна Пасатна».

Понад 44% абітурієнтів тут вибрали відповідь «Гольфстрім».

Завдання 2 тесту з математики ЗНО-2011 мало коефіцієнт кореляції 0,29 і було таким: «Учитель роздав учням першого класу 72 зошити. Кожен учень отримав однакову кількість зошитів. Якому з поданих нижче чисел може дорівнювати кількість учнів у цьому класі?». Варіанти відповідей: А — 7, Б — 9, В — 10, Г — 11, Д — 14. Це завдання виявилося занадто легкім. Воно відповідає програмі початкової школи і непридатне для перевірки готовності абітурієнтів до вивчення університетських курсів вищої математики, навіть якщо йдеться про курси для студентів гуманітарних спеціальностей. Правильну відповідь (9) обрали 84,6% абітурієнтів. Навіть з урахуванням поправки на імовірність вгадування складність цього завдання є близькою до 81%.

Разом з тим, можна зазначити, що немає однозначного зв’язку між складністю завдань та їх коефіцієнтом кореляції (рис. 6). Як легкі, так і складні завдання можуть мати як високі, так і малі значення коефіцієнтів кореляції.

Рис. 6. Зв'язок між складністю та коефіцієнтами кореляції тестових завдань ЗНО 2009-2011 р.

Прикладом перевірки знання другорядних фактів є завдання 12 тесту з географії ЗНО-2011 (коефіцієнт кореляції –0,02): «У рифтових зонах серединно-океанічних хребтів відбувається:

А. Розходження літосферних плит.

Б. Зіткнення літосферних плит.

В. Складкоутворення по краях літосферних плит.

Г. Занурення літосферних плит одна під одну».

Безумовно, знання цих фактів відповідає програмі, але чи є це знання важливим для абітурієнтів економічних спеціальностей, які складають значну (якщо не більшу) частку тих, хто проходив тестування з географії? Розподіл відповідей абітурієнтів на це завдання був таким: А (правильна відповідь) — 23,32%; Б — 36,99%; В — 19,89%; Г — 19,66%. Тобто, бачимо, що вибір здійснювався переважно шляхом випадкового обрання одного з наявних варіантів.

5. Коефіцієнт (індекс) дискримінації (D-index) тестового завдання у ЗНО визначають як різницю між складністю завдання для сильної та слабкої груп. Він є близьким за змістом до коефіцієнта кореляції, бо фактично вимірює ту саму властивість завдання, але за спрощеною методикою. У доповіді[16] на конференції Higher Education in Ukraine: Internationalization, Reform, Innovation International Conference (April 20-21, 2012. Kyiv, Ukraine) було показано, що існує сильна лінійна кореляція між двома цими показниками. Тому ми не будемо наводити докладні результати аналізу коефіцієнтів дискримінації — вони є близькими до наведених вище результатів аналізу коефіцієнтів кореляції тестових завдань.

6. Додаткову інформацію про якість тестів надає аналіз успішності їх виконання абітурієнтами. На рис. 7 показано розподіл середніх балів (у відсотках до максимально можливого результату) по роках. Для всіх років розподіл результатів є приблизно однаковим, а їх розкид — досить сильним. Найгіршими практично у всі роки є результати з фізики та математики, де середній бал тестування коливався в межах 1/4-1/3 від максимально можливого. Лише в 2012 р. середній результат тестування з математики наблизився до 40% від максимально можливої кількості балів. Найкращими (53-60%) стабільно були результати тестування з іспанської мови.

Слід зазначити, що ці показники за університетською шкалою оцінювання ECTS є меншими, ніж потрібні для отримання мінімальної позитивної оцінки Е (60%). Лише для тесту з іспанської мови у 2012 р. середній бал трохи перевищив цю межу (60,2%). Втім, за підсумковою шкалою ЗНО всі вони еквівалентні 150-ти балам, а частіше й значно вищим підсумковим результатам тестування, оскільки через асиметрію розподілу середні бали є вищими за медіанні.

Рис. 6. Розподіл середніх балів абітурієнтів по дисциплінах тестування

Особливістю результатів ЗНО є великий розкид середніх балів між дисциплінами, що ілюструють показані на рис. 7 розподіли стандартних відхилень від середнього балу (у відсотках до відповідних середніх балів тестів).

Рис. 7. Розподіл стандартних відхилень від середнього балу

У середньому, стандартні відхилення коливаються від року до року в межах 40-50%, але для окремих дисциплін вони є значно вищими. Зокрема, для тесту з математики ЗНО-2009 стандартне відхилення дорівнювало близько 80%, а для тесту з німецької мови ЗНО-2010 — близько 74%. Втім, слід зазначити, що у 2011 та 2012 рр. спостерігалося поступове зменшення стандартних відхилень.

Зазвичай вважають9,12, що оптимальне значення стандартного відхилення є близьким до 1/3 від середнього балу, а його високі значення можуть свідчити про неоднорідність групи випробуваних, можливі порушення процедури тестування, низьку якість тестових завдань тощо. Наведені у звітах УЦОЯО гістограми розподілів результатів свідчать, що у більшості випадків групи абітурієнтів, що складали тести, є сильно неоднорідними. Але наведені вище дані про коефіцієнти кореляції тестових завдань вказують, що й це також може бути однією з причин високих стандартних відхилень.

Зрозуміло, що середні бали та інші показники розподілу результатів ЗНО залежать не тільки від тестових завдань, а й від рівня підготовленості абітурієнтів. Але наявні істотні відхилення результатів більшості тестів від нормального розподілу, а також низькі середні бали й високі стандартні відхилення ведуть до погіршення роздільної здатності тестів, особливо якщо враховувати наявність певної (й невідомої) статистичної похибки.

Статистичну похибку результатів тестування у першому наближенні можна оцінити за стандартним відхиленням тестових балів та надійністю тесту. Для ЗНО 2009-2012 р. за нашими оцінками середньоквадратичні похибки підсумкових балів перебувають в межах 5-9% від максимального первинного балу. Переведення цих показників у підсумкові бали неможливо через нелінійність використовуваного при цьому перетворення. Тобто, для різних значень первинних балів абітурієнтів та різних дисциплін похибки підсумкових балів будуть істотно різними. Межі 95% довірчого інтервалу для істинного підсумкового результату можуть відхилятися від одержуваних абітурієнтами оцінок ще більше. Наприклад, для тесту першої сесії ЗНО-2012 з української мови та літератури пороговому значенню (124 бали) відповідає істинне значення результату тестування, що перебуває в межах від 105 до 137. Для тестів з математики цей інтервал є ще більшим. Зокрема для тесту першої сесії ЗНО-2012 мінімальному прохідному балу (126,5) відповідає діапазон можливих значень істинного результату від 100,5 до 146.

У таблиці з нашої статті6 2012 р. наведено показники, що характеризують співвідношення між мінімальним прохідним балом, який відповідає 124-м підсумковим балам, та максимально можливим результатом відповідного тесту. Також тут показано ймовірності отримання мінімального прохідного балу шляхом випадкового вибору відповідей.

З цих даних можна, зокрема, побачити, що наведені мінімальні прохідні бали відповідають лише оцінці F за шкалою ECTS, яка передбачає необхідність повторного вивчення курсу.

Характеристика прохідних балів ЗНО

	Дисципліна	Мінімальний прохідний бал (% від максимально можливого)			Імовірність вгадування, %
		2009	2010	2011	2009	2010	2011
1	Українська мова та література	23	25	23-26	0	0	0
2	Математика	7	13	12	59	22	38
3	Історія України	22	23	29	9	3	0
4	Хімія	19	21	18	0	0	0
5	Фізика	12	13	16	62	44	15
6	Географія	24	26	27	0	0	0
7	Біологія	24	25	30	2	1	0
8	Англійська мова	20	12	16	0	0	0
9	Німецька мова	18	10	13	0	0	0
10	Французька мова	18	14	16	15	1	0
11	Іспанська мова	18	13	15	0	0	0
12	Російська мова	–	–	27	–	–	0

 Разом з тим, наведені в таблиці дані свідчать, що критика стосовно високої ймовірності отримання прохідних балів шляхом вгадування є обґрунтованою лише стосовно тестів з фізики та математики. Для інших тестів імовірність отримання навіть мінімальних 124-х балів випадковим вибором відповідей близька до нуля. 

Підбиваючи підсумки, можна звернути увагу на таке. Важливою проблемою забезпечення якості ЗНО, на думку автора, є необхідність створення достатньо великих структурованих баз тестових завдань. Це дало б змогу дотримуватися загальних правил складання педагогічних тестів й, зокрема, відбраковувати завдання, що не задовольняють ті чи інші критерії якості. Це також зняло б проблему забезпечення таємності, бо випадковий вибір тестових завдань з великої бази — це краща гарантія того, що результати будуть відбивати реальні знання абітурієнтів, а не їх вміння заздалегідь знайти чи придбати правильні відповіді.

 [1]Офіційний звіт про проведення зовнішнього незалежного оцінювання знань випускників загальноосвітніх навчальних закладів України в 2009 р. — Київ: Український центр оцінювання якості освіти, 2009. — 321 с.

  Володимир Бахрушин, д.ф.-м.н., професор, академік АН вищої школи України