Як і у попередній статті, основну увагу цього аналізу буде приділено формальним показникам якості тестів та тестових завдань. Бо навіть найкращі з погляду змісту та методики викладання завдання непридатні для тестового контролю, якщо вони не задовольняють вимоги до цих формальних показників.

Стосовно тестів у цілому такими показниками є надійність та валідність, а до основних формальних показників якості завдань належать їхні складність, коефіцієнт кореляції та дискримінативність (коефіцієнт дискримінації, D-індекс) [2, 3]. 

Інформацію про основні формальні показники якості тестів ЗНО з фізики, взяту з офіційних звітів Українського центру оцінювання якості освіти за 2007 – 2013 р. ( ), наведено у табл. 1.

Таблиця 1

Деякі показники якості тестів ЗНО з фізики

Показник	Рік
	2007	2008	2009	2010	2011	2012	2013
Альфа Кронбаха	0,82	0,81	0,80	0,86	0,80	0,83	0,81
Середній бал (у % від максимально можливого)	23,5	35,9	26,5	32,8	29,8	32,0	31,2
Стандартне відхилення (у % від максимально можливого балу)	16,1	17,2	14,6	18,7	13,4	16,0	15,6
Середня складність завдань (%)	21,5	34,3	26,4	34,5	31,3	32,8	32,5
Середня розподільна здатність завдань (%)	37	38	32	42	30	35	32

Ретестова надійність відбиває відтворюваність результатів при повторних випробуваннях. З погляду цілей ЗНО саме вона мала б бути основним показником надійності тестів, оскільки характеризує стійкість підсумкових балів абітурієнтів до неконтрольованих випадкових факторів і дає змогу оцінити стандартну похибку підсумкового балу. У звітах УЦОЯО оцінка стандартної похибки тестів з фізики наведена лише для ЗНО 2007 р., коли вона дорівнювала 4,12. Ця величина є близькою до отриманих нами непрямих оцінок стандартної похибки, що наведені у [4]. Для пояснення змісту цієї величини розглянемо одержаний абітурієнтом первинний бал за складання тесту ЗНО 2007 р. з фізики, який позначимо літерою А. Він складається зі справжньої оцінки його навчальних досягнень і певної статистичної похибки, зумовленої випадковими факторами. Згідно із законами математичної статистики, для наведеного значення стандартної похибки справжня оцінка абітурієнта, очищена від впливу випадкових факторів, з імовірністю 95% перебуває приблизно у межах від А – 8 до А + 8. Тобто інтервал її невизначеності має ширину близько 16 балів. Це при тому, що максимальна можлива оцінка з цього тесту дорівнювала 60 балам, а середній бал був трохи більшим, ніж 14. Звісно, ми можемо врахувати, що 4,12 – це усереднене значення стандартної похибки, і для основної маси абітурієнтів вона була дещо меншою. Але все одне ця похибка є занадто великою для такого відповідального заходу, як ЗНО. Тестування 2007 р було першим досвідом. Але для наступних років дані про стандартні похибки результатів відсутні.

Величина альфа Кронбаха характеризує надійність тесту, як внутрішню узгодженість його завдань, тобто їхню здатність характеризувати одну й ту саму вимірювану величину. Оскільки необхідні для визначення ретестової надійності повторні випробування під час ЗНО неможливі,  у звітах УЦОЯО обмежуються наведенням лише цієї характеристики надійності. Для тестів ЗНО 2007 – 2013 р. з фізики вона перебуває в межах 0,80 – 0,86. Зазвичай вважають, що такі значення свідчать про достатню надійність. Але, як було вказано в попередній статті [1], за нашими оцінками вони відповідають середньому коефіцієнту кореляції тестових завдань менш, ніж 0,3. Тобто успішність виконання окремих завдань у такому тесті практично не впливає на успішність виконання тесту у цілому. Тому можна зробити висновок, що надійність тестів ЗНО з фізики необхідно підвищувати.

Для тестів ЗНО з фізики, як і для тестів з математики, проблематично визначити їхні критеріальну та конструктну валідність. Фактично, переважна частина завдань тестів з фізики найбільшою мірою відповідає моделі успішного студента, як такого, що здатний швидко розв’язати велику кількість достатньо простих задач. Стосовно тестів з фізики ця модель може бути прийнятною для абітурієнтів, що вступають на інженерні, математичні та педагогічні напрями підготовки, але вона не відповідає вимогам до студентів, що навчатимуться за фізичними (не педагогічними) напрямами. Слід зазначити, що тести містять і певну кількість більш складних завдань, які потенційно могли б слугувати для диференціювання більш підготовлених абітурієнтів. Але психометричні показники цих завдань свідчать, що вони не виконують цю функцію належним чином. 

Для тестів ЗНО з фізики, як і для тестів з математики, існує проблема, пов’язана з тим, що змістову валідність тестів розробники намагаються забезпечити через відповідність їхніх завдань вимогам програми загальноосвітньої школи, а не потребам освітніх програм вищої школи. Проте для тестів з фізики вона є менш критичною, тому що, на відміну від курсів вищої математики, вивчення фізики у ВНЗ починається з базових понять, а загальна тематична структура курсу загальної фізики значною мірою збігається з аналогічною структурою шкільного курсу. Різниця між цими курсами полягає насамперед не у тематиці, як це має місце для математики, а у строгості викладу матеріалу і використовуваному математичному апараті. У табл. 2 показано, як змінювалося співвідношення кількості завдань з різних розділів фізики у тестах ЗНО з 2007 по 2013 р.

Таблиця 2

Розподіл змісту тестів ЗНО з фізики

Показник	Рік
	2007	2008	2009	2010	2011	2012	2013
Механіка	22,9	22,9	22,9	21,6	22,2	22,2	23,5
Молекулярна фізика та термодинаміка	20,0	17,1	17,1	18,9	19,4	19,4	20,6
Електрика та магнетизм	28,6	25,7	28,6	27,1	30,7	30,7	26,5
Коливання та хвилі. Оптика	17,1	22,9	20,0	21,6	19,4	19,4	20,6
Квантова фізика. Елементи теорії відносності	11,4	11,4	11,4	10,8	8,3	8,3	8,8

Можна зазначити, що в цілому пропорції між розділами протягом всіх років зберігаються і відповідають пропорціям шкільної програми. Втім до тестів потрапляють окремі завдання із другорядних з погляду потреб подальшого навчання тем. Наприклад, в тесті 2013 р. завдання 8 стосується знання принципу роботи психрометра. Цей принцип вивчається у шкільному курсі фізики, але сьогодні психрометри мають досить вузьку сферу практичного застосування і у вузівських курсах фізики не вивчаються. Також їх не вивчають у спеціальних дисциплінах для переважної більшості інженерних напрямів підготовки. Тому включення подібних завдань до тестів ЗНО, метою якого є відбір абітурієнтів до ВНЗ, недоцільно.

Як було зазначено в [1], виходячи з необхідності забезпечення максимальної роздільної здатності тестів, бажано мати середній бал (до перерахунку результатів у шкалу від 100 до 200) близьким до 50% від максимально можливого значення, а стандартне відхилення – близьким до 1/3 від середнього балу. Але для тестів ЗНО з фізики, як видно з даних табл. 1, середні бали є істотно меншими, а стандартні відхилення – значно більшими, ніж вказані оптимальні значення. На відміну від тестів з математики, де спостерігається така саме закономірність, гістограми розподілу первинних результатів тестування, які наведено у звітах УЦОЯО, свідчать, що групи абітурієнтів, які складали тести, є більш-менш однорідними. Але розподіл їхніх результатів сильно асиметричний. Це можна розглядати, як свідчення недостатньої адаптованості рівня складності тестових завдань до рівня підготовки наявних абітурієнтів. Докладніше це питання буде розглянуте трохи нижче.

Розглянемо тепер формальні показники якості завдань тестів ЗНО з фізики. Дані про їхні значення у звітах УЦОЯО наявні лише до 2011 р. У звітах за 2012 та 2013 рр. вони відсутні.

 УЦОЯО виокремлює такі класи завдань за їхньою складністю: дуже складні – значення відповідного показника менше 20%, складні – від 20 до 40%, оптимальні за складністю – від 40 до 60%, легкі – від 60 до 80% та дуже легкі – понад 80%. Зазвичай рекомендують не включати до тестів дуже легкі та дуже складні завдання. Втім, оскільки ЗНО має вирізняти найбільш підготовлених абітурієнтів, наявність невеликої кількості дуже складних завдань тут може бути доцільною. Дуже легкі завдання в тестах ЗНО є зайвими, оскільки не впливають на ранжирування абітурієнтів. Для тестів з фізики характерною рисою є велика частка дуже складних завдань. Зокрема в тесті ЗНО-2013 таких завдань було 35%, а дуже легких – 3%, у тесті 2012 р. – відповідно, 25% та 0%, в тесті 2011 р. – 27% та 0%. Частка оптимальних за складністю завдань в ці роки дорівнювала, відповідно, 24%, 36% та 25%. При оцінюванні складності завдань УЦОЯО не здійснює корегування на імовірність вгадування правильної відповіді, а частка завдань з вибором відповіді у підсумковому балі абітурієнтів, що складають тести з фізики є досить великою. Тому насправді, частка дуже складних завдань є значно більшою, ніж визначає УЦОЯО. У цілому для тестів ЗНО 2009 – 2011 р. з фізики вона, за оцінками автора, є близькою до 50 – 55%.

Структура тестів з фізики ЗНО останніх років передбачає наявність завдань з вибором правильної відповіді із заданих варіантів, завдань на встановлення відповідності і завдань відкритої форми з короткою відповіддю. В останньому тесті ЗНО-2013 кількість завдань кожного типу дорівнювала, відповідно, 20, 4 та 10, в тесті 2012 р. – 26, 4 та 6, а в тесті 2011 р, звіт про проведення якого ще містить психометричні показники окремих завдань, кількість завдань вказаних типів була рівною 25, 4 та 7. Характеристики складності завдань цього тесту за окремими групами наведено у табл. 3.

Таблиця 3

Характеристики складності завдань тесту з фізики ЗНО-2011

Середня складність всіх завдань	31,3
Завдання з вибором відповіді	37,0
Завдання на встановлення відповідності	37,8
Завдання з короткою відповіддю	7,3
Для завдань з вибором відповіді за розділами
Механіка	39,5
Молекулярна фізика та термодинаміка	30,3
Електрика та магнетизм	35,6
Коливання та хвилі. Оптика	38,2
Квантова фізика. Елементи теорії відносності	48,0

З наведених даних бачимо, що найскладнішими, як і в тестах з математики, є завдання з короткою відповіддю. Їхній аналіз вказує, що насправді вони мають приблизно таку саму складність, що і завдання інших груп, а інколи взагалі є досить простими. Прикладом є завдання 34 тесту 2011 р., де для отримання відповіді треба визначити з наведеного графіка два числа, а потім поділити одне з них на інше. Але для цього потрібно знати закон Фарадея, що, імовірно, і стало каменем спотикання для 91,5% абітурієнтів, які не впоралися із завданням. Тому основним фактором, що визначає низькі значення формального показника складності для завдань з короткою відповіддю, є відсутність варіантів відповідей, що позбавляє абітурієнта можливості отримувати відповіді шляхом вибору одного з варіантів навмання або перевіряти отримані розв'язки і у випадку необхідності виправляти помилки. 

Для завдань з вибором правильної відповіді з чотирьох запропонованих варіантів, які пропонуються в тестах ЗНО з фізики, середня складність у випадку вибору відповідей навмання має бути близькою до 1/4 або 25%. В тесті з фізики ЗНО-2011 з 25 завдань з вибором відповіді 7 мають близькі до цієї величини або навіть менші значення показника складності. Зокрема, для завдання 5 цього тесту, де треба було визначити ККД блокового механізму,  показник складності дорівнює 14,58. Аналіз вибору варіантів відповідей вказує на те, що близько 35% абітурієнтів "свідомо" обирали неправильну відповідь В, а інші навмання обирали один з наявних варіантів. "Свідомий" вибір неправильної відповіді тут був зумовлений тим, що тільки її можна було легко отримати, граючись з наведеними у завданні числами без розуміння сенсу виконуваних дій. Для отримання ж правильної відповіді треба було розуміти значення поняття "ККД" і додатково врахувати інформацію з рисунку. В більшості інших завдань, що виявилися дуже складними для абітурієнтів, також головною причиною цього є нерозуміння абітурієнтами базових понять і законів фізики. Разом з тим, слід зазначити, що деякі із завдань з вибором відповіді можна було б дещо спростити, зменшуючи кількість дій, які абітурієнти повинні виконати для отримання правильної відповіді. Це мало б призвести до збільшення частки абітурієнтів, які намагаються розв’язати задачі, а не вгадати відповідь.

Важливим формальним показником якості тестових завдань є також їхній коефіцієнт кореляції. Він відбиває наявність зв'язку між успішністю виконання відповідного завдання та підсумковими балами з тесту. Значення коефіцієнтів кореляції завдань для тесту з фізики ЗНО-2011 за окремими групами наведено у табл. 4.

Таблиця 4

Коефіцієнти кореляції завдань тесту з фізики ЗНО-2011

Середній коефіцієнт кореляції всіх завдань	0,28
Завдання з вибором відповіді	0,24
Завдання на встановлення відповідності	0,38
Завдання з короткою відповіддю	0,37
Для завдань з вибором відповіді за розділами
Механіка	0,31
Молекулярна фізика та термодинаміка	0,23
Електрика та магнетизм	0,19
Коливання та хвилі. Оптика	0,24
Квантова фізика. Елементи теорії відносності	0,28

Значення коефіцієнтів кореляції якісних завдань мають бути більшими, ніж 0,5. Значення в межах 0,3 – 0,5 свідчать про наявність слабкої кореляції і необхідність корегування завдань, а менші значення – про відсутність статистично значимої кореляції між успішністю виконання завдань та результатами тесту у цілому. З таблиці 4 ми бачимо, що вимоги до коефіцієнтів кореляції не задовольняють завдання жодної групи. Із семи завдань з короткою відповіддю два мають коефіцієнти кореляції понад 0,5, три – в межах від 0,3 до 0,5 і ще два – менше 0,3. Із чотирьох завдань на встановлення відповідності одне має коефіцієнт кореляції понад 0,5, два – в межах від 0,3 до 0,5 і ще одне – менше 0,3. Серед 25 завдань з вибором відповіді жодне не має коефіцієнта кореляції понад 0,5, для дев'яти цей показник перебуває в межах від 0,3 до 0,5 і для 16 завдань він є меншим, ніж 0,3. 

Найнижчим (0,01) коефіцієнт кореляції є для завдання 16, де потрібно було визначити силу струму для заданої електричної схеми. D-індекс цього завдання теж є вкрай низьким і дорівнює 6,79. Розподіл відповідей (31,0 – правильна відповідь; 29,1; 22,9 та 16,8) свідчить про те, що близько 70% абітурієнтів навмання обирали один із запропонованих варіантів відповідей. Інші абітурієнти правильно визначили напрям, у якому змінюється сила струму порівняно із вихідним станом, і вгадували відповідь з трьох варіантів, що залишилися. При цьому більшість з них, імовірно, побоялися вибрати занадто "просту" відповідь В (сила струму дорівнює 1А). 

Для багатьох інших завдань з вибором відповіді, що мають низькі коефіцієнти кореляції ми можемо побачити аналогічну ситуацію. Переважна більшість абітурієнтів не розв’язує задачу, а намагається вгадати правильну відповідь. У окремих випадках низькі коефіцієнти кореляції можна пояснити надмірною ускладненістю завдань, розв'язання яких передбачає виконання певного ланцюжка перетворень та розрахунків. Але така саме ситуація спостерігається і для досить простих завдань. Зокрема, це стосується завдання 21, де треба визначити відстань між збиральною лінзою з відомою оптичною силою та зображенням предмету, розташованого на відомій відстані від лінзи (коефіцієнт кореляції – 0,27; складність – 25,16%, D-індекс – 25,55).

На рисунку зображено зв'язок між коефіцієнтами кореляції та складністю завдань тестів ЗНО 2009 – 2011.

Рисунок. Взаємозв'язок між коефіцієнтами кореляції та складністю завдань тестів ЗНО 2009 – 2011

Бачимо, що загалом розкид показників для всіх трьох років є приблизно однаковим. Частка завдань, що одночасно мають незадовільні показники якості за коефіцієнтами кореляції та складністю (скорегованою на імовірність вгадування) є доволі високою (понад 20%). Лише два із 108 завдань тестів ЗНО з фізики 2009 – 2011 рр. мають задовільні значення обох показників. В обох випадках це завдання на встановлення відповідності (№ 26 в тесті 2010 р. та № 28 в тесті 2011 р.). Також звертає увагу відсутність дуже складних завдань з високими (понад 0,7) значеннями коефіцієнта кореляції. Це є істотним недоліком, адже саме такі завдання є оптимальними для ранжирування найбільш підготовлених абітурієнтів.

Зазвичай для освітніх тестів визначають ще один показник якості завдань – це коефіцієнт дискримінації, або D-індекс. Але насправді його можна розглядати як дещо спрощену для розрахунків форму коефіцієнта кореляції. Обидва показники характеризують статистичний зв'язок між успішністю виконання окремого завдання і підсумковим балом тестування. Тому не дивно, що між ними існує тісний статистичний зв'язок [1] (для тестів з фізики ЗНО 2009 – 2011 р. коефіцієнт кореляції цього зв’язку дорівнює 0,64), і оцінки якості завдань ЗНО за D-індексами є приблизно такими самими, як і їхні оцінки за коефіцієнтами кореляції.

Декілька слів про інші аспекти якості завдань стосовно останнього тесту з фізики ЗНО-2013. Дані про психометричні показники у звіті УЦОЯО наведено лише для окремих завдань. Тому для переважної частини тесту ми не можемо сказати, які завдання є хорошими, а які поганими з погляду формальних вимог освітнього тестування. 

Більшість завдань з вибором відповіді, що належать до механіки, є коректними і відповідають неформальним вимогам (зміст, формулювання, вибір дистракторів тощо) теорії освітнього тестування. Вони спрямовані на перевірку знання базових понять і законів і не потребують виконання громіздких розрахунків. Виключенням є завдання 4, де потрібно визначити коефіцієнт жорсткості окремих частин пружини після того, як її розрізали навпіл. Таку задачу іноді включають до шкільних підручників та задачників. Коефіцієнт жорсткості є характеристикою, що залежить від матеріалу, форми та розмірів пружини. Але цей зв'язок в межах шкільного курсу фізики не вивчають. Тому для розв'язання цієї задачі зазвичай використовують позбавлені фізичного змісту формальні перетворення, які дають змогу штучно отримати правильну відповідь, але не мають якогось фізичного сенсу. До речі, як випливає із звіту УЦОЯО, правильну відповідь на цю задачу абітурієнти не шукали, а намагалися вгадати серед трьох варіантів, бо четвертий варіант відповіді був, на їхню думку, явно неправильним.

Єдиним істотним зауваженням до завдань з розділу "Молекулярна фізика та термодинаміка" є зазначена вище другорядність знання роботи психрометра, що перевіряється у завданні 8, з погляду успішності наступного навчання за фізичними та інженерними напрямами підготовки. Не дивно, що це завдання потрапило до групи дуже складних.

У варіантах відповідей до завдання 11, що належить до розділу "Електрика та магнетизм", порушено принцип однорідності дистракторів. Бо закон збереження енергії існує, а законів збереження напруження та напруги немає. Завдання 12 вирізняється від інших істотно більшим обсягом потрібних для отримання результату розрахунків. В завданнях з вибором відповіді це недоцільно, оскільки стимулює значну частку абітурієнтів не розв’язувати задачу, а вгадувати правильний варіант. Через це погіршується спроможність тесту розрізняти тих абітурієнтів, які можуть розв’язувати відносно прості задачі, і тих, хто не може робити навіть цього. Стосовно інших завдань з вибором відповіді суттєвих зауважень немає.

Немає також істотних зауважень до завдань на встановлення відповідності. Але у завданні 23 не зовсім правильно було називати перелічені ефекти (спричиняє засмагу; застосовується в приладах нічного бачення; сприймається зором людини; виникає в результаті гальмування швидких електронів на аноді; виникає в результаті самочинного розпаду атомних ядер) характеристиками випромінювань. Крім того, коректніше було б говорити не про те, що випромінювання щось спричиняє, десь застосовується тощо, а про те, що воно може спричиняти, може застосовуватися, може сприйматися, може виникати. 

У завданні 24 не зовсім правильно створення першого ядерного реактора називають відкриттям, автором якого є Е. Фермі. По-перше, реактор – це технічний пристрій, що використовує певні фізичні відкриття, але не є сам таким відкриттям. По-друге, у створенні реактора брав участь великий колектив науковців, інженерів та інших фахівців. Е. Фермі був одним з провідних розробників та науковим керівником цього проекту, але не одноосібним автором реактора. 

До завдань з короткою відповіддю суттєвих зауважень немає. Вони є дещо різними з погляду обсягу необхідних розрахунків. Але, на відміну від завдань з вибором відповіді, тут це не є недоліком, бо саме ця група завдань призначена для ранжирування найбільш підготовлених абітурієнтів.

Тести ЗНО з фізики, як і тести з математики, потребують вдосконалення, насамперед, в напряму покращення психометричних показників завдань. Враховуючи загальний досить низький рівень підготовки переважної більшості абітурієнтів, одним із заходів тут може бути більш цілеспрямована орієнтація завдань на перевірку знань та розуміння фундаментальних понять і законів фізики. Це дало б абітурієнтам змогу при підготовці до ЗНО сконцентрувати увагу на найбільш принципових з погляду подальшого навчання питаннях і краще підготуватися до тестування.

1. В.Бахрушин. Якість тестів ЗНО з математики. /ua/articles/229-yakist-testiv-zno-z-matematiki.

2. Ким В.С. Тестирование учебных достижений. — Уссурийск: Издательство УГПИ, 2007. — 214 с.

3. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. — 432 с.

4. В.Бахрушин. Наскільки якісними є тести ЗНО? /ua/articles/archive/107-naskilki-yakisnimi-e-testi-zno.

                                                 Володимир Бахрушин, доктор фізико-математичних наук, професор