Укр Рус

Дата: 22.02.2019

Підписка на новини

Якість тестів ЗНО з математики

Автор:
Володимир Бахрушин
Опубліковано
11.03.2014

В останні роки зовнішнє незалежне оцінювання (ЗНО) стало основним інструментом відбору студентів до вищих навчальних закладів України. У зв’язку з цим питання якості тестів і, зокрема, тестових завдань ЗНО привертають постійну увагу освітянської громадськості. Автор вже обговорював на цьому порталі деякі загальні питання якості тестів ЗНО [1, 2]. В цій статті більш докладно буде розглянуте питання якості тестів з математики.

Існує дуже багато підходів до оцінювання якості тестів і тестових завдань для ЗНО та інших систем освітнього тестування. Зокрема, часто звертають увагу на їхню відповідність програмам загальноосвітніх навчальних закладів, дотриманню звичних для випускників формулювань понять, узгодженості з офіційно затвердженими шкільними підручниками тощо. У цій статті я не буду торкатися цих питань, бо не є працівником системи загальної освіти і не володію в достатній мірі необхідним досвідом викладання математики у загальноосвітніх навчальних закладах. З іншого боку, оскільки ЗНО є інструментом відбору до вищих навчальних закладів, якість тестів треба оцінювати і з погляду їхньої відповідності потребам тих напрямів підготовки, за якими будуть навчатися майбутні студенти.

При оцінюванні якості особливу увагу звертають на її формальні показники [3, 4]. Стосовно тестів у цілому – це їхні надійність та валідність. До основних формальних показників якості завдань належать їхні складність, коефіцієнт кореляції та дискримінативність (коефіцієнт дискримінації, D-індекс). Значення цих показників розраховують у межах певних припущень, які не завжди виконуються при реальному тестуванні. Зокрема, для тестів ЗНО важливими є обмеження, пов’язані із забезпеченням таємності тестових завдань. Крім того, велика кількість даних, що відповідають одночасному складанню одного й того самого тесту багатьма учасниками (для тестів з математики кількість тестованих коливається приблизно в межах 100 – 200 тис. осіб), дає змогу використовувати для аналізу якості тестів складніші моделі і, відповідно, отримувати повнішу характеристику якості тестових завдань, ніж те, що передбачено класичною теорією тестування. Говорячи про формальні показники, відразу слід зазначити, що їхні незадовільні значення у контексті ЗНО свідчать насамперед про непридатність відповідних завдань для ранжирування конкретної групи абітурієнтів. Тобто про їхню невідповідність вимогам саме тестових технологій контролю. При цьому за іншими характеристиками такі завдання іноді можуть бути бездоганними. Тому оцінювання якості тестів і, особливо, тестових завдань слід починати з аналізу саме формальних показників. 

Розглянемо докладніше основні формальні показники якості тестів ЗНО з математики. Інформацію про них взято з офіційних звітів Українського центру оцінювання якості освіти за 2007 – 2013 р., які наведено на сайтах www.testportal.gov.ua та www.osvita.org.ua. Деякі з показників наведено у табл. 1.

 Таблиця 1

Деякі показники якості тестів ЗНО з математики

Показник

Рік

2007

2008

2009

20101

20102

2011

20121

20122

20131

20132

Середній бал (у % від максимально можливого)

28,9

20,1

25,7

36,2

34,7

30,7

37,9

40,1

33,6

29,5

Стандартне відхилення (у % від максимально можливого балу)

20,9

14,4

20,5

21,2

21,9

19,3

20,7

20,3

18,6

19,4

Середня складність завдань (%)

29,0

29,0

33,9

38,0

37,8

31,6

38,8

40,9

33,7

29,8

Середня розподільна здатність завдань (%)

52

39

53

53

55

44

48

48

47

44

Альфа Кронбаха

0,92

0,80

0,90

0,90

0,92

0,89

0,88

0,89

0,88

0,89

Надійність тесту характеризує його якість як інструмента вимірювання, стійкість результатів тестування до зовнішніх факторів. Вирізняють два види надійності – внутрішню узгодженість тестів та їхню ретестову надійність. Перша відбиває здатність тестових завдань характеризувати одну й ту саму вимірювану величину. Друга – відтворюваність результатів при повторних випробуваннях. З погляду цілей ЗНО важливішим є другий показник, оскільки він дає змогу оцінити статистичну похибку підсумкового балу. Але повторні випробування під час ЗНО неможливі, тому обмежуються лише визначенням величини альфа Кронбаха, що характеризує внутрішню узгодженість. Для тестів ЗНО 2007 – 2013 р. вона перебуває в межах 0,88 – 0,92 (крім ЗНО-2008, коли ця величина була меншою і дорівнювала 0,80). Зазвичай вважають, що у випадках, якщо значення альфа Кронбаха перевищує 0,8, надійність тесту є достатньо високою. Проте наші розрахунки показують, що це не зовсім так. Існує досить сильний зв'язок між цією величиною і середніми значеннями коефіцієнта кореляції та розподільної здатності завдань тестів ЗНО. Для коефіцієнта кореляції найчастіше висувають вимогу, що він має бути більшим, ніж 0,5. Якщо він перебуває в межах 0,3 – 0,5 завдання потребує корегування, а якщо коефіцієнт кореляції є меншим, то завдання необхідно вилучити з тесту. Цим пороговим значенням коефіцієнта кореляції, за нашими оцінками, відповідають значення альфа Кронбаха, відповідно, 0,86 та 0,95. Звідси можна зробити висновок, що надійність тестів ЗНО з математики є недостатньою.

Іншим важливим показником освітніх тестів є їхня валідність. Вона характеризує придатність тесту для вирішення саме тих завдань, заради яких здійснюють тестування. Вирізняють багато різних типів валідності [5]. Зокрема, це змістова, критеріальна та конструктна валідність. Встановлення критеріальної валідності передбачає перевірку статистичного зв’язку між результатами тестування та певним зовнішнім критерієм. З погляду цілей ЗНО найбільш корисною могла б бути перевірка їхніх результатів з успішністю наступного навчання студентів у ВНЗ. Але для тестів ЗНО з окремих дисциплін таких даних практично немає.

Проблематичним є також і визначення конструктної валідності тестів, бо це передбачає необхідність мати певну модель успішного студента. Насправді такі моделі, мають бути різними для різних типів ВНЗ і різних напрямів підготовки.  Тому при розробці тестів ЗНО, у тому числі, й тестів з математики їх не використовують. Фактично, як зазначалося у [6, 7], існуючи тести найбільшою мірою відповідають моделі успішного студента, як такого, що здатний швидко розв’язати велику кількість достатньо простих задач. Така модель може бути прийнятною для абітурієнтів, що вступають на інженерні та економічні напрями підготовки, але вона не здатна забезпечити виконання вимог до студентів, що будуть навчатися за фізико-математичними напрямами.

Специфічною проблемою забезпечення конструктної валідності тестів ЗНО з математики є необхідність враховувати те, що роль математики в загальній освіті не зводиться до отримання школярами певних знань та вмінь. Вивчення математики має також велике значення для розвитку здатності школярів до логічного мислення, пам'яті та інших важливих для дорослої людини (і, зокрема, для майбутнього студента) якостей. При цьому оптимальне співвідношення цих якостей для студентів різних напрямів підготовки також є різним.

Змістова валідність тесту характеризує його відповідність предметній галузі. Стосовно ЗНО існує загальна проблема, пов'язана з тим, що змістову валідність тестів намагаються забезпечити через відповідність їхніх завдань вимогам програм загальноосвітньої школи. Звісно, що зміст завдань не може виходити поза межі цих програм. Але ж тести ЗНО сьогодні є не інструментом підсумкового контролю в системі загальної освіти, а інструментом відбору студентів до вищих навчальних закладів, де різні напрями підготовки висувають різні вимоги до структури знань абітурієнтів з конкретних розділів і тем. 

У табл. 2 показано, як змінювалося співвідношення кількості завдань з різних розділів математики у тестах ЗНО з 2007 по 2013 р.

Таблиця 2

Розподіл змісту тестів ЗНО з математики 

Показник

Рік

2007

2008

2009

2010

2011

2012

2013

 

Числа і вирази

24,0

22,2

21,2

22,2

22,9

21,9

21,2

Рівняння і нерівності

27,0

27,8

21,2

16,7

20,0

18,8

18,2

Функції

24,0

22,2

18,2

16,7

17,1

18,8

21,2

Елементи комбінаторики, початки теорії імовірностей та елементи статистики

5,0

8,3

9,1

8,3

5,7

6,3

6,1

Планіметрія

9,0

8,3

12,1

16,7

20,0

18,8

18,9

Стереометрія

11,0

11,2

18,2

19,4

14,3

16,5

15,6

Алгебра та початки аналізу (разом)

80,0

80,5

69,7

63,9

65,7

65,6

66,7

Геометрія (разом)

20,0

19,5

30,3

36,1

34,3

35,3

33,3

Найбільш відчутними тенденціями тут є різке зменшення частки завдань, що належать до розділу "Рівняння і нерівності" та відчутне збільшення частки завдань з геометрії. Якщо проаналізувати узгодженість існуючого розподілу з потребами подальшого вивчення математичних та спеціальних дисциплін у вищій школі, то, на мою думку, він не є оптимальним. Зокрема, доцільно було б збільшити частку завдань, що стосуються початків теорії імовірностей та елементів статистики, знання яких в тій чи іншій мірі потрібні для всіх студентів. І не тільки при вивченні математичних курсів. Натомість можна було б зменшити кількість завдань зі стереометрії, знання якої використовуються переважно при підготовці фахівців за фізико-математичними та інженерними напрямами.

Поряд з валідністю та надійністю корисну інформацію про якість освітніх тестів надають середній бал тестованих та стандартне відхилення результатів. З погляду цілей ЗНО оптимальними значеннями цих показників є такі, які забезпечують максимальну роздільну здатність тесту, що дає змогу надійніше визначати підсумкові бали та ранжирувати абітурієнтів. Це досягається, якщо середній бал перебуває поблизу середини вимірювальної шкали. Для наведених у табл. 1 даних це відповідає 50%. Оптимальні значення стандартного відхилення мають бути близькі приблизно до 1/3 середнього балу. Насправді, як видно з даних табл. 1, середні бали є істотно меншими, а стандартні відхилення – значно більшими, ніж вказані оптимальні значення. Це може бути наслідком не тільки недостатньої якості завдань, але і суттєвої неоднорідності групи абітурієнтів, що беруть участь у тестуванні з математики. Про це, зокрема, свідчать гістограми розподілу первинних результатів тестування, які наведено у звітах УЦОЯО.

Розглянемо тепер формальні показники якості завдань тестів ЗНО з математики. Дані про їхні значення у звітах УЦОЯО наявні лише до 2011 р. У звітах за 2012 та 2013 рр. вони відсутні.

 Відповідно до класифікації, що використовує УЦОЯО, оптимальними за складністю є завдання, для яких відповідний показник перебуває у межах 40 – 60%. Завдання, складність яких дорівнює 20 – 40% та 60 – 80% зараховують, відповідно, до складних та легких; а завдання зі складністю менш 20% та понад 80% – до дуже складних і дуже легких. Зазвичай завдання останніх двох груп рекомендують не включати до тестів. Але, враховуючи специфіку ЗНО, де потрібно добре вирізняти найбільш підготовлених абітурієнтів, наявність певної кількості дуже складних завдань можна вважати доцільною. Втім, їхня частка не повинна бути дуже високою. Натомість дуже легкі завдання, які успішно виконує переважна більшість абітурієнтів, не впливають на їхнє ранжирування і тому не потрібні в тестах ЗНО. Для тестів з математики характерною рисою є велика частка дуже складних завдань. Зокрема в тестах ЗНО-2013 таких завдань було по 30%, а дуже легких – по 3%. Враховуючи те, що при оцінюванні складності завдань, УЦОЯО не здійснює корегування на імовірність вгадування, реальна частка дуже складних завдань є ще більшою. Спробуємо розібратися, що це за завдання і чому вони є дуже складними для абітурієнтів.

Структура тесту передбачає наявність завдань з вибором правильної відповіді із заданих варіантів, завдань на встановлення відповідності і завдань відкритої форми з короткою відповіддю. В останньому тесті ЗНО-2013 кількість завдань різного типу дорівнювала, відповідно, 20, 4 та 9. В тесті ЗНО-2011, звіт про проведення якого ще містить психометричні показники окремих завдань, частка дуже складних завдань дорівнювала 23%, а кількість завдань вказаних типів була рівною 25, 3 та 7. Тобто відносно більшою, порівняно з тестом 2013 р., була частка завдань з вибором відповіді. Характеристики складності завдань цього тесту за окремими групами наведено у табл. 3.

 Таблиця 3

 Характеристики складності завдань тесту з математики ЗНО-2011

Середня складність всіх завдань

31,6

Завдання з вибором відповіді

37,1

Завдання на встановлення відповідності

41,8

Завдання з короткою відповіддю

7,3

 

Для завдань з вибором відповіді за розділами

Числа і вирази

47,4

Рівняння і нерівності

31,2

Функції

21,9

Елементи комбінаторики, початки теорії імовірностей та елементи статистики

23,5

Планіметрія

44,1

Стереометрія

35,7

 З наведених даних бачимо, що найскладнішими є завдання з короткою відповіддю. Їхній аналіз вказує, що зазвичай вони дійсно є складнішими за завдання інших груп, не тільки з погляду значень формального показника складності, якій у цьому випадку не викривлений імовірністю вгадування. Їхнє виконання передбачає більшу кількість дій, що треба виконати для отримання результату, а в деяких випадках потребує знань з декількох розділів математики. Частина цих завдань є текстовими задачами. Абітурієнт тут повинен самостійно сформулювати математичну задачу, перш ніж її розв’язувати. Певне значення має й той факт, що відсутність варіантів відповідей позбавляє абітурієнта можливості перевірити отриманий розв'язок і у випадку необхідності виправити помилки. 

Для завдань з вибором правильної відповіді з п’яті запропонованих варіантів, як це робиться в тестах ЗНО з математики, середня складність у випадку вибору однієї з відповідей навмання має бути близькою до 1/5 або 20%. Як видно з табл. 3, складність завдань з розділів "Функції" та "Елементи комбінаторики, початки теорії імовірностей та елементи статистики" практично не відрізняється від цієї величини. Тобто лише поодинокі абітурієнти вибирають варіант відповіді осмислено. Аналіз завдань з цих розділів свідчить, що основною причиною такого стану є несформованість базових знань і навичок з відповідних розділів у випускників шкіл. Характерним прикладом є дуже проста задача 18 тесту ЗНО-2011, де потрібно було встановити правильне співвідношення між значеннями f(a) та f(b) для заданих a і b, якщо відомо, що функція f(x) є спадною. Її складність виявилася рівною 22,48, що свідчить про вибір відповіді навмання практично всіма абітурієнтами. Відсутність необхідних базових знань з математики у значної частки абітурієнтів підтверджує і багато інших результатів тестування. Зокрема, вибрати правильний розв'язок рівняння 2/x = 5, спромоглися менш, ніж половина учасників ЗНО-2011 (складність 45,19).

Іншим важливим формальним показником якості тестових завдань є коефіцієнт кореляції, що характеризує зв'язок між успішністю їхнього виконання і підсумковими балами з тесту. Значення коефіцієнтів кореляції завдань для тесту з математики для ЗНО-2011 за окремими групами наведено у табл. 4.

 Таблиця 4

Коефіцієнти кореляції завдань тесту з математики ЗНО-2011 

Середній коефіцієнт кореляції всіх завдань

0,43

Завдання з вибором відповіді

0,40

Завдання на встановлення відповідності

0,61

Завдання з короткою відповіддю

0,48

 

Для завдань з вибором відповіді за розділами

Числа і вирази

0,43

Рівняння і нерівності

0,40

Функції

0,37

Елементи комбінаторики, початки теорії імовірностей та елементи статистики

0,38

Планіметрія

0,36

Стереометрія

0,45

Як зазначалося вище, значення коефіцієнтів кореляції якісних завдань мають бути більшими, ніж 0,5. Значення в межах 0,3 – 0,5 свідчать про наявність слабкої кореляції і необхідність корегування завдань, а менші значення – про відсутність значимої кореляції між успішністю виконання завдань та результатами тесту у цілому. З таблиці 4 бачимо, що вимоги до коефіцієнтів кореляції задовольняють лише завдання на встановлення відповідності. Із 7 завдань з короткою відповіддю 3 мають коефіцієнти кореляції понад 0,5 і 4 – в межах від 0,3 до 0,5. Із 25 завдань з вибором відповіді вказані вимоги задовольняють лише п'ять, а для шести завдань коефіцієнти кореляції є меншими, ніж 0,3. Найнижчим (0,10) цей показник є для завдання 24, де потрібно було визначити тригонометричну функцію за її первісною. D-індекс цього завдання теж є вкрай низьким і дорівнює 6,26. Його показник складності (21,60 %) свідчить про те, що практично всі абітурієнти не намагалися розв’язувати задачу, а навмання обирали один із запропонованих варіантів відповідей. Наведений приклад яскраво ілюструє можливість ситуації, коли цілком коректне завдання, що відповідає програмі та основним методичним вимогам, виявляється абсолютно непридатним для тестів ЗНО.

На рисунку зображено зв'язок між коефіцієнтами кореляції та складністю завдань тестів ЗНО 2009 – 2011.

Рисунок. Взаємозв'язок між коефіцієнтами кореляції та складністю завдань тестів ЗНО 2009 – 2011

Бачимо, що загалом розкид показників у всі три роки є приблизно однаковим. Частка завдань, що одночасно мають незадовільні показники якості за коефіцієнтами кореляції та складністю (скорегованою на імовірність вгадування) є доволі малою і близькою до 5%. Втім, і частка завдань, що повністю задовольняють вимоги до обох критеріїв також є невеликою і дорівнює 25%. На рисунку також звертає увагу зникнення після ЗНО 2009 р. дуже складних завдань з дуже високими коефіцієнтами кореляції. Це можна вважати певним погіршенням тестів з математики, бо саме такі завдання є найкращими з погляду виокремлення найбільш підготовлених абітурієнтів. В тесті 2009 р. всі вони належали до групи відкритих завдань з розгорнутою відповіддю. У наступних тестах з математики такий тип завдань було вилучено. Можливо, це пов’язане з організаційними або фінансовими чинниками, оскільки, на відміну від завдань інших типів, тут необхідно залучати людей до перевірки тестів.

Ще одним показником якості завдань є їхні коефіцієнти дискримінації (D-індекс). Ми не будемо окремо аналізувати завдання ЗНО за цим показником, оскільки він за своїм змістом є дуже близьким до коефіцієнтів кореляції [1]. Тому оцінки якості завдань тут приблизно такі самі.

Декілька слів стосовно інших аспектів якості завдань тесту з математики ЗНО-2013. Для них немає даних про психометричні показники. Тому важко відзначати кращі. Вище вже наводився приклад завдання, стосовно якого немає жодних зауважень щодо його коректності, відповідності програмі тощо, і яке при цьому має незадовільні значення всіх психометричних показників.

В завданнях, що містять координатну сітку (приклади – завдання 4, 8, 13, 24, 31 першої сесії), бажано зображувати координатні осі так, щоб вони відчутно вирізнялися від інших ліній сітки. Інакше у абітурієнтів, особливо в тих, хто має проблеми зору, можуть виникати додаткові проблеми з розумінням рисунків.

Два завдання, що потребують використання знань логарифмів, для першої частини тесту, на мою думку, є зайвими. Достатньо було б використати одне завдання з цієї теми та збільшити кількість завдань з основ теорії імовірності та елементів статистики.

Окремі завдання з вибором відповіді є надмірно складними з погляду кількості дій, потрібних для отримання правильного результату. Зокрема, завдання 2 другої сесії передбачає необхідність отримання відповідей на три питання. При цьому вихідні дані треба визначити з рисунку, і потім виконати майже 20 елементарних арифметичних дій, що потребує певного часу. Для порівняння, у завданні 5 того самого тесту жодних арифметичних операцій виконувати не потрібно. А результат можна отримати безпосередньо з рисунку, якщо абітурієнт розуміє поняття екстремуму функції.

Протягом останніх років не було суттєвих зауважень з боку абітурієнтів та фахівців на грубі помилки в тестах ЗНО з математики. Разом з тим, окремі нарікання все ж були. Зокрема, це стосувалося істотної різниці складності тестів першої та другої сесії ЗНО-2013 (табл. 1). Незважаючи на те, що рейтингові шкали перерахунку первинних балів у підсумкові створювалися для кожного з цих тестів окремо, така різниця все ж таки збільшує і без того доволі високу похибку визначення підсумкових балів ЗНО.

Як підсумок, можна зазначити, що тести ЗНО з математики потребують вдосконалення. Насамперед, це стосується доопрацювання завдань в напряму покращення їхніх психометричних показників. Одним із заходів тут може бути певне спрощення завдань першої частини з погляду кількості елементарний дій, потрібних для отримання результату. Також доцільно дещо змінити тематичну структуру завдань, наблизивши її до потреб освітніх програм вищої школи. 

У сучасному вигляді тести ЗНО призначені для визначення спроможності абітурієнтів успішно навчатися за обраним напрямом підготовки. Для тестів з математики, які використовуються при відборі на досить різні напрями з істотно різними вимогами, не може існувати єдиного інструменту, який би міг однаково успішно використовуватися у всіх випадках. Тому доцільно розглянути питання про створення двох типів тестів з математики – різного рівня складності і дещо різного змісту.

1. В.Бахрушин. Наскільки якісними є тести ЗНО? http://education-ua.org/ua/articles/archive/107-naskilki-yakisnimi-e-testi-zno.

2. В.Бахрушин. Деякі проблеми освітніх вимірювань в українському контексті. http://education-ua.org/ua/articles/122-deyaki-problemi-osvitnikh-vimiryuvan-v-ukrajinskomu-konteksti.

3. Ким В.С. Тестирование учебных достижений. — Уссурийск: Издательство УГПИ, 2007. — 214 с.

4. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. — 432 с.

5. Ковальчук Ю.О. Теорія освітніх вимірювань. – Ніжин: Видавець ПП Лисенко М.М., 2012. – 200 с. 

6. Бахрушин В.Є., Горбань О.М., Игнахина М.А. Статистичний аналіз тестів ЗНО 2009-2011 // Вища освіта України. Тематичний випуск «Вища освіта України в контексті інтеграції до Європейського освітнього простору». — 2012. — Додаток 2 до № 3, Т. 3 (28). — С. 29-35

7. Bakhrushin V.E., Gorban A.N. Test technologies in education: The problem of test quality // Ukr. J. Phys. Opt. 2011, V12, Suppl. 2 Sc. Horiz. — S. 1-10.

  Володимир Бахрушин, доктор фізико-математичних наук, професор

Якість тестів ЗНО з математики
Якість тестів ЗНО з математики

В останні роки зовнішнє незалежне оцінювання (ЗНО) стало основним інструментом відбору студентів до вищих навчальних закладів України. У зв’язку з цим питання якості тестів і, зокрема, тестових завдань ЗНО привертають постійну увагу освітянської громадськості. Автор вже обговорював на цьому порталі деякі загальні питання якості тестів ЗНО [1, 2]. В цій статті більш докладно буде розглянуте питання якості тестів з математики.

Існує дуже багато підходів до оцінювання якості тестів і тестових завдань для ЗНО та інших систем освітнього тестування. Зокрема, часто звертають увагу на їхню відповідність програмам загальноосвітніх навчальних закладів, дотриманню звичних для випускників формулювань понять, узгодженості з офіційно затвердженими шкільними підручниками тощо. У цій статті я не буду торкатися цих питань, бо не є працівником системи загальної освіти і не володію в достатній мірі необхідним досвідом викладання математики у загальноосвітніх навчальних закладах. З іншого боку, оскільки ЗНО є інструментом відбору до вищих навчальних закладів, якість тестів треба оцінювати і з погляду їхньої відповідності потребам тих напрямів підготовки, за якими будуть навчатися майбутні студенти.

При оцінюванні якості особливу увагу звертають на її формальні показники [3, 4]. Стосовно тестів у цілому – це їхні надійність та валідність. До основних формальних показників якості завдань належать їхні складність, коефіцієнт кореляції та дискримінативність (коефіцієнт дискримінації, D-індекс). Значення цих показників розраховують у межах певних припущень, які не завжди виконуються при реальному тестуванні. Зокрема, для тестів ЗНО важливими є обмеження, пов’язані із забезпеченням таємності тестових завдань. Крім того, велика кількість даних, що відповідають одночасному складанню одного й того самого тесту багатьма учасниками (для тестів з математики кількість тестованих коливається приблизно в межах 100 – 200 тис. осіб), дає змогу використовувати для аналізу якості тестів складніші моделі і, відповідно, отримувати повнішу характеристику якості тестових завдань, ніж те, що передбачено класичною теорією тестування. Говорячи про формальні показники, відразу слід зазначити, що їхні незадовільні значення у контексті ЗНО свідчать насамперед про непридатність відповідних завдань для ранжирування конкретної групи абітурієнтів. Тобто про їхню невідповідність вимогам саме тестових технологій контролю. При цьому за іншими характеристиками такі завдання іноді можуть бути бездоганними. Тому оцінювання якості тестів і, особливо, тестових завдань слід починати з аналізу саме формальних показників. 

Розглянемо докладніше основні формальні показники якості тестів ЗНО з математики. Інформацію про них взято з офіційних звітів Українського центру оцінювання якості освіти за 2007 – 2013 р., які наведено на сайтах www.testportal.gov.ua та www.osvita.org.ua. Деякі з показників наведено у табл. 1.

 Таблиця 1

Деякі показники якості тестів ЗНО з математики

Показник

Рік

2007

2008

2009

20101

20102

2011

20121

20122

20131

20132

Середній бал (у % від максимально можливого)

28,9

20,1

25,7

36,2

34,7

30,7

37,9

40,1

33,6

29,5

Стандартне відхилення (у % від максимально можливого балу)

20,9

14,4

20,5

21,2

21,9

19,3

20,7

20,3

18,6

19,4

Середня складність завдань (%)

29,0

29,0

33,9

38,0

37,8

31,6

38,8

40,9

33,7

29,8

Середня розподільна здатність завдань (%)

52

39

53

53

55

44

48

48

47

44

Альфа Кронбаха

0,92

0,80

0,90

0,90

0,92

0,89

0,88

0,89

0,88

0,89

Надійність тесту характеризує його якість як інструмента вимірювання, стійкість результатів тестування до зовнішніх факторів. Вирізняють два види надійності – внутрішню узгодженість тестів та їхню ретестову надійність. Перша відбиває здатність тестових завдань характеризувати одну й ту саму вимірювану величину. Друга – відтворюваність результатів при повторних випробуваннях. З погляду цілей ЗНО важливішим є другий показник, оскільки він дає змогу оцінити статистичну похибку підсумкового балу. Але повторні випробування під час ЗНО неможливі, тому обмежуються лише визначенням величини альфа Кронбаха, що характеризує внутрішню узгодженість. Для тестів ЗНО 2007 – 2013 р. вона перебуває в межах 0,88 – 0,92 (крім ЗНО-2008, коли ця величина була меншою і дорівнювала 0,80). Зазвичай вважають, що у випадках, якщо значення альфа Кронбаха перевищує 0,8, надійність тесту є достатньо високою. Проте наші розрахунки показують, що це не зовсім так. Існує досить сильний зв'язок між цією величиною і середніми значеннями коефіцієнта кореляції та розподільної здатності завдань тестів ЗНО. Для коефіцієнта кореляції найчастіше висувають вимогу, що він має бути більшим, ніж 0,5. Якщо він перебуває в межах 0,3 – 0,5 завдання потребує корегування, а якщо коефіцієнт кореляції є меншим, то завдання необхідно вилучити з тесту. Цим пороговим значенням коефіцієнта кореляції, за нашими оцінками, відповідають значення альфа Кронбаха, відповідно, 0,86 та 0,95. Звідси можна зробити висновок, що надійність тестів ЗНО з математики є недостатньою.

Іншим важливим показником освітніх тестів є їхня валідність. Вона характеризує придатність тесту для вирішення саме тих завдань, заради яких здійснюють тестування. Вирізняють багато різних типів валідності [5]. Зокрема, це змістова, критеріальна та конструктна валідність. Встановлення критеріальної валідності передбачає перевірку статистичного зв’язку між результатами тестування та певним зовнішнім критерієм. З погляду цілей ЗНО найбільш корисною могла б бути перевірка їхніх результатів з успішністю наступного навчання студентів у ВНЗ. Але для тестів ЗНО з окремих дисциплін таких даних практично немає.

Проблематичним є також і визначення конструктної валідності тестів, бо це передбачає необхідність мати певну модель успішного студента. Насправді такі моделі, мають бути різними для різних типів ВНЗ і різних напрямів підготовки.  Тому при розробці тестів ЗНО, у тому числі, й тестів з математики їх не використовують. Фактично, як зазначалося у [6, 7], існуючи тести найбільшою мірою відповідають моделі успішного студента, як такого, що здатний швидко розв’язати велику кількість достатньо простих задач. Така модель може бути прийнятною для абітурієнтів, що вступають на інженерні та економічні напрями підготовки, але вона не здатна забезпечити виконання вимог до студентів, що будуть навчатися за фізико-математичними напрямами.

Специфічною проблемою забезпечення конструктної валідності тестів ЗНО з математики є необхідність враховувати те, що роль математики в загальній освіті не зводиться до отримання школярами певних знань та вмінь. Вивчення математики має також велике значення для розвитку здатності школярів до логічного мислення, пам'яті та інших важливих для дорослої людини (і, зокрема, для майбутнього студента) якостей. При цьому оптимальне співвідношення цих якостей для студентів різних напрямів підготовки також є різним.

Змістова валідність тесту характеризує його відповідність предметній галузі. Стосовно ЗНО існує загальна проблема, пов'язана з тим, що змістову валідність тестів намагаються забезпечити через відповідність їхніх завдань вимогам програм загальноосвітньої школи. Звісно, що зміст завдань не може виходити поза межі цих програм. Але ж тести ЗНО сьогодні є не інструментом підсумкового контролю в системі загальної освіти, а інструментом відбору студентів до вищих навчальних закладів, де різні напрями підготовки висувають різні вимоги до структури знань абітурієнтів з конкретних розділів і тем. 

У табл. 2 показано, як змінювалося співвідношення кількості завдань з різних розділів математики у тестах ЗНО з 2007 по 2013 р.

Таблиця 2

Розподіл змісту тестів ЗНО з математики 

Показник

Рік

2007

2008

2009

2010

2011

2012

2013

 

Числа і вирази

24,0

22,2

21,2

22,2

22,9

21,9

21,2

Рівняння і нерівності

27,0

27,8

21,2

16,7

20,0

18,8

18,2

Функції

24,0

22,2

18,2

16,7

17,1

18,8

21,2

Елементи комбінаторики, початки теорії імовірностей та елементи статистики

5,0

8,3

9,1

8,3

5,7

6,3

6,1

Планіметрія

9,0

8,3

12,1

16,7

20,0

18,8

18,9

Стереометрія

11,0

11,2

18,2

19,4

14,3

16,5

15,6

Алгебра та початки аналізу (разом)

80,0

80,5

69,7

63,9

65,7

65,6

66,7

Геометрія (разом)

20,0

19,5

30,3

36,1

34,3

35,3

33,3

Найбільш відчутними тенденціями тут є різке зменшення частки завдань, що належать до розділу "Рівняння і нерівності" та відчутне збільшення частки завдань з геометрії. Якщо проаналізувати узгодженість існуючого розподілу з потребами подальшого вивчення математичних та спеціальних дисциплін у вищій школі, то, на мою думку, він не є оптимальним. Зокрема, доцільно було б збільшити частку завдань, що стосуються початків теорії імовірностей та елементів статистики, знання яких в тій чи іншій мірі потрібні для всіх студентів. І не тільки при вивченні математичних курсів. Натомість можна було б зменшити кількість завдань зі стереометрії, знання якої використовуються переважно при підготовці фахівців за фізико-математичними та інженерними напрямами.

Поряд з валідністю та надійністю корисну інформацію про якість освітніх тестів надають середній бал тестованих та стандартне відхилення результатів. З погляду цілей ЗНО оптимальними значеннями цих показників є такі, які забезпечують максимальну роздільну здатність тесту, що дає змогу надійніше визначати підсумкові бали та ранжирувати абітурієнтів. Це досягається, якщо середній бал перебуває поблизу середини вимірювальної шкали. Для наведених у табл. 1 даних це відповідає 50%. Оптимальні значення стандартного відхилення мають бути близькі приблизно до 1/3 середнього балу. Насправді, як видно з даних табл. 1, середні бали є істотно меншими, а стандартні відхилення – значно більшими, ніж вказані оптимальні значення. Це може бути наслідком не тільки недостатньої якості завдань, але і суттєвої неоднорідності групи абітурієнтів, що беруть участь у тестуванні з математики. Про це, зокрема, свідчать гістограми розподілу первинних результатів тестування, які наведено у звітах УЦОЯО.

Розглянемо тепер формальні показники якості завдань тестів ЗНО з математики. Дані про їхні значення у звітах УЦОЯО наявні лише до 2011 р. У звітах за 2012 та 2013 рр. вони відсутні.

 Відповідно до класифікації, що використовує УЦОЯО, оптимальними за складністю є завдання, для яких відповідний показник перебуває у межах 40 – 60%. Завдання, складність яких дорівнює 20 – 40% та 60 – 80% зараховують, відповідно, до складних та легких; а завдання зі складністю менш 20% та понад 80% – до дуже складних і дуже легких. Зазвичай завдання останніх двох груп рекомендують не включати до тестів. Але, враховуючи специфіку ЗНО, де потрібно добре вирізняти найбільш підготовлених абітурієнтів, наявність певної кількості дуже складних завдань можна вважати доцільною. Втім, їхня частка не повинна бути дуже високою. Натомість дуже легкі завдання, які успішно виконує переважна більшість абітурієнтів, не впливають на їхнє ранжирування і тому не потрібні в тестах ЗНО. Для тестів з математики характерною рисою є велика частка дуже складних завдань. Зокрема в тестах ЗНО-2013 таких завдань було по 30%, а дуже легких – по 3%. Враховуючи те, що при оцінюванні складності завдань, УЦОЯО не здійснює корегування на імовірність вгадування, реальна частка дуже складних завдань є ще більшою. Спробуємо розібратися, що це за завдання і чому вони є дуже складними для абітурієнтів.

Структура тесту передбачає наявність завдань з вибором правильної відповіді із заданих варіантів, завдань на встановлення відповідності і завдань відкритої форми з короткою відповіддю. В останньому тесті ЗНО-2013 кількість завдань різного типу дорівнювала, відповідно, 20, 4 та 9. В тесті ЗНО-2011, звіт про проведення якого ще містить психометричні показники окремих завдань, частка дуже складних завдань дорівнювала 23%, а кількість завдань вказаних типів була рівною 25, 3 та 7. Тобто відносно більшою, порівняно з тестом 2013 р., була частка завдань з вибором відповіді. Характеристики складності завдань цього тесту за окремими групами наведено у табл. 3.

 Таблиця 3

 Характеристики складності завдань тесту з математики ЗНО-2011

Середня складність всіх завдань

31,6

Завдання з вибором відповіді

37,1

Завдання на встановлення відповідності

41,8

Завдання з короткою відповіддю

7,3

 

Для завдань з вибором відповіді за розділами

Числа і вирази

47,4

Рівняння і нерівності

31,2

Функції

21,9

Елементи комбінаторики, початки теорії імовірностей та елементи статистики

23,5

Планіметрія

44,1

Стереометрія

35,7

 З наведених даних бачимо, що найскладнішими є завдання з короткою відповіддю. Їхній аналіз вказує, що зазвичай вони дійсно є складнішими за завдання інших груп, не тільки з погляду значень формального показника складності, якій у цьому випадку не викривлений імовірністю вгадування. Їхнє виконання передбачає більшу кількість дій, що треба виконати для отримання результату, а в деяких випадках потребує знань з декількох розділів математики. Частина цих завдань є текстовими задачами. Абітурієнт тут повинен самостійно сформулювати математичну задачу, перш ніж її розв’язувати. Певне значення має й той факт, що відсутність варіантів відповідей позбавляє абітурієнта можливості перевірити отриманий розв'язок і у випадку необхідності виправити помилки. 

Для завдань з вибором правильної відповіді з п’яті запропонованих варіантів, як це робиться в тестах ЗНО з математики, середня складність у випадку вибору однієї з відповідей навмання має бути близькою до 1/5 або 20%. Як видно з табл. 3, складність завдань з розділів "Функції" та "Елементи комбінаторики, початки теорії імовірностей та елементи статистики" практично не відрізняється від цієї величини. Тобто лише поодинокі абітурієнти вибирають варіант відповіді осмислено. Аналіз завдань з цих розділів свідчить, що основною причиною такого стану є несформованість базових знань і навичок з відповідних розділів у випускників шкіл. Характерним прикладом є дуже проста задача 18 тесту ЗНО-2011, де потрібно було встановити правильне співвідношення між значеннями f(a) та f(b) для заданих a і b, якщо відомо, що функція f(x) є спадною. Її складність виявилася рівною 22,48, що свідчить про вибір відповіді навмання практично всіма абітурієнтами. Відсутність необхідних базових знань з математики у значної частки абітурієнтів підтверджує і багато інших результатів тестування. Зокрема, вибрати правильний розв'язок рівняння 2/x = 5, спромоглися менш, ніж половина учасників ЗНО-2011 (складність 45,19).

Іншим важливим формальним показником якості тестових завдань є коефіцієнт кореляції, що характеризує зв'язок між успішністю їхнього виконання і підсумковими балами з тесту. Значення коефіцієнтів кореляції завдань для тесту з математики для ЗНО-2011 за окремими групами наведено у табл. 4.

 Таблиця 4

Коефіцієнти кореляції завдань тесту з математики ЗНО-2011 

Середній коефіцієнт кореляції всіх завдань

0,43

Завдання з вибором відповіді

0,40

Завдання на встановлення відповідності

0,61

Завдання з короткою відповіддю

0,48

 

Для завдань з вибором відповіді за розділами

Числа і вирази

0,43

Рівняння і нерівності

0,40

Функції

0,37

Елементи комбінаторики, початки теорії імовірностей та елементи статистики

0,38

Планіметрія

0,36

Стереометрія

0,45

Як зазначалося вище, значення коефіцієнтів кореляції якісних завдань мають бути більшими, ніж 0,5. Значення в межах 0,3 – 0,5 свідчать про наявність слабкої кореляції і необхідність корегування завдань, а менші значення – про відсутність значимої кореляції між успішністю виконання завдань та результатами тесту у цілому. З таблиці 4 бачимо, що вимоги до коефіцієнтів кореляції задовольняють лише завдання на встановлення відповідності. Із 7 завдань з короткою відповіддю 3 мають коефіцієнти кореляції понад 0,5 і 4 – в межах від 0,3 до 0,5. Із 25 завдань з вибором відповіді вказані вимоги задовольняють лише п'ять, а для шести завдань коефіцієнти кореляції є меншими, ніж 0,3. Найнижчим (0,10) цей показник є для завдання 24, де потрібно було визначити тригонометричну функцію за її первісною. D-індекс цього завдання теж є вкрай низьким і дорівнює 6,26. Його показник складності (21,60 %) свідчить про те, що практично всі абітурієнти не намагалися розв’язувати задачу, а навмання обирали один із запропонованих варіантів відповідей. Наведений приклад яскраво ілюструє можливість ситуації, коли цілком коректне завдання, що відповідає програмі та основним методичним вимогам, виявляється абсолютно непридатним для тестів ЗНО.

На рисунку зображено зв'язок між коефіцієнтами кореляції та складністю завдань тестів ЗНО 2009 – 2011.

Рисунок. Взаємозв'язок між коефіцієнтами кореляції та складністю завдань тестів ЗНО 2009 – 2011

Бачимо, що загалом розкид показників у всі три роки є приблизно однаковим. Частка завдань, що одночасно мають незадовільні показники якості за коефіцієнтами кореляції та складністю (скорегованою на імовірність вгадування) є доволі малою і близькою до 5%. Втім, і частка завдань, що повністю задовольняють вимоги до обох критеріїв також є невеликою і дорівнює 25%. На рисунку також звертає увагу зникнення після ЗНО 2009 р. дуже складних завдань з дуже високими коефіцієнтами кореляції. Це можна вважати певним погіршенням тестів з математики, бо саме такі завдання є найкращими з погляду виокремлення найбільш підготовлених абітурієнтів. В тесті 2009 р. всі вони належали до групи відкритих завдань з розгорнутою відповіддю. У наступних тестах з математики такий тип завдань було вилучено. Можливо, це пов’язане з організаційними або фінансовими чинниками, оскільки, на відміну від завдань інших типів, тут необхідно залучати людей до перевірки тестів.

Ще одним показником якості завдань є їхні коефіцієнти дискримінації (D-індекс). Ми не будемо окремо аналізувати завдання ЗНО за цим показником, оскільки він за своїм змістом є дуже близьким до коефіцієнтів кореляції [1]. Тому оцінки якості завдань тут приблизно такі самі.

Декілька слів стосовно інших аспектів якості завдань тесту з математики ЗНО-2013. Для них немає даних про психометричні показники. Тому важко відзначати кращі. Вище вже наводився приклад завдання, стосовно якого немає жодних зауважень щодо його коректності, відповідності програмі тощо, і яке при цьому має незадовільні значення всіх психометричних показників.

В завданнях, що містять координатну сітку (приклади – завдання 4, 8, 13, 24, 31 першої сесії), бажано зображувати координатні осі так, щоб вони відчутно вирізнялися від інших ліній сітки. Інакше у абітурієнтів, особливо в тих, хто має проблеми зору, можуть виникати додаткові проблеми з розумінням рисунків.

Два завдання, що потребують використання знань логарифмів, для першої частини тесту, на мою думку, є зайвими. Достатньо було б використати одне завдання з цієї теми та збільшити кількість завдань з основ теорії імовірності та елементів статистики.

Окремі завдання з вибором відповіді є надмірно складними з погляду кількості дій, потрібних для отримання правильного результату. Зокрема, завдання 2 другої сесії передбачає необхідність отримання відповідей на три питання. При цьому вихідні дані треба визначити з рисунку, і потім виконати майже 20 елементарних арифметичних дій, що потребує певного часу. Для порівняння, у завданні 5 того самого тесту жодних арифметичних операцій виконувати не потрібно. А результат можна отримати безпосередньо з рисунку, якщо абітурієнт розуміє поняття екстремуму функції.

Протягом останніх років не було суттєвих зауважень з боку абітурієнтів та фахівців на грубі помилки в тестах ЗНО з математики. Разом з тим, окремі нарікання все ж були. Зокрема, це стосувалося істотної різниці складності тестів першої та другої сесії ЗНО-2013 (табл. 1). Незважаючи на те, що рейтингові шкали перерахунку первинних балів у підсумкові створювалися для кожного з цих тестів окремо, така різниця все ж таки збільшує і без того доволі високу похибку визначення підсумкових балів ЗНО.

Як підсумок, можна зазначити, що тести ЗНО з математики потребують вдосконалення. Насамперед, це стосується доопрацювання завдань в напряму покращення їхніх психометричних показників. Одним із заходів тут може бути певне спрощення завдань першої частини з погляду кількості елементарний дій, потрібних для отримання результату. Також доцільно дещо змінити тематичну структуру завдань, наблизивши її до потреб освітніх програм вищої школи. 

У сучасному вигляді тести ЗНО призначені для визначення спроможності абітурієнтів успішно навчатися за обраним напрямом підготовки. Для тестів з математики, які використовуються при відборі на досить різні напрями з істотно різними вимогами, не може існувати єдиного інструменту, який би міг однаково успішно використовуватися у всіх випадках. Тому доцільно розглянути питання про створення двох типів тестів з математики – різного рівня складності і дещо різного змісту.

1. В.Бахрушин. Наскільки якісними є тести ЗНО? http://education-ua.org/ua/articles/archive/107-naskilki-yakisnimi-e-testi-zno.

2. В.Бахрушин. Деякі проблеми освітніх вимірювань в українському контексті. http://education-ua.org/ua/articles/122-deyaki-problemi-osvitnikh-vimiryuvan-v-ukrajinskomu-konteksti.

3. Ким В.С. Тестирование учебных достижений. — Уссурийск: Издательство УГПИ, 2007. — 214 с.

4. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. — 432 с.

5. Ковальчук Ю.О. Теорія освітніх вимірювань. – Ніжин: Видавець ПП Лисенко М.М., 2012. – 200 с. 

6. Бахрушин В.Є., Горбань О.М., Игнахина М.А. Статистичний аналіз тестів ЗНО 2009-2011 // Вища освіта України. Тематичний випуск «Вища освіта України в контексті інтеграції до Європейського освітнього простору». — 2012. — Додаток 2 до № 3, Т. 3 (28). — С. 29-35

7. Bakhrushin V.E., Gorban A.N. Test technologies in education: The problem of test quality // Ukr. J. Phys. Opt. 2011, V12, Suppl. 2 Sc. Horiz. — S. 1-10.

  Володимир Бахрушин, доктор фізико-математичних наук, професор

11.03.2014
Володимир Бахрушин
*
Поділитися

Додати комментар

Через сайт
Через Вконтакті
Через Фейсбук

Коментарі  

Автор: Ан_Петрик
Опубліковано 29.03.2014 в 10:57
Дуже сумні результати. Особливо з таких важливих для подальшого навчання розділів, як "Функції" та "Статистика". Треба щось робити.
Автор: Володимир Бахрушин
Опубліковано 31.03.2014 в 04:42
Можливо, є сенс врахувати ці дані при доопрацюванні шкільних програм і підручників. А також у програмах курсів підвищення кваліфікації вчителів.
Автор: Міхно
Опубліковано 07.04.2014 в 13:29
Так, треба наближати програми до сучасних вимог. Математика, звісно, не історія. Але теж змінюється з часом.
Автор: Володимир Бахрушин
Опубліковано 09.04.2014 в 05:59
Ось такі прості приклади.
Переважна частина програм з математики (особливо для нематематиків) передбачає вивчення традиційних розділів, орієнтованих на розв'язування задач за допомогою оливця та паперу. Але ж сьогодні більшість прикладних задач розв'язують за допомогою комп'ютерів, використовуючи зовсім іншу математику.
Беремо сучасну комп'ютерну програму з аналізу даних. І намагаємося розв'язати за її допомогою задачу кластеризації, тобто поділу масиву даних на більш-менш однорідні групи. У діалогових вікнах нам пропонують обрати конкретний алгоритм, міру відстані між даними тощо. Заголом треба вибрати 1 з приблизно 5000 варіантів, що є оптимальним для конкретної задачі. В США програми такого типу призначені для соціологів та психологів. Наші соціологи та психологи все це не вивчають. Але ж для грамотного вибору треба розуміти, що це за алгоритми, міри й т. ін.
Автор: Денис Петренко
Опубліковано 17.03.2014 в 12:41
Як саме можна визначити, які знання математики потрібно перевіряти при вступі на різні напрями підготовки? Бо різні напрями потребують різних знань.
Автор: Володимир Бахрушин
Опубліковано 19.03.2014 в 20:22
Так, тут є проблема. Тому доцільно створювати дворівневі тести. Крім того, представникам різних напрямів підготовки, для вступу на які треба складати тест з математики, потрібно домовлятися і узгоджувати між собою програму тестування.
Автор: Іван Олександрович
Опубліковано 15.03.2014 в 06:48
Вважаю, що стаття є пізнавальною як в плані огляду критеріїв оцінки якості тестів, так і в плані отриманих результатів відносно ЗНО 2013 року.

Разом з тим виникло декілька питань:

1. Що представляє собою показник успішності виконання завдань, який впливає на коефіцієнти кореляції з таблиці 4?

2. Згідно зі схемою оцінювання тестів з математики, завдання з вибором правильної відповіді оцінюються в 0 або 1 бал, завдання на встановлення відповідності - від 0 до 4, завдання, що вимагає короткої відповіді - 0 або 2 бали. Чи не вважаєте Ви, що це не є досить точною оцінкою і було бдоречним використовувати вагові коефіцієнти відповідно до ступеня складності завдань?
Автор: Міхно
Опубліковано 07.04.2014 в 13:32
Вагові коефіцієнти - це може бути не зовсім зручно з погляду інших вимог до тестів. А ось невідповідність оцінок завдань на встановлення відповідності і завдань з відкритою відповіддю їхній складності є очевидною.
Автор: Володимир Бахрушин
Опубліковано 16.03.2014 в 06:32
1. Існують різні підходи. У найпростішому випадку дихотомічних завдань використовують точково-бісеріа льний коефіцієнт кореляції:
www.google.ru/.../
uss.dvfu.ru/.../glava_3_7.html
Він вимірює статистичний зв'язок між складністю завдання та різницею середніх балів за тест тих, хто виконав це завдання, і тих, хто його не виконав.

2. Можливо, це було б доречним. Але, з одного боку, запровадження вагових коефіцієнтів істотно ускладнило б аналіз результатів тестування. А з іншого - це можливо, якщо показники складності є статистично стійкими. Але для ЗНО, де кожний тест виконується лише один раз, визначити стікість цих оцінок неможливо.
Наверх
Точка зору Аналітика Блоги Форум
Kenmore White 17" Microwave Kenmore 17" Microwave
Rated 4.5/5 based on 1267 customer reviews