Ці проблеми можна поділити на декілька груп. Першу з них складають реальні проблеми, що істотно впливають на результати ЗНО, і які потрібно терміново вирішувати. Друга група проблем — це те, що також реально існує, але є менш важливим з погляду впливу на результати ЗНО. Тому вирішувати їх можна дещо пізніше, в міру появи необхідних ресурсів, наукового обґрунтування пропонованих рішень тощо. Третя група — це скоріше не проблеми, а варіанти того, що можна ще зробити. Й нарешті четверта група — це надумані проблеми, яких насправді не існує. У багатьох випадках уявлення про них базується на нерозумінні принципів та технологій освітніх вимірювань, неповної відповідності ідеальних моделей реальній ситуації тощо. 

Обговорюючи концепцію змін, перш за все, слід звернути увагу на цілі ЗНО. Залишиться ЗНО лише інструментом відбору студентів до вищих навчальних закладів, чи може сфера його застосування стане ширшою? Зокрема, чи буде ЗНО складовою загальної системи оцінювання якості освіти? Якщо так, то де і як саме передбачається застосовувати його результати? Буде ЗНО, як і сьогодні, використовуватися тільки при відборі на бакалаврські програми, чи мабуть є сенс розробити подібні механізми відбору на програми підготовки молодших спеціалістів, магістратури та докторантури? Чи можливо використовувати напрацювання ЗНО для створення системи професійної сертифікації фахівців? Від відповідей на ці питання залежатимуть конкретні завдання із вдосконалення ЗНО, їхня пріоритетність, терміни, потрібні ресурси тощо.

У цій статті буде розглянуто можливі заходи з підвищення якості тестів та завдань ЗНО. У наступній статті передбачається аналіз заходів, спрямованих на покращення організації ЗНО та підвищення ефективності використання його результатів. 

Автор вже неодноразово наводив дані, що свідчать про недостатню якість багатьох тестів ЗНО минулих років з погляду їхніх психометричних показників, у тому числі в статтях [1—3], опублікованих на порталі "Освітня політика". Тому одним з першочергових заходів із вдосконалення ЗНО має бути забезпечення відповідності цих показників тестів вимогам освітнього тестування. Головною проблемою тут є те, що формальні показники якості залежать не тільки від завдань, але також і від рівня підготовки абітурієнтів, що тестуються. Через вимогу забезпечення таємності змісту завдань та правильних відповідей визначати психометричні показники можна тільки після проведення ЗНО. Спроби їхнього оцінювання під час апробації тестів поки ще є не зовсім вдалими, насамперед через складність створення репрезентативних вибірок учнів для таких досліджень та відсутність дієвих стимулів для їхнього відповідального відношення до участі в апробації. 

З іншого боку, сьогодні у розпорядженні УЦОЯО є великий масив результатів ЗНО попередніх років, аналіз якого може допомогти у виявленні й усуненні основних факторів, що призводять до незадовільних значень формальних показників якості тестів. За попередніми оцінками до таких факторів, належать: невідповідність окремих програм ЗНО потребам тих напрямів освіти, за якими будуть навчатися майбутні абітурієнти (це є актуальним, наприклад, для тестів з географії); висока неоднорідність абітурієнтів за рівнем підготовки з окремих дисциплін (зокрема, з математики); неоптимальний розподіл завдань за складністю. 

Розглянемо тепер докладніше окремі формальні показники якості тестів і тестових завдань і заходи, що можуть бути здійснені для їхнього покращення. Основні вимоги до них, а також методики визначення показників докладно висвітлені у спеціальній літературі, зокрема, у книжках [4—6]. Інформацію про значення показників було взято з офіційних звітів УЦОЯО 2007 — 2013 р., що оприлюднені на сайтах та

Складність завдань. Цей показник характеризує частку балів, отриманих всіма тестованими за виконання завдання, у відсотках до максимально можливого результату. Перше, що тут треба зробити — це змінити формулу, за якою його розраховують. Бо для завдань з вибором відповіді із декількох пропонованих варіантів показник складності обов’язково повинен враховувати імовірність вгадування правильної відповіді. Без цього важко адекватно оцінювати реальну складність конкретних тестів і завдань. Але сьогодні таку поправку не роблять. Це призводить до викривлення даних про якість тестових завдань і перешкоджає виявленню та усуненню наявних недоліків.

Наступною проблемою є оптимізація завдань за їхньою складністю. З цього погляду, найбільш актуальним є зменшення частки дуже складних завдань в окремих тестах. Зокрема, в тестах з математики та фізики ця частка є близькою до 1/3 [2, 3], а з урахуванням поправки на вгадування вона буде близькою до 50%. На мою думку, для тестів ЗНО дуже складні завдання з високими коефіцієнтами кореляції потрібні, оскільки саме вони надають можливість вирізняти один від одного абітурієнтів з високим рівнем підготовки. Але їхня частка не повинна перевищувати 10%. Частина тестів цю вимогу задовольняє. Зокрема, для ЗНО — 2013 р. частка дуже складних завдань з української мови та літератури (без поправки на вгадування) дорівнювала 1,6%, з всесвітньої історії — 1,8%, з англійської мови — 2,3%. 

Стосовно тестів з математики і фізики є дві основні причини високої складності завдань [2, 3]. Перша — це низький рівень підготовки переважної частки абітурієнтів. Цю проблему важко вирішити на рівні вдосконалення ЗНО. Але можна передбачити більш активне використання його результатів як елементу зворотного зв’язку в системі управління якістю освіти. Це питання автор передбачає розглянути докладніше у наступній статті. Втім, все одне, завдання мають бути адаптовані до середнього рівня підготовки тестованих. Якщо ця умова не виконуються, роздільна здатність тестів істотно зменшується, а статистична похибка визначення підсумкових балів зростає. Через це тести стають менш придатними для вирішення свого основного завдання — ранжирування абітурієнтів за рівнем їх підготовленості до навчання.

Друга причина високої складності тестів з математики та фізики — це наявність завдань, де для отримання відповіді потрібно виконати велику кількість елементарних операцій. Коли такі завдання містяться у блоці завдань з вибором відповіді, абітурієнти зазвичай не намагаються їх розв’язувати, а навмання обирають одну з відповідей. Про це свідчить характер розподілу вибору варіантів відповідей. Тому цей блок повинен складатися з більш-менш рівноцінних і достатньо простих завдань. Але для підвищення точності результатів оцінювання кількість таких завдань може бути дещо збільшена (на мою думку, і загальну кількість завдань в тестах з математики і фізики, треба збільшити). Також доцільно встановити для завдань такого типу з усіх дисциплін наявність 5 варіантів відповідей. Сьогодні в деяких тестах (історія України, біологія, географія, фізика тощо) пропонується 4 варіанти, що підвищує імовірність вгадування і стимулює частину абітурієнтів використовувати саме таку стратегію тестування. 

Для тестів з математики специфічною проблемою є висока неоднорідність групи тестованих абітурієнтів. Причиною цього є те, що тести з математики використовують при відборі студентів на напрями, які висувають дуже різні вимоги до рівня математичної підготовки студентів. Згідно з умовами прийому до вищих навчальних закладів України в 2014 р. [7], такими напрямами є дошкільна освіта, документознавство, соціологія, міжнародний бізнес, менеджмент, математика, прикладна математика, фізика, металургія, радіотехніка та багато інших. Можливим шляхом вирішення цієї проблеми є запровадження дворівневих тестів з математики, орієнтованих на потреби різних галузей знань.

Високою неоднорідністю результатів вирізняються також тести з української мови та літератури і англійської мови, про що свідчать наведені у звітах УЦОЯО гістограми їхнього розподілу. Крім того, тут також є істотно різні з погляду потреб подальшого навчання групи абітурієнтів. Тому є сенс розглянути доцільність введення дворівневих тестів також і з цих дисциплін. 

Кореляція та дискримінативна здатність завдань. Ці показники характеризують наявність статистично значущого зв’язку між успішністю виконання певного завдання і результатами, отриманими абітурієнтами за тест у цілому. Обидва показники є близькими за змістом і між їхніми значеннями існує сильна кореляція [8]. Але є і деякі відмінності, бо коефіцієнт кореляції характеризує певний усереднений зв'язок, а дискримінативна здатність — різницю між умовно "сильними" та "слабкими" абітурієнтами. Формальні вимоги існують до коефіцієнта кореляції, значення якого має перевищувати 0,5. Якщо цей показник перебуває в межах 0,3 — 0,5, то допускається використання завдань після їх корегування. А завдання з коефіцієнтами кореляції менше 0,3 (іноді як межу прийнятності беруть величину 0,2) необхідно вилучати з тестів. З погляду теорії, це завдання, успішність виконання яких не має статистично значущого зв’язку з підсумковим результатом тестування. Й тоді постають закономірні питання. Що саме вимірюють такі завдання? І що вимірює тест в якому таких завдань понад 50%, як, наприклад, у багатьох тестах з біології, географії, історії України та фізики.

З погляду вдосконалення ЗНО тут насамперед необхідний аналіз завдань ЗНО минулих років, який допоможе виявити і усунути типові причини низьких показників кореляції та дискримінативної здатності. Деякі з таких причин було висвітлено у статтях [1, 8]. 

Прикладом завдання з низькими коефіцієнтом кореляції і дискримінативною здатністю (відповідно, 0,01 та 6,79%) є завдання № 16 тесту ЗНО—2011 з фізики. У ньому абітурієнтам пропонували визначити покази амперметра в заданому електричному колі. Аналіз розподілу вибору варіантів відповідей свідчить, що практично всі абітурієнти здійснювали цей вибір навмання, не намагаючись виконувати якісь розрахунки. Тому не дивно, що успішність виконання цього завдання не має статистичного зв’язку з підсумковими балами абітурієнтів.

Іншу причину низьких показників кореляції та дискримінації (відповідно, 0,19 та 27,7%) демонструє завдання 20 тесту ЗНО—2011 з географії, де пропонується назвати причину концентрації родовищ залізних руд з високим вмістом металу в межах українського щита. Це завдання має складність 50,99 і, навіть з урахуванням поправки на вгадування, є близьким до оптимальних за цим показником. Але вибір правильного варіанту відповіді, на відміну від інших завдань, тут потребує не стільки конкретних знань з географії, скільки певної загальної ерудиції. Тому і немає статистичного зв’язку між успішністю його виконання і загальними результатами тестування.

Такі причини низьких показників кореляції та дискримінації є достатньо типовими. Тому доцільно включити відповідну перевірку до методичних рекомендацій чи інших інструктивних матеріалів для розробників тестів.

Говорячи про незадовільні значення показників якості тестових завдань, слід зазначити і наявність певних теоретичних проблем. Обробка результатів тестів ЗНО базується на класичній теорії тестів [4—6], але сьогодні є і більш розвинені моделі. Крім того, при обробці явно чи неявно використовують низку припущень (однорідність та нормальний розподіл результатів, сталість показників якості завдань тощо), які не виконуються в реальних умовах. Зокрема показники якості завдань є істотно різними для різних порогових груп [9, 10]. Тому існує необхідність у подальшому розвитку теоретичних основ педагогічного тестування, де УЦОЯО міг би, з одного боку, виконувати функцію замовника, а з іншого – своєрідного полігону для проведення емпіричних досліджень. 

Валідність характеризує ступінь відповідності результатів тестування його цілям, тобто вказує, чи отримуємо ми ту інформацію, заради якої здійснювали тестування.  Вдосконалення тестів ЗНО потребує подальшого виввчення критеріальної, насамперед, прогностичної валідності тестів. Вирішення цього завдання потребує певного часу і сумісних зусиль УЦОЯО, НАПН, науково-педагогічних працівників вищих навчальних закладів та інших фахівців.

Важливою є і проблема конструктної валідності тестів. Вона передбачає наявність моделі успішного абітурієнта, якій повинен відповідати тест. Але чи існує сьогодні така модель? Основна складність тут пов’язана з тим, що програми ЗНО базуються на програмах відповідних дисциплін загальної середньої освіти. Але ж використовуються вони для відбору абітурієнтів на певні напрями вищої освіти, які висувають дещо інші (іноді істотно інші) вимоги до знань та вмінь абітурієнтів. Мені бачаться чотири основні напрями вирішення цієї проблеми. 

В деяких випадках (математика, українська мова, англійська мова), як вже було зазначено вище, враховуючі досвід інших країн і високу неоднорідність результатів абітурієнтів, доцільно  розробити дворівневі тести. Їхній базовий рівень міг би використовуватися для оцінювання абітурієнтів більшості напрямів, що не потребують поглибленого знання цих дисциплін. Тести другого рівня, навпаки, можуть бути затребувані при відборі абітурієнтів на ті напрями, де програми навчання істотно базуються на використанні вже наявних компетенцій студентів з відповідних дисциплін.

Там, де переважна більшість абітурієнтів, які складають тест, планують продовжувати навчання за певною групою споріднених напрямів вищої освіти, програма ЗНО повинна більшою мірою враховувати потреби цих напрямів. Це можна робити шляхом зміни акцентів, перерозподілу пропорцій між темами та типами завдань тощо. Звісно, не виходячи при цьому за межи шкільної програми. Зокрема, це стосується програми з географії. Можливо, тут слід більшою мірою перевіряти знання економічної географії й менше уваги приділяти фізичній, враховуючи, що переважна більшість абітурієнтів, які складають цей тест, планують вступати на економічні напрями вищої освіти. 

Втім, для багатьох дисциплін ЗНО важко виокремити такий основний масив абітурієнтів. Так саме важко узагальнити і специфічні вимоги різних галузей знань. Тому третій шлях — це надання вищим навчальним закладам більшої свободи у визначенні формули обчислення конкурсного балу абітурієнтів, що дає змогу частково компенсувати недостатню конструктну валідність відповідних тестів. Приклади можливих підходів у цьому напрямі розглядалися у статті [11].

Четвертим шляхом є запровадження пропонованих багатьма фахівцями тестів загальної навчальної компетенції, які доцільно використовувати при відборі студентів на окремі напрями, навчання на яких не базується істотною мірою на конкретних знаннях тих чи інших дисциплін ЗНО, але потребує певної загальної ерудиції, а також окремих знань і вмінь з різних галузей. 

Надійність та стандартне відхилення підсумкового балу. Зазвичай вирізняють два види надійності тестів — ретестову та внутрішню узгодженість. При аналізі результатів ЗНО аналізують лише другу, використовуючи альфа Кронбаха. Її значення для всіх тестів начебто свідчать про високу (0,8 та вище) надійність. Але цей показник має певні властивості, що ускладнюють його однозначну інтерпретацію [12, 13]. Зокрема, він зростає із збільшенням кількості завдань незалежно від ступеня їхньої внутрішньої узгодженості. Це призводить до необхідності більш докладного аналізу і обґрунтування інформативності та можливості використання альфа Кронбаха для оцінювання якості тестів ЗНО. 

Що ж стосується ретестової надійності, тобто відтворюваності результатів при повторному тестуванні, то із зрозумілих причин її вимірювання для тестів ЗНО не здійснюють. Втім цей показник є чи ні найважливішою підсумковою характеристикою тестів, оскільки сам він використовується для оцінювання статистичної похибки підсумкових результатів абітурієнтів. За наявними оцінками [1] для первинних балів ця похибка перебуває в межах 4 — 9% від максимально можливого результату. При переведенні її у шкалу від 100 до 200 балів діапазон невизначеності результатів тестування стає ще більшим. Враховуючи цілі ЗНО, така похибка є неприпустимою. А її зменшення потребує підвищення надійності тестів.

Тому необхідні додаткові дослідження проблеми оцінювання і підвищення надійності тестів ЗНО. Одним із можливих шляхів її вирішення є проведення вибіркових повторних тестувань невеликих за обсягом але сформованих за певними правилами репрезентативних вибірок першокурсників.

Середній бал тесту та його стандартне відхилення. Ці величини значною мірою визначаються розглянутими вище характеристиками, тому їх не зараховують до основних показників якості педагогічних тестів. Але вони впливають на розділу здатність тестів. Тому до них теж висувають певні формальні вимоги. Бажано, щоб середній бал (за первинною шкалою) був близьким до 50% від максимально можливого для відповідного тесту результату, а стандартне відхилення — близьким до 1/3 від середнього балу [5, 6]. Для більшості тестів ЗНО ці вимоги не виконуються — середні бали є істотно нижчими, а стандартні відхилення — істотно вищими, ніж бажані величини [1]. Основними шляхами наближення середнього балу та його стандартного відхилення до оптимальних значень можуть бути зазначені вище заходи із покращення розподілу тестових завдань за їхньою складністю, підвищення коефіцієнтів кореляції та дискримінативної здатності завдань і створення дворівневих тестів з окремих дисциплін.

Підсумкова шкала. Однією із найбільш обговорюваних проблем ЗНО є методика переведення первинних балі до підсумкових. Зокрема це стосується незрозумілого вибору діапазону підсумкової шкали від 100 до 200 балів. Зазвичай, мінімальне значення шкали у подібних випадках беруть рівним 0. Є інший підхід, котрий використовують, наприклад, у тестах SAT [14]. Тут не встановлюють мінімальне та максимальне значення, а прив'язують шкалу до середнього значення та стандартного відхилення підсумкового балу. На мою думку, сьогодні доцільно піти найпростішим шляхом і встановити для підсумкової шкали діапазон від 0 до 100 балів. Така зміна є зрозумілою і не потребує додаткового узгодження з іншими можливими змінами.

Друге важливе питання — це формула перетворення. Використовуване сьогодні еквіпроцентильне перетворення поряд з певними перевагами має і суттєві недоліки [9]. Назву тільки два з них. По—перше, воно іноді погіршує роздільну здатність первинної шкали, бо в окремих випадках різним первинним балам відповідають однакові бали за шкалою 100 — 200. Зокрема, для тестів з української мови та літератури у 2013 р. підсумкові 200 балів відповідали первинним балам від 105 до 107 для першої сесії та від 104 до 107 для другої; для тестів з історії України 200 балів відповідали первинним балам від 84 до 87 тощо. Таким чином, еквіпроцентильне перетворення погіршує вирізнення найкращих абітурієнтів. Аналогічною є ситуація і з низькими балами, але там вона стосується підсумкових результатів, значно менших, ніж 124 бали, і тому не впливає на результати відбору.

Другим істотним недоліком еквіпроцентильного перетворення є те, що з формальної точки зору його результат має сенс певних квантилів розподілу результатів тестування з конкретної дисципліни. Зокрема, 150 балів — це медіана розподілу, тобто такий результат, що приблизно 50% абітурієнтів за первинною шкалою отримали менше балів и 50% — більше. Коли при визначенні конкурсного балу абітурієнтів ми починаємо підсумовувати ці бали, то постає питання, яким є сенс суми різних квантилів різних розподілів.

Сьогодні існує багато пропозицій стосовно вдосконалення перетворень, використовуваних для переведення первинних балів у підсумкові. Деякі з них пропонують досить складні методики, що начебто надають змогу трохи підвищити точність переведення первинних балів тестів у підсумкові. Але це не має практичного сенсу, з огляду на велику статистичну похибку первинних балів. На мою думку, перетворення має відповідати лише двом вимогам: 1) воно повинно бути монотонним, тобто більшим первинним балам мають відповідати більші підсумкові; 2) результатом перетворення повинні бути числа, для яких має сенс операція підсумовування, що використовується в найбільш популярних формулах підрахунку підсумкового балу.

І ще одне зауваження стосовно шкали вимірювання. Як вже зазначалося вище, в тестах є велика кількість завдань з вибором відповіді. При підбитті підсумків треба якось враховувати імовірність вгадування. Найпростішим способом є такий. Взяти за нуль первинної шкали поріг вгадування, тобто середній бал, який може отримати абітурієнт шляхом вибору варіантів відповідей навмання. Всі результати, що є меншими або рівними цьому порогу, вважати рівними нулю. Від інших первинних результатів віднімати величину цього порогу. А вже потім застосовувати обрану формулу перетворення первинних балів у підсумкові. До речі, такий підхід дав би змогу вирішити ще одну актуальну проблему — зняти малозрозумілий поріг успішності тестування в 124 бали.

Інший можливий шлях усунення впливу вгадування у завданнях з вибором відповіді — це використання штрафних балів. Наприклад, в американських тестах SAT для подібних завдань передбачено 5 варіантів відповідей, одна з яких є правильною. За вибір правильної відповіді нараховується 1 бал, а за вибір помилкової — знімається 1/4 балу [14].

Типи завдань. При обговоренні шляхів покращення ЗНО часто звертають особливу увагу на типи використовуваних тестових завдань. Завдання з вибором однієї правильної відповіді із чотирьох або п'яті пропонованих варіантів є найбільш популярними. Їх перевагою є простота обробки результатів, що дуже важливо з погляду обмежень на фінансування ЗНО і час, що виділяється на підбиття підсумків тестування. Але ці завдання піддаються і найбільшій критиці, тому що існує висока (відповідно, 25 та 20%) імовірність вгадування правильної відповіді. Якщо ж абітурієнт щось знає і обирає лише з деяких варіантів, така імовірність буде ще більшою. 

Значно меншою імовірність вгадування є для завдань на встановлення відповідності і впорядкування, а також завдань, де із запропонованих варіантів необхідно вибрати не одну, а декілька правильних відповідей. Але частка таких завдань в тестах ЗНО є відносно малою. Побоювання, що такі завдання погіршать психометричні показники тестів, є перебільшеними. Зокрема, в тестах з математики і фізики ЗНО — 2011 завдання на встановлення відповідності істотно не вирізнялися за рівнем складності від завдань з вибором однієї відповіді, але мали суттєво кращі значення коефіцієнтів кореляції [2, 3]. До того ж обробка результатів тестування у цих випадках, як і для завдань першого типу, може бути повністю автоматизована. Тому є сенс ширше використовувати такі завдання в тестах ЗНО.

Найскладнішими для абітурієнтів є завдання з відкритою відповіддю. Значна частка експертів вважає, що частку таких завдань в тестах потрібно збільшувати, оскільки тут немає можливості вгадати правильну відповідь і результати їхнього виконання більш адекватно відображають реальний рівень знань абітурієнтів. Такі завдання, поряд із завданнями інших типів, широко використовуються у багатьох стандартизованих тестах різних країн. Але досвід ЗНО попередніх років свідчить, що значна частка абітурієнтів взагалі не намагається виконувати такі завдання. Крім того, в багатьох тестах завдання з відкритою відповіддю доводиться перевіряти вручну, що, з одного боку, ускладнює процедуру оцінювання, а з другого, — зменшує його об’єктивність. Тому питання про доцільність використання та оптимальну кількість таких завдань потребує додаткового вивчення. Ще одне зауваження стосовно цих завдань — це те, що кількість балів за їхнє правильне виконання в окремих тестах є нижчою, ніж за виконання більш легких завдань на встановлення відповідності чи впорядкування. Наприклад, в тестах з математики для завдань на встановлення відповідності максимальна оцінка дорівнює 4 балам, а для завдань з відкритою відповіддю — 2 балам.

Деякі висновки та рекомендації

Для покращення тестів і завдань ЗНО, на мою думку, можна рекомендувати такі першочергові заходи:

1. Запровадження дворівневих (за складністю) тестів з математики, української та англійської мови. Також є сенс розглянути доцільність поділу тесту з української мови та літератури на окремі тести з української мови та української літератури.

2. Зміна методики перерахунку первинних результатів тестування у підсумкові бали. Зокрема:

-перехід від шкали 100 — 200 до шкали 0 — 100 балів; 

-врахування імовірності вгадування шляхом вибору нуля підсумкової шкали на рівні порогу вгадування і відповідного корегування первинних балів;

-перехід від еквіпроцентильного перетворення до іншої формули перерахунку, яка б забезпечувала строгу монотонність перетворення і отримання результатів, для яких має сенс операція підсумовування.

3. Аналіз психометричних показників завдань і тестів ЗНО минулих років з метою виявлення та усунення типових причин, що призводять до погіршення якості.

4. Оптимізація складності завдань окремих тестів (зокрема, тестів з фізики та математики) шляхом залишення серед завдань з вибором відповіді із запропонованих варіантів лише тих, де результат може бути отриманий шляхом виконання не більше 2—3 елементарних перетворень. Складніші завдання доцільно перенести до блоків завдань на встановлення відповідності та з відкритою відповіддю.

5. Збільшення кількості завдань у тестах з математики та фізики за рахунок завдань першого та другого блоків. 

6. Перегляд співвідношення балів, що надаються в окремих тестах в завданнях на встановлення відповідності та завданнях з відкритою відповіддю.

Крім того існує необхідність в проведенні теоретичних та емпіричних досліджень в галузі педагогічного тестування, одним із координаторів яких міг би бути УЦОЯО.

Література

1.Бахрушин В. Наскільки якісними є тести ЗНО: /ua/articles/archive/107-naskilki-yakisnimi-e-testi-zno.

2.Бахрушин В. Якість тестів ЗНО з математики: /ua/articles/229-yakist-testiv-zno-z-matematiki.

3.Бахрушин В. Якість тестів ЗНО з фізики: /ua/articles/233-yakist-testiv-zno-z-fiziki

4.Аванесов В.С. Композиция тестовых заданий. — М.: Центр тестирования, 2002. — 240 с.

5.Ким В.С. Тестирование учебных достижений. — Уссурийск: Издательство УГПИ, 2007. — 214 с.

6.Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. — 432 с.

7.

8.Бахрушин В.Є. Статистичний аналіз ЗНО 2009 — 2011 // Higher Education in Ukraine: Internationalization, Reform, Innovation. International Conference. April 20—21, 2012. Kyiv, Ukraine:

9.Бахрушин В. Деякі проблеми освітніх вимірювань в українському контексті: /ua/articles/122-deyaki-problemi-osvitnikh-vimiryuvan-v-ukrajinskomu-konteksti

10.Раков С.А. Метод порогових груп та його використання для аналізу результатів ЗНО // Вісник ТІМО. — 2013. — № 7—8. — С. 52—63.

11.Бахрушин В. Застосування освітніх вимірювань при рейтингу ванні абітурієнтів ВНЗ та вирішенні деяких інших завдань оцінювання якості освіти: /ru/articles/131-zastosuvannya-osvitnikh-vimiryuvan-pri-rejtinguvanni-abiturientiv-vnz-ta-virishenni-deyakikh-inshikh-zavdan-otsinyuvannya-yakosti-osviti

12.Schmitt N. Uses and abuses of coefficient alpha // Psychological Assessment. — 1996. — V. 8. P. 350—353.

13.Корнилов С.А. Проблема надежности психологических шкал и ее значение для психодиагностики в научных и практических целях // Экспериментальная психология в России: Традиции и перспективы. — М.: Ин—т психологии РАН, 2010. — С. 101—105.

14.

Володимир Бахрушин, д.ф.-м.н., професор, академік АН вищої школи України