Учасники конференції часто згадували іронічне зауваження про те, що останнім часом ВНЗ здійснюють не відбір, а набір студентів. Щоправда, це розглядалося, насамперед, у контексті відсутності реального конкурсу на велику кількість напрямів підготовки у великій кількості університетів. Але є й інший аспект. Існуючий механізм прийому студентів до ВНЗ практично виключає університети з цього процесу. Університет повинен приймати на навчання тих абітурієнтів, які подали відповідні заявки, згідно з рейтингом, що визначається, насамперед, результатами ЗНО та середнім балом атестату про загальну середню освіту. Наслідком цього є те, що, втрачаючи вплив на відбір студентів, університети де-факто втрачають і відповідальність за результати їхнього навчання.

Тому багато фахівців, особливо — представники університетів, пропонують розробити такі механізми оцінювання абітурієнтів, які б повніше враховували їхню відповідність вимогам конкретних ВНЗ та напрямів підготовки. Зокрема, ректор НТУ «ХПІ» Леонід Товажнянський та професор Леонід Любчик вважають за доцільне розглядати проблему відбору студентів як задачу прийняття рішень при багатьох критеріях в умовах невизначеності та застосовувати відомі математичні підходи до розв’язування таких задач. Зокрема, це можуть бути методи, пов’язані з побудовою адитивних інтегральних критеріїв, мінімаксних та інших типів показників. У цьому випадку на рівні МОН України доцільно було б розробляти рамкові вимоги до правил прийому, які б визначали обов’язкові та варіативні показники, що можуть враховуватися при побудові інтегральної оцінки. Їхню основу могли б складати результати тестів ЗНО, середній бал атестату про загальну середню освіту, бали ВНЗ та ін. А університети повинні мати можливість визначати конкретні методики розрахунку інтегрального показника для кожного напряму підготовки. На думку автора, доцільно було б реалізувати пілотний проект з апробації такого підходу у деяких ВНЗ, зокрема — в НТУ «ХПІ», що його ініціює.

Важливою характеристикою будь-якого показника, що використовується для рейтингування абітурієнтів, є його прогностична валідність. Її можна визначати як середній коефіцієнт кореляції між рейтинговим балом і показниками успішності навчання студентів у ВНЗ. Через те, що різні напрями підготовки мають різні вимоги до якостей студентів, оптимальні (з погляду максимізації прогностичної валідності) методи розрахунку рейтингових балів у загальному випадку будуть різними.

Існуючий порядок передбачає розрахунок рейтингового балу як простої суми окремих показників (бали сертифікатів ЗНО, середній бал атестату про загальну середню освіту, результати творчих конкурсів тощо). Такий підхід є найпростішим і, на перший погляд, зрозумілим. Але він має й істотні методичні недоліки.

У першу чергу, незрозуміло, який сенс має сума складових. Згідно із загальними правилами виконання математичних операцій, ми можемо додавати лише однорідні величини. Результати сертифікатів ЗНО не є такими. Вони мають сенс деяких індикаторів, що дають змогу визначити рейтинг учасників тестування. Зокрема, 150 балів вказують на те, що половина учасників тестування з дисципліни виконала тест гірше, а інша половина — краще; 180 балів (наприклад, для тесту з математики ЗНО-2013) вказують на те, що приблизно 91% абітурієнтів виконав тест гірше, а 9% — краще. Але яким є сенс суми 150 балів з одного тесту та 180 балів — з іншого?

У практиці іноді використовують такий інтегральний показник, як сума рангів об’єктів за окремими індикаторами. Можна було б припустити, що сума тестових балів є аналогом такої суми рангів. Але це не так, бо однаковим інтервалам шкали результатів ЗНО відповідають різні інтервали шкали рангів. Зокрема, для вказаного тесту з математики, на один бал рейтингової шкали в інтервалі від 124 до 150 балів припадає, в середньому, 1,6% учасників тестування (тобто одиниць шкали рангів), а в інтервалі від 190 до 200 балів — 0,2%. Тобто середній розмір «одиниці» шкали відрізняється у 8 разів. Якщо ж брати не середній розмір, а розмір кожної одиниці, ця різниця виявиться ще більшою.

Сучасна теорія прийняття рішень пропонує низку підходів до вирішення подібних проблем. Найпростішим з них є розрахунок рейтингового балу як зваженої суми окремих показників:

 R = ( a₁I₁ + a₂I₂ + …+ a_nI_n )/(a₁ + a₂ + …+ a_n),

 де I_i— окремі індикатори (бали сертифікатів ЗНО, середній бал атестату про загальну середню освіту, результати творчих конкурсів тощо), a_i— відповідні вагові коефіцієнти. Саме такий підхід пропонується у всіх зареєстрованих у Верховній Раді України проектах нового Закону України «Про вищу освіту», а також пропозиціях USETI до Правил прийому на 2014 р.[1] У цьому випадку питання про сенс підсумовування знімається тим, що зміст показників може взагалі не розглядатися (але якщо вони мають певну фізичну розмірність, остання має бути однаковою для всіх доданків, інакше здійснюють перехід до безрозмірних величин). Крім того, такий підхід є гнучкішим і надає можливість враховувати особливості вимог до навчання за конкретними напрямами в конкретних університетах. Тому він є кроком уперед, порівняно з діючими правилами прийому. Але зауваження стосовно неоднорідності шкали тут залишається. Легко побачити, що існуючий порядок можна розглядати як окремий випадок цієї методики, за якого всі вагові коефіцієнти взято рівними одиниці й не здійснюється нормування підсумкового балу діленням на суму вагових коефіцієнтів.

Другий відомий підхід передбачає виокремлення головного критерію і встановлення певних обмежень на значення інших показників. Наприклад, ВНЗ може вирішити, що рейтинг абітурієнтів визначається за результатами профільного тесту, але результати інших тестів мають бути не гіршими, ніж 150 балів. Також можна використовувати максимінні й максимаксні оцінки вступників. У першому випадку перевагу отримують абітурієнти, в яких мінімальний бал сертифікатів ЗНО (чи інших показників) є більшим, ніж у конкурентів, а в другому — абітурієнти з найбільшими максимальними балами.

На рис. 1 показано різницю між результатами відбору для модельного випадку, коли здійснюється вибір 100 абітурієнтів з 400 кандидатів при використанні різних підходів.

Рис. 1. Вплив методу визначення рейтингового балу абітурієнтів на результат відбору

 Через неможливість графічного зображення реальної ситуації, що враховує 4-5 окремих показників, тут взято дещо спрощений двовимірний випадок, коли розглядаються бал профільного сертифікату ЗНО та середнє значення трьох рівноцінних непрофільних показників (бали двох непрофільних сертифікатів ЗНО і середній бал атестату). Червоними маркерами на рисунках зображено результати зарахованих абітурієнтів, а синіми — результати незарахованих. Рис. 1а відповідає існуючому методу розрахунку рейтингового балу. Якщо ми будемо враховувати вагові коефіцієнти згідно з наведеною вище формулою, то буде змінюватися лише кут нахилу прямої, вище (або правіше) якої розташовані зараховані абітурієнти. Рис. 1б відповідає методу головного критерію. Для непрофільних показників тут було взято обмеження, що їх середнє значення має бути не нижчим, ніж 160 балів. Потім з абітурієнтів, для яких ця вимога була виконана, відібрали кращих за балом профільного сертифікату. При застосуванні мінімаксного підходу для двовимірного випадку результати є подібними (рис. 1в). Тут для кожного абітурієнта обчислювали мінімальний бал його окремих показників, а потім відібрали абітурієнтів, для яких цей мінімальний бал був найбільшим. Тому мінімальні прохідні бали для всіх сертифікатів (показників) у цьому разі однакові Інша відмінність від попереднього випадку полягає у тому, що нижня межа не задається заздалегідь, а визначається часткою абітурієнтів, що будуть зараховані й розподілом їхніх результатів. У реальних випадках відмінність між цими двома підходами буде більшою, оскільки при використанні ранжирування за різними показниками можуть задаватися різні пороги. Істотно іншими є результати зарахування при використанні максимаксного підходу (рис. 1г). Тут для кожного абітурієнта обчислювали максимальний з його окремих показників і потім відбирали тих, для кого ці максимальні показники були найбільшими.

Наведені методи підрахунку рейтингового балу — це лише невелика частина існуючих методів прийняття багатокритеріальних рішень в різних умовах[2]^,[3]. І всі вони можуть бути використані для більш адекватного врахування специфіки ВНЗ та напрямів підготовки при прийнятті рішень стосовно відбору абітурієнтів на навчання. Зокрема, для фізико-математичних та інженерних спеціальностей, де програма навчання значною мірою спирається на шкільні знання математики та фізики, доцільно використовувати рейтингування абітурієнтів за результатами складання відповідних профільних тестів, встановлюючи певні обмеження на значення інших показників. При цьому, якщо обидві дисципліни (математика та фізика) розглядаються як профільні, для них може додатково використовуватися мінімаксний критерій відбору. Якщо ж розглядається напрям, програма навчання на якому не спирається значною мірою на знання якоїсь зі шкільних дисциплін, то, залежно від вимог ВНЗ до якості студентів, доцільно використовувати максимаксний критерій або існуючий механізм формування рейтингового балу.

Обговорюючи питання формування рейтингових балів абітурієнтів, окремі експерти зазначають, що в реальних умовах України середній бал атестату і результати творчих конкурсів з багатьох напрямів не є достатньо надійними оцінками спроможності абітурієнтів до навчання. Так, за даними, що наводилися у доповіді експерта USETIВолодимира Ковтунця, врахування середнього балу атестату разом з результатами ЗНО в певні роки давало змогу помітно підвищити прогностичну валідність підсумкового балу абітурієнтів. Втім, це було лише, поки середній бал не почали враховувати при вступі, і певною мірою пояснювалося значною питомою вагою повторення шкільної програми на першому курсі ВНЗ. Після прийняття рішення про використання середнього балу атестата у формулі розрахунку рейтингу абітурієнтів, він надає викривлену оцінку успішності навчання у школі й, відповідно, втратив свою цінність як додаткова характеристика абітурієнта. Тут ми маємо прояв відомого закону Гудхарта[4], згідно з яким будь-який формальний показник перестає бути хорошим показником, якщо його починають використовувати як ціль. У цьому зв’язку згадується приклад часів перебудови в СРСР, коли врахування середнього балу атестату при вступі до ВНЗ призвело до того, що в одній з республік він за рік збільшився більш ніж на один бал (за п’ятибальною системою). Що ж стосується творчих конкурсів, то вони теж не завжди виявляються доцільними, оскільки у багатьох випадках за даними Володимира Ковтунця кореляція між їхніми результатами та результатами навчання в університеті виявляється слабкою або взагалі відсутня.

Багато заперечень викликає також і врахування додаткових балів за успіхи в олімпіадах, навчання на підготовчих курсах ВНЗ тощо, які не завжди об’єктивно відображають бажання й спроможність абітурієнта навчатися на конкретному напрямі підготовки конкретного університету. Як альтернативу відомий експерт Альгірдас Забульоніс при обговоренні цього питання на конференції висловив пропозицію взагалі звільнити від конкурсу переможців національних і міжнародних предметних олімпіад, а для інших — не використовувати подібні показники.

Розглядаючи питання прогностичної валідності тих чи інших показників відбору абітурієнтів, слід розуміти, що вона, по-перше, a-prioriне може бути близькою до одиниці, а, по-друге, залежить не тільки від формули визначення рейтингу абітурієнтів, а й від якості наступного оцінювання студентів у ВНЗ.

Прогностична валідність будь-якого рейтингового показника не може бути дуже високою через те, що результати навчання в університеті залежать не тільки від рівня підготовки зарахованих абітурієнтів, а й від їхнього відношення до навчання, стану здоров’я, побутових проблем, успішності психологічної адаптації до навчання у ВНЗ та багатьох інших факторів.

За існуючою системою оцінювання, центр розподілу оцінок студентів та їхній розкид стосовно центру є приблизно однаковими у всіх університетах, незалежно від реальних знань, вмінь та навичок. Тому пошук кореляції між рейтинговим балом абітурієнта і результатами навчання у ВНЗ можливий лише в межах конкретного напряму підготовки конкретного університету. Але і в цьому випадку для достовірності висновків потрібно, по-перше, мати достатньо великі вибірки, а, по-друге, мати достатньо широкий діапазон рейтингових балів зарахованих абітурієнтів. На практиці зазвичай неможливо забезпечити виконання цих вимог. Тому одержувані дані з прогностичної валідності слід розглядати як корисні, але доволі грубі оцінки. І тут теж є проблема для теоретичних досліджень, спрямованих на розробку методології, яка б давала змогу точніше оцінювати цю важливу характеристику.

При обговоренні доцільності запровадження тестів загальної навчальної компетентності (ТЗНК) думки учасників конференції розділилися. З одного боку, є підстави вважати такі тести корисними для оцінювання абітурієнтів тих навчальних програм, які не передбачають істотного застосування знань, одержуваних при вивченні якихось конкретних шкільних дисциплін. Також їх можна було б використовувати за вибором ВНЗ замість одного з передбачених діючими правилами непрофільних тестів. З іншого боку, висловлювалася думка, що за прогностичною валідністю звичайні тести з окремих дисциплін є не гіршими за ТЗНК. Тому немає особливої необхідності у введенні таких тестів, бо це передбачає додаткові організаційні та фінансові витрати. Мабуть, оптимальним на сьогодні рішенням було б продовження експерименту з вивчення таких тестів на достатньо великих за обсягом групах учнів. Таке дослідження може дати більш достовірну інформацію стосовно їхньої прогностичної валідності й можливих сфер застосування.

У розрізі обговорення механізмів відбору абітурієнтів на навчання розглядався також досвід Польщі і деяких інших країн, де немає окремих вступних іспитів до ВНЗ, але є випускні іспити в школі (Matura). Вони відбуваються у формі стандартизованих тестів, за якими, зокрема, існує можливість отримання незадовільної оцінки. Завдання виконуються переважно у письмовій формі й перевіряються незалежними експертами (але оцінювання мовної підготовки передбачає як письмову, так і усну частини). Обов’язковими є три іспити на базовому рівні: польська мова (він передбачає також виконання завдань з польської та європейської літератури); одна з сучасних мов — англійська, іспанська, італійська, німецька, російська або французька, а також математика. Крім того, випускники можуть обрати до 6-ти додаткових іспитів на різних рівнях з 16-ти інших дисциплін або екзамени підвищеного рівня з 3-х обов’язкових дисциплін. Для оцінювання використовують 100-бальну шкалу. При цьому для обов'язкових іспитів встановлено поріг складання — 30 балів. Для інших іспитів такого порогу немає, але результат впливає на шанси продовжити навчання в університетах. ВНЗ, у свою чергу, вирішують, які саме тести вони будуть зараховувати при вступі на конкретні програми навчання. Такий підхід дає змогу стимулювати підвищення якості загальної середньої освіти і встановити певні гарантії того, що абітурієнти мають необхідні для продовження навчання знання.

Підсумовуючи сказане, автор вважає за доцільне розглянути як альтернативу існуючій системі вступу до ВНЗ систему, що складалася б з таких етапів:

— зовнішнє незалежне оцінювання всіх випускників шкіл як державна підсумкова атестація з певної кількості обов’язкових та вибіркових дисциплін;

— визначення й оприлюднення університетами формул підрахунку рейтингових балів абітурієнтів за кожним напрямом підготовки на основі результатів ЗНО й, можливо, деяких інших показників;

— власне вступна кампанія.

Наприкінці стисло розглянемо деякі інші прикладні застосування освітніх вимірювань.

Громадськість і керівництво системи освіти активно обговорюють пропозиції з використання ЗНО для моніторингу й рейтингування загальноосвітніх навчальних закладів. Зокрема, досвідом і напрацюваннями у цій сфері на конференції «Освітні вимірювання — 2013» поділилися представники Харківського РЦОЯО на чолі з професором Олександром Сидоренко. На мою думку, сьогодні існують дещо завищені очікування з погляду можливостей застосування результатів ЗНО в управлінні освітою. Зокрема, неможливо підвищувати результати ЗНО всіх шкіл, районів, областей … (як це пропонують окремі фахівці) через їхню рейтингову природу. Тобто підвищувати результати одних можна тільки через погіршення результатів інших.

Результати ЗНО й відповідні рейтинги загальноосвітніх навчальних закладів, регіонів тощо можуть використовуватися як один з важливих показників якості освіти, який може бути виміряний за допомогою єдиних для всіх об’єктивних засобів. Разом з тим, існують і обмеження на застосування ЗНО з цією метою. Найбільш важливими з них є такі:

— ЗНО охоплює не всіх випускників загальноосвітніх навчальних закладів за всіма дисциплінами, а лише окремих за окремими. Тому його результати не є репрезентативними з погляду оцінювання цих закладів;

— ЗНО оцінює підготовку школярів до вступу у ВНЗ. Але школи виконують багато інших соціально значущих функцій, які не можуть оцінюватися за результатами ЗНО.

Ризики застосування ЗНО як основи рейтингування загальноосвітніх навчальних закладів наочно ілюструє досвід Російської Федерації. Останнім часом там склалася ситуація, коли існує загальна зацікавленість всіх учасників у штучному завищенні результатів Єдиного державного екзамену (ЄДЕ) — від учнів до керівників регіонів. Така система стимулює викривлення його результатів, наслідком чого стали масові списування й масштабні витоки інформації під час ЄДЕ-2013.

Цікавим є досвід використання у багатьох країнах так званої доданої освітньої вартості для моніторингу загальноосвітніх навчальних закладів[5]^,[6]. Цей показник є різницею між реальними результатами тестування школярів та відповідними прогнозними оцінками, одержуваними на основі результатів тестування тих самих учнів у попередньому навчальному році, а також результатів тестування школярів відповідного класу в інших навчальних закладах. Вимірювання доданої освітньої вартості дає змогу більш адекватно виокремлювати внесок конкретних навчальних закладів (а не інших факторів) до успіхів їх учнів. Разом з тим, на сьогодні залишаються невирішеними багато методичних питань такого оцінювання. Зокрема, це стосується вірогідності використовуваних статистичних моделей та надійності висновків, врахування різниці місій та завдань різних навчальних закладів, необхідності врахування одержуваних школярами у кожному навчальному році нових компетенцій, інерційності впливу навчання на результати вимірювань тощо. Тому на цьому етапі доцільно зосередити увагу на розробці адаптованих до української системи освіти методик вимірювання доданої освітньої вартості й проведення відповідних експериментів на базі окремих навчальних закладів та районів.

Важливою з погляду багатьох учасників конференції є участь України у міжнародних дослідженнях якості освіти за програмами TIMSS, PISA, PIRLS й ін.[7]^,[8] Ці програми призначені для вивчення навчальних досягнень школярів з математики, природничих наук та навичок читання у різних державах. Незважаючи на певні застереження й недоліки використовуваних технологій, вони дають змогу порівняти рівень освіти в різних країнах, що беруть участь у дослідженні, визначити існуючи тенденції та проблеми, а також роль окремих факторів у високому чи низькому рівні якості освіти.

Останнім часом значну увагу фахівців та громадськості привертає обговорення питань застосування методів зовнішнього незалежного оцінювання для вимірювання якості підготовки студентів та випускників вищих навчальних закладів. З погляду практичної реалізації таких пропозицій, існують, принаймні, дві проблеми. По-перше, через велику кількість напрямів підготовки і ще більшу кількість окремих дисциплін такі вимірювання потребують значно більших витрат на розробку й апробацію тестів, ніж у випадку ЗНО. По-друге, для багатьох напрямів і дисциплін розробка тестів є недоцільною через малу кількість студентів й обумовлену цим неможливість забезпечення достатнього рівня надійності одержуваних результатів.

Втім, з деяких дисциплін запровадження зовнішнього тестового контролю можливе і доцільне. Зокрема, може йтися про розробку таких тестів з інформатики та комп’ютерної техніки, вищої математики, економічної теорії та деяких інших дисциплін чи модулів навчальних програм, що вивчаються студентами багатьох спеціальностей. Також можливо впровадження тестів з іноземних мов, але тут є й інший шлях перевірки — складання вже існуючих загальновизнаних тестів типу TOEFL.

Корисним є досвід медичних ВНЗ, де програма підготовки спеціалістів та магістрів передбачає складання студентами ліцензійних інтегрованих іспитів у формі стандартизованих тестів КРОК 1, КРОК 2 і КРОК 3 після закінчення 3-го (4-го), 5-го й 6-го курсів[9]. Кожний тест містить 150-200 завдань. Тривалість тестування встановлюється з розрахунку 1 хвилина на 1 завдання. Аналогічні іспити передбачені також при підготовці бакалаврів і молодших спеціалістів. Успішне складання ліцензійних іспитів є необхідною умовою для переведення студента на наступний курс чи до ординатури. Для всіх тестів встановлюється поріг «Склав — не склав» на рівні 50,5-60,5% правильних відповідей (залежно від виду іспиту й спеціальності).

Підбиваючи підсумки, хотілося б зазначити, що різноманітні (й не тільки тестові) сучасні методи освітніх вимірювань набувають все більшого поширення у загальній та вищій освіті України. Незважаючи на існуючи проблеми й недоліки цих методів, вони вже сьогодні дають змогу істотно підвищити об’єктивність та якість оцінювання, а відповідно — й ефективність управлінських рішень, що приймаються на основі одержуваних оцінок. Але поки що ці можливості використовуються не в повній мірі. Разом з тим, досвід використання цих методів як в Україні, так і в інших державах свідчить, що сучасна теорія освітніх вимірювань не дає відповідей на всі питання і потребує подальшого розвитку.

---