Перш ніж перейти до обговорення конкретних пропозицій ДІНЗ щодо цих критеріїв та показників, зупинюся на деяких загальних питаннях оцінювання ВНЗ.

1. Сьогодні існує багато різних думок стосовно ролі держави в оцінюванні якості вищої освіти та вищих навчальних закладів. Автор вже висловлював раніше думку[1]^,[2] про необхідність врахування при оцінюванні вищих навчальних закладів різниці їхніх місій, а також відповідності результатів їхньої діяльності потребам різних груп інтересів. При розробці системи оцінювання необхідно також враховувати мету цього оцінювання.

Але на практиці необхідно, насамперед, керуватися діючим законодавством.

Згідно з діючим Законом України «Про освіту»[3], з метою реалізації єдиної державної політики в галузі освіти передбачено державний нагляд (контроль) у сфері освіти (статті 5, 12); ліцензування та акредитацію вищих навчальних закладів з боку держави (стаття 12), а також деякі інші повноваження держави в сфері управління вищою освітою.

Закон України «Про вищу освіту»[4] передбачає:

а) державну атестацію осіб, які закінчують вищі навчальні заклади (стаття 7.4);

б) існування документів про вищу освіту державного зразка (статті 9.1, 10.1);

в) існування державних та галузевих стандартів вищої освіти (статті 11, 12, 13);

г) державні ліцензування та акредитацію вищих навчальних закладів (стаття 18).

З цього погляду пропозиції ДІНС, у цілому, відповідають діючому законодавству та повноваженням цього органу. Разом з тим, слід зазначити, що розробка показників і критеріїв оцінювання навчальних закладів не належить до компетенції ДІНС[5]. І це зрозуміло, тому що ці показники і критерії є невід'ємною складовою загальної стратегії розвитку системи освіти, розробкою якої повинні займатися інші органи державної влади. Ігнорування цього принципу призводить до неузгодженості нормативної бази. Зокрема, ми можемо це побачити, порівнюючи пропоновані ДІНЗ показники та критерії оцінювання з нормами, введеними наказом МОН[6] № 1518 від 30.10.2013 для надання освітніх послуг за дистанційною формою навчання, з використовуваними Державною акредитаційною комісією показниками ліцензування й акредитації вищих навчальних закладів тощо[7],[8].

Є ще один бік цієї проблеми. Сьогодні на розгляді Верховної Ради України перебувають три варіанти нового Закону України «Про вищу освіту». Всі вони істотно змінюють повноваження органів державного управління в цій сфері. На рівні вищого керівництва держави дано доручення підготувати новий Закон України «Про освіту». Чи доцільно сьогодні приймати документи, які через короткий час не будуть відповідати новій законодавчій базі?

2. Критерій оцінювання — це певне правило, за яким ми приймаємо рішення про відповідність чи невідповідність оцінюваного об'єкта встановленим вимогам, його зарахування до певного класу за якістю вищої освіти тощо. Тому він повинен являти собою не просто опис деякого показника або його розрахункову формулу. Він також має задавати множину допустимих або недопустимих (у цілому або для кожного класу) значень цього показника. Найчастіше з цією метою вказують граничні (мінімальні чи максимальні) значення, діапазони допустимих значень або оптимальні значення показників.

Іншим підходом може бути визначення допустимих значень на основі статистичного аналізу показників оцінювання. У цьому випадку ми можемо вважати незадовільними такі значення, для яких відхилення від центру розподілу відповідної групи показників є статистично значущим. Тоді порогові значення можна визначити через середні значення та стандартні відхилення показників або за допомогою емпіричних функцій їхнього розподілу.

3. Маючи велику кількість критеріїв, ми повинні використовувати методи багатокритеріального прийняття рішень при підбитті підсумків оцінювання. На їхній основі можливі такі основні підходи до оцінювання вищих навчальних закладів:

– Згортання всіх критеріїв в один «суперкритерій». Добре відомими прикладами застосування такого підходу є рейтинги університетів ARWU, QS, ТОП-200 університетів України тощо. Далі ВНЗ можуть бути поділені на групи згідно зі значеннями отриманого «суперкритерію».

– Визначення головного критерію та перетворення всіх інших критеріїв на обмеження. Тоді класифікація ВНЗ буде здійснюватися згідно зі значеннями головного критерію. Але незалежно від цих значень ВНЗ може потрапити до певного класу лише за умови, що інші його показники відповідають обмеженням, встановленим для відповідного класу.

– Ранжирування критеріїв у порядку їхньої значущості. Спочатку здійснюється класифікація ВНЗ за головним критерієм без врахування інших. На наступних етапах ця класифікація послідовно уточнюється на основі аналізу критеріїв, що залишилися, у порядку спадання їхньої значущості. Зокрема, до вищого класу при цьому можуть бути зараховані ВНЗ, що не відповідають певним вимогам цього класу за важливішими критеріями, проте значно перевищують ці вимоги за деякими іншими.

При застосуванні згортання критеріїв важливим є також вибір методу згортання. В задачах оцінювання ВНЗ найчастіше одержують підсумкову оцінку як зважену суму окремих індексів, кожний з яких часто також будують як зважену суму первинних показників. Зокрема, таку методику використовують для розрахунку вказаних вище університетських рейтингів. Але можливі й інші підходи. Наприклад, як підсумковий показник можна використовувати мінімальні або максимальні значення окремих індексів.

4. Будь-які показники та критерії, що збирають та розраховують державні установи — це певні витрати бюджетних коштів. Тому необхідно чітко обґрунтовувати необхідність цих витрат згідно з цілями та завданнями, що поставлені перед цими установами. Таке обґрунтування, як мінімум, повинно містити:

– докази того, що відповідна інформація є необхідною для досягнення цілей та вирішення завдань;

– докази того, що значення показників та критеріїв можуть бути отримані з достатньою для цілей оцінювання точністю;

– розрахунки фінансових та інших витрат, необхідних на збирання та обробку відповідної інформації.

5. В Україні існують вищі навчальні заклади різних форм власності. Стосовно ВНЗ державної форми власності держава має певні додаткові повноваження й, відповідно, повинна мати певну додаткову інформацію. Тому показники і критерії оцінювання мають бути поділені на дві групи — ті, що застосовуються для всіх ВНЗ, й ті, що застосовуються тільки для ВНЗ державної форми власності.

Тепер перейдемо до аналізу деяких конкретних показників і критеріїв, запропонованих ДІНЗ.

Першим критерієм є якість матеріально-технічного забезпечення освітнього процесу. Тут відразу впадає в очі відсутність показників якості. Всі пропоновані індикатори характеризують кількісні параметри матеріально-технічного забезпечення. При цьому вони охоплюють не всі й навіть не завжди найважливіші параметри матеріально-технічного забезпечення.

Незрозуміло, чому при розрахунку індикатора І_1.1 (забезпеченість навчальними площами) враховуються лише студенти денної форми навчання, а не приведена чисельність студентів, яка відображає наявність студентів інших форм навчання. До того ж, слід розуміти, що великі площі навчальних приміщень для багатьох провідних українських та регіональних університетів сьогодні є важким тягарем, бо потребують значних витрат на ремонти, опалення, освітлення тощо.

Індикатор І_1.2, що характеризує оснащеність навчального процесу сучасною комп’ютерною технікою, розраховують на основі показника П₀₀₇ (кількість задіяних в навчальному процесі комп'ютерів четвертого та наступних поколінь). Але до четвертого покоління належать, зокрема, перші персональні комп’ютери IBMPC, включно з випущеними в 1981 р. першими моделями[9], які давно вже стали історією.

Індикатор І_1.3, характеризує незрозуміле й відсутнє у нормативній базі поняття лабораторно-практичних робіт. Діюче Положення про організацію навчального процесу у вищих навчальних закладах[10] виокремлює лабораторні заняття, що передбачають виконання студентами певних лабораторних робіт, і практичні заняття, на яких обговорюються окремі теоретичні питання дисципліни та виконуються певні завдання. До того ж, частка робіт, що виконуються на власній базі, не може бути критерієм оцінювання, бо вказане Положення передбачає можливість проведення лабораторних робіт «в умовах реального професійного середовища».

Індикатор І_1.4, характеризує частку лекційних залів, оснащених мультимедійною технікою. Але до мультимедійної техніки належить велика кількість приладів, дуже різних за рівнем складності та корисності з погляду читання лекцій.

Індикатор І_1.5 (частка оновлення машин, обладнання і приладів, задіяних у навчальному процесі) взагалі не може використовуватися для оцінювання матеріально-технічного забезпечення навчального процесу. По-перше, через те, що він характеризує не це забезпечення, а фінансові витрати. По-друге, через те, що збільшення цього показника можливе не тільки через збільшення витрат на оновлення матеріально-технічної бази, але також і через зменшення загальної вартості машин, обладнання і приладів, задіяних у навчальному процесі. По-третє, через те, що оновлення не є самоціллю. Доцільна частка оновлення істотно залежить від того, яке саме обладнання оновлюють, а відтак — і від структури спеціальностей та інших специфічних рис кожного конкретного ВНЗ.

Другим критерієм є якість забезпечення освітнього процесу науково-педагогічними працівниками. Спільною рисою більшості цих показників є стимулювання ВНЗ до підвищення частки членів державних академій наук, докторів та кандидатів наук серед штатних викладачів. Але чи завжди це доцільно? Для успішної роботи ВНЗ потрібно мати певний баланс між викладачами різного віку, досвіду та наукових заслуг. Ми вже маємо прикрий приклад того, що завищені ліцензійні та акредитаційні нормативи з кількості кандидатів та докторів наук на фоні різкого зменшення фінансування наукових досліджень призвели до істотного зниження вимог до здобувачів відповідних наукових степенів і якості дисертацій.

Індикатором І_2.8 є частка викладачів, які своєчасно пройшли підвищення кваліфікації. З погляду оцінювання ВНЗ, цей індикатор сьогодні є скоріше шкідливим, ніж корисним, оскільки він ґрунтується на офіційних документах про підвищення кваліфікації викладачів. Але в умовах відсутності коштів на таке навчання воно у переважній більшості випадків є формальним. З іншого боку, багато викладачів отримують додаткові компетенції поза межами офіційних курсів, стажувань й т.ін. Втім, це навчання не відбивається в офіційній статистиці.

Третім критерієм є якість фінансового забезпечення освітнього процесу. Фінансові індикатори, з яких складається цей критерій, є важливими, але вони не мають відношення до якості фінансового забезпечення. Насамперед, це пов’язане з тим, що переважна їхня більшість є відносними показниками й не може свідчити про достатність фінансового забезпечення тих чи інших освітніх програм. Розрахункова формула для індикатора І_3.1 містить величину К_нф, для якої не наведені її значення та спосіб розрахунку (вимірювання).

Четвертий критерій — це якість формування студентського контингенту. На нашу думку, доцільніше було б оцінювати якість самого контингенту, а не його формування. Але якість студентського контингенту взагалі пропонованими критеріями не оцінюється. Зокрема, доцільно було б додати до показників оцінювання мінімальний та середній бал сертифікатів ЗНО зарахованих на першій курс абітурієнтів.

П'ятим критерієм є якість житлово-побутових умов і соціального захисту учасників освітнього процесу. Окремі індикатори цього критерію не можуть використовуватися для оцінювання ВНЗ, оскільки практично не залежать від його діяльності. Зокрема, це стосується індикатора І_5.8 (частка науково-педагогічних працівників, які в звітному навчальному році отримали один із видів житла).

Деякі інші індикатори є рудиментами радянської системи освіти і не відповідають реаліям сьогодення. Прикладами є індикатори, що характеризують забезпеченість студентів місцями в гуртожитках, забезпеченість учасників освітнього процесу гарячим харчуванням, оздоровлення в спортивних таборах і профілакторіях навчального закладу й т.п. Звісно, що ВНЗ повинні вирішувати відповідні проблеми. Але, з одного боку, фінансування цих витрат сьогодні залежить більшою мірою від МОН України, ніж від ВНЗ. А з іншого боку, далеко не всі учасники освітнього процесу бажають користуватися такими послугами з боку ВНЗ — хтось має кращі можливості, для когось ці послуги є недоступними через фінансові та інші обмеження.

Індикатор І_5.3 містить величину К_нх, для якої не наведені її значення та спосіб розрахунку (вимірювання).

Шостим критерієм є якість організаційного, науково-методичного та інформаційного забезпечення освітнього процесу. Насамперед, зауважимо, що поєднання таких різнорідних характеристик освітнього процесу в одному критерії є незрозумілим і невиправданим. Але насправді тут немає показників, які б дійсно характеризували якість організаційного та методичного забезпечення. Бо неможливо вважати такими індикатори І_6.9 (наявність розкладу навчальних занять) та І_6.10 (забезпеченість посадковими місцями у читальних залах). Те саме можна сказати і про показники якості науково-методичного забезпечення, оскільки саме якість цього забезпечення вони не відбивають. Ще однією проблемою індикаторів цього критерію є їхня орієнтованість на застарілі паперові форми науково-методичного забезпечення. Вони не враховують можливість вільного доступу студентів та викладачів до великої кількості високоякісних матеріалів, розташованих у мережі Інтернет. Також вони не передбачають можливості (а відповідно і не стимулюють до цього) створення у ВНЗ власних електронних ресурсів науково-методичних матеріалів, облік яких за пропонованими показниками та індикаторами є неможливим.

Сьомим критерієм є якість реалізації змісту підготовки фахівців. Перш за все, тут треба відмітити використання — як в назві критерію, так і в назвах індикаторів — багатьох некоректних та нечітких термінів. Зокрема, це стосується таких понять, як «якість реалізації змісту підготовки», «накопичувально-рейтингова система навчання» (індикатор І_7.2), які не передбачені діючими законодавством та нормативною базою вищої освіти. Поняття «інноваційні технології навчання» (індикатори І_7.3, І_7.4), «електронний конспект» та «мультимедійні технології навчання» (індикатори І_7.5, І_7.6) є невизначеними і допускають різні тлумачення, що неприпустимо для критеріїв оцінювання.

Індикатори І_7.7, І_7.8 характеризують частку дисциплін, з яких перевірка знань здійснювалася на комп’ютерних системах тестування. Але ж відомо, що така перевірка допустима не для всіх дисциплін. До того ж, не уточнюються види контролю (поточний, підсумковий) та обсяг використання систем тестування. Тому ці індикатори непридатні для оцінювання ВНЗ. Беззмістовним є індикатор І_7.9 (наявність системи управління якістю освіти), бо в тому чи іншому вигляді така система є завжди.

Восьмий критерій — це якість міжнародної діяльності ВНЗ. Як і в попередніх випадках, основними недоліками індикаторів цього критерію є їхні випадковість та неінформативність. Зокрема, серед них немає жодного індикатора, який характеризував би присутність ВНЗ у різноманітних світових університетських рейтингах, їхню участь у міжнародних наукових та освітніх програмах і проектах, співпрацю з авторитетними міжнародними освітніми та науковими установами, асоціаціями тощо.

Індикатори якості повинні відображати не тільки самий факт міжнародної діяльності, але також і її якість. Тому некоректно брати за основу стажування у зарубіжних ВНЗ (І_8.8), участь у міжнародних конференціях (І_8.9), публікації в зарубіжних виданнях (І_8.10), почесні звання зарубіжних ВНЗ (І_8.11) тощо без уточнення того, про які саме конференції, видання та ВНЗ йдеться.

Недоліком цієї групи індикаторів є також їхній відносний характер. Це призводить до неоднозначності інтерпретації. Наприклад, частка наукових спеціальностей, за якими здійснювалася підготовка аспірантів та докторантів, що є іноземними громадянами (індикатори І_8.4 та І_8.5), може бути високою не тільки через активну та якісну міжнародну діяльність, але й через малу кількість наукових спеціальностей, за якими здійснюється підготовка аспірантів та докторантів.

Дев'ятого критерію у поданих на сайті ДІНС документах чомусь немає.

Десятим критерієм є якість навчальних і творчих досягнень студентів і випускників, результати працевлаштування. Перш за все, тут треба зазначити, що словосполучення «якість … досягнень» є невдалим, бо наявність реальних досягнень вже передбачає їхню якість. Втім, про реальні досягнення більшість індикаторів цього критерію нічого не говорить. Так не є досягненнями студентів і випускників виконання ВНЗ державного замовлення на підготовку фахівців різних освітньо-кваліфікаційних рівнів (індикатори І_10.1 та І_10.2). Індикатори І_10.4-І_10.6, І_10.11 (частки випускників, що отримали дипломи з відзнакою або закінчили навчання на добре та відмінно, частка студентів, що закінчила навчальний рік на добре та відмінно) можуть орієнтувати ВНЗ не стільки на навчальні та творчі досягнення випускників, скільки на зниження вимог при оцінюванні результатів навчання. Індикатори І_10.7-І_10.9, що характеризують частку науково-дослідних дипломних робіт, рекомендації ДЕК до впровадження результатів у виробництво та до вступу в аспірантуру, є неінформативними, оскільки характеризують скоріше внутрішні традиції конкретних ВНЗ та кафедр, ніж реальні досягнення випускників. Індикатор І_10.10 (частка працевлаштованих випускників, що навчалися за кошти державного бюджету) не може використовуватися для оцінювання ВНЗ (тим більше — для оцінювання навчальних досягнень), оскільки для багатьох спеціальностей сьогодні немає можливості офіційного працевлаштування випускників через відсутність відповідних робочих місць в бюджетних установах, а також на підприємствах та в інших організаціях державної форми власності. Індикатори І_10.4-І_10.6, що характеризують участь та успіхи студентів у різноманітних наукових, спортивних, мистецьких заходах, потребують уточнення тих заходів, що враховуватимуться при їхньому розрахунку.

Підбиваючи підсумки, можна зазначити, що працівниками ДІНС виконана значна робота з розробки та систематизації можливих показників і критеріїв оцінювання вищих навчальних закладів. Але на сьогодні підготовані з цього приводу пропозиції потребують суттєвого доопрацювання. Основним недоліком пропонованих критеріїв та показників оцінювання є те, що вони не ув’язані з конкретними цілями, на досягнення яких керівництво системи освіти орієнтує вищі навчальні заклади. Тому в багатьох випадках ці показники та критерії сформовано не за принципом «що потрібно оцінювати», а за принципом «що легко перевірити». В пропонованій системі критеріїв взагалі відсутні критерії оцінювання наукової діяльності ВНЗ.

Вдосконалення критеріїв та показників доцільно робити після прийняття нових законів України «Про освіту» та «Про вищу освіту», оскільки ці закони, скоріше за все, істотно змінять стратегічні орієнтири розвитку вищої освіти, а також структуру органів управління і контролю у сфері вищої освіти.

Володимир Бахрушин

      професор, доктор фізико-математичних наук