|
ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ ПОЛІТЕХНІЧНИЙ УНІВЕРСИТЕТ
яковенко Олександр Євгенович
УДК 378.147:044.4’24(477)
Моделі та методи контролю знань в автоматизованій системі управління навчальним процесом
05.13.06 — Автоматизовані системи управління та прогресивні
інформаційні технології
Автореферат
дисертації на здобуття наукового ступеня
кандидата технічних наук
Одеса – 2006
Дисертацією є рукопис.
Робота виконана в Одеському національному політехнічному університеті Міністерства освіти і науки України.
Науковий керівник доктор технічних наук, професор
Гогунський Віктор Дмитрович.
Одеський національний
політехнічний університет,
завідувач кафедри охорони праці
та безпеки життєдіяльності.
Офіційні опоненти доктор технічних наук, професор
Антощук Світлана Григорівна.
Одеський національний
політехнічний університет,
завідувач кафедри інформаційних систем;
доктор педагогічних наук,
кандидат технічних наук, доцент
Козлакова Галина Олексіївна.
Інститут вищої освіти Академії
педагогічних наук України (м. Київ),
провідний науковий співробітник.
Провідна установа: Національний технічний університет
”Харківський політехнічний інститут”,
Міністерства освіти і науки України, м. Харків.
Захист відбудеться 27 квітня 2006 р. о 1330 годині на засіданні спеціалізованої вченої ради Д 41.052.01 Одеського національного політехнічного університету за адресою: 65044, м. Одеса, проспект Шевченка, 1, ауд. 400А.
З дисертацією можна ознайомитися в бібліотеці Одеського національного політехнічного університету за адресою: м. Одеса, проспект Шевченка, 1.
Автореферат розісланий 14 березня 2006 р.
Вчений секретар
спеціалізованої вченої ради Ямпольський Ю.С.
Загальна характеристика роботи
Однією з найважливіших передумов якісної підготовки фахівців у вищій школі України є організація і управління повноцінною навчально-пізнавальною діяльністю студентів, що спрямована на якісне засвоєння системи знань, умінь і навичок, оволодіння досвідом творчої діяльності. У сукупності засобів, що забезпечують функціонування системи управління якістю підготовки фахівців, важлива роль належить науково обґрунтованому, ретельно спланованому і раціонально організованому контролю та управлінню процесом навчально-пізнавальної діяльності.
Актуальність теми. Чинні концепції навчання орієнтовано на взаємодію викладача і особи, що навчається, на лекційних, практичних і лабораторних заняттях. При цьому оцінювання рівня засвоєння знань здійснюється на основі суб’єктивних вимог викладача зі значним запізненням у часі в період екзаменаційної сесії у формі іспиту або заліку. Відсутність оперативного управління процесом навчання призводить до зниження загального рівня підготовки фахівців. Лише застосування інформаційних технологій дозволяє перейти до диференційованого підходу оцінювання знань студентів з різним рівнем базової підготовки. При цьому створюються умови ефективної самостійної роботи, за рахунок використання всіх видів пізнавальної діяльності, підтримується і розвивається системне мислення студентів, забезпечується систематизація і закріплення навиків та умінь, реалізуються принципи індивідуалізації навчального процесу при збереженні його цілісності.
Відомі комп’ютерні системи навчання та контролю виконують, як правило, окремі наукові і практичні завдання та не орієнтовані на формування комплексної системи інформаційного забезпечення та управління процесом поточного навчання з урахуванням особливостей модульної структури навчальних дисциплін. Тому дослідження, створення та впровадження автоматизованої системи управління навчальним процесом (АСУ НП АСПР), як програмного інструмента, для організації контролю знань і прийняття рішень за результатами проведеного контролю щодо комплексного управління навчальним процесом є актуальним.
Зв’язок роботи з науковими програмами, планами, темами. Дисертаційну роботу виконано відповідно до комплексу нормативних документів розробки складових системи стандартів вищої освіти (додаток № 1 до наказу Міносвіти України від 31.07.98 p. № 285 зі змінами та доповненнями від 05.03.2001 p. № 28-р); наказу МОН України № 48 від 23.01.2004 р. “Про затвердження Програми дій щодо реалізації положень Болонської декларації в системі вищої освіти і науки України на 2004 – 2005 роки”; НДР ОНПУ № 537 – 32 „Прогресивні інформаційні технології в охороні праці: Удосконалення автоматизованих систем тестування”
Мета і завдання дослідження. Метою дисертаційної роботи є підвищення якості навчання на основі удосконалення алгоритмічного забезпечення АСУ НП АСПР та використання методу 3D-оцінювання, як критерію діагностики знань.
Для досягнення даної мети в роботі виконано такі завдання:
– проведено дослідження методів і засобів, що застосовуються в автоматизо-
ваних системах обробки інформації та управління для прийняття рішень;
– виконано аналіз чинних автоматизованих систем управління навчальним процесом і тенденцій їх розвитку;
– досліджено вплив умов і мети конкретного завдання прийняття рішення на якість результату;
– узагальнено й уніфіковано підходи до вирішення основних завдань інтелектуальної обробки інформації на базі дослідження процесу прийняття рішень при управлінні складними об'єктами;
– виконано формалізацію вимог до АСУ НП АСПР, як до спеціалізованого програмного забезпечення, орієнтованого на функціонування в комп'ютерній мережі;
– розроблено методи аналізу і диференційованого оцінювання рівня засвоєння знань студентів;
– розроблено узагальнену цілеспрямовану модель процесу прийняття рішень в умовах адаптивного навчання;
– створено математичне, алгоритмічне і програмне забезпечення компонентів АСУ НП АСПР;
– виконано експериментальне підтвердження ефективності застосування запропонованих методів.
Об'єктом дослідження є автоматизована система управління навчальним процесом.
Предмети дослідження складають моделі і методи контролю знань та прийняття рішень в АСУ навчальним процесом.
Методи досліджень. Для аналізу методів і засобів, що застосовуються в автоматизованих системах обробки інформації та управління, а також при вивченні впливу конкретного завдання прийняття рішення на якість результатів, застосовувалися методи системного аналізу, теорії ймовірності, теорії інформації, теорії нечітких множин і нечіткої логіки, методи оцінювання складних об'єктів. Розробка програмного забезпечення АСУ НП АСПР базується на технології об'єктно-орієнтованого програмування. Організацію структури АСУ НП АСПР виконано на основі теорії комп’ютерних мереж.
Наукова новизна дисертаційної роботи:
– вперше розроблено класифікацію методів та засобів навчання, за структурою і параметрами, що дає змогу створити ефективну систему управління процесом навчання за модульним принципом;
– вперше запропоновано метод 3D-оцінювання знань, який враховує рівень засвоєння знань, час вирішення тестових завдань, інтенсивність оновлення знань та дозволяє адаптувати процес навчання відповідно до здатностей кожного студента;
– вперше розроблено інформаційну технологію прийняття рішень за умов адаптивного навчання з використанням кількісного оцінювання рівня засвоєння знань студентів, як складних об'єктів управління, яка відрізняється від відомих підходів тим, що оцінка формується в перетвореному просторі та є мірою відповідності кількісних та якісних властивостей об'єкта оцінювання вимогам, які постають в межах завдань навчання;
– дістали подальший розвиток методи оцінювання знань для побудови автоматизованої системи управління навчальним процесом, що відрізняються від чинних комплексністю підходу і відповідністю вимогам стандартів освіти;
– дістали подальший розвиток моделі та методи синтезу розподілених АСУ навчальним процесом, що реалізуються у вигляді комп’ютерних мереж, які працюють в режимі „клієнт – сервер”.
Практична цінність полягає у тому, що дисертаційні дослідження завершено створенням математичного, алгоритмічного і програмного забезпечення АСУ НП АСПР. Побудовано динамічну модель об'єкта управління, яка охоплює організаційну структуру навчальних курсів, сценарії навчання, логіку і динаміку оцінювання знань, що забезпечує отримання і відображення інформації, необхідної для прийняття рішень. Метод 3D-оцінювання дозволяє не тільки оцінювати знання, отримані студентом, а й визначити додаткові параметри, які можна використати для адаптації процесу навчання. Створено бази знань, які реалізують різні методи тестування. Розроблено автоматизовану систему, яка реалізує розроблені методи і алгоритми. Результати дисертаційної роботи впроваджено у навчальний процес Херсонського політехнічного коледжу Одеського національного політехнічного університету, на кафедрі „Охорони праці та безпеки життєдіяльності” Одеського національного політехнічного університету, у відділі практичного навчання ВАТ ”Херсонський завод карданних валів”, ВАТ „Херсонагропроменерго”.
Особистий внесок здобувача. Проведено дослідження методів і засобів, що застосовуються в автоматизованих системах обробки інформації та управління для прийняття рішень, виконано аналіз чинних автоматизованих систем управління навчальним процесом і тенденцій їх розвитку, запропоновано структуру АСПР [1, 6, 10]. Сформульовано наукові основи контролю знань студентів при реалізації кредитно – модульної системи [3]. Здобувачу належить алгоритм прийняття рішень в умовах адаптивного навчання, запропоновано використання методу 3-D оцінювання знань студента [4]. Розроблено критерії для прийняття рішень при реалізації АСПР [5, 14]. Проведено моделювання знань студента та їх оцінювання в системах адаптивної діагностики за допомогою методики кластерізації послідовності оцінок [2, 7]. Досліджено методи прийняття рішень в умовах Болонського процесу, запропоновані методи аналізу і диференційованого оцінювання рівня засвоєння знань студентів, які адекватно відображають динаміку процесів засвоєння навчального матеріалу [9]. Досліджено параметри управління процесом діяльності ВНЗ зі створення стандартів освіти, запропонована схема процесів управління навчальною діяльністю [11]. Розглянуто основні напрямки комп’ютерного тестування та запропоновано використання в АСПР адаптивної видачі питань [12]. Виконано формалізацію вимог стандартів навчання, які спрямовані на вимірювання й оцінювання повноти, системності й рівня професійних знань, а також дієвості й самостійності випускників навчальних закладів, що дає змогу порівняти рівень їх досягнень у процесі підготовки з еталонними вимогами освітньо-кваліфікаційних характеристик [13]. Виконано формалізацію вимог до АСПР, як до спеціалізованого програмного забезпечення, орієнтованого на функціонування в комп'ютерній мережі, визначені його програмно-інструментальні засоби [15]. Здобувачем запропоновано структуру алгоритмічної реалізації АСПР [16]. Виконано комп’ютерну реалізацію АСПР, приведені схеми роботи підсистем та узагальнені результати дослідження [8, 17].
Апробація роботи. Основні результати роботи обговорювалися на: ІІ МНПК „СІЕТ – 2001” (м. Одеса, 2001 р.); Всеукраїнській НПК „Проблеми практичної підготовки інженерів-педагогів у ВНЗ (м. Херсон, ХДУ, 2004 р.); НМК „Безпека життєдіяльності” (м. Харків, 2004 р.); МНК ISDMIT – 2005” (м. Євпаторія, 2005 р.); МК „Автоматика – 2005” (м. Харків, ХНТУ, 2005 р.); МНПК „Інформаційні технології: наука, техніка, технологія, освіта, здоров’я” ( м. Харків, ХНТУ, 2005 р.); VII МНПК „САІТ – 2005” (м. Київ, ІПСА НТУУ „КПІ”, 2005 р.); VIIІ МНПК ”Динаміка наукових досліджень – 2005” (м. Дніпропетровськ, 2005 р.); МНПК „Інформаційні технології в наукових дослідженнях та в навчальному процесі” (Луганськ – Алчевськ, 2005 р.); XII семінарі „Моделювання в прикладних наукових дослідж.” (м. Одеса, ОНПУ, 2005 р.); міжн. семінарі з індуктивного моделювання МСІМ – 2005 (м. Київ, 2005 р.); XIV МНП семінарі „Высокие технологии: тенденции развития” (Харків – Алушта: НТУ „ХПІ”, 2005 р.).
Публікації. Результати дисертації викладено в 17 публікаціях, у тому числі в 6 фахових виданнях, що входять до Переліку ВАК України.
Структура дисертації. Дисертаційна робота складається зі вступу, 4 розділів, висновків, 5 додатків. Обсяг дисертації – 136 стор., додатків – 45 стор. Дисертація містить 49 рисунків, 7 таблиць і посилання на 173 літературні джерела.
Основний зміст роботи
У вступі обґрунтовується важливість та актуальність теми дисертації, викладено мету і завдання досліджень. Сформульовані основні положення й практичні результати, досягнуті в роботі, їх наукова новизна.
У першому розділі виконано аналіз чинних АСУ НП і тенденцій їх розвитку, проведено дослідження методів і засобів, що застосовуються в автоматизованих системах обробки інформації й управління. Вперше розроблено класифікацію методів та засобів навчання, за структурою і параметрами.
Загальне завдання дослідження формулюється як розробка моделей та методів для створення та впровадження автоматизованої системи управління навчальним процесом, як програмного інструмента, для організації контролю знань і прийняття рішень за результатами проведеного контролю щодо комплексного управління навчальним процесом.
У другому розділі виконано формалізацію вимог до АСПР, як до спеціалізованого програмного забезпечення для функціонування в комп'ютерній мережі.
Розроблено структурну схему процесів управління якістю підготовки фахівців у ВНЗ та узагальнено схему процесу адаптивного навчання (рис.1).
Процес навчання розглядається як процес управління складним об'єктом, де студент виступає як об'єкт управління, а ОПР-викладач або навчальний пристрій – як джерело управління управлінського пристрою. “Викладач” подає на вхід “студента” порцію навчальної інформації (НІ) U ; Y – стан “студента”, що подається на давач (тест); Y’ – інформація про стан “студента”, отримана “викладачем”. “Викладач” повідомляє мету навчання Z* і ресурси R, які він має для навчання.
На N занятті „викладач” повідомляє студенту деяку порцію навчальної інформації. Студент вивчає її, а на наступному занятті відбувається контроль, результати якого подаються у вигляді YN. Використовуючи результати контролю YN, „викладач” визначає нову порцію НІ, яку та повідомляє студентові на черговому (N+1) етапі. Таким чином, процес навчання це обмін інформацією між „студентом” і „викладачем”, причому YN – реакція „студента” на навчальну дію UN „викладача”.
Рис. 1. Узагальнена схема процесу адаптивного навчання
Запропоновано адаптивну модель знань студента (АМЗС) на базі фрейм-сценарія та моделі "проекціювання", де складність завдань змінюється залежно від того, як студент засвоює навчальний матеріал (рис. 2). Поточний стан процесу навчання представляється проекцією знань студента на модель предметної області. Проекція обмежена рамками заданих студенту маршрутів і містить відомості про результати вивчення окремих модулів курсу (проходження вершин мережі).
Результати вивчення окремих модулів подано як сукупність результатів контролю знань з даного модуля і набору значень параметрів, які можуть бути виміря- ні під час роботи зі студентом. Куб знань у моделі розглядається в певному ракурсі, виконується проекція (зрізи) в площині: „ цикли – дисципліни – студенти ”. В свою чергу цей куб знань накопичує дані, які також становлять куб знань з іншими параметрами: „ дисципліна – модулі – дата ”, в якому виконується проекція в площині:
Рис.2. Адаптивна модель знань студента (АМЗС)
„дисципліна – модулі – дата”. Далі маємо куб з параметрами „оцінка – функція відновлення знань – частка невикористаного часу, відведеного на тест”, за якими проводимо оцінювання знань студента.
Для автоматизації оцінювання знань студента при реалізації АСПР з урахуванням різного ступеня його впевненості розглядається об'єкт нечіткого оцінювання знань вигляду, зображеного на рис.3. Оцінювання результатів тестування зводиться до ідентифікації нелінійного об'єкта з одним виходом і багатьма входами.
Взаємозв'язок змінних „вхід — вихід” задається у вигляді експертних висловів: ЯКЩО <вхід>, ТО <вихід> є нечіткими базами знань.
d = fy ( x1 , x2 , x3,, x4 ),
де d – вихідна кількісна змінна, що відображає оцінку за відповідь на поточне питання (діапазон зміни (0 — 1));
x1 , x2 , x3,, x4 – вхідні кількісні змінні (терми, якими вони оцінюються), i = 1, 2, 3, 4.
Рис. 3. Структурна схема нечіткої оцінки знань студента
Розроблено алгоритм оцінювання рівня засвоєння знань, заснований на нечітких логічних висловленнях, що дозволяє однозначно оцінити відповідь того, хто тестується, з урахуванням як правильних, так і частково правильних відповідей.
Для забезпечення можливості прийняття рішень також визначені вхідні параметри, які максимально враховують результати проведених комп'ютерних тестів.
Вхідний параметр „ оцінка за модуль ”. Результати наводяться у вигляді вектора елементарних фактичних оцінок:
 = ( r1; r2; r3; … ; rn ), (1)
де n — кількість модулів у даному навчальному курсі;
ri — елементарна оцінка, отримана студентом за модуль i , i = 1, 2, …, n .
Вхідний параметр „ частка невикористаного часу, виділеного на тест ”:
 (2)
де Тf, T — відповідно фактичний і відведений час на тестування.
Частку невикористаного часу за курсом можна подати у вигляді вектора:
V = (v1;v2;v3; … ; vn),
де n – кількість модулів за курс.
Параметр „рівень забування і відновлення знань” виражаємо функцією:
 , (3)
де  – кількість завдань для відновлення знань.
Таким чином, є модель об'єкта S, який характеризується множиною властивостей — { s1; s2; s3}. Кожна властивість може приймати значення в діапазоні [0 — 1]. Кожній властивості відповідає оцінка  , яка визначається за (1) — (3), тобто:
Проводиться складна оцінка об'єкта в 3D-просторі оцінювання (рис. 4), де  – позитивна точка еталона;  – негативна точка еталона;  – точка в просторі оцінки, яка задається значеннями елементарних оцінок, тобто, оцінка  визначається як відстань між  і  :
або  .
Кожному параметру ki призначається ваговий коефіці-
Рис. 4. 3D-простір оцінювання знань студента єнт P = (p1; p2; p3;…; pn).
У третьому розділі запропоновано структуру АСУ НП АСПР (рис. 5) та проведено її комп'ютерну реалізацію.
Рис. 5. Структура реалізованої АСУ НП АСПР
Функціонування оболонки системи в режимі комп'ютерного навчання базується на представлені навчання як інформаційного процесу формування знань у студента під управлінням викладача.
Керуюча частина (рис. 6) системи формує модель поточного стану знань і реалізує алгоритм управління — алгоритм вироблення поточного завдання студенту на основі порівняння моделей поточного і необхідного рівнів знань, яка в свою чергу формується студентом на основі аналізу і декомпозиції процесу навчання та заноситься в базу знань на етапі генерації комп'ютерного навчання.
АCПР забезпечує процес управління пізнавальною діяльністю з постійним слідкуванням за якістю засвоєння навчального матеріалу (контролю) та корекцією якості його засвоєння за необхідності (відновлення знань).
З метою визначення обcягу тестових завдань для об'єктивної оцінки знань проводиться моделювання процесу тестування з урахуванням випадковостей.
Рівень засвоєння знань в АСПР визначається відношенням частоти вірних відповідей до запитань тестових завдань:
 (4)
де p — рівень засвоєння знань, 0 ≤ p ≤ 1;
Yi — відносна оцінка кожного запитання в тестовому завданні, 0 ≤ Yi ≤ 1;
 — еталонна оцінка кожного питання  = 1;
λ — вагові коефіцієнти, що характеризують складність запитання λ > 0;
n — загальне число питань в тестовому завданні.
Нормоване значення p переводиться в бали відповідно до вибраної шкали оцінювання [0, 100].
У даному дослідженні прийняті наступні умови. Всі питання — рівної складності: λi = 1, а Yi оцінюється одиницею при збігу з еталонною відповіддю.
Набір запитань тесту формується випадковим чином з бази даних системи тестування, тому і оцінки будуть випадковою послідовністю чисел 1 і 0. При цьому оцінка в 90 балів за тест може бути одержана, наприклад, якщо 10 з 100 відповідей оцінені нульовим балом. Це дозволяє здійснити моделювання послідовності відповідей для різних рівнів засвоєння знань. За допомогою генератора випадкових чисел одержуємо 10 випадкових чисел ξm — номерів відповідей в інтервалі [0, 100]. Записуємо для цих номерів відповідей Yk = 0 {k = ξ1, ξ2, …ξ10}. Так само одержуємо випадкові послідовності відповідей для оцінок 75 і 65 балів (рис.7).
Криві 1, 3, 5 відображають середнє поточне значення оцінки Ds, приведене до шкали [0, 100] балів для кінцевих результатів тесту, в 90, 75 і 65 балів:
 , (5)
де s – номер відповіді в заданій послідовності { s = 1, 2 … n }.
Рис. 6. Алгоритм управління процесом навчання
Рис. 7. Відображення та прогнозування результатів моделювання тестування
Накопичувальні оцінки результатів тестування, показані кривими 7, 9 і 11, визначаються сумою вірних відповідей на завдання тесту:
 (6)
Накопичувальні оцінки представлені для 20, 12 і 10 перших відповідей для результатів тесту, відповідно, в 90, 75 і 65 балів.
Як видно з представлених результатів середні поточні оцінки схильні до значних варіацій для перших запитань тесту. У міру збільшення числа запитань розсіювання оцінок зменшується. Аналіз результатів тестування, які сформовані шляхом накопичення балів, показує, що такий спосіб оцінки надійніший. Крім того, через особливості видачі випадкової послідовності запитань, з'являється можливість значного зменшення числа запитань. Мінімальне число запитань тесту може бути визначено як величина зворотна частоті (або ймовірності при n → ∞) негативних відповідей q = 1 – p, де р відповідно до (4) є відношенням числа вірних відповідей до загального числа питань тестового завдання.
Якщо m число вірних відповідей, тоді  , а величина зворотня  є вибіркою питань, в якій одна з відповідей невірна.
Наприклад, для тесту в 90 балів мінімальна вибірка складає 10 питань. Для тестів з результатом 75 і 65 балів мінімальна вибірка складе, відповідно, 4 і 3 питання. Використання вказаних розмірів мінімальних вибірок було б достатнім, якби невірні відповіді в послідовності відповідей розподілялися рівномірно. З урахуванням випадковості формування послідовності відповідей, як показала практика, необхідно використовувати обсяг вибірок збільшений по відношенню до мінімальної вибірки в 2 – 3 рази.
Апроксимація результатів для таких вибірок описуються рівнянням ліній тренда. Оскільки коефіцієнт кореляції за Пірсоном R2 ≈ 1, то рівняння ліній тренда оцінок, що формуються накопиченням, можуть використовуватися для оцінювання результатів тестування екстраполяцією, як це показано на рис. 7.
З метою підвищення завантаження програмних і апаратних ресурсів АСПР у розділі проведений колективний аналіз черг в рамках моделі системи масового обслуговування (СМО) як одноканальної замкнутої системи з очікуванням (рис. 8).
Число станів Sk системи визначається числом M (k заявок, в черзі (k – 1), 1 заявка обслуговується).
Mg (M–1) g (M–2)g g
а а а а . а
Я Я Я Я Я
h h h h
Рис. 8. Розмічений граф АСПР:
– g – інтенсивність потоку заявок від одного студента. Якщо в системі вже знаходиться k заявок, то їх сумарний потік має інтенсивність ( M – k ) • g;
– h – інтенсивність потоку обслуговування;
– S0 – АСПР простоює ( Z = 0; L = 0; Z – середнє число заявок в системі; L –середня довжина черги );
– S1 – 1 заявка обслуговується, в черзі заявок немає ( Z = 1; L = 0 );
– Sм – 1 заявка обслуговується, довжина черги k – 1 ( Z = k; L = k – 1 ).За розміченим графом системи побудувано його математичну модель.
Визначаємо такі рівняння для всіх станів системи і одержуємо систему диференціальних рівнянь Колмогорова, що дає можливість знайти ймовірності всіх станів системи як функції часу.
У розділі також визначено характеристики АСУ НП АСПР:
– абсолютна пропускна спроможність:
A = g∙Q = g∙P0
– середнє число заявок в системі:
– середнє число заявок в черзі (довжина черги):
| 
