Электронная библиотека Веда
Цели библиотеки
Скачать бесплатно
Доставка литературы
Доставка диссертаций
Размещение литературы
Контактные данные
Я ищу:
Библиотечный каталог российских и украинских диссертаций

Вы находитесь:
Диссертационные работы России
Педагогические науки
Общая педагогика, история педагогики и образования

Диссертационная работа:

Звонников Виктор Иванович. Педагогические измерения в управлении качеством обучения : диссертация... д-ра пед. наук : 13.00.01 Ростов-на-Дону, 2006 405 с. РГБ ОД, 71:07-13/122

смотреть содержание
смотреть введение
Содержание к работе:

ВВЕДЕНИЕ 4

1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИЗМЕРЕНИЙ В ОБРАЗОВАНИИ 29

1.1. Исторические аспекты развития педагогических измерений

в отечественном образовании 29

1.2, История развития измерений в образовании за рубежом 39

U. Основные компоненты и понятийный аппарат

в теории педагогических измерений 50

  1. Объективность педагогических измерений 55

  2. Уровни педагогических измерений и шкалы 59

  3. Постановка задачи шкалирования и шкалы 66

  4. Размерность измерений, одномерные и многомерные измерения 78

  5. Современное состояние теории педагогических измерений

и проблемные области исследования 87

Выводы по первой главе 94

2. ПРОЦЕСС УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ

И ЕГО НАУЧНОЕ ОБЕСПЕЧЕНИЕ 9S

2.L Качество образования в современном мире 98

2.2. Качество учебных достижений, эволюция понятия

и его современная трактовка в измерениях 107

  1. Уровни управления образованием и информационные потоки между ними 119

  2. Показатели качества образования (общая характеристика) 124

  3. Показатели качества учебных достижений на различных уровнях

управления качеством образования 127

2.6. Общие проблемы управления качеством образования,

их связь с измерениями 138

Выводы по второй главе 152

3. МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

В КОНТЕКСТЕ ПРОБЛЕМ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ 155

3* L Проблема теоретико-методологического обоснования измерений

в управлении качеегвом образования 155

  1. Основные цели, функции и задачи измерений в образовании 161

  2. Принципы научной организации измерений в образовании 173

  3. Традиционная (классическая) теория тестов 186

  4. Современная методология педагогических измерений 192

  5. Бипарадигмальная методология и модели измерений

в управлении качеством образования 197

3.7. Классификация бипарадигмальных моделей измерения применительно
к современным проблемам управления качеством образования,

схемы сочетания уровней измерения 207

Выводы по третьей главе 220

4. ТЕОРЕТИКО-МЕТОЛОЛОГИЧЕСКИЕ ОСНОВЫ ИСПОЛЬЗОВАНИЯ
ИЗМЕРЕНИЙ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБРАЗОВАНИЯ 223

4.1. Общие направления теоретико-методологических исследований

по использованию измерений в управлении качеством образования 223

  1. Эвалюация в образовании 226

  2. Научное обоснование точности педагогических измерений

(надежность и ее оценивание) 23,5

  1. Валидность педагогических измерений 246

  2. Теория генерализации, ее общие положения и дизайн

в управлении качеством образования 254

Выводы по четвертой главе 269

5. СОВРЕМЕННЫЕ ИЗМЕРИТЕЛИ, МЕТОЛИЧЕСКИЕ
АСПЕКТЫ ОБРАБОТКИ. АНАЛИЗА И ИНТЕРПРЕТАЦИИ

ДАННЫХ ИЗМЕРЕНИЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБУЧЕНИЯ 271

5.1. Общая типология видов современного инструментария
педагогических измерений, контрольные измерительные материалы

единого государственного экзамена 271

5.2. Методика формирования выборочных совокупностей учащихся
и оценивания генерализуемости данных измерения

(на примере результатов единого государственного экзамена) 291

5.3. Методики шкалирования к выравнивания данных іееі ировапия
по вариантам и по годам (па примере результатов

единого государственного экзамена) 297

5.4. Методические подходы к анализу и интерпретации данных измерения
ь управлении качеством образования (на примере результатов

единого государственного экзамена) -, 320

Выводы по пятой глане 331

ЗАКЛЮЧЕНИЕ 333

ЛИТЕРАТУРА 345

Приложение 1 379

Приложение 2 382

Приложение 3 391

Приложение 4 392

Приложение 5 395

Введение к работе:

Актуальность работы. Современная ситуация реформирования в отечественном образовании характеризуется многими радикальными переменами, нацеленными на приведение системы образования в соответствие с потребностями развивающейся структуры национальной экономики и общества. К числу этих перемен, в первую очередь, можно отнести обновление содержания образования, обеспечение равенства доступа к качественному образованию, становление инновационных технологий обучения с преимущественной ориентацией на личностно-ориентированные аспекты, введение независимой аттестации выпускников учебных заведений на основе единого государственного экзамена, переход к новым информационным технологиям и другие инновации.

Мировой опыт показывает, что в условиях реформирования образования необходимо повышение эффективности управленческих воздействий на качество образовательного процесса и достигаемые в нем результаты. Понимание важности роли управления находит свое отражение в попытках переосмысления трактовки качества образования, в создании развернутого научного обоснования систем управления качеством и интенсивном развитии их методологического, методического и информационного обеспечения.

В настоящее время исследования по научным проблемам управления качеством образования в нашей стране идут, по меньшей мере, в трех важных направлениях. Одно из них нацелено на методологию, закладывающую теоретические основы инновационных методов управления качеством образования и научной организации процесса управления (Ю.П. Адлер, В.И. Андреев, А.Г. Бермус, М.Б. Гузаиров, Н.Ф. Ефремова, В.А. Качалов, Г.С. Ковалева, А.Н. Майоров, А.А. Макаров,

В.М. Монахов, В.П. Панасюк, М.М. Поташник, Н.А. Селезнева, А.И. Су-бетто, и др.). Сюда же примыкают концептуально-методологические исследования, рассматривающие различные аспекты оценки качества образования, выделяющие совокупности показателей и расставляющие приоритеты в определении его критериев.

Другое направление исследований связано с попытками стандартизации целевых ориентиров и составляющих процесса управления качеством образования. К нему относятся работы по созданию государственных образовательных стандартов и систем менеджмента качества образования, основанных на стандартах ИСО 9000-2000 (О.В. Аристов, В.И. Байденко, В.А. Исаев, В.А. Качалов, СИ. Колесников, Э.М. Ко-ротков, С.К. Круглов, В.А. Нефедов, Н.А. Селезнева, В.М. Соколов, В.П. Соловьев, Ю.Г. Татур, А.Н. Чекмарев, В.М. Фирсов и др.).

Третье направление — теоретико-методологические исследования в области оценки состояния, изменений и тенденций в образовании - базируется на теории педагогических измерений, получивших интенсивное развитие после начала в нашей стране эксперимента по введению единого государственного экзамена (ЕГЭ) (B.C. Аванесов, А.Е. Бах-мутский, В.Н. Белобородов, В.А. Болотов, М.Б. Гузаиров, Н.Ф. Ефремова, Г.С.Ковалева, Э.М.Коротков, О.З.Кузнецова, Н.А.Кулемин, И.И. Легостаев, А.Н. Майоров, Е.А. Михайлычев, В.М. Мокосеев, В.Ю. Переверзев, С.А. Сафонцев, А.И. Севрук, А.О. Татур, М.Б. Че-лышкова, А.Г. Шмелев и др.).

В целом, управление качеством образования - сложный многоаспектный процесс, научное обоснование которого предполагает взаимосвязанное развитие всех перечисленных направлений. Однако разнообразные подходы к концептуально-методологическому обоснованию качества образования, многочисленные попытки его стандарти-

зации, различные модели управления так и останутся в сфере теории, если не признать в системах управления качеством образования приоритетную роль объективного оценивания, основанного на теории педагогических измерений и обеспечивающего научную основу для анализа результатов обучения, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования. Действительно, ограниченность знаний об объекте управления и о каждом из его субъектов, вызванная несовершенством информационного обеспечения управленческих процессов вне культуры педагогических измерений, не позволяет педагогам в полной мере соотнести результаты обучения с целевыми критериями, объективно оценить эффективность инновационных технологий, обоснованно определить степень и особенности управленческих воздействий, необходимых для повышения качества образования.

Анализ опыта развития образовательных систем свидетельствует о том, что интенсификация контрольно-оценочной деятельности педагогов путем использования аппарата и средств педагогических измерений позволяет не формально, а реально управлять образовательным процессом и принимать правильные управленческие решения, способствующие повышению качества образования. Таким образом, в практическом плане актуальность поставленной проблемы диссертационного исследования обусловлена необходимостью развития систем качества образования, доведения их характеристик до уровня, адекватного современным требованиям модернизации отечественного образования. Особую важность исследованию придают задачи, поставленные в Концепции модернизации отечественного образования на период до 2010 года и в Плане действий Правительства Российской Федерации в области социальной политики и модернизации экономи-

ки. В этих документах предусматривается введение независимой аттестации выпускников общеобразовательных учреждений и создание эффективной системы отбора абитуриентов вузов на основе результатов единого государственного экзамена, анализ и интерпретация которых предоставляют новые возможности для совершенствования системы управления качеством образования.

В теоретическом плане актуальность проблемы исследования определяется отсутствием должного уровня разработок по теоретико-методологическим основам педагогических измерений, рассматриваемым в контексте актуальных проблем управления качеством образования. Несмотря на широкий круг перечисленных имен ученых и новаторов-практиков, в научных работах по измерениям применительно к проблемам управления качеством образования можно выделить ряд нерешенных задач. Недостаточно представлены вопросы концептуально-методологического обоснования измерений в управлении качеством обучения и методологические подходы к измерению качества учебных достижений. Отсутствуют разработки по методологии генерализации данных педагогических измерений, необходимые для распространения результатов выборочных исследований на генеральные совокупности обучаемых и обоснованного выбора управленческих воздействий. Нет должного обоснования системы измеряемых показателей качества обучения, адекватных объективным требованиям общества, рынка труда и личностным ожиданиям обучаемого. Слабо проанализирована связь между традиционными и инновационными контрольно-оценочными процессами, рассматриваемыми как необходимые составляющие управления качеством образования. Отсутствует классификации видов современных измерителей, а отдельные выстроенные классификационные схемы давно устарели, либо не в полной

мере отвечают требованиям полноты и непротиворечивости. К качеству отдельных компонентов педагогических измерений не разработаны требования, выполнение которых необходимо для эффективного управления качеством образования.

На сегодняшний день состояние в сфере контроля и оценки качества образования в России крайне противоречиво, что не случайно, поскольку процесс модернизации любой системы всегда сопровождается элементами ее кризисного состояния, наличием противоречий между ее традиционным - современным и перспективным - прогнозируемым состоянием. К основным факторам такого кризисного состояния можно отнести противоречия между:

необходимостью моделирования процессов самоорганизации системы управления качеством обучения и недостатками традиционной контрольно-оценочной системы в образовании, ее субъективностью и низкой прогностичностью, порожденными отсутствием опоры контроля на теорию и практику педагогических измерений;

потребностью в направленности систем управления качеством обучения на решение актуальных глобальных задач, стоящих перед отечественным образованием, и отсутствием теоретико-методологических основ анализа и интерпретации результатов педагогических измерений, необходимых для решения этих задач в процессе управления качеством обучения;

необходимостью смещения целей учебного процесса с традиционного формирования знаний, умений и навыков на развитие мышления, интеллекта, информационной культуры и отсутствием методик разработки валидного контрольно-оценочного инструментария, пригодного для управления качеством обучения в условиях инноваций;

потребностями внедрения технологий личностно-ориентиро-ванного обучения в учебный процесс и низким обучающим по-

тенциалом традиционных средств контроля, его авторитарностью, недостаточной информативностью и слабой индивидуализацией, препятствующей дифференциации управленческих воздействий.

Поиск путей преодоления отмеченных противоречий, недостатков и недоработок послужил основой для выбора тематики данного исследования и позволил сформулировать ведущую исследовательскую проблему. Ее суть состоит в поиске ответа на вопрос: каким образом следует увеличить теоретико-методологический потенциал теории педагогических измерений с тем, чтобы заложить эффективную контрольно-оценочную основу в современные системы менеджмента качества образования и увеличить тем самым эффективность управленческих воздействий на повышение качества обучения?

Анализ путей решения этой проблемы привел к необходимости ее некоторого сужения, в результате которого была выбрана тема исследования: «Педагогические измерения в управлении качеством обучения». Прикладные аспекты темы бьши конкретизированы применительно к практическим потребностям эксперимента по введению единого государственного экзамена и систем качества университетского образования. Основными особенностями исследования, предопределившими возможность получения новых результатов, являются такие свойства, как инте-гративность и междисциплинарность. В исследовании переплетаются педагогика, психология, теория педагогических измерений, теория управления образовательными системами и теория вероятности, достижения которых объединяются с методами математического моделирования и прилагаются к практике в контексте общих проблем образования.

Цель исследования - разработать фундаментальные теоретические и прикладные положения научной организации педагогических

измерений применительно к проблемам развития современных систем управления качеством образования и внедрения инновационных технологий обучения.

Объектом исследования являются контрольно-оценочные процессы, рассматриваемые в контексте проблем управления качеством образования.

Предмет исследования - теоретико-методологическое и технологическое обоснование педагогических измерений, обеспечивающее рост результативности контрольно-оценочных процессов в управлении качеством обучения.

Гипотеза исследования. В основе исследования лежит предположение о том, что педагогические измерения приобретают инновационные функции, увеличивающие эффективность управления качеством обучения, если теоретико-методологические и технологические основы измерений будут:

обеспечивать высокую прогностичность результатов педагогических измерений в соответствии с приоритетом стратегических задач систем качества образования;

учитывать возможность совмещения педагогических измерений с традиционными формами и методами контроля в пропорциях, необходимых для успешной реализации функций по управлению качеством образования;

отражать общую направленность измерений не только на традиционные методы обучения, но и на современные педагогические концепции развивающего и личностно- ориентированного обучения;

опираться на операционализируемую совокупность показателей качества обучения, нацеленную на формирование наиболее существенных характеристик профессиональной подготовки в вузе;

включать преимущественную ориентацию средств измерения на проверку продуктивного уровня усвоения, интеллектуальных умений более высокого порядка за счет использования инновационных видов измерителей;

включать научный апцарат для обеспечения высокой объективности, надежности и валидности результатов измерений в образовании.

Поставленная цель и сформулированные гипотезы реализуются в ходе решения следующих конкретных задач исследования:

проанализировать и обобщить результаты научных исследований по проблемам педагогических измерений, выявить позитивные тенденции с позиций перспективных направлений для совершенствования систем управления качеством обучения;

провести периодизацию исторического пути развития теории и методологии педагогических измерений;

разработать концептуально-методологические основы научной организации педагогических измерений в контексте современных подходов к сочетанию различных уровней измерения и проблем создания систем управления качеством образования;

разработать концептуальные основы систем управления качеством обучения, предполагающие интеграцию педагогических измерений и традиционных методов контроля в условиях ориентации на приоритет инновационных технологий обучения; использования операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

разработать классификационную схему традиционных и инновационных видов измерителей, дополнить и уточнить основные определения понятийно-категориального аппарата теории педагогических измерений;

сформировать совокупность научных требований к качеству основных компонентов педагогических измерений, рассматриваемых как составляющие системы управления качеством обучения;

сформировать совокупность измеряемых показателей качества подготовленности обучающихся, необходимую для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем;

разработать основные теоретико-методологические И методические подходы к использованию результатов педагогических измерений в управлении качеством обучения.

Методологической основой исследования послужили:

синергетический подход (И. Пригожий, Г. Хакен), предполагающий интеграцию и использование многих научных подходов и направлений;

системный подход, позволяющий осуществлять анализ качества обучения, рассматривая его как совокупность свойств образовательной системы, протекающего в ней образовательного процесса и результатов обучения;

методология социально-педагогического проектирования, служащая научной базой для проведения научно-практических исследований в области управления качеством образования.

Теоретическая база исследования:

теория педагогических измерений (B.C. Лванесов, И.И. Лего-стаев, Н.Ф. Ефремова, А.С. Масленников, Е.А. Михайлычев, В.Г. Наводнов, IO.M. Нейман, М.Б. Челышкова, R.A. Berk, A. Binet, A. Birnbaum, R.N. Campbell, R. Hambleton, J.P. Keeves, F.M. Lord, G. Rasch, H. Swaminathan, E.L. Thorndike, L.L. Thur-stone, D.J. Weiss);

педагогические концепции личностно-ориентированного обучения (М.К. Акимова, Е.В. Бондаревская, И.П. Волков, В.В. Давыдов, Л.В. Занков, Е.Н. Ильина, И.С. Якиманская, Е.А. Ямбург);

общая теория управления педагогическими системами (В.П. Беспалько, Дж. Борк, У. Букович, А.В. Вебер, А.Д. Данилов, П. Джексон, В.П. Панасюк, Р. Уильяме);

фундаментальные и прикладные теоретические исследования в области качества образования (А.В. Вроейнстийн, М.Б. Гузаиров, Н.И. Максимов, Н.А. Селезнева, Ю.Г. Татур, А.Н. Чекмарев).

Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.

В число методов первой группы вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование и многие другие. Ко второй группе общенаучных методов эмпирического исследования можно отнести наблюдение, экспертизу, моделирование, измерение. К группе специальных методов следует отнести математическое моделирование в рамках теории IRT.

Исследование осуществлялось на протяжении нескольких этапов:

1 этап (2000-2002 гг.) - подготовительный и аналитико-поис-

ковый включал: анализ практических проблем, сложившихся в области педагогических измерений при решении задач управления качеством образования (эксперимент по введению ЕГЭ, вузовские системы менеджмента качества образования); анализ литературных источников (свыше 400 источников); постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы; моделирование объектов исследования.

2 этап (2002-2005 гг.) - аналитико-синтетический, нацеленный на

обобщение практического опыта, разработку концептуаль-

ной и методологической части результатов исследования, проведение развернутого статистического анализа данных ЕГЭ по тематике исследования и смежной проблематике в рамках НИР и НИОКР Федеральной программы развития образования в России с привлечением соисполнителей из Ивановского государственного университета и Донского государственного технического университета (свыше 10 проектов), разработку и проведение анкетирования в соответствии с требованиями стандартов качества образования в Государственном университете управления, обобщение статистических данных и их интерпретацию для решения задач исследования, разработку экспериментальной авторской учебной программы «Педагогические измерения в управлении качеством образования», ее внедрение в систему повышения квалификации профессорско-преподавательского состава вузов на базе кафедры педагогических измерений Исследовательского центра проблем качества подготовки специалистов и кафедры тестологии в Российском университете дружбы народов, подготовку статей и монографии, апробацию результатов исследований на конференциях, симпозиумах и совещаниях (свыше 15).

3 этап (2005—2006 гг.) — заключительный: обобщение данных анализа, разработка выводов, подведение итогов исследования, оформление диссертационного исследования, разработка методик и рекомендаций по использованию результатов измерения в управлении качеством образования.

Базой исследования явились: кафедра педагогических измерений Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета), Центр качества подготовки специалистов Государственного университета управления, кафедра тестологии Российского университета дружбы народов, кафедра педагогических измерений Донского государственного технического университета, Центр каче-

ства образования Ивановского государственного университета, рабочая комиссия по организации ЕГЭ, созданная в 2001 г. при Минобразования России для научного и методического сопровождения эксперимента по введению ЕГЭ.

Личный вклад автора составляет, прежде всего, его работа в статусе руководителя (проректор по качеству Государственного университета управления) и участие в создании университетской системы менеджмента качества образования, руководство научными проектами по проблемам оценки качества образования.

Автор диссертации ведет занятия по теории и методике конструирования педагогических тестов, общим проблемам педагогических измерений в различных структурах повышения квалификации управленческих, профессорско-преподавательских, педагогических и научно-исследовательских кадров системы образования во многих городах России (Москва, Иваново, Ростов-на-Дону, Краснодар и т.д.). В развитие приказа Минобразования России №1122 от 17.04. 2000 г. для подготовки лиц с целью получения дополнительной квалификации «Тесто-лог» (специалист по педагогическим измерениям)» автором разработана и издана экспериментальная учебная программа «Педагогические измерения в управлении качеством образования», предназначенная для повышения квалификации управленческих, профессорско-преподавательских, педагогических и научно-исследовательских кадров системы образования.

В 2001 году в России под руководством автора на базе Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) создан Центр сертификации педагогических тестовых материалов, предназначенный для производства тестов и обеспечения их высокого

профессионального уровня, без которого немыслимо широкое внедрение педагогический измерений в управление качеством образования и практику образовательного процесса.

С момента начала эксперимента по введению ЕГЭ автор диссертационного исследования являлся научньш руководителем 17 научно-исследовательских и экспериментальных проектов, среди которых, в первую очередь, следует назвать:

  1. «Разработка государственных требований к качеству педагогических тестовых материалов», 2001.

  2. «Разработка контрольных измерительных материалов по общеобразовательным предметам для проведения единого государственного экзамена в 2002-2003 годах и мониторинг эксперимента», 2002.

  3. «Разработка требований к контрольным измерительным материалам на основе современных подходов к оценке качества образования и результатов первого этапа эксперимента», 2002.

  4. «Разработка методики оценивания открытых заданий по предметам гуманитарного и естественно-математического циклов в рамках единого государственного экзамена», 2002.

  5. «Разработка требований к контрольным измерительным материалам по каждому общеобразовательному предмету на основе современных подходов к оценке качества образования и результатов проведения единого государственного экзамена», 2003.

  6. «Анализ и психолого-педагогическая интерпретация латентных характеристик подготовленности выпускников, оцениваемых в ЕГЭ по отдельным предметам», 2004.

  7. «Выявление причин и факторов, приводящих к отклонению результатов выборочных совокупностей выпускников, значимо отличающихся от средних результатов по России», 2004.

  8. «Разработка методики использования результатов ЕГЭ для управления качеством образования в учреждениях образова-

ния, на федеральном, региональном и муниципальном уровнях управления», 2004.

  1. «Мониторинг эксперимента по введению единого государственного экзамена», 2005.

  2. «Разработка научно-методических подходов к шкалированию результатов единого государственного экзамена по иностранным языкам», 2005.

По результатам исследований подготовлены и изданы учебные 4 учебных пособия, монография, научные труды, раскрывающие основные фундаментальные и прикладные аспекты теории педагогических измерений в управлении качеством образования, учебник «Контроль и оценка в современной школе», предназначенный для студентов педагогических направлений и специальной подготовки при освоении ими общей профессиональной дисциплины по современным средствам контроля и оценки в образовании.

Достоверность и обоснованность новых научных результатов исследования обеспечивалась за счет использования современных, получивших признание научной общественности источников информации в области теории педагогических измерений, теории управления и методологии IRT.

Достижению должного общенаучного уровня диссертационного исследования и обоснованности его результатов способствовало использование системного подхода, соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.

Повышению обоснованности технологических подходов, предлагаемых в диссертационном исследовании для решения ряда поставленных в нем проблем, способствовало проведение эмпирических проверок инновационных технологических разработок, их внедрение в прак-

тику эксперимента по введению единого государственного экзамена и в учебный процесс Государственного университета управления. Научная новизна работы заключается в том, что:

проведена периодизация исторического пути развития теории и методологии педагогических измерений. В отличие от существующих ранее работ по исследованию истории развития тестов в основу предлагаемого подхода положен анализ эволюционного пути становления и развития измерений в образовании. Благодаря этому удалось вычленить сущностные предпосылки развития теории и методологии педагогических измерений, связав их с различными социальными, экономическими и политическими изменениями в обществе в нашей стране и за рубежом;

разработаны фундаментальные методологические положения теории научной организации измерений применительно к проблемам управления качеством образования. В частности, предложена совокупность принципов, регламентирующих научную организацию педагогических измерений, исследованы основные положения теории генерализации в контексте проблемной области исследования, определены функции измерений в управлении качеством обучения, введено представление о методологии использования измерений в управлении качеством образования и определены составляющие ее теории;

разработана концептуальная модель количественных и качественных измерений, основанная на бипарадигмальной методологии применительно к различным уровням управления качеством образования;

создана концепция системы управления качеством обучения, строящаяся на бипарадигмальной методологии и ориентированная на инновационные технологии обучения, операциона-лизируемые показатели качества обучения, современные виды измерителей, методы самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

создана логически исчерпывающая типология бипарадигмаль-ных моделей педагогического измерения и предложены схемы сочетания различных уровней измерения для разработки дизайна измерения;

создана таксономическая схема видов современных измерителей, ориентированных на преимущественную проверку продуктивного уровня усвоения, интеллектуальных умений и приоритеты когнитивного обучения;

разработаны дидактические и технологические требования к качеству компонентов педагогических измерений, рассматриваемых как составляющие систем управления качеством обучения;

предложена совокупность измеряемых показателей качества подготовленности учащихся, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем;

разработаны методики сопоставимости и интерпретации результатов педагогических измерений (наблюдаемых и латентных) в управлении качеством обучения.

Теоретическая значимость работы обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования:

проведена периодизация исторического пути развития теории и методологии педагогических измерений;

систематизированы представления о категории «качество образования», обоснованы наиболее перспективные подходы к его трактовке с позиций измерений в управлении,

проведена систематизация и дополнение понятийного аппарата теории педагогических измерений и ее методологических основ, обеспечивающих как научную организацию самого процесса измерений, так и применение его в управлении качеством образования;

предложены современные подходы к трактовке объективности педагогических измерений и размерности пространства измерений, объединяющие в единую систему теории надежности, валидности и размерности;

разработаны новые концептуальпые подходы к построению систем управления качеством обучения, отражающие особенности инновационных технологий обучения, сочетания количественных и качественных уровней измерения, современных измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

обоснованы преимущества динамического подхода к оцениванию качества образования;

выделены и структурированы совокупности показателей качества обучения для различных уровней управления, обоснована необходимость учета дополнительных факторов для анализа качества образования, предложены основополагающие показатели для различных уровней управления качеством обучения;

разработаны типологии моделей педагогического измерения, видов современных измерителей и схем сочетания различных уровней измерения;

разработаны и обоснованы научные требования к качеству компонентов педагогических измерений, обеспечивающие высокое качество результатов и возможность принятия на их основе обоснованных управленческих решений;

предложены теоретические подходы к обеспечению сопоставимости результатов педагогических измерений при их использовании для сравнительных исследований в управлении качеством обучения;

введены в оборот педагогической науки отдельные ключевые положения теории измерений и управления образовательными системами, как существующие ранее, так и предлагаемые автором исследования (цикл управления, бипарадигмальная модель измерения, бенчмаркинг и т.д.).

Практическая значимость исследования достигается за счет значительных методических и технологических наработок, нацеленных на обеспечение корректности использования результатов педагогических измерений в управлении качеством обучения, преимущественной ориентации области результатов на операционализируемые показатели качества обучения, приоритетной разработки прикладных аспектов теории педагогических измерений применительно к проблемам управления качеством обучения. В частности, в исследовании содержатся методики оценивания размерности пространства измерений, методики формирования репрезентативных выборок, подсчета коэффициента генерализации, дизайны генерализации, методики шкалирования и интерпретации данных измерения, ориентированные на эмпирические данные ЕГЭ и используемые по мере создания в практике развития эксперимента.

Большинство результатов работы внедрено в практику эксперимента по введению ЕГЭ и в практику менеджмента качества образования в Государственном университете управления. Материалы диссертации, включающие ряд методик, имеют практическую ценность для разработки систем менеджмента качества образования, деятельности управленческих структур федерального и регионального уровней в образовании. Разработашгые показатели качества учебных достижений могут быть использованы при аттестации учебных заведений, для проведения сравнительных исследований качества обучения.

Материалы исследования используются в системе повышения квалификации и дополнительного профессионального образования профессорско-преподавательского состава учебных заведений России.

На защиту выносятся:

1. Результаты анализа истории развития теории и методологии педагогических измерений. По данным анализа необходимо выделить чего

тыре периода. Первый период занимает временной интервал с конца 19-го до начала второго десятилетия 20-го века. В этот период педагогические измерения не получили самостоятельного статуса и развивались в рамках общей теории измерений, используемой в соответствии с представлениями того времени исключительно в естественных науках, а не в психологии и образовании. Ко второму периоду в истории развития измерений можно отнести временной промежуток с 1920 г. По 1945 г., начало которого можно соотнести с развитием теоретических и методологических концепций измерительных процедур во внефизических областях. Третий период продолжался с 1946 по 1980 г. и проходил под знаком доминирующей классической теории тестов. Характерной чертой третьего периода является нарастающее расширение сферы приложения теории измерений, когда центр тяжести прикладных исследований по измерениям переместился из точных наук в социальные науки на фоне создания основных положений теории 1RT.

Четвертый период развития теории и практики педагогических измерений, начавшийся в 80-х годах и продолжающийся по сей день, характеризуется интенсивным внедрением в массовое тестирование основных теоретических положений IRT, компьютерной техники и современных компьютерных технологий в образовательный процесс. Высокая эффективность процедур измерения, связанная с качественной калибровкой тестовых заданий, хранением их в виде банков, автоматизацией предъявления заданий в процессе обучения и контроля, компьютерным моделированием тестов, сыграла решающую роль в расширении сферы приложения теории педагогических измерений вплоть до решения на ее основе комплексных задач управления качеством образования. Характерной чертой четвертого периода является становление новой бипарадигмальной методологии, нацеленной на

научную организацию педагогических измерений в системах менеджмента качества образования.

Главный итог проведенного анализа исторического развития теории и методологии измерений в отечественном образовании — это вывод о необходимости создания в нашей стране специального полноправного направления педагогической науки - теории педагогических измерений, которая в силу междисциплинарного характера не может полнокровно развиваться в рамках классической педагогики, но без опережающего развития которой страдает сфера управления в образовании.

  1. Понятийный аппарат теории педагогических измерений, который строится на типологической, классификационной основе, отвечающей требованиям полноты и непротиворечивости, и включает ряд определений. К основным определениям, сформулированным и уточненным в исследовании применительно к проблемам управления качеством обучения, относятся: педагогическое измерение, методология педагогических измерений, бипарадигмальная методология и модели педагогических измерений, процедура педагогического измерения, педагогический измеритель, стандарты качества измерителей, качество учебных достижений, управление качеством обучения, теория генерализации, опера-ционализируемый показатель качества обучения, технология измерений в системе управлении качеством образования и ряд других.

  2. Совокупность принципов, обеспечивающих научную организацию измерений в управлении качеством обучения. Процесс педагогических измерений регламентируется рядом общих принципов организации контрольно-оценочных процессов и специфическими принципами, ориентирующими на эффективную организацию измерений в управлении качеством обучения. К числу важнейших специфических принципов следует отнести:

принцип функционально-структурного строения целостной контрольно-оценочной системы, сочетающей традиционный контроль и педагогические измерения;

принцип полноты состава процесса педагогических измерений, предполагающий включение всех необходимых компонентов измерений, выполнение полного перечня функций, налаживание всех необходимых информационных потоков;

принцип объективности, требующий использования измерителей, технологий и процедур, обеспечивающих высокую объективность результатов измерений;

принцип релевантности, регламентирующий соответствие характеристик компонентов педагогических измерений уровню управления качеством обучения;

принцип прогностической направленности, регламентирующий наличие достаточного объема информации, накапливаемой внутри контрольно-оценочной системы, ее надежности, высокой прогностической валидности, предполагающей оценивание потенциальных возможностей объектов, учет изменяющихся потребностей и запросов внешней и внутренней по отношению к системе среды;

принцип динамичности при оценивании показателей качества образования, способствующий повышению обоснованности управленческих решений на основе педагогических измерений;

принцип минимакса и контроля дисперсии, позволяющий регламентировать качество измерений.

4. Концепция системы управления качеством обучения, строящаяся на возможностях педагогических измерений в сочетании с традиционной диагностикой и ориентированная на приоритет инновационных технологий обучения, операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности. Из-

мерения в управлении качеством обучения должны опираться на единый концептуальный подход, ориентированный на основные задачи управления в образовательной системе и предназначенный для различных целей и уровней управления: от задач макроуровня до уровня каждого учащегося. Такой концептуальный подход должен носить комплексный характер и строиться на сочетании динамического (включение временного фактора в обработку и интерпретацию результатов измерения), сравнительного (сопоставление результатов измерения по отдельным показателям качества), дифференцирующего (соотнесение баллов учащихся со среднестатистическими нормами, и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм, анализом работы образовательных учреждений и принятием коррекционных мер в управлении качеством образования) и прогностического видов анализа (выявление тенденций в изменении качества образования).

Приоритетная роль в обеспечении информационной базы управления принадлежит объективным оценкам качества, основанным на аппарате теории педагогических измерений, операционализируемых показателях качества обучения, инновационных видах измерителей, преимущественной проверке продуктивного уровня усвоения, интеллектуальных умений и приоритетах когнитивного обучения.

5. Концептуальная модель сочетания количественных и качественных уровней измерений, основанная на бипарадигмальной методологии и выстроенная применительно к различным уровням управления качеством образования. Она включает логически исчерпывающую типологию бипарадигмальных моделей педагогического измерения, обладающую свойствами полноты и системности, восполняющую существующие пробелы в разработке теоретико-методологического

обеспечения в русле современных тенденций интеграции количественных и качественных методов, и охватывает все главные стадии измерения: планирование, разработку дизайна и измерителей, сбор данных (проведение тестирования, анкетирования или других форм), обработку, анализ и интерпретацию данных, получение управленческих выводов для повышения качества образования.

6. Основные компоненты методологии измерений в управлении качеством образования. К ним отнесены теория надежности результатов педагогических измерений, теория валидности и теория генерализации. Последняя теория, включающая комплексный всеобъемлющий набор концепций и оценочных процедур для анализа всех аспектов надежности измерений и распространения результатов на различные совокупности объектов измерения, является необходимой методологической основой научно-обоснованного процесса измерений в управлении качеством образования. Сочетание фундаментальных положений теории генерализации и вероятностных подходов позволяет получить обоснованные надежные результаты педагогических измерений и использовать их в многообразном спектре вариантов интерпретации и выдвижения гипотез, закладывающих фундамент принятия управленческих решений.

Применение основных положений теории надежности, конструкт-ной валидизации и генерализации применительно к экспериментальной области исследования, связашюй с обеспечением высокого качества КИМ для использования данных ЕГЭ в управлении качеством образования, должно базироваться на методиках, объединяющих воедино надежность и размерность пространства педагогических измерений и основанных на возможностях факторного анализа для сжатия данных. Генерализация данных ЕГЭ, основанная на предлагаемых в диссерта-

ции фасетных дизайнах, позволит выявить особенности региональных компонентов в содержании образования и создать сбалансированные КИМ, адекватные задачам управления качеством образования.

7. Дидактические и технологические требования к качеству компонентов педагогических измерений как составляющих систем управления качеством обучения. Разработанные дидактические и технологические требования к качеству компонентов педагогических измерений позволяют повысить эффективность систем управления качеством обучения. В число требований, не ранжированных по степени важности, вошли: опора на базисную методологию управления качеством; приоритет бипарадигмальной методологии и современной теории тестов; высокая объективность (надежность) и обоснованность (валидность) информации; широкое использование динамического подхода к оцениванию качества обучения; обязательность присоединения к результатам измерения дополнительной информации об оцениваемом объекте; обеспечение сопоставимости результатов измерения по различным годам; реализация инновационных функций измерений; высокая прогностичность результатов педагогических измерений и общая направленность измерений на современные педагогические концепции развивающего и личностно-ориентированного обучения; операционализируемость совокупности показателей качества обучения; преимущественная ориентация средств измерений на проверку продуктивного уровня усвоения знаний и интеллектуальных умений за счет использования инновационных видов измерителей; соответствие аппарата, используемого для обработки данных педагогических измерений, характеристикам распределений эмпирических данных; стандартизация процедур проверки, оценки, шкалирования и интерпретации эмпирических данных педагогических измерений; ус-

тойчивость шкал для отображения результатов педагогических измерений и репрезентативность выборок обучающихся.

  1. Совокупность измеряемых показателей качества подготовленности учащихся, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем и выстроенная в соответствии с уровнями управления качеством образования. Предлагаемая совокупность показателей в сочетании с набором требований, обеспечивающих в рамках бипарадиг-мальной методологии измерений корректность информационной управленческой базы. Учет разработанных в диссертации дополнительных факторов необходим при использовании результатов педагогический измерений в управлении качеством образования для выработки корректных, обоснованных, эффективных и согласованных управленческих решений. Для обоснованного отбора абитуриентов вузов на основе данных ЕГЭ к информации, собранной в процессе ЕГЭ с помощью КИМ, необходимы дополнительные данные, получаемые с помощью средств аутентичного оценивания качества учебных достижений в различных регионах с учетом временного фактора.

  2. Методика анализа, шкалирования и интерпретации результатов педагогических измерений применительно к проблемам управления качеством обучения. Полученные результаты теоретического характера позволили сформулировать новые методические подходы к шкалированию, анализу и интерпретации данных ЕГЭ в условиях сопоставимости данных педагогических измерений, выявить ряд проблем, снижающих обоснованность сравнения данных массового тестирования в условиях национальных экзаменов.

Апробация работы. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах

и сборниках, тезисов докладов на научных конференциях и монографии «Измерения и качество образования».

Материалы исследования доложены на следующих конференциях и симпозиумах:

  1. Десятый симпозиум «Квалиметрия в образовании: методология и практика», Москва, 4—5 апреля 2002 г.

  2. Международная научно-практическая конференция «Качество дистанционного образования, Москва, 8 декабря 2003 г.

  3. Третья Всероссийская научно-практическая конференция «Управление качеством», Москва. 10-11 марта 2004 г.

  4. II Всероссийская научно-практическая конференция «Проблемы и перспективы развития экономического и управленческого потенциала России в XXI веке», Пенза, 20-21 апреля 2004 г.

  5. XFV Всероссийское совещание «Проблемы качества образования», Москва, 28 мая- 2 июня 2004 г.

  6. Международная научно-практическая конференция «Развитие личности в поликультурном Славянском образовательном пространстве», Кривой Рог, 23-24 сентября, 2004 г.

  7. Международная научно-практическая конференция «Актуальные проблемы управления - 2004», Москва, 10-11 ноября 2004 г.

  8. Международная конференция «Оценка образовательных достижений в рамках национальных экзаменов», Москва, 13-15 декабря 2004 г.

  9. 18th Annual Conference of the American Evaluation Association, Atlanta, USA, Evaluation 2004, 3-6 November.

10.19th Annual Conference of the American Evaluation Association and CSE, Toronto, Canada, Evaluation 2005, 5-10 November.

11. 20-я Всероссийская научная конференция молодых ученых и студентов «Реформы в России и проблемы управления - 2005», Москва, 20-22 января 2005 года.

12.Четвёртая Всероссийская научно-практическая конференция «Управление качеством», Москва «МАТИ», 10-11 марта 2005 г.

13.11 Межрегиональный семинар «Построение общероссийской системы оценки качества образования». Москва, 22-23 сентября 2005 г.

14.ХХГХ научно-методическая конференция «Научно-методическое управление качеством образования», Иваново, 23-24 ноября 2005 г.

15.Пятая Всероссийская научно-практическая конференция «Управление качеством» 9-Ю марта 2006 г., ГОУ ВПО «МАТИ» - Российский государственный технологический университет им. К.Э. Циолковского.

16.Одиннадцатый симпозиум «Квалиметрия в образовании», Москва, 16-17 марта 2006 г.

Публикации. Основные результаты работы опубликованы в монографии, 4 учебных пособиях, учебнике, 72 статьях и тезисах, 2 научно-исследовательских отчетах по проблемам измерений и управления качеством образования.

Внедрение результатов исследования: Результаты исследования внедрены в практику эксперимента по введению ЕГЭ в Российской Федерации, в учебную деятельность кафедры педагогических измерений Исследовательского центра проблем качества подготовки специалистов (ИЦПКПС) и кафедры тестологии Российского университета дружбы народов (РУДН), деятелыюсть Центра качества подготовки специалистов Государственного университета управления (ГУУ).

Структура и объем диссертации. Текст диссертации содержит пять глав, введение, заключение и 5 приложений с результатами, иллюстрирующими реализацию предлагаемых в исследовании методик. Общий объем работы составляет 378 страниц. Список литературы состоит из 348 первоисточников.

Подобные работы
Камелина Алла Вениаминовна
Управление качеством обучения в гимназии на основе педагогического мониторинга
Панов Геннадий Дмитриевич
Управление качеством обучения в среднем профессиональном заведении (На материале профессионально-педагогического колледжа)
Томазова Анна Николаевна
Управление качеством профильного обучения в муниципальной системе, построенной на основе сетевого взаимодействия учреждений разного типа
Обоянцева Ольга Владимировна
Управление качеством начального обучения в сельском образовательном округе
Плотникова Виолетта Юрьевна
Управление качеством образования школьников в системе модульного обучения
Ишалин Анатолий Сергеевич
Диагностико-технологическое управление дидактической доступностью как основа повышения качества обучения школьников
Постникова Анна Львовна
Управление качеством образования в условиях реализации личностно-ориентированного обучения в школе
Муратова Валентина Константиновна
Внутришкольный мониторинг качества обучения учащихся
Синицына Мария Владимировна
Предпрофессиональная дифференциация старшеклассников как условие повышения качества обучения иностранному языку
Гутрова Юлия Владимировна
Дифференцированно-групповая форма работы как средство повышения качества обучения школьников

© Научная электронная библиотека «Веда», 2003-2013.
info@lib.ua-ru.net