Рейтингование школ и муниципалитетов по результатам внешних оценочных процедур. Кейс Чувашской Республики.


The Presentation inside:

Slide 0

Рейтингование школ и муниципалитетов по результатам внешних оценочных процедур. Кейс Чувашской Республики. Семинар «Актуальные вопросы проектирования и формирования рейтингов в образовании» 31 октября - 1 ноября 2012 года, г. Москва СЕССИЯ 4 С.А. Боченков эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары


Slide 1

© С.А. Боченков Результаты ГИА и ЕГЭ нельзя использовать для измерения, мониторинга и оценки качества образовательных результатов. ГИА и ЕГЭ – это экзамены с «высокими ставками», они служат только для измерения индивидуальных образовательных результатов Результаты ГИА и ЕГЭ можно использовать для измерения, мониторинга и оценки качества образовательных результатов. ГИА и ЕГЭ – это основные формы итоговой аттестации выпускников 11 классов Как оценивать качество образования по результатам ГИА и ЕГЭ, как анализировать и интерпретировать результаты ГИА и ЕГЭ? Можно ли использовать результаты внешних оценочных процедур в управлении качеством образования?


Slide 2

Практика рейтингования школ и муниципалитетов Чувашии по результатам внешних оценочных процедур: В сборниках по результатам ЕГЭ по Чувашии рэнкинг и рейтинг муниципалитетов и школ используется с 2003 года. Единицей индивидуальных результатов ЕГЭ и ГИА считаются совокупные результаты одного выпускника, а не предметные результаты. Школы сравниваются внутри кластера (группы школ, сходных по ряду контекстных характеристик), сравнение муниципалитетов линейное, но при этом приводятся некоторые значимые контекстные характеристики. Идёт поиск показателей, позволяющих разделить зоны ответственности между уровнями управления. Данные рейтинга муниципалитетов по ЕГЭ и ГИА используются в Публичном докладе Министерства образования и молодёжной политики Чувашии (см. доклад за 2011/12 учебный год здесь - http://gov.cap.ru/home/13/2012/avg_konf/к-270%20мо%20рис.pdf), где они сопоставляются с другими показателями результатов и условий организации образовательного процесса.


Slide 3

Рейтинг – одна из форм представления анализа и интерпретации результатов внешних оценочных процедур


Slide 4

Рейтинг задаёт рамку требований к качеству образования Рейтинг позволяет транслировать основные требования (характеристики) качества образования значимые в системе и акцентирует на них внимание. Рейтинг мотивирует на достижение значимых показателей.


Slide 5

www.schoolotzyv.ru http://tomsk.ria.ru/infographics/20120629/497395749.html Областной департамент общего образования подвел окончательные итоги ЕГЭ-2012. Хорошая школа должна иметь высокий средний балл ЕГЭ и большое число победителей олимпиад Хорошая школа должна иметь как можно больше стобалльников ? ?


Slide 6

http://education.simcat.ru/uo/read/6/125/ Больше цениться не обучение без двоек, в высокий средний балл! ?


Slide 7

... ... ... ... ... ... Что значит – «хорошая школа по результатам ЕГЭ»? Признаки хорошей школы по результатам ЕГЭ: “Слон – это нечто большое, широкое и шершавое, как ковер” “Он похож на прямую пустотелую трубу, страшную и разрушительную” “Слон могуч и крепок, как колонна” …из древнеиндийской притчи


Slide 8

Что значит – «хорошая школа» по результатам ЕГЭ? Признаки хорошей по результатам ЕГЭ школы: Соответствует ли заявленный профиль старшей ступени школы спектру предметов, выбираемых выпускниками 11 (12) классов для сдачи в форме ЕГЭ? Хорошая школа по результатам ЕГЭ - это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы (которые необходимы им для продолжения образования и которые они изучали в 10-11 классах на профильном уровне). Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена и доля выпускников, успешно сдавших все экзамены в форме ЕГЭ)? Хорошая школа по результатам ЕГЭ - это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. И все выпускники которой успешно сдали все экзамены в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность.


Slide 9

Что значит – «хорошая школа» по результатам ЕГЭ? Признаки хорошей по результатам ЕГЭ школы: Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим профильному уровню (ТБ2) и выше)? Хорошая школа по результатам ЕГЭ - это школа, в которой значительная часть выпускников преодолевают порог профильного уровня по всем предметам, которые они изучали на профильном уровне. Соответствует ли применяемая учителями школы система текущего оценивания результатам внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона и какова динамика значений ключевых показателей? Хорошая школа по результатам ЕГЭ - это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций.


Slide 10

Динамика среднего балла по 100-балльной шкале. Результаты ЕГЭ по какому предмету лучше?


Slide 11

Соотношение 100-балльной и процентильной шкал (РФ, ЕГЭ-2012) 70 баллов 36 24 36 36 © С.А. Боченков 36 37 40 39 32 32 20 82 66 62 80 75 79 84 71 79 78 88 Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2012) 73 63 62 80 79 69 84 72 72 73 82


Slide 12

Два уровня освоения образовательного стандарта (ЕГЭ-2012) …Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников 2011 и 2012 гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам. http://www.ege.edu.ru/ru/main/scaling/


Slide 13

36 24 36 36 34 39 40 37 32 28 20 80 82 62 80 79 70 79 72 80 72 81 73 63 62 80 79 69 84 72 72 73 82 36 24 36 36 36 37 40 39 32 32 20 Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (стр.15) Границы уровней общеобразовательной подготовки по предметам ЕГЭ-2012 г. (стр. 17) В одном и том же документе ФИПИ (Итоговый аналитический отчёт ЕГЭ-2012) границы уровней не совпадают!!!


Slide 14

Средний балл по 100-балльной шкале недопустимо использовать как при сравнении результатов между предметами, так и для оценки динамики по годам!!!


Slide 15

Рейтинг обще-образовательных учреждений Чувашской Республики по результатам ЕГЭ-2011 Цель формирования и публикации рейтинга общеобразовательных учреждений Чувашской Республики по результатам ЕГЭ – 2011 года – не определить лучшие и худшие школы, а привлечь внимание к проблеме уровня и качества образовательных достижений по результатам ЕГЭ в школах Чувашии и стимулировать публичную дискуссию по этой проблематике. Рейтинг должен сформировать информационную основу результатов ЕГЭ по школам республики для продуктивного обмена мнениями и опытом и стать инструментом работы с результатами и на результаты. Задачи: Представить сравнительную оценку результатов ЕГЭ-2011 школ Чувашской Республики. Обеспечить корректное сравнение данных по школам, существенно различающимся по условиям организации образовательного процесса, учебным программам, контингентам обучающихся и другим характеристикам, в значительной степени влияющим на результаты обучения. Обеспечить возможность сравнения, как общих результатов ЕГЭ, так и результатов по учебным предметам. ЕГЭ оценивает лишь некоторые характеристики качества образования и, поэтому, вынося суждение о том, хорошая или плохая школа по результатам ЕГЭ всегда следует помнить, что имеется в виду лишь этот ограниченный перечень характеристик.


Slide 16

Линейный рейтинг или сравнение школ внутри своего кластера? Если рейтинг используют родители, выбирающие школу, то почему они должны соглашаться с тем, что в школах отдельных кластеров обеспечивается на порядок более худшее образование? Если рейтинг используют для поощрения и наказания, то как учесть, что один и тот же результат может быть непозволительно низким для одних школ и недосягаемо высоким для других?


Slide 17


Slide 18

Составляющие рейтинга школ по общим показателям ЕГЭ. Промежуточные рейтинги Показатели рейтингования Для расчета рейтингов значения показателей сравнивались со средними для данного типа школ и разница нормировалась. Нормирование осуществлялось по формуле:


Slide 19

Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ. Школа должна иметь возможность понять, чем определена её позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Какие показатели значимы для определения позиции школы в рейтинге? Почему в рейтинге использованы показатели, значение которых у большей части школ территории уже достигло максимума (100%)? Какова динамика общих результатов ЕГЭ данной школы за три года?


Slide 20

Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ. Школа должна иметь возможность понять, чем определена её позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Какие заключения можно сделать, сопоставив результаты ЕГЭ по русскому языку и по математике? Сравните результаты по предметам по выбору. По каким предметам школа обеспечивает стабильно-высокий уровень результатов? Значение каких показателей можно сравнивать между предметами и в динамике по годам? На какие ограничения при сравнении Вы считаете нужным обратить внимание?


Slide 21

34 км 37 км Цветом обозначено: Д Г Ж З В И Е А Б Использование данных рейтинга в оценке состояния территориальных образовательных систем.


Slide 22

Обязательные предметы (русский язык и математика): Предметы по выбору:


Slide 23

Пример рейтинга школ одного из муниципалитетов: Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона


Slide 24

... ... ... ... ... ... Что значит – «хорошая система образования» по результатам ЕГЭ? Признаки хорошей по результатам ЕГЭ системы образования района или города:


Slide 25

Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Работает система контроля и надзора за процедурой. Все выпускники, допущенные до итоговой аттестации, успешно сдают обязательные экзамены и получают документы об образовании. Это один из показателей охвата средним (полным) образованием учащихся соответствующего возраста учреждениями системы. Учреждения сети обеспечивают удовлетворение потребности учащихся в изучении предметов на профильном уровне. На территории муниципалитета есть школы, обеспечивающие стабильный высокий результат по каждому из учебных предметов. Заявленный профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Обеспечивается равенство доступа к образованию соответствующего качества. Различия в результатах ЕГЭ между школами сети ниже, чем между индивидуальными результатами внутри отдельных школ. Определены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Выявлены школы, работающие в трудных условиях и им оказывается соответствующая поддержка. Ресурсы сети используются эффективно. Оценка деятельности школ ведётся с учётом условий организации образовательного процесса и контингента обучающихся. Что значит – «хорошая система образования» по результатам ЕГЭ?


Slide 26

Составляющие рейтинга муниципальных образований по результатам ЕГЭ. Промежуточные рейтинги Показатели рейтингования Для расчета рейтингов значения показателей сравнивались со средними по региону и нормировались. Нормирование осуществлялось по формуле:


Slide 27

Равенство доступа к образованию соответствующего качества. Муниципалитеты.


Slide 28

Равенство доступа к образованию соответствующего качества. Муниципалитеты.


Slide 29

Пример рейтинга муниципальных образований по результатам ЕГЭ


Slide 30

Основные фиксации: Рейтинг является одной из форм представления результатов анализа и интерпретации данных внешних оценочных процедур. Рейтинг позволяет транслировать основные требования к характеристикам качества образования значимым в системе и акцентирует на них внимание, поэтому перед тем как составить рейтинг важно прописать на языке показателей представление об объекте (школе или муниципалитете) каким может быть лидер рейтинга и каким может быть его аутсайдер. В зависимости от объекта рейтингования и для каждой группы пользователей рейтинга необходимо применять свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает лицо принимающее решение, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует для их достижения все имеющиеся в его распоряжении ресурсы. Рейтинг – это не просто поле данных, а расставленные акценты с высоким уровнем мотивации и последствий как для объектов рейтингования, так и для пользователей. Поэтому применение рейтингов в управлении является с одной стороны крайне действенным инструментом, с другой - влечёт за собой высокий уровень ответственности и подготовки как на этапе его создания, так и в процессе использования.


Slide 31

СПАСИБО ЗА ВНИМАНИЕ! [email protected] WWW.RTC-EDU.RU Сергей Анатольевич Боченков [email protected] 89051998891 г. Чебоксары, залив


×

HTML:





Ссылка: