1. 1. Основные понятия квалиметрии
1.1. Качество объекта
1.1.1. Требование
1.1.2. Свойство
1.1.3. Измерение
1.1.4. Единица измерения
1.2. Оценивание. Методология определения и оценивания качеств
1.2.1. Для оценки качества необходимо
1.2.1.1. определить перечень (номенклатуру) свойств объекта, входящих в состав качества
1.2.1.2. измерить свойства, то есть определить их численные значения
1.2.1.3. сопоставить полученные при измерении значения с аналогичными значениями другого объекта, выбранного в качестве эталона или образца
1.2.2. оценка качества
1.2.3. Конечный результат оценки
1.3. Принципы и процедуры оценки качества педагогических объектов
1.3.1. квалиметрия должна давать практике полезные методы достоверной количественной оценки качества различных объектов
1.3.2. приоритет в выборе показателей качества должен быть на стороне потребителя, заказчика
1.3.3. квалиметрическая оценка качества объекта не может быть получена без наличия эталона (без базовых значений показателей определяющих свойств и качества в целом)
1.3.4. качество объекта представляется в виде иерархического дерева свойств
1.3.5. В комплексной оценке качества каждому отдельному показателю задается вес
1.3.6. Качество целого объекта обусловлено качеством его составных частей
2. 3. Статистические методы и процедуры оценки качества
2.1. Основные термина и определения
2.1.1. Контроль качества
2.1.2. Контрольный листок (или лист)
2.1.3. Гистограмма
2.1.4. Диаграмма разброса
2.1.5. Диаграмма Парето
2.1.6. Стратификация
2.1.7. Диаграмма Исикавы
2.1.8. Контрольные карты
3. 4. Экспертные методы оценки качества педагогических объектов
3.1. Экспертный метод
3.2. Эксперт
3.2.1. Требования к экспертам
3.2.2. Отбор экспертов
3.3. Экспертная оценка
3.3.1. индивидуальные
3.3.2. групповые
3.3.3. коллективные
3.4. Оценка качества эксперта и формирование экспертных групп
3.5. Методика расчета коэффициента компетентности эксперта по априорным данным
3.5.1. Опрос экспертов
3.5.2. Процедуры сбора экспертной информации с непосредственным взаимодействием экспертов
3.5.3. Процедуры сбора экспертной информации без непосредственного взаимодействия экспертов
3.5.4. Этапы и процедуры экспертного опроса
3.5.4.1. Подготовительный этап
3.5.4.2. Этап подбора экспертов
3.5.4.3. Этап сбора экспертной информации
3.5.4.4. Результирующий этап обработки и анализа данных
3.5.5. Обработка результатов опроса экспертов
3.5.6. Оценка согласованности мнений экспертов
3.6. Построение групповой (обобщенной) оценки
3.6.1. Метод рангов и непосредственного оценивания
3.6.2. Балльный метод непосредственного оценивания
3.6.3. Метод парного сравнения
4. 2. Методы оценки качества результатов обучения
4.1. Методы оценивания
4.1.1. инструменты оценочной деятельности
4.2. Классификация методов оценивания
4.2.1. тип решаемой в ходе оценивания задачи
4.2.1.1. универсальные методы
4.2.1.2. специальные методы
4.2.2. мера «субъективности-объективности»
4.2.2.1. объективные методы
4.2.2.2. промежуточные методы
4.2.2.3. субъективные методы
4.2.2.4. малоформализованные (экспертные) методы
4.2.2.5. формализованные (измерительные) методы
4.2.2.6. Стандартизированные методы
4.2.2.7. Алгоритмизированные процедуры
4.3. Характеристики методов оценивания
4.3.1. Наблюдение
4.3.1.1. Преимущества
4.3.1.1.1. непосредственность фиксации фактов реального поведения объекта наблюдения
4.3.1.1.2. естественность поведения испытуемых
4.3.1.1.3. возможность расширения и углубления широты поля наблюдения
4.3.1.2. Недостатки
4.3.1.2.1. подверженность наблюдателя ситуативным состояниям
4.3.1.2.2. дистанцию учителя и ученика
4.3.1.2.3. однократность, неповторимость многих наблюдаемых ситуаций
4.3.1.2.4. единичность фиксируемых фактов
4.3.1.2.5. влияние на наблюдателя эффекта гало, эффекта недавности
4.3.1.3. Классификация наблюдений
4.3.1.3.1. по степени формализованности
4.3.1.3.2. В зависимости от положения наблюдателя
4.3.1.3.3. Программируемое наблюдение
4.3.2. Беседа
4.3.2.1. классификация
4.3.2.1.1. программированная
4.3.2.1.2. нестандартизированная
4.3.2.1.3. индивидуальная
4.3.2.1.4. групповая
4.3.2.1.5. устный опрос
4.3.3. Интервью
4.3.3.1. Преимущества
4.3.3.1.1. возможность учета индивидуального уровня развития опрашиваемого для оперативной корректировки формы и стиля предъявления вопросов
4.3.3.1.2. возможность непосредственного уточнения позиции опрашиваемого
4.3.3.2. Недостатки
4.3.3.2.1. отход от предписаний
4.3.3.2.2. проявление личностного отношения интервьюера к проблематике
4.3.3.2.3. недобросовестность
4.3.3.3. Профессионально-значимые качества интервьюера
4.3.3.3.1. высокую степень эмпатии
4.3.3.3.2. владение приемами динамичной, гибкой техники общения с представителями различных социальных и возрастных групп
4.3.3.4. Область применения
4.3.3.4.1. для сбора контекстных показателей, учитываемых при установлении причин выявленных состояний обследуемого объекта (проведение интервью после проведения экзаменов, например)
4.3.4. Контент-анализ
4.3.4.1. Эксперты
4.3.4.1.1. Учитель, осуществляющий контроль и диагностику в учебном процессе
4.3.4.1.2. Независимые эксперты, на итоговой аттестации
4.3.4.2. Метод смыслового контент-анализа
4.3.4.3. метод поэлементного анализа
4.3.4.3.1. Контент-анализ результатов выполнения контрольной работы
4.3.4.3.2. Особенности ППА
4.3.4.3.3. Подготовка и использование метода МППА
4.3.4.3.4. Обработка данных ППА и их анализ
4.3.4.3.5. Средний по группе (классу) показатель усвоения элемента
4.3.4.3.6. Динамика изменения показателя усвоения элемента
4.3.5. Тестирование
4.3.5.1. Основное назначение
4.3.6. Анкетирование
4.3.6.1. Виды анкетирования
4.3.6.1.1. групповые
4.3.6.1.2. индивидуальные
4.4. 2.1. Применение метода тестирования в оценивании результатов обучения
4.4.1. Методика разработки педагогического теста
4.4.1.1. Планирование содержания и структуры теста
4.4.1.1.1. Определение уровня контроля и цели тестировании
4.4.1.1.2. Определение количества заданий в тесте
4.4.1.1.3. Отбор содержания теста по трудности заданий
4.4.1.1.4. Разработка спецификации теста
4.4.1.1.5. Подбор (формулировка) типовых заданий с требуемыми дидактическими характеристиками
4.4.1.1.6. Разработка фасетов тестовых заданий
4.4.1.1.7. Составление развернутого плана (полной спецификации) теста
4.4.1.1.8. Фиксация порядка интерпретации результатов тестирования
4.4.1.1.9. Коррекция тестовых заданий по итогам апробации
4.4.2. Статистическая обработка индивидуальных и групповых результатов тестирования
4.4.2.1. индивидуальные результаты тестирования
4.4.2.1.1. Анализ «профиля» испытуемого
4.4.2.1.2. Расчет сырого тестового балла
4.4.2.1.3. Расчет относительного тестового балла
4.4.2.1.4. Перевод результата в стандартную шкалу
4.4.2.1.5. Определение рейтинга учащегося в группе
4.4.2.2. Групповые результаты тестирования
4.4.2.2.1. 1средний балл по группе
4.4.2.2.2. распределение индивидуальных баллов
4.4.2.2.3. построение гистограммы распределения индивидуальных баллов
4.4.2.3. Оценка качества теста – надежность
4.4.2.4. Определение ошибки измерения уровня знаний испытуемого с помощью теста. Определение доверительного интервала уровня знаний испытуемого.
4.4.2.5. Оценка качества отдельных заданий теста
4.4.3. Представление результатов тестирования
4.4.4. Определение индивидуальных результатов тестирования
4.4.5. Погрешность тестирования, доверительный интервал истинного балла
4.4.6. Оценка статистических характеристик тестовых заданий
4.4.6.1. Трудность заданий (коэффициент решаемости)
4.4.6.1.1. характеристики трудности
4.4.6.2. Дифференцирующая сила заданий
4.4.6.3. Оценка качества теста
4.4.6.3.1. Надежность
4.4.6.3.2. Валидность
4.5. 2.2. Комплексная оценка качества результатов обучения
4.5.1. Построение иерархического дерева свойств «Качество результатов обучения по учебной дисциплине»
4.5.2. Выбор способа определения весомости отдельных свойств и их групп
4.5.3. Назначение интервала значений каждого показателя качества
4.5.4. Выбор метода сведения воедино оценок отдельных свойств в комплексную оценку
4.5.5. Организационная схема использования рейтинговой оценки в учебном процессе