1. Основные понятия
1.1. Принципы квалиметрии
1.2. Оценивание
1.2.1. Для оценки качества необходимо
1.3. Качество
2. Методы оценки качества результатов обучения
2.1. Наблюдение
2.1.1. Функция
2.1.2. +/-
2.1.2.1. непосредственность фиксации фактов реального поведения объекта наблюдения
2.1.2.2. возможность расширения и углубления широты поля наблюдения
2.1.2.3. естественность поведения испытуемых
2.1.2.4. подверженность наблюдателя ситуативным состояниям
2.1.2.5. социальную дистанцию учителя и ученика
2.1.2.6. неповторимость многих наблюдаемых ситуаций
2.1.2.7. единичность фиксируемых фактов
2.1.2.8. влияние на наблюдателя эффекта недавности
2.1.2.9. однократность
2.1.3. Классификация
2.1.3.1. По степени формализованности
2.1.3.1.1. неконтролируемое
2.1.3.1.2. контролируемое
2.1.3.2. В зависимости от положения наблюдателя
2.1.3.2.1. соучаствующее (включенное)
2.1.3.2.2. простое
2.2. Беседа
2.2.1. Классификация
2.2.1.1. программированные
2.2.1.2. нестандартизированные
2.2.1.3. индивидуальные
2.2.1.4. групповые
2.3. Интервью
2.3.1. +/-
2.3.1.1. возможность учета индивидуального уровня развития опрашиваемого для оперативной корректировки формы и стиля предъявления вопросов,
2.3.1.2. возможность непосредственного уточнения позиции опрашиваемого
2.3.1.3. отход от предписаний
2.3.1.4. проявление личностного отношения интервьюера к проблематике
2.3.1.5. недобросовестность
2.4. Контент-анализ
2.4.1. Поэлементный анализ
2.4.1.1. Особенности
2.4.1.1.1. Подготовка и использование метода МППА
2.4.1.1.2. Обработка данных ППА и их анализ
2.4.1.1.3. Средний по группе (классу) показатель усвоения элемента
2.4.1.1.4. Динамика изменения показателя усвоения элемента
2.4.2. Примеры
2.4.2.1. Анализ результатов орфографических диктантов
2.4.2.2. Часть С (ЕГЭ)
2.4.2.3. Анализ недельных отчетов учащихся
2.5. Тестирование
2.5.1. Планирование содержания и структуры теста
2.5.1.1. Определение уровня контроля и цели тестировании
2.5.1.2. Определение количества заданий в тесте
2.5.1.3. Отбор содержания теста по трудности заданий
2.5.1.4. Разработка спецификации теста
2.5.1.5. Подбор (формулировка) типовых заданий с требуемыми дидактическими характеристиками
2.5.1.6. Разработка фасетов тестовых заданий
2.5.1.7. Составление развернутого плана (полной спецификации) теста
2.5.1.8. Фиксация порядка интерпретации результатов тестирования
2.5.1.9. Коррекция тестовых заданий по итогам апробации
2.5.2. Оценка качества теста
2.5.2.1. Надежность
2.5.2.1.1. надежность измерительного инструмента
2.5.2.1.2. стабильность результата измерения;
2.5.2.1.3. константность
2.5.2.2. Валидность
2.5.2.2.1. Виды
2.6. Анкетирование
2.6.1. Групповое\Индивидуальное
3. Статистические методы и процедуры оценки качества
3.1. контрольный листок
3.2. диаграмма Парето
3.2.1. Виды
3.2.1.1. по результатам деятельности
3.2.1.1.1. выявления главной проблемы и отражает следующие нежелательные результаты деятельности
3.2.1.1.2. качество: дефекты, поломки, ошибки, отказы, рекламации, ремонты, возвраты продукции
3.2.1.1.3. себестоимость: объем потерь, затраты
3.2.1.1.4. сроки поставок: нехватка запасов, ошибки в составлении счетов, срыв сроков поставок
3.2.1.1.5. безопасность: несчастные случаи, трагические ошибки, аварии
3.2.1.2. по причинам
3.2.1.2.1. исполнитель работы: смена, бригада, возраст, опыт работы, квалификация, индивидуальные характеристики
3.2.1.2.2. оборудование: станки, агрегаты, инструменты, оснастка, организация использования
3.2.1.2.3. модели, штампы
3.2.1.2.4. сырье: изготовитель, вид сырья, завод-поставщик, партия
3.2.1.2.5. метод работы: условия производства, заказы-наряды, приемы работы, последовательность операций
3.2.1.2.6. измерения: точность (указаний, чтения, приборная), верность и повторяемость (умение дать одинаковое указание в последующих измерениях одного и того же значения), стабильность (повторяемость в течение длительного периода), совместная точность, т.е. вместе с приборной точностью и тарированием прибора, тип измерительного прибора (аналоговый или цифровой)
3.2.2. Порядок построения
3.3. диаграмма Исикавы
3.3.1. Цель
3.3.1.1. − выявление всевозможных факторов, влияющих на него;
3.3.1.2. − визуализация причинно-следственных связей;
3.3.1.3. −распределение приоритетов для анализа и решения поставленной задачи на основе определения относительной значимости факторов, и их ранжирования;
3.3.2. Правило
3.3.3. Правило построения
3.3.3.1. Определите показатель качества, т.е. тот результат, который вы хотели бы достичь.
3.3.3.2. Напишите выбранный показатель качества в середине правого края чистого листа бумаги. Слева направо проведите прямую линию («хребет»), а записанный показатель заключите в прямоугольник. Далее напишите главные причины, которые влияют на показатель качества, заключите их в прямоугольники и соедините с «хребтом» стрелками в виде «больших костей хребта» (главных причин).
3.3.3.3. Напишите (вторичные) причины, влияющие на главные причины («большие кости») и расположите их в виде «средних костей», примыкающих к «большим». Напишите причины третичного порядка, которые влияют на вторичные причины, и расположите их в виде «мелких костей», примыкающих к «средним».
3.3.3.4. Проранжируйте причины (факторы) по их значимости, используя для этого диаграмму Парето или экспертный метод, и выделите особо важные, которые предположительно оказывают наибольшее влияние на показатель качества.
3.3.3.5. Нанесите на диаграмму всю необходимую информацию: ее название; наименование изделия, процесса или группы процессов; имена участников процесса; дату и т.д.
3.3.3.6. После того как вы завершили построение диаграммы, следующий шаг — распределение причин по степени их важности. Не обязательно все причины, включенные в диаграмму, будут оказывать сильное влияние на показатель качества. Обозначьте только те, которые, на ваш взгляд, оказывают наибольшее воздействие.
3.3.4. Мозговой штурм
3.4. диаграмма разброса (корреляция)
3.4.1. Построение диаграммы
3.4.1.1. Найдите максимальные и минимальные значения для х и y. Выберите шкалы на горизонтальной и вертикальной осях так, чтобы обе длины рабочих частей получились приблизительно одинаковыми, тогда диаграмму будет легче читать. Возьмите на каждой оси от 3 до 10 градаций и используйте для облегчения чтения круглые числа. Если одна переменная — фактор, а вторая — характеристика качества, то выберите для фактора горизонтальную ось х, а для характеристики качества — вертикальную ось у.
3.4.1.2. Соберите парные данные (х, у), между которыми вы хотите исследовать зависимость, и расположите их в таблицу. Желательно не менее 25—30 пар данных.
3.4.1.3. Используйте для построения диаграммы разброса электронный табличный редактор. Если делаете диаграмму «вручную» - на отдельном листе бумаги начертите график и нанесите на него данные. Если в разных наблюдениях получаются одинаковые значения, покажите эти точки, либо рисуя концентрические кружки, либо нанося вторую точку рядом с первой.
3.5. расслоение (cтратификация)
3.5.1. Критерии
3.5.1.1. расслаивание по исполнителям — по квалификации, полу, стажу работы и т.д.
3.5.1.2. расслаивание по машинам и оборудованию — по новому и старому оборудованию, марке; конструкции, выпускающей фирме и т.д.
3.5.1.3. расслаивание по материалу — по месту производства, фирме-производителю, партии и т.д.
3.5.1.4. расслаивание по способу производства — по температуре, технологическому приему, месту производства и т.д.
3.5.1.5. расслаивание по измерению — по методу, измерения, типу измерительных средств или их точности и т.д.
3.6. гистограмма
3.6.1. Порядок построения
3.6.1.1. Строятся горизонтальная (наблюдения) и вертикальная (частота) оси и выбирается масштаб. На горизонтальной оси с обеих сторон (перед первым и после последнего интервалов).
3.6.1.2. На горизонтальную ось наносятся границы классов.
3.6.1.3. Над интервалом класса строится прямоугольник, высота которого соответствует частоте этого класса.
3.6.1.4. На график наносится линия, представляющая среднее арифметическое, и линии, представляющие границы допуска (НГД- нижняя граница допуска и ВГД- верхняя граница допуска). На чистом поле гистограммы указывается происхождение данных, число данных n, среднее арифметическое x и стандартное отклонение S.
3.7. контрольные карты
3.7.1. Изменчивость
3.7.1.1. случайных (обычных) причин
3.7.1.2. реальные перемены в процессе
3.7.2. Цель
3.7.3. Типы
3.7.3.1. для количественных данных
3.7.3.1.1. +
3.7.3.2. для альтернативных данных
3.7.4. встречаются две ситуации
3.7.4.1. стандартные значения не заданы
3.7.4.2. стандартные значения заданы
4. Экспертные методы оценки качества педагогических объектов
4.1. Эксперт
4.1.1. Требования к экспертам
4.1.1.1. Нормативные и инструктивные документы
4.1.1.2. Эксперт должен
4.1.1.2.1. Знать
4.1.1.2.2. Уметь
4.1.1.2.3. Обладать навыками
4.1.1.2.4. Обладать опытом
4.1.2. Объективность эксперта и его оценок
4.2. Экспертная оценка
4.3. Оценка экспертной компетентности
4.3.1. Априорные
4.3.1.1. методы самооценки
4.3.1.2. методы взаимооценки
4.3.1.3. документальные методы
4.3.1.4. тестовые методы
4.3.1.5. Общий недостаток
4.3.2. Апостериорные
4.3.2.1. Недостаток
4.4. Экспертный опрос
4.4.1. Для проведения необходимо
4.4.1.1. Выбрать методику экспертного опроса;
4.4.1.2. Сформировать группу экспертов с учетом их компетентности;
4.4.1.3. Учесть факторы, влияющие на суждения эксперта.
4.4.1.4. Создать условия для наиболее продуктивного использования экспертов в ходе опроса.
4.4.1.5. Сохранять полученную от экспертов информацию без искажения на всех этапах исследования.
4.4.2. Этапы и процедуры экспертного опроса
4.4.2.1. 1. Подготовительный этап
4.4.2.1.1. Разработка программы экспертного опроса.
4.4.2.1.2. Составление плана, сетевого графика выполнения работ.
4.4.2.1.3. Выбор метода организации работы экспертов, построение программы, сценария экспертизы. Формулирование правил участия в ней.
4.4.2.1.4. Проектирование инструментария, экспертного опроса (протоколов, анкет, карточек, бланков). Пилотаж инструментария и его размножение. Разработка инструкций участникам.
4.4.2.1.5. Разработка программ анализа данных экспертизы.
4.4.2.1.6. Подготовка технических средств, их апробация.
4.4.2.1.7. Подготовка интервьюеров, анкетеров, организаторов экспертного опроса. Инструктаж, обучение, репетиция процедур экспертизы.
4.4.2.2. 2. Этап подбора экспертов
4.4.2.2.1. Поиск потенциальных экспертов.
4.4.2.2.2. Оценка компетентности кандидатов в эксперты.
4.4.2.2.3. Определение оптимальной численности экспертной группы.
4.4.2.2.4. Формирование экспертной группы из числа наиболее компетентных экспертов.
4.4.2.3. 3. Этап сбора экспертной информации
4.4.2.3.1. Организация условий работы экспертов.
4.4.2.3.2. Опрос в соответствии с заданной методикой экспертизы. Регистрация его данных в учетных документах.
4.4.2.3.3. Контроль за работой осуществляющих экспертизу.
4.4.2.3.4. Первичная обработка и уточнение данных экспертизы.
4.4.2.4. 4. Результирующий этап обработки и анализа данных
4.4.2.4.1. Сбор учетных документов, их полная проверка и обработка.
4.4.2.4.2. Ручная обработка данных, перевод данных на машинные носители и их машинная обработка по заданным программам.
4.4.2.4.3. Статистический анализ.
4.4.2.4.4. Обобщение результатов экспертизы, доказательство гипотез, построение выводов, разработка рекомендаций исследования.
4.4.2.4.5. Анализ и оценка эффективности использования экспертизы в исследовании. Выявление ошибок, новаций, их объяснение. Рекомендации по совершенствованию экспертного опроса.
4.4.2.4.6. Подготовка отчета по проведению экспертизы .
4.4.3. Обработка результатов опроса экспертов
4.4.3.1. Цель
4.4.3.2. Задачи
4.4.3.2.1. Определение согласованности мнений экспертов;
4.4.3.2.2. Построение обобщенной (согласованной оценки);
4.4.3.2.3. Определение зависимости между суждениями экспертов;
4.4.3.2.4. Определение относительных весов объектов;
4.4.3.2.5. Оценка надежности результатов экспертизы