1. Статистические методы и процедуры оценки качества.
1.1. Контрольный листок.
1.2. Диаграмма Парето.
1.2.1. Диаграмма Парето по результатам деятельности.
1.2.2. Диаграмма Парето по причинам.
1.2.3. Порядок построения диаграммы Парето.
1.2.3.1. Решить, какие проблемы необходимо исследовать и как собирать данные.
1.2.3.2. Разработать контрольный листок для регистрации данных с перечнем видов собираемой информации.
1.2.3.3. Заполнить контрольный листок регистрации данных и подсчитать итоги.
1.2.3.4. Расположить данные, полученные по каждому проверяемому признаку.
1.2.3.5. Начертить одну горизонтальную и две вертикальные оси.
1.2.3.6. Построить столбиковую диаграмму.
1.2.3.7. Начертить кумулятивную кривую.
1.2.3.8. На правой оси нанести точку, соответствующую 80%, прочертить влево прямую до пересечения с кумулятивной кривой, от этой точки пересечения провести прямую вниз до пересечения с горизонтальной осью.
1.2.3.9. Нанести на диаграмму все обозначения и надписи: название, разметка числовых значений на осях, наименование контролируемого изделия, имя составителя диаграммы и т.п.
1.3. Диаграмма Исикавы.
1.3.1. Конечная цель построения.
1.3.1.1. Выявление всевозможных влияющих факторов.
1.3.1.2. Визуализация причинно-следственных связей.
1.3.1.3. Распределение приоритетов для анализа и решения поставленной задачи.
1.3.2. Процедура построения.
1.3.2.1. Этап 1. Определите показатель качества, т.е. тот результат, который вы хотели бы достичь.
1.3.2.2. Этап 2. Напишите выбранный показатель качества в середине правого края чистого листа бумаги.
1.3.2.3. Этап 3. Напишите (вторичные) причины, влияющие на главные причины («большие кости») и расположите их в виде «средних костей», примыкающих к «большим».
1.3.2.4. Этап 4. Проранжируйте причины (факторы) по их значимости, используя для этого диаграмму Парето или экспертный метод, и выделите особо важные, которые предположительно оказывают наибольшее влияние на показатель качества.
1.3.2.5. Этап 5. Нанесите на диаграмму всю необходимую информацию: ее название; наименование изделия, процесса или группы процессов; имена участников процесса; дату и т.д.
1.3.3. Метод «мозговой штурм».
1.3.3.1. Необходимо установить определенную цель.
1.3.3.2. Участвовать в обсуждении должны все.
1.3.3.3. Сотрудники должны ощущать безопасность участия и высказывания своего мнения.
1.3.3.4. Не допускается никаких обсуждений и критики, все идеи записываются, ни одна идея сразу не отвергается.
1.3.3.5. Предложения не ограничиваются только факторами, относящимися к деятельности говорящего.
1.3.3.6. Рекомендуется исключить бесплодные разговоры, ценя идеи и сознательное оперирование фактами.
1.3.3.7. Членов команды следует поощрять для раскрытия творческого потенциала.
1.3.3.8. Лицам руководящего состава не рекомендуется высказываться первыми.
1.3.3.9. Членам команды следует подхватывать и развивать идеи других.
1.3.4. Определение значимости факторов.
1.3.4.1. Каждый участник команды, независимо от других участников, которые, по его мнению, оказывают наибольшее влияние на объект анализа в данной конкретной ситуации.
1.3.4.2. Каждый участник команды проставляет баллы на личном экземпляре «Диаграмме Исикавы».
1.3.4.3. Ответственный за руководство и координацию работ рассчитывает сумму баллов по каждому фактору.
1.3.4.4. Команда проводит совместное обсуждение мнений участников.
1.3.4.5. Ответственный за руководство и координацию работ по наибольшему числу баллов на стрелках определяет три наиболее значимых, с точки зрения всех участников команды, фактора, заносит эту информацию в «Протокол анализа».
1.4. Диаграмма разброса (корреляция).
1.4.1. Построение диаграммы.
1.4.1.1. Этап 1.
1.4.1.2. Этап 2.
1.4.1.3. Этап 3.
1.4.1.4. Этап 4.
1.5. Расслоение.
1.5.1. По исполнителям.
1.5.2. По машинам и оборудованию.
1.5.3. По материалу.
1.5.4. По способу производства.
1.5.5. По измерению.
1.6. Гистограмма.
1.6.1. Порядок построения.
1.6.1.1. Этап 1.
1.6.1.2. Этап 2.
1.6.1.3. Этап 3.
1.6.1.4. Этап 4.
1.7. Контрольные карты.
1.7.1. Изменчивость из-за «случайных (обычных) причин».
1.7.2. Реальные перемены в процессе.
1.7.3. Цель контрольных карт.
1.7.4. Задача статистического управления процессами.
1.7.5. Область применения контрольных карт.
1.7.6. Основы контрольных карт Шухарта.
1.7.6.1. Карта Шухарта.
1.7.6.1.1. Стандартные значения.
1.7.6.1.2. Стандартные значения не заданы.
1.7.6.1.3. Стандартные значения заданы.
1.7.7. Контрольные карты для альтернативных данных.
2. Экспертные методы оценки качества педагогических объектов.
2.1. Экспертный метод.
2.1.1. Суть метода.
2.2. Эксперт.
2.3. Экспертная оценка.
2.4. Решаемые задачи.
2.4.1. Анализ сложных педагогических процессов.
2.4.2. Прогнозирование развития процессов обучения и воспитания и их взаимодействия с внешней средой.
2.4.3. Планирование профессионального развития педагога.
2.4.4. Оценка результатов выполнения заданий с развернутым ответом участников ЕГЭ и ОГЭ или творческих работ обучающихся.
2.4.5. Оценка альтернативных решений и выделение наиболее предпочтительных вариантов организации учебно-воспитательного процесса.
2.4.6. Анализ содержания образовательных программ, учебников.
2.5. Требования к экспертам.
2.5.1. Уметь.
2.5.2. Обладать опытом.
2.5.3. Наличие среднего профессионального и (или) высшего профессионального образования.
2.5.4. Наличие опыта работы в организациях, осуществляющих образовательную деятельность не менее 5 лет.
2.5.5. Наличие квалификационной категории.
2.5.6. Наличие документа, подтверждающего получение дополнительного профессионального образования.
2.5.7. Специалисты должны знать.
2.5.8. Специалисты должны уметь.
2.6. Отбор экспертов.
2.6.1. Формирование экспертных групп.
2.6.2. Формы экспертного опроса.
2.6.3. Подходы к оцениванию (методы и средства оценивания).
2.6.4. Обработка результатов опроса экспертов.
2.6.5. Согласование экспертных оценок.
2.7. Оценка качества эксперта и формирование экспертных групп.
2.7.1. Для оценки качества некоторых объектов требуется привлечение специалистов разных профилей.
2.7.2. Достоверность групповой экспертной оценки зависит от уровня компетентности отдельных экспертов и числа экспертов в группе.
2.7.3. Достоверность групповой экспертной оценки зависит от уровня компетентности отдельных экспертов и числа экспертов в группе.
2.7.4. Определение эксперта как специалиста в конкретной области.
2.7.4.1. Обладает в данной области необходимыми знаниями и опытом.
2.7.4.2. Владеет используемыми в области технологиями.
2.7.4.3. Способен анализировать новую информацию.
2.7.4.4. Способен оценить объект экспертизы в пределах своей компетентности.
2.7.4.5. Несет ответственность за сделанные им заключения и рекомендации.
2.7.5. Априорные методы.
2.7.5.1. Методы самооценки.
2.7.5.2. Методы взаимооценки.
2.7.5.3. Документальные методы.
2.7.5.4. Тестовые методы.
2.8. Методика расчета коэффициента компетентности эксперта по априорным данным.
2.8.1. Креативность.
2.8.2. Конформизм.
2.8.3. Коллективизм.
2.8.4. Конструктивность мышления.
2.8.5. Самокритичность.
2.8.6. Достоверность суждений.
2.8.7. Объективность.
2.9. Опрос экспертов.
2.9.1. Экспертный опрос.
2.9.2. Для проведения необходимо.
2.9.2.1. Выбрать методику экспертного опроса.
2.9.2.2. Сформировать группу экспертов с учетом их компетентности.
2.9.2.3. Учесть факторы, влияющие на суждения эксперта.
2.9.2.4. Создать условия для наиболее продуктивного использования экспертов в ходе опроса.
2.9.2.5. Сохранять полученную от экспертов информацию без искажения на всех этапах исследования.
2.9.3. Ограничения в применении выводов.
2.9.4. Особенности экспертного опроса.
2.9.5. Процедуры сбора экспертной информации с непосредственным взаимодействием экспертов.
2.9.6. Процедуры сбора экспертной информации без непосредственного взаимодействия экспертов.
2.9.7. Этапы и процедуры экспертного опроса.
2.9.7.1. 1. Подготовительный этап.
2.9.7.1.1. 1.1. Разработка программы экспертного опроса.
2.9.7.1.2. 1.2. Составление плана, сетевого графика выполнения работ.
2.9.7.1.3. 1.3. Выбор метода организации работы экспертов, построение программы, сценария экспертизы.
2.9.7.1.4. 1.4. Проектирование инструментария, экспертного опроса (протоколов, анкет, карточек, бланков)..
2.9.7.1.5. 1.5. Разработка программ анализа данных экспертизы.
2.9.7.1.6. 1.6. Подготовка технических средств, их апробация.
2.9.7.1.7. 1.7. Подготовка интервьюеров, анкетеров, организаторов экспертного опроса. Инструктаж, обучение, репетиция процедур экспертизы.
2.9.7.2. 2. Этап подбора экспертов.
2.9.7.2.1. 2.1. Поиск потенциальных экспертов.
2.9.7.2.2. 2.2. Оценка компетентности кандидатов в эксперты.
2.9.7.2.3. 2.3. Определение оптимальной численности экспертной группы.
2.9.7.2.4. 2.4. Формирование экспертной группы из числа наиболее компетентных экспертов.
2.9.7.3. 3. Этап сбора экспертной информации.
2.9.7.3.1. 3.1. Организация условий работы экспертов.
2.9.7.3.2. 3.2. Опрос в соответствии с заданной методикой экспертизы. Регистрация его данных в учетных документах.
2.9.7.3.3. 3.3. Контроль за работой осуществляющих экспертизу.
2.9.7.3.4. 3.4. Первичная обработка и уточнение данных экспертизы.
2.9.7.4. 4. Результирующий этап обработки и анализа данных.
2.9.7.4.1. 4.1. Сбор учетных документов, их полная проверка и обработка.
2.9.7.4.2. 4.2. Ручная обработка данных, перевод данных на машинные носители и их машинная обработка по заданным программам.
2.9.7.4.3. 4.3. Статистический анализ.
2.9.7.4.4. 4.4. Обобщение результатов экспертизы, доказательство гипотез, построение выводов, разработка рекомендаций исследования.
2.9.7.4.5. 4.5. Анализ и оценка эффективности использования экспертизы в исследовании. Выявление ошибок, новаций, их объяснение. Рекомендации по совершенствованию экспертного опроса.
2.9.7.4.6. 4.6. Подготовка отчета по проведению экспертизы .
2.9.8. Обработка результатов опроса экспертов.
2.9.8.1. Определение согласованности мнений экспертов.
2.9.8.2. Построение обобщенной (согласованной оценки).
2.9.8.3. Определение зависимости между суждениями экспертов.
2.9.8.4. Определение относительных весов объектов.
2.9.8.5. Оценка надежности результатов экспертизы.
2.9.9. Оценка согласованности мнений экспертов.
2.9.9.1. Осуществляется с помощью количественной меры, характеризующей степень близости индивидуальных экспертных мнений.
2.9.9.2. Основывается на использовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы.
2.9.10. Построение групповой (обобщенной) оценки.
2.9.10.1. Метод рангов и непосредственного оценивания.
2.9.10.2. Балльный метод непосредственного оценивания.
2.9.10.3. Метод парного сравнения.
3. Основные понятия квалиметрии
3.1. Качество объекта.
3.1.1. Квалиметрия.
3.1.2. Качество.
3.1.3. Требование.
3.1.4. Свойство.
3.1.5. Единица измерения.
3.2. Оценивание. Методология определения и оценивания качеств.
3.2.1. Оценивание.
3.2.2. Этапы оценки качества.
3.2.2.1. Определить перечень (номенклатуру) свойств объекта.
3.2.2.2. Измерить свойства, то есть определить их численные значения.
3.2.2.3. Сопоставить полученные при измерении значения с аналогичными значениями другого объекта, выбранного в качестве эталона или образца.
3.2.3. Оценка качества.
3.2.4. Количественная оценка качества.
3.3. Принципы и процедуры оценки качества педагогических объектов.
3.3.1. Должна давать практике полезные методы достоверной оценки качества объектов.
3.3.2. Приоритет в выборе показателей качества должен быть на стороне потребителя, заказчика
3.3.3. Оценка качества объекта не может быть получена без наличия эталона.
3.3.4. Качество объекта представляется в виде иерархического дерева свойств.
3.3.5. В комплексной оценке качества каждому отдельному показателю задается вес.
3.3.6. Качество целого объекта обусловлено качеством его составных частей.
4. Методы оценки качества результатов обучения и их классификация.
4.1. Метод.
4.2. Методы оценивания.
4.3. Классификация методов.
4.3.1. Наблюдение.
4.3.2. Беседа.
4.3.2.1. Программированные.
4.3.2.2. Нестандартизированные.
4.3.3. Интервью.
4.3.4. Контент-анализ.
4.3.4.1. Экспертное оценивание.
4.3.4.2. Метод смыслового контент-анализа.
4.3.4.2.1. Чему я научился за эту неделю?
4.3.4.2.2. Какие вопросы остались для меня неясными?
4.3.4.2.3. Какие вопросы я задал бы ученикам, если бы я был учителем, чтобы проверить, поняли ли они материал?
4.3.4.3. Метод поэлементного анализа.
4.3.4.3.1. Подготовка и использование метода МППА.
4.3.4.3.2. Обработка данных ППА и их анализ. Индивидуальная отметка за контрольную работу.
4.3.4.3.3. Средний по группе (классу) показатель усвоения элемента.
4.3.4.3.4. Динамика изменения показателя усвоения элемента.
4.3.5. Тестирование.
4.3.5.1. Входной контроль.
4.3.5.2. Текущий контроль.
4.3.5.3. Тематический контроль.
4.3.5.4. Рубежный контроль.
4.3.5.5. Итоговый контроль.
4.3.5.6. Адаптивный контроль.
4.3.6. Анкетирование.
4.3.6.1. Групповое.
4.3.6.2. Индивидуальное.
4.4. 2.1. Применение метода тестирования в оценивании результатов обучения
4.4.1. Методика разработки педагогического теста.
4.4.2. Планирование содержания и структуры теста.
4.4.2.1. Этап 1. Определение уровня контроля и цели тестировании.
4.4.2.1.1. Разработка начинается с определения уровня контроля, для проведения которого предполагается использовать тест.
4.4.2.2. Этап 2. Определение количества заданий в тесте.
4.4.2.2.1. Выделяемое для проведения тестирования, определяет количество заданий в тесте.
4.4.2.3. Этап 3. Отбор содержания теста по трудности заданий.
4.4.2.3.1. Трудность.
4.4.2.3.2. Обычно используется шкала порядка с тремя градациями: простое, средней трудности, трудное.
4.4.2.4. Этап 4. Разработка спецификации теста.
4.4.2.4.1. Спецификация теста.
4.4.2.4.2. Первый шаг.
4.4.2.4.3. Второй шаг.
4.4.2.5. Этап 5. Подбор (формулировка) типовых заданий с требуемыми дидактическими характеристиками.
4.4.2.5.1. Содержание (проверяемая ДЕ).
4.4.2.5.2. Уровень трудности.
4.4.2.5.3. Особенности представления задания (тип тестового задания).
4.4.2.5.4. Количество дистракторов.
4.4.2.5.5. Характер концептов.
4.4.2.5.6. Элементы оформления.
4.4.2.5.7. Наличие графических объектов.
4.4.2.6. Этап 6. Разработка фасетов тестовых заданий.
4.4.2.6.1. Вариантный.
4.4.2.6.2. Фасетный.
4.4.2.7. Этап 7. Составление развернутого плана (полной спецификации) теста.
4.4.2.8. Этап 8. Фиксация порядка интерпретации результатов тестирования.
4.4.2.8.1. Порядок оценки успешности выполнения отдельного ТЗ.
4.4.2.8.2. Порядок вывода итоговой оценки (результата) тестирования на основании результатов выполнения отдельных ТЗ.
4.4.2.8.3. Фиксация оценочной шкалы – порядка перевода сырых (первичных) баллов к принятой балльной шкале.
4.4.2.8.4. Установка критериев результативности – соответствия критериальных показателей интервалам на балльной шкале.
4.4.2.8.5. Указание, для какого уровня управления (принятия решения) предназначены результаты тестирования.
4.4.2.9. Этап 9. Коррекция тестовых заданий по итогам апробации.
4.4.3. Статистическая обработка индивидуальных и групповых результатов тестирования.
4.4.3.1. Индивидуальные результаты тестирования.
4.4.3.1.1. Анализируют «профиль» испытуемого.
4.4.3.1.2. Рассчитывают сырой тестовый балл.
4.4.3.1.3. Рассчитывают относительный тестовый балл.
4.4.3.1.4. Переводят результат в стандартную шкалу.
4.4.3.1.5. Определяют рейтинг учащегося в группе.
4.4.3.2. Групповые результаты тестирования.
4.4.3.2.1. Средний балл по группе.
4.4.3.2.2. Распределение индивидуальных баллов.
4.4.3.2.3. Построение гистограммы распределения индивидуальных баллов.
4.4.3.3. Оценивают качество теста – надежность.
4.4.3.4. Определяют ошибку измерения уровня знаний испытуемого с помощью теста.
4.4.3.5. Оценивают качество отдельных заданий теста.
4.4.3.5.1. Проводят анализ дистракторов.
4.4.3.5.2. Оценивают трудность заданий.
4.4.3.5.3. Строят карту решаемости заданий тест.
4.4.3.5.4. Учатся интерпретировать результаты тестирования.
4.4.4. Представление результатов тестирования.
4.4.5. Определение индивидуальных результатов тестирования.
4.4.6. Погрешность тестирования, доверительный интервал истинного балла.
4.4.6.1. Конструктивные особенности тестовых заданий.
4.4.6.2. Инструментальная погрешность.
4.4.7. Оценка статистических характеристик тестовых заданий.
4.4.7.1. Трудность заданий (коэффициент решаемости).
4.4.7.1.1. Назначенная.
4.4.7.1.2. Статистическая.
4.4.7.2. Дифференцирующая сила заданий.
4.4.7.2.1. Метод крайних групп.
4.4.7.2.2. Для определения статистических характеристик тестовых заданий необходимы объемы выборок порядка 100 чел.
4.4.7.2.3. Приводимые оценки связаны с несложными математическими вычислениями, для реализации которых достаточно пакета MS Excel.
4.4.7.3. Оценка качества теста.
4.4.7.3.1. Надежность.
4.4.7.3.2. Валидность.
4.4.8. Комплексная оценка качества результатов обучения.
4.4.8.1. Модель комплексной оценки.
4.4.8.2. Модель рейтинговой оценки.
4.4.8.3. Построение иерархического дерева свойств «Качество результатов обучения по учебной дисциплине».
4.4.8.3.1. Оценка качества.
4.4.8.3.2. Рейтинговая оценка.
4.4.8.3.3. Результат обучения.
4.4.8.3.4. Иерархическое дерево.
4.4.8.3.5. Выбор способа определения весомости отдельных свойств и их групп.
4.4.8.3.6. Назначение интервала значений каждого показателя качества.
4.4.8.3.7. Выбор метода сведения воедино оценок отдельных свойств в комплексную оценку.
4.4.8.3.8. Возможности автоматизации алгоритма построения рейтинговой шкалы и алгоритма получения рейтинговой оценки студентом.
4.4.8.3.9. Организационная схема использования рейтинговой оценки в учебном процессе.