Основные этапы конструирования теста в психодиагностике. Основные этапы конструирования педагогического теста. Основные этапы конструирования теста

Страница 21 из 25

Основные этапы конструирования педагогического теста

Проблемы конструирования опросников.

При разработке заданий для опросников необходимо учитывать следующие проблемы, которые, если их не обойти, неизбежно приведут к низкой валидности тестов.

1. Установка на согласие. Это тенденция испытуемого соглашаться с утверждениями или отвечать на вопросы "да" независимо от их содержания. Чаще всего проявляется, когда утверждения (вопросы) неоднозначны и неопределенны.

2. Установка на социально одобряемые ответы. Это тенденция испытуемых отвечать на вопросы теста так, чтобы выглядеть "социально положительным": если возможен "социально желательный" ответ, то весьма вероятно, что испытуемые будут его давать.

3. Установка на неопределенные или средние ответы. Если в опроснике представлена средняя категория ответов, отражающая нерешительность или неуверенность в ответе (например
"не уверен", "не знаю" или "затрудняюсь ответить"), то многие испытуемые склонны к ней прибегать, как к безопасному компромиссу. Это приводит к снижению валидности, поскольку большинство методов анализа вопросов основывается на крайних значениях показателей.

4. Установка на "крайние" (расположенные по краям шкалы) ответы. Эта установка может проявляться при использовании многоэлементной рейтинговой шкалы. Некоторые испытуемые, независимо от содержания вопросов, предпочитают выбирать крайние ответы.

5. Очевидная валидность вопросов. Несомненно, в тестах личности необходима уверенность в том, что ответы на вопросы могут рассматриваться как правдивые.

6. Проблемы в установлении адекватного критерия валидности. Существует значительная трудность в нахождении адекватного критерия.

Таковы основные сложности, возникающие при конструировании опросников, и следует отчетливо их себе представлять, прежде чем вы приступите к формулированию вопросов или утверждений. Две последние проблемы, хотя они и являются определяющими, выходят на первый план уже после того, как подобраны задания теста.

Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.

1. Определение цели тестирования, выбор вида теста и подхода к его созданию.

2. Анализ содержания изучаемого явления (качества).

3. Определение структуры теста и стратегии расположения заданий.

4. Разработка спецификации теста, выбор длины теста и времени его выполнения.

5. Создание предтестовых заданий.

6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

7. Экспертиза содержания предтестовых заданий и теста.

8. Экспертиза формы предтестовых заданий.

9. Переработка содержания и формы заданий по результатам экспертизы.

10. Разработка методики апробационного тестирования.

11. Разработка инструкций для проводящих апробацию теста.

12. Проведение апробационного тестирования.

13. Сбор эмпирических результатов

14. Статистическая обработка результатов выполнения теста.

15. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

16. Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения. Оптимизация порядка расположения заданий в тесте.

17. Повторение этапа апробации для повышения качества теста.

18. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В определенном смысле этот цикл бесконечен, но не потому, что все задания плохи и разработчик не имеет достаточного опыта создания теста. Процесс конструирования теста довольно труден, поскольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразующих свойств.

К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зависит от уровня подготовки группы учеников. Задания, работающие на одной выборке учеников, могут оказаться бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов.

Конечно, далеко не всегда в процессе создания тестов необходимо достижение профессионального уровня качества, особенно если отвлечься от общих целей. В повседневной деятельности педагога необходимы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи вполне по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, основанных на минимальном математическом аппарате и позволяющих значительно продвинуться от предтестовых заданий к настоящему тесту.

На этапе сбора данных необходимо принять специальные меры, обеспечивающие единообразие процедуры выполнения теста. Стандартизация этой процедуры затрагивает вопросы формирования репрезентативной выборки испытуемых, правильного инструктирования, выбора оптимального времени тестирования, качественных материалов, подходящей окружающей обстановки. Определенное внимание следует уделить подготовке преподавателей, проводящих тестирование, принять меры по предотвращению списывания в процессе выполнения теста. Малейшее отступление от требований стандартизации повлечет за собой снижение достоверности эмпирических результатов выполнения теста. Помимо перечисленных, на результаты выполнения теста может повлиять множество других, менее очевидных факторов. В целом же для обеспечения сбора достоверных эмпирических данных необходимо:

Точно следовать процедурам стандартизации при сборе эмпирических данных;

Регистрировать любые нестандартные условия, приводящие к отступлениям от требований стандартизации;

Учитывать нестандартные условия тестирования при интерпретации теста.

Большое значение имеет разработка правильных инструкций по выполнению теста, которые следует подготовить как для педагога, руководящего процессом применения теста, так и для учеников, выполняющих тест.

В инструкции для педагога содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные обязанности педагога на этапе проведения тестирования, рекомендации по подготовке краткого отчета о выполненной процедуре предъявления теста.
В целом перед тестированием педагогу необходимо следующее.

1. Объяснить, зачем нужен тест, сообщить, какие результаты ожидаются.

2. Объяснить, почему испытуемые должны приложить максимум усилий для его выполнения, акцентировать внимание испытуемых на возможности проверки своих сил и подчеркнуть соревновательный мотив. При этом следует иметь в виду, что слишком сильная мотивация, как и слабая, в одинаковой степени негативно сказываются на результативности теста.

3. Медленно, четко прочесть инструкцию к тесту с примерами, если они имеются. Возможна ситуация, когда испытуемые самостоятельно следят по своим вариантам теста за инструкцией, а педагог зачитывает ее или воспроизводит по памяти.

4. Дать возможность испытуемым потренироваться, решив самостоятельно одну или более задач-образцов, если такие имеются. Проверить, правильно ли понята инструкция по результатам выполнения образцов заданий теста.

5. Сообщить о временном ресурсе, о правилах исправления допущенных ошибок, рассказать о том, чего не рекомендуется делать при выполнении задач и к кому обращаться в случае возникновения вопросов.

6. Вместе с испытуемыми записать, если требуется, паспортные и биографические данные в регистрационных бланках, проследить за правильностью их заполнения.

7. Ответить на имеющиеся вопросы до начала выполнения теста.

8. Раздать тест.

9. Дать команду начать выполнение заданий. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.

10. Во время выполнения заданий следить:

За временем выполнения отдельных субтестов, если это необходимо, как, например, при выполнении скоростных тестов;

За наличием отточенных карандашей и других материалов;

За правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка, своевременно ее устранить);

За тем, чтобы испытуемые не писали на тестовых брошюрах, если не предусмотрено;

За тем, чтобы соседи не общались, не мешали друг другу, не подглядывали;

За состоянием испытуемых;

За тем, чтобы испытуемые своевременно получили разрешенные инструкцией ответы на вопросы в ситуациях, связанных с процедурой проведения.

11. После сигнала к окончанию выполнения заданий теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать (если участвуют не более 30 человек). Если участников тестирования больше 30 человек, то рекомендуется попросить всех остаться на своих местах и передать в начало ряда тестовые материалы в следующем порядке: бланки для ответов, брошюры, черновики. После этого пересчитать количество бланков и брошюр.

12. По окончании тестирования просмотреть все брошюры и стереть отметки в них.

Оглавление
Педагогическая диагностика в воспитательном процессе.
ДИДАКТИЧЕСКИЙ ПЛАН
Понятие педагогической диагностики
Исторические аспекты формирования диагностики как специфического вида познания
Личность как предмет педагогической диагностики

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

1. Технология адаптации тестовой методики: анализ заданий

Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов (А.А. Бодалев, В.В. Столин). Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста.

1. Теоретическое обоснование методики.

2. Собственно конструирование.

2.1 Спецификация теста (определение числа заданий). Подробно процедура спецификации тестов на примере опросников приведена в учебнике Л.Ф.Бурлачука.

2.2 Разработка заданий.

2.4 Предварительное оформление.

На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Подробно данная процедура освещена А.Анастази. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.

4. Расчет психометрических показателей на выборке стандартизации.

5. Стандартизация теста. Расчет тестовых норм.

6. Окончательное оформление методики.

7. Пересмотры методики с течением времени.

Ситуация адаптации предполагает перепроверку основных психометрических показателей методики в новых условиях. В первую очередь, адаптации подлежат переводные тесты. Адаптация зарубежных тестов по объему эмпирико-статистической работы практически не уступает созданию оригинальных диагностических методик.

А.А. Бодалев и В.В. Столин выделяют следующие этапы адаптации переводного теста:

1. Анализ внутренней согласованности пунктов теста.

2. Проверка устойчивости к пере тестированию.

3. Анализ корреляций с релевантным внешним критерием.

4. Проверка или рестандартизация тестовых норм.

5. В случае адаптации многомерной методики - проверка воспроизводимости структуры отношений между шкалами.

Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально-культурными особенностями. В данном случае необходимо:

1) проверить валидность методики;

2) перепроверить тестовые нормы.

2. Характеристика этапа переработки и интерпретации психодиагностического процесса

Этапы психодиагностического процесса. В психологической литературе приводится несколько вариантов схем диагностического процесса, с различной полнотой отражающих его реальное содержание (Бурлачук Л.Ф., Гильбух Ю.З., И.В. Дубровина, И. Шванцара, Бодалев А.А., Столин В.В. и др.).

И.В. Дубровина, обобщая опыт работы школьных психологов и опираясь на исследование И. Шванцара, выделяет следующие этапы работы по психодиагностике:

1. Изучение требования, поступившего практическому психологу в виде запроса (жалобы, сомнений, вопроса) учителей, родителей, учеников, предполагающее его уточнение посредством проведения специальной беседы,

2. Формулировка психологической проблемы, заключающаяся в переводе запроса на психологический язык на основе изучения всей информации об ученике.

3. Выдвижение гипотез о причинах отклонений в обучении, воспитании, развитии учащегося.

4. Выбор метода исследования, предполагающий наличие в распоряжении практического психолога и владение им как строго-формализованными {тесты), таки малоформализованными (наблюдение, беседа и т. п.) методами и проведения исследования.

5. Оценка полученных результатов, заключающаяся в сопоставлении их с проявлениями в жизненных ситуациях и с возрастными особенностями.

6. Диагноз, формулировка заключения.

7. Перевод диагноза на язык адресата (учителей, родителей, ученика).

10. Разработка путей и способов коррекции.

11. Осуществление психокоррекционной работы.

Другая схема диагностического процесса предложена Л.Ф. Бурлачуком. Диагностическая деятельность психолога может быть представлена в виде разных этапов процесса переработки информации, ведущих к принятию решения, -- диагнозу и прогнозу. Основные этапы диагностического процесса сводятся к сбору данных в соответствии с задачей исследования, их переработке, интерпретации и вынесению решения (диагноз и прогноз).

Этап переработки и интерпретации. На этом этапе перерабатываются и интерпретируются полученные данные на основе гармоничного сочетания двух подходов: клинического и статистического. Клинический, близкий к суждениям здравого смысла и более ориентированный на опыт и интуицию диагноста. Статистический предусматривает учет объективных количественных показателей, их статистическую обработку. Роль субъективного суждения сводится к минимуму. Вопрос об эффективности клинического и статистического прогноза неоднократно обсуждался психологами и до сих пор служит предметом дискуссий.

Этап принятия решения. Н. Сандберг и Л. Тайлер выделяют три уровня диагностических заключений. На первом уровне диагностическое заключение производится непосредственно из имеющихся об обследуемом данных. (Например, установлено, что успешность выполнения заданий методики позволяет сделать вывод об отсутствии расстройств мышления. Это и служит основой для отбора). При таком «селекционном» подходе психолога не интересует, почему отдельный испытуемый не смог выполнить заданий теста. Индивидуальный диагноз, а тем более прогноз, не осуществляется. Диагноз на этом уровне замкнут в порочный круг, он возвращает клинике ее же данные, но только выраженные в иной системе понятий. Еще Л. С. Выготский отмечал, что такого рода диагноз сводится к пересказу другими словами исходных данных, причем снабжается «ярким, большей частью, иностранным и непонятным ярлычком». Такой широко распространенный тип диагностики, когда психолога вполне можно заменить машиной или специально обученным для проведения тестирования человеком, неоднократно был объектом критики. Но необходимо заметить, что данный уровень следует понимать как сугубо рабочий, ориентировочный, а в некоторых случаях и соответствующий поставленным задачам (например, исследование значительного числа лиц в целях их дифференциации).

Упорядочение и сведение в систему диагностических показателей нередко осложняются, когда используемые методики опираются на различные теоретические положения. В этом случае интеграция разнообразных данных осуществляется либо на эмпирическом уровне посредством разработки схемы, позволяющей проводить условное сопоставление результатов отдельных методик (например, путем разработки пятибалльной шкалы, противоположные полюсы которой характеризуют «высокие» и «низкие» показатели каждой методики), либо путем теоретического обобщения и систематизации диагностических данных на основе понятий какой-либо одной теории личности.

Психодиагностическое исследование завершается разработкой программы действий, которые необходимо осуществить в связи с полученными результатами, рекомендациями по выбору оптимальных методов терапии заболевания, реабилитации и т. д.

Итоги диагностического исследования должны быть представлены в объясняющих понятиях, т. е, описываются не результаты, полученные с помощью конкретных методик с привлечением специальной терминологии, а их психологическая интерпретация. Используемые термины должны «доопределяться» путем отнесения к соответствующей теории, например «интроверт по Айзенку» или «интроверт по Роршаху».

Ценным в приведенной схеме является достаточно полная характеристика содержания психодиагностического процесса с позиций переработки информации диагностом, а также отвечающее современному уровню развития психологической науки решение таких специфических проблем, возникающих при осуществлении психодиагностической деятельности, как выделение способов интеграции данных различных психодиагностических методик, построение типов психодиагностических заключений. конструирование психологических тест

Обобщение известных моделей психодиагностического процесса на базе методологических положений общей теории диагноза позволяет выделить следующие его этапы:

1. Определение состояния объекта психодиагностики на феноменологическом уровне. На этом этапе на основе известных в психологической науке классификаций переменных параметров деятельности или состояний психического дискомфорта (классификаций объективных показателей учебной или профессиональной деятельности, типичных жалоб, проблем, запросов обследуемых) осуществляется узнавание имеющихся, в данном конкретном случае, элементов феноменологического уровня по их характерным признакам и определение их состояния с точки зрения соответствия норме. Данный этап включает:

а) ознакомление с запросом обследуемого или связанных с ним лиц;

б) определение соответствия данного конкретного случая компетенции практического психолога;

в) сбор данных о переменных параметров деятельности или состояния психического дискомфорта, предполагающий опрос обследуемого или связанных с ним лиц с целью уточнения жалоб, проблем, запросов и сбора анамнестических данных, а также обследование клиента с помощью специальных методик;

г) создание синтетической картины объекта психодиагностики на феноменологическом уровне;

д) оценку его состояния и формулировку психодиагностической задачи.

2. Выдвижение гипотез о психологических причинах, обусловливающих установленное па первом этапе состояние элементов феноменологического уровня (переменных параметров деятельности или психического дискомфорта) на основании схем детерминации и психодиагностических таблиц.

3. Проверка гипотез. "Осуществляется посредством определения состояния объекта психодиагностики на уровне причинных оснований и предполагает:

а) выбор методик психодиагностики, адекватных гипотезе;

б) обследование клиента с помощью психодиагностических методик с целью определения состояния психологических переменных уровня причинных оснований;

в) интерпретация и оценка состояния психологических переменных с точки зрения нормы.

4. Построение общей формулы диагностического заключения. Реализуется па основе определения типа психологических переменных в соответствии с известными на современном уровне развития психологической науки классификациями элементов уровня причинных оснований, обусловивших установленные на первом этапе состояние параметров деятельности или психического дискомфорта.

5. Индивидуализация психологического диагноза. На этом этапе осуществляется конкретизация диагноза и его перевод на язык адресата,

6. Прогнозирование состояния обследуемого и формулирование рекомендаций по оказанию психологической помощи.

7. Наблюдение за клиентом после оказания психологической помощи с последующим уточнением диагностического заключения.

Обоснованность изложенной схемы психодиагностического процесса подтверждается экспериментальными исследованиями, выполненными на отличающихся по содержанию моделях диагностической деятельности. Основные этапы предложенной схемы психодиагностического процесса обнаруживаются также при анализе случаев из практики психологического консультирования. Вместе с тем эта схема должна пройти дополнительную проверку в различных областях психодиагностической практики.

Итак, можно сделать следующие выводы;

1. Психодиагностический процесс, характеризуя постановку психологического диагноза практическим психологом, представляет собой сложную процедуру, требующую специальной подготовки диагноста.

2. Сложность психодиагностической процедуры выражается в наличии ряда этапов, отклонения в реализации каждого из которых приводят к возникновению диагностических ошибок, и обусловливаются иерархическим строением объекта психодиагностики и многозначностью причинно-следственных связей между его элементами разных уровней.

3. Психодиагностический процесс осуществляется в форме взаимодействия диагноста с обследуемым, опосредованного психодиагностическими средствами.

5. Количество и содержание этапов психодиагностического процесса зависит от имеющихся в распоряжении практического психолога психодиагностических средств, а также от сложившейся системы его психологической подготовки, обусловленной степенью разработанности научно-методических основ психодиагностической деятельности.

6. На современном этапе развития психологической науки существует несколько схем психодиагностического процесса, раскрывающих его с различных сторон и с различной полнотой. В связи с этим актуальной является задача экспериментальной проверки сравнительной эффективности каждой из них в психодиагностической работе практических психологов.

Размещено на Allbest.ru

Подобные документы

Характеристика сущности и необходимости психологических тестов. Обеспечение качества теста, которое достигается многоступенчатой процедурой проверки и стандартизации его шкал. Единая система составления, надежность и валидность психологических тестов.

контрольная работа , добавлен 29.03.2011


Проведение психодиагностического исследования личности подростка 11 лет. Изучение методики оценки личности с помощью теста "Дом-дерево-человек" и методики диагностики внутрисемейных отношений с помощью теста "Рисунок семьи". Анализ результатов тестов.

лабораторная работа , добавлен 12.09.2010


Тесты как стандартизированные методики психодиагностики. Особенности классификации тестов. Показатели качества тестов (методик). Разновидности валидности и её нахождение. Методы проверки валидости. Характеристика конкурентной и очевидной валидности.

контрольная работа , добавлен 16.02.2010


Общая и дифференциальная психометрика. Ее отношение к психодиагностике и дифференциальной психологии. Понятие надежности. Содержательная, эмпирическая, конструктная и дискриминантная валидность. Стандартизация тестов и репрезентативность тестовых норм.

презентация , добавлен 05.01.2014


Основные понятия в отечественной и зарубежной психологии, понятие нравственно-психологических тестов, экспериментальное исследование по выявлению роли нравственно-психологических основ в супружеских отношениях. Типы характеров и их проявления.

дипломная работа , добавлен 11.10.2010


Понятие, сущность и классификация методов в современной психологической науке. Психологические тесты, их оценка и характеристика основных видов – тестов-опросников, тестов-заданий и проективных тестов, а также условия их научной разработки и применения.

контрольная работа , добавлен 16.03.2010


Научно-методическая основа интерпретации проективных рисуночных методик. Понятие эмоциональной сферы ребенка. Отражение в рисунках детей индивидуальных особенностей и эмоционально сферы личности. Методика и техника проведения психологических тестов.

курсовая работа , добавлен 01.03.2014


Виды валидности теста и способы определения валидности. Отечественные и зарубежные концепции темперамента. Практическая диагностика темперамента с помощью опросника Я. Стреляу, методики Айзенка, методики Шмишека. Особенности применения темпинг-теста.

курсовая работа , добавлен 21.09.2015


Виды психологических трудностей ребенка с детским церебральным параличом. Психологическое сопровождение детей с нарушениям опорно-двигательного аппарата в условиях Центра коррекционно-развивающего обучения и реабилитации. Работа психолога с детьми.

курсовая работа , добавлен 27.09.2013


Познавательные психические процессы (их виды, свойства). Принципы обучения, системный подход к применению принципов обучения. Характеристика индивидуально-психологических свойств личности на основе тестов, особенностей профессиональной деятельности.

Процесс создания теста, его научного обоснования, перера­ботки и улучшения можно разбить на ряд этапов.

1.Определение цели тестирования, выбор вида теста и подхода к его созданию.

3.Определение структуры теста и стратегии расположения заданий.

4.Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

5.Создание предтестовых заданий.

6.Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

7.Экспертиза содержания предтестовых заданий и теста.

8.Экспертиза формы предтестовых заданий.

9.Переработка содержания и формы заданий по результатам экспертизы.

10.Разработка методики апробационного тестирования.

11.Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

12.Проведение апробационного тестирования.

13.Сбор эмпирических результатов.

14.Статистическая обработка результатов выполнения теста.

15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

18.Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста раз­работчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В оп­ределенном смысле этот цикл бесконечен, но не потому, что все за­дания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, по­скольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразую­щих свойств.

К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зави­сит от уровня подготовки группы учеников. Задания, хорошо ра­ботающие на одной выборке учеников, могут оказаться совершен­но бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается пра­вильным отбором проверяемого содержания и умением разра­ботчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для вы­полнения которого необходимы специальные программные сред­ства для профессиональной разработки тестов .

Конечно, далеко не всегда в процессе создания тестов необ­ходимо достижение профессионального уровня качества, осо­бенно если отвлечься от целей приема абитуриентов и аттестации выпускников. В повседневной деятельности педагога необходи­мы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи впол­не по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, осно­ванных на минимальном математическом аппарате и позволяю­щих значительно продвинуться от предтестовых заданий к насто­ящему тесту.

Выводы

1.Теория педагогических измерений носит междисциплинарный характер, объединяя достижения педагогики и психологии с достижениями математики, статистики и теории измерений.

2.Разработка понятийного аппарата теории педагогических измерений имеет важное значение для повышения качества тестов.

3. При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. .

4. Педагогические тесты можно использовать для входного, текущего и итогового контроля при оценке результатов осуществленного учебного процесса.

5. Педагогические тесты разрабатываются в рамках двух подходов, позволяющих по-разному интерпретировать результаты их выполнения.

6. Наблюдаемые результаты выполнения теста получаются в результате взаимодействия множества испытуемых со множеством заданий теста.

7. Профессионально разработанные тесты обеспечивают представление об истинных баллах учащихся, определяемых с помощью специальных методов по наблюдаемым результатам выполнения теста.

8. Процесс конструирования теста включает ряд этапов, выполнение которых обязательно. Исключение любого этапа ведет к неизбежной потере качества теста.

ВОПРОСЫ И ЗАДАНИЯ

1.Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в школе?

2.Каковы цели разработки формирующих тестов? Есть ли различия между формирующими тестами и традиционными средствами текущего контроля?

3.Какова цель итогового тестирования?

4.В рамках какого подхода, по вашему мнению, следует разрабатывать тесты для проведения выпускных экзаменов в школе?

5.Правильно ли в вашей школе оценивают эффективность работы преподавателей?

6.Какой процесс называется стандартизацией теста?

7.Перечислите факторы, влияющие на устойчивость норм теста.

8.Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в школе?

9.Сформулируйте определения предтестового задания, тестового задания, педагогического теста. Сравните свой ответ с содержанием соответствующих разделов пособия.

10.В чем проявляются преимущества предтестового задания по сравнению с традиционными контрольными заданиями?

11.Каковы общие требования к предтестовым заданиям? Сравните свой ответе предлагаемым в пособии перечнем общих требований.

12.Охарактеризуйте факторы, снижающие точность тестовых измерений.

13.Можно ли с помощью традиционных средств контроля получить представление об истинных баллах учеников?

14.Три ученика отвечали на 6 заданий теста, ранжированных по нарастанию трудности. По результатам ответов получились профили:

первый: 111000; второй: 101010; третий: 000111.

Кто, по вашему мнению, лучше усвоил содержание проверяе­мого курса? Сколько ошибок в профиле ответов каждого из трех учеников? У кого из трех учеников будет выше истинный балл? Правомерна ли постановка последнего вопроса по отношению к результатам третьего ученика?

15. Перечислите основные этапы разработки теста.

Целеполагание на этапе планирования

При создании теста внимание разработчика прежде всего при­влекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предпо­лагает использование определенной методики отбора, включаю­щей вопросы целеполагания, планирования и оценки качества содержания теста.

Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания пре­подавателю необходимо решить вопрос о том, какие результаты уче­ников он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверя­ет знания учеников на уроках традиционными средствами. Однако наделе эта видимая простота зачастую оборачивается низким каче­ством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к не­правильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять.

Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками пе­дагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап це­леполагания отсутствует вовсе, поскольку часть педагогов уве­рена в непогрешимости; своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.

В отличие от отбора содержания традиционных средств конт­роля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет чет­кую целевую направленность, а это при условии правильной по­становки целей является серьезной заявкой на его высокое каче­ство. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения, и если они сформулированы правильно, то есть большая уверенность в том, что тест состоится.

Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется рядом обстоятельств. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выраже­ний естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недо­статочен для осуществления терминообразующей функции.

Вместе с тем в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десяти­летий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывча­тость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. И наконец, не­редко положение осложняли сами исследователи, которые, образно говоря, прорицали, но не слышали друг друга. В целом это привело к тому, что до сих пор не выработаны общие правила выбора осно­ваний для классификации целей, не найдены разделяемые всеми принципы для количественной оценки степени их достижения.

Таким образом, сложившиеся на сегодняшний день представ­ления о наиболее общих целях контроля не позволяют непосред­ственно перейти к разработке средств измерения. Для формулиро­вок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому для создания средств измерения в первую очередь необходима предва­рительная операционализация целей.

Процесс операционализации заключается в придании содер­жанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения . Идея операционализации очень близка отдельным положениям работы М.В. Кларина , где вместо сло­ва «операционализация»"используется иной, довольно удачный термин «конкретизация». Дело разумеется не в термине, а в сути предлагаемого процесса.

Объективность, валидность и надежность – требования, которым должен удовлетворять каждый тест. Рассмотрению этих понятий посвящены следующие параграфы.

2. Психологический тест как объективное измерение

Объективность психологического теста означает, что первичные показатели, их оценка и интерпретация не зависят от поведения и субъективных суждений экспериментатора. Первичными называют показатели, полученные после обработки данных выполнения респондентом тестовых заданий. Выражаются первичные показатели в так называемых "сырых баллах".

Разработка заданий, процедура проведения, обработка результатов теста осуществляется согласно определенным стандартным правилам.

Добиться объективности психологического теста можно при выполнении следующих условий:

единообразие процедуры проведения теста для получения сравнимых с нормой (см. ниже) результатов;

единообразие оценки выполнения теста;

определение нормы выполнения теста для сопоставления с ними показателей, полученных в результате обработки данных тестирования (см. здесь "третий этап стандартизации").

Эти три условия называют этапами стандартизации психологического теста.

Этапы стандартизации

На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.

Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:

условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.

Стандартизация (А. Анастази) - это "единообразие процедуры проведения и оценки выполнения теста". Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.

Этапы стандартизации

На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.

Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:

• 1) условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
• 2) Содержание инструкции и особенности ее предъявления (тон голоса, паузы, скорость речи и т.д.). Например, в тесте "10 слов" каждое слово должно предъявляться через определенный интервал времени в секундах.
• 3) Наличие стандартного стимульного материала. Например, достоверность полученных результатов существенно зависит от того, предлагаются ли респонденту изготовленные самодельные карты Г. Роршаха или стандартные - с определенной цветовой гаммой и цветовыми оттенками.
• 4) Временные ограничения выполнения данного теста. Например, для выполнения теста Равена взрослому респонденту дается 20 минут.
• 5) Стандартный бланк для выполнения данного теста. Использование стандартного бланка облегчает процедуру обработки.
• 6) Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.
• 7) Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка "правильного ответа" и др.
• 8) Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации. Например, если респондент уже выполнял тест Равена, то, скорее всего, не стоит предлагать ему его во второй раз.

Второй этап стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интер-претации полученных результатов и предварительной стандартной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста (например, в тестах интеллекта), пола и т.д. (см. ниже).

Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.

Нормы разрабатываются для различных возрастов, профессий, полов и др. Вот некоторые из существующих видов норм:

Школьные нормы разрабатываются на основе тестов школьных достижений или тестов школьных способностей. Они устанавливаются для каждой школьной ступени и действуют на всей территории страны.

Профессиональные нормы устанавливаются на основе тестов для разных профессиональных групп (например, механиков разного про-филя, машинисток и др.).

Локальные нормы устанавливаются и применяются для узких кате-го-рий людей, отличающихся наличием общего признака возраста, пола, географического района, социо-экономического статуса и др. Например, для теста Векслера на интеллект нормы ограничены возрастными рамками.

Национальные нормы разрабатываются для представителей данной народности, нации, страны в целом. Необходимость таких норм определяется конкретной культурой, моральными требованиями и традициями каждой нации.

Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.

Существуют требования к проведению эксперимента:

• 1. Инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
• 2. Ни одному испытуемому не следует давать никаких преимуществ перед другими;
• 3. В процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
• 4. Эксперимент с разными группами следует проводить в одинаковое по возможности время дня, в сходных условиях;
• 5. Временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и так далее.

Всякая норма обычно со временем изменяется вместе с естественными изменениями, которые с годами происходят в психологии людей, поэтому есть правило, согласно которому нормы теста, особенно интеллектуального, должны пересматриваться, как минимум один раз в пять лет.

Для выполнения статистической нормы применяются приемы математической статистики х (х - среднее арифметическое, - станд. отклонения). Х 5

Процентиль - это процентная доля индивидов из выборки стандартизации.

Под руководством Гуревича разрабатываются тесты, в которых в качестве точки отсчета выступает независимый от результатов испытания, объективно заданный социально-психологический норматив. Он реализуется в совокупности заданий составляющих тест. Сам тест в полном его объеме и является таким нормативом.

При разработке и применении любой точки отсчета следует обратить внимание на выборку испытуемых. В математической статистике различают генеральную совокупность (популяция) и выборку. Всякая большая совокупность людей относительно которой мы собираемся делать выводы называется генеральной совокупностью.

Выборка - это часть, или подмножество, совокупности. Проводить исследования для популяции не принято. Обычно из нее выделяется группа людей - выборка стандартизации, которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер выборка должна быть репрезентативна, представительна для рассматриваемой популяции, то есть ее вероятные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.

Один из способов обеспечения репрезентативности выборки является ограничение популяции (пол, возраст, профессия, здоровье, социально-эконом. статус и др.). Такая популяция определяется как специфическая.

• 1. Отбор испытуемых в выборку стандартизации
• 2. Определение популяции с выделением в ее структуре переменных значимых, малозначимых (возраст, пол)
• 3. Популяция делится на части в зависимости от значимых переменных.
• 4. Испытуемые отбираются в случайном порядке и пропорционально численности каждой значимой части совокупности. Минимальный порог выборки - 200 человек.

Статистическая норма - критерий, по которому проводят сравнение результатов диагностических методик.

Возрастная норма - как показатель, который появляется в тестах Бене-Симона (норма - сделать все задания).

Внешний критерий - критерий выполнения.

Процентиль - это процентная доля индивидов из выборки стандартизации, первичный результат которому ниже данного первичного показателя. Процентили указывают на относительное положение индивида в выборке стандартизации. Чем ниже процентиль, тем хуже позиция индивида. Процентили нельзя смешивать с обычными процентными показателями, которые являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль - это производный показатель, указывающий на долю от общего числа членов группы.

стандартизация надёжность валидность тесты