Презентация основы теории тестов по физической культуре. Основные положения классической теории тестов

Основные понятия теории тестов.

Измерение или испытание, проводимое с целью определения состояния или способностей спортсмена, называется тестом. Любой тест включает в себя измерение. Но не всякое изменение служит тестом. Процедура измерений или испытаний называется тестированием.

Тест, в основе которого лежат двигательные задания, называется двигательным. Существует три группы двигательных тестов:

1. Контрольные упражнения, выполняя которые спортсмен получает задание показать максимальный результат.
2. Стандартные функциональные пробы, в ходе которых задание, одинаковое для всех, дозируется либо по величине выполненной работы, либо по величине физиологических сдвигов.
3. Максимальные функциональные пробы, в ходе которых спортсмен должен показать максимальный результат.

Высококачественное тестирование предполагает знание теории измерений.

Основные понятия теории измерений.

Измерение--это выявление соответствия между изучаемым явлением с одной стороны, и числами--с другой.

Основы теории измерений составляют три понятия: шкалы измерений, единицы измерений и точность измерений.

Шкалы измерений.

Шкала измерения -- это закон, по которому численное значение присваивается измеряемому результату по мере его возрастания или убывания. Рассмотрим некоторые из применяемых в спорте шкал.

Шкала наименований (номинальная шкала).

Это самая простая из всех шкал. В ней числа выполняют роль ярлыков и служат для обнаружения и различения изучаемых объектов (например, нумерация игроков футбольной команды). Числа, составляющие шкалу наименований, разрешается менять метами. В этой шкале нет отношений типа «больше-- меньше», поэтому некоторые полагают, что применение шкалы наименований не стоит считать измерением. При использовании шкалы, наименований могут проводиться только некоторые математические операции. Например, ее числа нельзя складывать или вычитать, но можно подсчитывать, сколько раз (как часто) встречается то или иное число.

Шкала порядка.

Есть виды спорта, где результат спортсмена определяется только местом, занятым на соревнованиях (например, единоборства). После таких соревнований ясно, кто из спортсменов сильнее, а кто слабее. Но насколько сильнее или слабее, сказать нельзя. Если три спортсмена заняли соответственно первое, второе и третье места, то каковы различие в их спортивном мастерстве, остается неясным: второй спортсмен может быть почти равен первому, а может быть слабее его и быть почти одинаковым с третьим. Места, занимаемые в шкале порядка, называются рангами, а сама шкала называется ранговой или неметрической. В такой шкале составляющие ее числа упорядочены по рангам (т.е. занимаемым местам), но интервалы между ними точно измерить нельзя. В отличие от шкалы наименований шкала порядка позволяет не только установить факт равенства или неравенства измеряемых объектов, но и определить характер неравенства в виде суждений: «больше -- меньше», «лучше--хуже» и т.п.

С помощью шкал порядка можно измерять качественные, не имеющие строгой количественной меры, показатели. Особенно широко эти шкалы используются в гуманитарных науках: педагогике, психологии, социологии.

К рангам шкалы порядка можно применять большее число математических операций, чем к числам шкалы наименований.

Шкала интервалов.

Это шкала, в которой числа не только упорядочены по рангам, но и разделены определенными интервалами. Особенность, отличающая ее от описываемой дальше шкалы отношений, состоит в том, что нулевая точка выбирается произвольно. Примерами могут быть календарное время (начало летоисчисления в разных календарях устанавливалось по случайным причинам), суставной угол (угол в локтевом суставе при полном разгибании предплечья может приниматься равным либо нулю, либо 180°), температура, потенциальная энергия поднятого груза, потенциал электрического поля и др.

Результаты измерений по шкале интервалов можно обрабатывать всеми математическими методами, кроме вычисления отношений. Данные шкалы интервалов дают ответ на вопрос: «на сколько больше», но не позволяют утверждать, что одно значение измеренной величины во столько-то раз больше или меньше другого. Например, если температура повысилась с 10 до 20 С, то нельзя сказать, что стало в два раза теплее.

Шкала отношений.

Эта шкала отличается от шкалы интервалов только тем, что в ней строго определено положение нулевой точки. Благодаря этому шкала отношений не накладывает никаких ограничений на математический аппарат, используемый для обработки результатов наблюдений.

В спорте по шкале отношений измеряют расстояние, силу, скорость и десятки других переменных. По шкале отношений измеряют и те величины, которые образуются как разности чисел, отсчитанных по шкале интервалов. Так, календарное время отсчитывается по шкале интервалов, а интервалы времени -- по шкале отношений. При использовании шкалы отношений (и только в этом случае!) измерение какой-либо величины сводится к экспериментальному определению отношения этой величины к другой подобной, принятой за единицу. Измеряя длину прыжка, мы узнаем, во сколько раз эта длина больше длины другого тела, принятого за единицу длины (метровой линейки в частном случае); взвешивая штангу, определяем отношение ее массы к массе другого тела -- единичной гири «килограмма» и т.п. Если ограничиться только применением шкал отношений, то можно дать другое (более узкое, частное) определение измерению: измерить какую-либо величину -- значит найти опытным путем ее отношение к соответствующей единице измерения.

Единицы измерений.

Чтобы результаты разных измерений можно было сравнить друг с другом, они должны быть выражены в одних и тех же единицах. В 1960 году на Международной генеральной конференции по мерам и весам была принята Международная система единиц, получившая сокращенное название СИ (от начальных букв слов System International). В настоящее время установлено предпочтительное применение этой системы во всех областях науки и техники, в народном хозяйстве, а также при преподавании.

СИ в настоящее время включает семь независимых друг от друга основных единиц (см. таблицу 2.1.)

Таблица 1.1.

Из указанных основных единиц в качестве производных выводят единицы остальных физических величин. Производные единицы определяются на основе формул, связывающих между собой физические величины. Например, единица длины (метр) и единица времени (секунда) -- основные единицы, а единица скорости (метр в секунду) -- производная.

Кроме основных, в СИ выделены две дополнительные единицы: радиан-- единица плоского угла и стерадиан--единица телесного угла (угла в пространстве).

Точность измерений.

Никакое измерение не может быть выполнено абсолютно точно. Результат измерения неизбежно содержит погрешность, величина которой тем меньше, чем точнее метод измерения и измерительный прибор. Например, с помощью обычной линейки с миллиметровыми делениями нельзя измерить длину с точностью до 0,01 мм.

Основная и дополнительная погрешность.

Основная погрешность -- это погрешность метода измерения или измерительного прибора, которая имеет место в нормальных условиях их применения.

Дополнительная погрешность--это погрешность измерительного прибора, вызванная отклонением условий его работы от нормальных. Понятно, что приборы, предназначенный для работы при комнатной температуре будет давать не точные показания, если пользоваться им летом на стадионе под палящим солнцем или зимой на морозе. Погрешности измерения могут возникать в том случае, когда напряжение электрической сети или батарейного источника питания ниже нормы или непостоянно по величине.

Абсолютная и относительная погрешности.

Величина E = А--Ао, равное разности между показанием измерительного прибора (А) и истинным значением измеряемой величины (Ао), называется абсолютной погрешностью измерения. Она измеряется в тех же единицах, что и сама измеряемая величина.

На практике часто удобно пользоваться не абсолютной, а относительной погрешностью. Относительная погрешность измерения бывает двух видов-- действительной и приведенной. Действительной относительной погрешностью называется отношение абсолютной погрешности к истинному значению измеряемой величины:

А Д =---------* 100%

Приведенная относительная погрешность--это отношение абсолютной погрешности к максимально возможному значению измеряемой величины:

Ап =----------* 100%

Систематическая и случайная погрешности.

Систематической называется погрешность, величина которой не изменяется от измерения к измерению. В силу этой своей особенности систематическая погрешность часто может быть предсказана заранее или, в крайнем случае, обнаружена и устранена по окончании процесса измерения.

Способ устранения систематической погрешности зависит в первую очередь от ее природы. Систематические погрешности измерения можно разделить на три группы:

погрешности известного происхождения и известной величины;

погрешности известного происхождения, но неизвестной величины;

погрешности неизвестного происхождения и неизвестной величины. Самые безобидные -- погрешности первой группы. Они легко устраняются

путем введения соответствующих поправок в результат измерения.

Ко второй группе относятся, прежде всего, погрешности, связанные с несовершенством метода измерения и измерительной аппаратуры. Например, погрешность измерения физической работоспособности с помощью маски для забора выдыхаемого воздуха: маска затрудняет дыхание, и спортсмен закономерно демонстрирует физическую работоспособность, заниженную по сравнению с истинной, измеряемой без маски. Величину этой погрешности нельзя предсказать заранее: она зависит от индивидуальных способностей спортсмена и его самочувствия в момент исследования.

Другой пример систематической погрешности этой группы-- погрешность, связанная с несовершенством аппаратуры, когда измерительный прибор заведомо завышает или занижает истинное значение измеряемой величины, но величина погрешности неизвестна.

Погрешности третьей группы наиболее опасны, их появление бывает связано как с несовершенством метода измерения, так и с особенностями объекта измерения -- спортсмена.

Случайные погрешности возникают под действием разнообразных факторов, которые ни предсказать заранее, ни точно учесть не удается. Случайные погрешности принципиально не устранимы. Однако, воспользовавшись методами математической статистики, можно оценить величину случайной погрешности и учесть ее при интерпретации результатов измерения. Без статистической обработки результаты измерений не могут считаться достоверными.

Области применения, цели и задачи тестирования ПО разнообразны, поэтому тестирование оценивается и объясняется по-разному. Иногда и самим тестировщикам бывает сложно объяснить, что такое тестирование ПО "as is". Возникает путаница.

Для распутывания этой путаницы Алексей Баранцев (практик, тренер и консалтер в тестировании ПО; выходец из Института системного программирования Российской академии наук) предваряет свои тренинги по тестированию вводным видео про основные положения тестирования.

Мне кажется, что в этом докладе лектор смог наиболее адекватно и взвешенно объяснить «что такое тестирование» с точки зрения ученого и программиста. Странно, что этот текст еще не появлялся на хабре.

Привожу здесь сжатый пересказ этого доклада. В конце текста есть линки на полную версию, а также на упомянутое видео.

Основные положения тестирования

Уважаемые коллеги,

Сначала попробуем понять, чем тестирование НЕ является.

Тестирование не разработка ,

Даже если тестировщики умеют программировать, в том числе и тесты (автоматизация тестирование = программирование), могут разрабатывать какие-то вспомогательные программы (для себя).

Тем не менее, тестирование - это не деятельность по разработке программного обеспечения.

Тестирование не анализ ,

И не деятельность по сбору и анализу требований.

Хотя, в процессе тестирования иногда приходится уточнять требования, а иногда приходится их анализировать. Но эта деятельность не основная, скорее, это приходится делать просто по необходимости.

Тестирование не управление ,

Несмотря на то, что во многих организациях есть такая роль, как «тест-менеджер». Конечно же, тестировщиками надо управлять. Но само по себе тестирование управлением не является.

Тестирование не техписательство ,

Однако тестировщикам приходится документировать свои тесты и свою работу.

Тестирование нельзя считать ни одной из этих деятельностей просто потому, что в процессе разработки (или анализа требований, или написания документации для своих тестов) всю эту работу тестировщики делают для себя , а не для кого-то другого.

Деятельность значима только тогда, когда она востребована, то есть тестировщики должны что-то производить «на экспорт». Что они делают «на экспорт»?

Дефекты, описания дефектов, или отчеты о тестировании? Частично это правда.

Но это не вся правда.

Главная деятельность тестировщиков

заключается в том, что они предоставляют участникам проекта по разработке программного обеспечения отрицательную обратную связь о качестве программного продукта.

«Отрицательная обратная связь» не несет какой-то негативный оттенок, и не означает, что тестировщики делают что-то плохое, или что они делают что-то плохо. Это просто технический термин, который обозначает достаточно простую вещь.

Но эта вещь очень значимая, и, наверное, единственная наиболее значимая составляющая деятельности тестировщиков.

Существует наука - «теория систем ». В ней определяется такое понятие как «обратная связь».

«Обратная связь» это некоторые данные, которые с выхода попадают обратно на вход, или какая-то часть данных, которые с выхода попадают обратно на вход. Эта обратная связь может быть положительной и отрицательной.

И та, и другая разновидности обратной связи равноценно важны.

В разработке программных систем положительной обратной связью, конечно же, является какая-то информация, которую мы получаем от конечных пользователей. Это запросы на какую-то новую функциональность, это увеличение объема продаж (если мы выпускаем качественный продукт).

Отрицательная обратная связь тоже может поступать от конечных пользователей в виде каких-то негативных отзывов. Либо она может поступать от тестировщиков.

Чем раньше предоставляется отрицательная обратная связь, тем меньше энергии необходимо для модификации этого сигнала. Именно поэтому тестировать нужно начинать как можно раньше, на самых ранних стадиях проекта, и предоставлять эту обратную связь и на этапе проектирования, и еще, может быть, раньше, еще на этапе сбора и анализа требований.

К слову, отсюда и произрастает понимание того, что тестировщики не отвечают за качество. Они помогают тем, кто за него отвечает.

Синонимы термина «тестирование»

С точки зрения того, что тестирование - это предоставление отрицательной обратной связи, всемирно известная аббревиатура QA (англ. Quality Assurance - Обеспечение качества) синонимом термина «тестирование» уж совершенно точно НЕ является.

Нельзя считать обеспечением качества простое предоставление отрицательной обратной связи, ведь Обеспечение - это некоторые позитивные меры. Подразумевается, что в этом случае мы именно обеспечиваем качество, своевременно предпринимаем какие-то меры для того, чтобы качество разработки ПО повысилось.

А вот «контроль качества» - Quality Control, можно считать в широком смысле синонимом для термина «тестирование», потому что контроль качества это и есть предоставление обратной связи в самых разных ее разновидностях, на самых разных этапах программного проекта.

Иногда тестирование подразумевается как некоторая отдельная форма контроля качества.

Путаница приходит из истории развития тестирования. В разное время под термином «тестирование» подразумевались различные действия, которые можно разделить на 2 больших класса: внешние и внутренние.

Внешние определения

Определения, которые в разное время дали Майерс, Бейзер, Канер, описывают тестирование как раз с точки зрения его ВНЕШНЕЙ значимости. То есть, с их точки зрения, тестирование - это деятельность, которая предназначена ДЛЯ чего-то, а не состоит из чего-то. Все три этих определения можно обобщить как предоставление отрицательной обратной связи.

Внутренние определения

Это определения, которые приведены в стандарт терминологии, используемой в программной инженерии, например, в стандарт де-факто, который называется SWEBOK.

Такие определения конструктивно объясняют, ЧТО представляет из себя деятельность по тестированию, но не дают ни малейшего представления о том, ДЛЯ ЧЕГО нужно тестирование, для чего потом будут использоваться все полученные результаты проверки соответствия между реальным поведением программы и ее ожидаемым поведением.

тестирование - это

проверка соответствия программы требованиям,
осуществляемая путем наблюдения за ее работой
в специальных, искусственно созданных ситуациях, выбранных определенным образом.

Отсюда и далее будем считать это рабочим определением «тестирования».

Общая схема тестирования примерно следующая:

Тестировщик на входе получает программу и/или требования.
Он с ними что-то делает, наблюдает за работой программы в определенных, искуственно созданных им ситуациях.
На выходе он получает информацию о соответствиях и несоответствиях.
Далее эта информация используется для того, чтобы улучшить уже существующую программу. Либо для того, чтобы изменить требования к еще только разрабатываемой программе.

Что такое тест

Это специальная, искусственно созданная ситуация, выбранная определенным образом,
и описание того, какие наблюдения за работой программы нужно сделать
для проверки ее соответствия некоторому требованию.

Не нужно считать, что ситуация – это нечто одномоментное. Тест может быть достаточно длинным, например, при тестировании производительности вот эта искусственно созданная ситуация это может быть продолжающаяся в течение достаточно продолжительного времени нагрузка на систему. А наблюдения, которые нужно при этом делать, это набор различных графиков или метрик, которые мы измеряем в процессе выполнения этого теста.

Разработчик тестов занимается тем, что он из огромного потенциально бесконечного набора тестов выбирает некоторый ограниченный набор.

Ну и таким образом мы можем заключить, что тестировщик делает в процессе тестирования две вещи.

1.Во-первых, он управляет выполнением программы и создает эти самые искусственные ситуации, в которых мы собираемся проверять поведение программы.

2.И, во-вторых, он наблюдает за поведением программы и сравнивает то, что он видит с тем, что ожидается.

Если тестировщик автоматизирует тесты, то он не сам наблюдает за поведением программы - он делегирует эту задачу специальному инструменту или специальной программе, которую он сам написал. Именно она наблюдает, она сравнивает наблюдаемое поведение с ожидаемым, а тестировщику выдает только некоторый конечный результат - совпадает ли наблюдаемое поведение с ожидаемым, или не совпадает.

Любая программа представляет собой механизм по переработке информации. На вход поступает информация в каком-то одном виде, на выходе информация в некотором другом виде. При этом входов и выходов у программы может быть много, они могут быть разными, то есть у программы может быть несколько разных интерфейсов, и эти интерфейсы могут иметь разные виды:

Пользовательский интерфейс (UI)
Программный интерфейс (API)
Сетевой протокол
Файловая система
Состояние окружения
События

Наиболее распространенные интерфейсы это

пользовательский,
графический,
текстовый,
консольный,
и речевой.

Используя все эти интерфейсы, тестировщик:

каким-то образом создает искусственные ситуации,
и проверяет в этих ситуациях как программа себя ведет.

Вот это и есть тестирование.

Другие классификации видов тестирования

Чаще всего используется разбиение на три уровня, это

модульное тестирование,
интеграционное тестирование,
системное тестирование.

Под модульным тестированием обычно подразумевается тестирование на достаточно низком уровне, то есть тестирование отдельных операций, методов, функций.

Под системным тестированием подразумевается тестирование на уровне пользовательского интерфейса.

Иногда используются также некоторые другие термины, такие, как «компонентное тестирование», но я предпочитаю выделять именно эти три, по причине того, что технологическое разделение на модульное и системное тестирование не имеет большого смысла. На разных уровнях могут использоваться одни и те же инструменты, одни и те же техники. Разделение условно.

Практика показывает, что инструменты, которые позиционируются производителем как инструменты модульного тестирования, с равным успехом могут применяться и на уровне тестирования всего приложения в целом.

А инструменты, которые тестируют все приложение в целом на уровне пользовательского интерфейса иногда хотят заглядывать, например, в базу данных или вызывать там какую-то отдельную хранимую процедуру.

То есть разделение на системное и модульное тестирование вообще говоря чисто условное, если говорить с технической точки зрения.

Используются одни и те же инструменты, и это нормально, используются одни и те же техники, на каждом уровне можно говорить о тестировании различного вида.

Комбинируем:

То есть, можно говорить о модульном тестировании функциональности.

Можно говорить о системном тестировании функциональности.

Можно говорить о модульном тестировании, например, эффективности.

Можно говорить о системном тестировании эффективности.

Либо мы рассматриваем эффективность какого-то отдельно взятого алгоритма, либо мы рассматриваем эффективность всей системы в целом. То есть технологическое разделение на модульное и системное тестирование не имеет большого смысла. Потому что на разных уровнях могут использоваться одни и те же инструменты, одни и те же техники.

Наконец, при интеграционном тестировании мы проверяем, если в рамках какой-то системы модули взаимодействуют друг с другом корректно. То есть, мы фактически выполняем те же самые тесты, что и при системном тестировании, только еще дополнительно обращаем внимание на то, как именно модули взаимодействуют между собой. Выполняем некоторые дополнительные проверки. Это единственная разница.

Давайте еще раз попытаемся понять разницу между системным и модульным тестированием. Поскольку такое разделение встречается достаточно часто, эта разница должна быть.

И разница эта проявляется тогда, когда мы выполняем не технологическую классификацию, а классификацию по целям тестирования.

Классификацию по целям удобно выполнять с использованием «магического квадрата», который был изначально придуман Брайаном Мариком и потом улучшен Эри Тенненом.

В этом магическом квадрате все виды тестирования располагаются по четырем квадрантам в зависимости от того, чему в этих тестах больше уделяется внимания.

По вертикали - чем выше располагается вид тестирования, тем больше внимания уделяется некоторым внешним проявлениям поведения программы, чем ниже он находится, тем больше мы внимания уделяем ее внутреннему технологическому устройству программы.

По горизонтали - чем левее находятся наши тесты, тем больше внимания мы уделяем их программированию, чем правее они находятся, тем больше внимания мы уделяем ручному тестированию и исследованию программы человеком.

В частности, в этот квадрат можно легко вписать такие термины как приемочное тестирование, Acceptance Testing, модульное тестирование именно в том понимании, в котором оно чаще всего употребляется в литературе. Это низкоуровневое тестирование с большой, с подавляющей долей программирования. То есть это все тесты программируются, полностью автоматически выполняются и внимание уделяется в первую очередь именно внутреннему устройству программы, именно ее технологическим особенностям.

В правом верхнем углу у нас окажутся ручные тесты, нацеленные на внешнее какое-то поведение программы, в частности, тестирование удобства использования, а в правом нижнем углу у нас, скорее всего, окажутся проверки разных нефункциональных свойств: производительности, защищенности и так далее.

Так вот, исходя из классификации по целям, модульное тестирование у нас оказывается в левом нижнем квадранте, а все остальные квадранты - это системное тестирование.

Спасибо за внимание.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

1. ОСНОВНЫЕ ПОНЯТИЯ

Тестом называется измерение или испытание, проводимое с целью определения состояния или способностей спортсмена. Процесс испытаний называется тестированием: полученное в итоге измерения числовое значение -- результатом тестирования (или результатом теста). Например, бег 100м -- это тест, процедура проведения забегов и хронометража -- тестирование, время бега -- результат теста.

Тесты, в основе которых лежат двигательные задания, называют двигательными (или моторными). В этих тестах в качестве результатов могут выступать либо двигательные достижения (время прохождения дистанции, число повторений, пройденное расстояние и т. п.), либо физиологические и биохимические показатели. В зависимости от этого, а также от задания, которое стоит перед исследуемым, различают три группы двигательных тестов (табл. А).

Таблица А. Разновидности двигательных тестов.

Название теста	Задание спортсмену	Результаты теста
Контрольные упражнения		Двигательное достижение	Бег 1500м, время бега
Стандартные функциональные пробы	Одинаковое для всех, дозируется либо: а) по величине выполненной работы, либо: б) по величине физиологических сдвигов	Физиологические или биохимические показатели при стандартной работе Двигательные показатели при стандартной величине физиологических сдвигов	Регистрация ЧСС при стандартной работе 1000 км/мин Скорость бега при пульсе 160 уд/мин, проба ПВЦ (170)
Максимальные функциональные пробы	Показать максимальный результат	Физиологические или биохимические показатели	Определение максимального кислородного долга или максимального потребления кислорода

Иногда используется не один, а несколько тестов, имеющих единую конечную цель (например, оценку состояния спортсмена в соревновательном периоде тренировки). Такая группа называете^ комплексом или батареей тестов. Не всякие измерения могут быть использованы как тесты. Для этого они должны удовлетворять специальным требованиям. К ним относятся: 1) надежность теста; 2) информативность теста; 3) наличие системы оценок (см.- следующую главу); 4) стандартность -- процедура и условия тестирования должны быть одинаковыми во всех случаях применения теста. Тесты, удовлетворяющие требованиям надежности и информативности, называют добротными или аутентичны м и.

2. НАДЕЖНОСТЬ ТЕСТОВ

2.1 Понятие о надежности тестов

тестирование физический третбан

Надежностью тестов называют степень совпадения результатов при повторном тестировании одних и тех же людей (или других объектов) в одинаковых условиях. В идеале один и тот же тест, примененный к тем же испытуемым в тех же условиях, должен давать одинаковые результаты. Однако даже при самой строгой стандартизации испытаний и точной аппаратуре результаты тестирования всегда несколько варьируют. Например, спортсмен, только что выжавший на кистевом динамометре 55 кг, через несколько минут покажет лишь 50 кг. Подобную вариацию называют внутри-индивидуальной или (используя более общую терминологию математической статистики) внутриклассовой. Ее вызывают четыре основные причины:

изменение состояния испытуемых (утомление, врабатыва-ние, научение, изменение мотивации, концентрации внимания и т. п.);

неконтролируемые изменения внешних условий и аппаратуры (температуры и влажности воздуха, напряжения в электросети, присутствие посторонних лиц, ветер и т. п.);

изменение состояния лица, проводящего или оценивающего тест, замена одного экспериментатора или судьи другим;

несовершенство теста (есть такие тесты, которые заведомо малонадежны, например штрафные броски в баскетбольную корзину до первого промаха; даже спортсмен, имеющий высокий процент попадания, может случайно ошибиться при первых бросках).

В идее методов, используемых для суждения о надежности тестов, поможет разобраться следующий упрощенный пример. Предположим, что хотят сравнить результаты прыжков в длину с места у двух спортсменов по двум выполненным попыткам. При желании сделать точные выводы нельзя ограничиваться регистрацией лишь лучших результатов. Допустим, что результаты каждого из спортсменов варьируют в пределах ±10 см от средней величины и равны соответственно 220± 10 см (т. е. 210 и 230 см) и 320±10 см (т. е. 310 и 330 см). В таком случае вывод, конечно, будет совершенно однозначным: второй спортсмен превосходит первого. Различие между результатами (320 см--220 см = 100 см) явно больше случайных колебаний (±10 см). Гораздо менее определенным будет

Рис. 1. Соотношение меж- и внутриклассовой вариации при высокой (вверху) и низкой (внизу) надежности.

Короткие вертикальные штрихи -- данные отдельных попыток, Х и А" 2 , Х 3 -- средние результаты трех испытуемых

вывод, если при той же самой внутриклассовой вариации (равной ±10 см) различие между испытуемыми (межклассовая вариация) будет маленьким. Скажем, средние значения будут равны 220 см (в одной попытке 210 см, в другой 230 см) и 222 (212 и 232 см). Тогда может случиться, например, что в первой попытке первый спортсмен прыгнет 230 см, а второй -- только 212, и создастся впечатление, что первый существенно сильнее второго.

Из примера видно, что основное значение имеет не сама по себе внутриклассовая изменчивость, а ее соотношение с межклассовыми различиями. Одна и та же внутриклассовая вариация дает разную надежность при разных различиях между классами (в частном случае испытуемыми, рис. 1).

Теория надежности теста исходит из того, что результат любого измерения, проводимого на человека, -- Х { -- есть сумма двух величин:

Х^Хоо + Хе, (1)

где Х х -- так называемый истинный результат, который хотят зафиксировать;

Х е --ошибка, вызванная неконтролируемой вариацией в состоянии испытуемого, привносимая измерительным прибором и пр.

Под истинным результатом по определению понимают среднее значенре X^ при бесконечно большом числе наблюдений в одинаковых условиях (поэтому при X и ставят знак бесконечности оо).

Если ошибки случайны (их сумма равна нулю, и в разных попытках они не зависят друг от друга), тогда из математической статистики следует:

О/ = Ооо Т <З е,

т. е. зарегистрированная в опыте дисперсия результатов (ст/ 2) равна сумме дисперсий истинных результатов ((Хм 2) и ошибок (0 е 2).

Ооо 2 характеризует идеализированную (т. е. свободную от ошибок) межклассовую вариацию, а е 2 ---внутриклассовую изменчивость. Влияние о е 2 изменяет распределение результатов теста (рис.2).

По определению коэффициент надежности (гц) равен отношению истинной дисперсии к дисперсии, зарегистрированной в опыте:

Иными словами, г п есть просто доля истинной вариации в той вариации, которая зарегистрирована в опыте.

Кроме коэффициента надежности используют еще индекс надежности:

который рассматривают как теоретический коэффициент корреляции зарегистрированных значений теста с истинными. Пользуются также понятием о стандартной ошибке надежности, под которой понимают среднее квадратическое отклонение зарегистрированных результатов теста (Х () от линии регрессии, связывающей значение Х г с истинными результатами (X») -- рис. 3.

2.2 Оценка надежности по экспериментальным данным

Понятие об истинном результате теста является абстракцией. Хоэ в опыте измерить нельзя (ведь нельзя же в действительности провести бесконечно большое число наблюдений в одинаковых условиях) . Поэтому приходится использовать косвенные методы.

Наиболее предпочтителен для оценки надежности дисперсионный анализ с последующим расчетом так называемых внутриклассовых коэффициентов корреляции.

Дисперсионный анализ, как известно, позволяет разложить зарегистрированную в опыте вариацию результатов теста на составляющие, обусловленные влиянием отдельных факторов. Например, если зарегистрировать у испытуемых их результаты в каком-либо тесте, повторяя этот тест в разные дни, причем в каждый из дней делать по нескольку попыток, периодически меняя экспериментаторов, то будет иметь место вариация:

а) от испытуемого к испытуемому (межиндивидуальная вариа ция),

б) ото дня ко дню,

в) от экспериментатора к экспериментатору,

г) от попытки к попытке.

Дисперсионный анализ дает возможность выделить и оценить вариации, вызванные этими факторами.

Упрощенный пример показывает, как это делается. Предполо жим, что у 5 испытуемых измерили результаты двух попыток (к = 5, п = 2)

Результаты дисперсионного анализа (см. курс математической статистики, а также приложение 1 к первой части книги) приведены в традиционной форме в табл. 2.

Таблица 2

Надежность оценивается с помощью так называемого внутриклассового коэффициента корреляции:

где г"и -- коэффициент внутриклассовой корреляции (коэффициент надежности, который, чтобы отличить его от обычного коэффициента корреляции (г), обозначают с дополнительным штрихом (г")\

п -- использованное в тесте число попыток;

п" -- число попыток, для которого проводится оценка надежности.

Например, если хотят оценить по данным приведенного примера надежность средней из двух попыток, то

Если ограничиться только одной попыткой, то надежность будет равна:

а если увеличить число попыток до четырех, коэффициент надежности также несколько возрастет:

Таким образом, чтобы оценить надежность, надо, во-первых, выполнить дисперсионный анализ и, во-вторых, рассчитать внутриклассовый коэффициент корреляции (коэффициент надежности).

Некоторые сложности возникают, когда имеет место так называемый тренд, т. е. систематическое повышение или понижение результатов от попытки к попытке (рис. 4). В этом случае используют более сложные методы оценки надежности (в настоящей книге они не описаны).

Для случая двух попыток и отсутствия тренда величины внутриклассового коэффициента корреляции практически совпадают со значениями обычного коэффициента корреляции между результатами первой и второй попыток. Поэтому в таких ситуациях для оценки надежности может использоваться и обычный коэффициент корреляции (он при этом оценивает надежность одной, а не двух попыток). Однако, если число повторных попыток в тесте больше двух и в особенности если используются сложные схемы тестирования,

Рис. 4. Серии из шести попыток, из которых три первые (илл. слева) или три последние (справа) подвержены тренду

(например, по 2 попытки в день в течение двух дней), необходим расчет внутриклассового коэффициента.

Коэффициент надежности не является абсолютным показателем, характеризующим тест. Этот коэффициент может изменяться в зависимости от контингента испытуемых (например, быть различным у начинающих и квалифицированных спортсменов), условий тестирования (проводятся ли повторные попытки одна за другой или, скажем, с интервалом в одну неделю) и других причин. Поэтому всегда надо описывать, как и на ком проводился тест.

2.3 Надежность в практике работы с тестами

Ненадежность экспериментальных данных снижает величину оценок коэффициентов корреляции. Поскольку ни один тест не может коррелировать с другим тестом больше, чем с самим собой, верхней границей оценки коэффициента корреляции здесь является уже не ±1.00, а индекс надежности

г (оо = У~г и

Чтобы от оценки коэффициентов корреляции между эмпирическими данными перейти к оценкам корреляции между истинными значениями, можно воспользоваться выражением

где г ху -- корреляция между истинными значениями X и У;

1~ху -- корреляция между эмпирическими данными; ГцИ^--оценка надежности X и У.

Например, если г ху = 0,60, г хж = 0,80 и г уу =0,90, то корреляция между истинными значениями равна 0,707.

Приведенная формула (6) называется коррекцией на уменьшение (или формулой Спирмена -- Броуна), она постоянно используется в практике.

Нет фиксированного значения надежности, которое позволяло бы считать тест приемлемым. Все зависит от важности "выводов, сделанных на основе применения теста. И все же в большинстве случаев в спорте можно использовать следующие примерные ориентиры: 0,95--0,99 --¦ отличная надежность, 0,90-^0,94 -- хорошая, 0,80--0,89 -- приемлемая, 0,70--0,79 -- плохая, 0,60--0,69 -- для индивидуальных оценок сомнительная, тест пригоден лишь для характеристики группы испытуемых.

Добиться некоторого повышения надежности теста можно, увеличивая число повторных попыток. Вот как, например, в эксперименте возрастала надежность теста (метание гранаты 350 г с разбегу) по мере увеличения числа попыток: 1 попытка -- 0,53, 2 попытки -- 0,72, 3 попытки -- 0,78, 4 попытки -- 0,80, 5 попыток -- 0,82, 6 попыток -- 0,84. Из примера видно, что если сначала надежность возрастает быстро, то после 3--4 попыток прирост существенно замедляется.

При нескольких повторных попытках результаты можно определять разными способами: а) по лучшей попытке, б) по средней арифметической величине, в) по медиане, г) по средней из двух или трех лучших попыток и т. п. Исследования показали, что в большинстве случаев наиболее надежным является использование средней арифметической величины, несколько менее надежна медиана, еще менее надежна лучшая попытка.

Говоря о надежности тестов, различают их стабильность (воспроизводимость), согласованность, эквивалентность.

2.4 Стабильность теста

Под стабильностью теста понимают воспроизводимость резуль татов при его повторении через определенное время в одинаковых условиях. Повторное тестирование обычно называют ретестом. Схе ма оценки стабильности теста такова: 1

При этом различают 2 случая. В одном ретест проводят для того, чтобы получить надежные данные о состоянии испытуемого в течение всего временного интервала между тестом и ретестом (например, чтобы получить надежные данные о функциональных возможностях лыжников в июне, у них проводят измерения МПК дважды с интервалом в одну неделю). В этом случае важны точные результаты теста, и надежность должна оцениваться с помощью дисперсионного анализа.

В другом случае может быть важным лишь сохранение порядка испытуемых в группе (остается ли первый первым, последний -- среди последних). В этом случае стабильность оценивают по коэффициенту корреляции между тестом и ретестом.

Стабильность теста зависит от:

вида теста,

контингента испытуемых,

временного интервала между тестом и ретестом. Например, морфологические характеристики при небольших

временных интервалах весьма стабильны; наименьшую стабильность имеют тесты на точность движений (например, броски в цель).

У взрослых результаты тестирования более стабильны, чем у детей; у спортсменов -- более стабильны, чем у не занимающихся спортом.

С увеличением временного интервала между тестом и ретестом стабильность теста снижается (табл. 3).

2.5 Согласованность теста

Согласованность теста характеризуется независимостью результатов тестирования от личных качеств лица, проводящего или оценивающего тест". Согласованность определяется по степени совпадения результатов, получаемых на одних и тех же испытуемых разными экспериментаторами, судьями, экспертами. При этом возможны два варианта:

Лицо, проводящее тест, только оценивает его результаты, не влияя на его выполнение. Например, одну и ту же письменную работу разные экзаменаторы могут оценить по-разному. Нередко различаются оценки судей в гимнастике, фигурном катании на коньках, боксе, показатели ручного хронометрирования, оценка электрокардиограммы или рентгенограммы разными врачами и т. п.

Лицо, проводящее тест, влияет на результаты. Например, некоторые экспериментаторы более настойчивы и требовательны, чем другие, лучше мотивируют испытуемых. Это сказывается на результатах (которые сами по себе могут измеряться вполне объективно).

Согласованность теста -- это, по существу, надежность оценки его результатов при проведении теста разными людьми.

1 Вместо термина «согласованность» довольно часто используют термин «объективность». Такое словоупотребление неудачно, так как совпадение результатов разных экспериментаторов или судей (экспертов) вовсе не говорит об их объективности. Они могут все вместе сознательно или несознательно ошибаться, искажая объективную истину.

2.6 Эквивалентность теста

Нередко тест представляет собой результат выбора из определенного числа однотипных тестов.

Например, броски в баскетбольную корзину можно выполнять с разных точек, спринтерский бег может проводиться на дистанции, скажем, 50, 60 или 100 м, подтя- -гивания можно выполнять на кольцах или перекладине, хватом сверху или снизу и т. д.

В таких случаях может использоваться так называемый метод параллельных форм, когда испытуемым предлагают выполнить две разновидности одного и того же теста и затем оценивают степень совпадения результатов. Схема тестирования здесь следующая:

Рассчитанный между результатами тестирования коэффициент корреляции называют коэффициентом эквивалентности. Отношение к эквивалентности тестов зависит от конкретной ситуации. С одной стороны, если два или больше тестов эквивалентны, их совместное применение повышает надежность оценок; с другой -- может оказаться полезным оставить в батарее только один эквивалентный тест -- это упростит тестирование и лишь незначительно снизит информативность комплекса тестов. Решение этого вопроса зависит от таких причин, как сложность и громоздкость тестов, степень необходимой точности тестирования и т. п.

Если все тесты, входящие в какой-либо комплекс тестов, высоко эквивалентны, он называется гомогенным. Весь этот комплекс измеряет одно какое-то свойство моторики человека. Скажем, комплекс, состоящий из прыжков с места в длину, вверх и тройного, вероятно, будет гомогенным. Наоборот, если в комплексе нет эквивалентных тестов, то все тесты, входящие в него, меряют разные свойства. Такой комплекс называется гетерогенным. Пример гетерогенной батареи тестов: подтягивания на перекладине, наклон вперед (для проверки гибкости), бег 1500 м.

2.7 Пути повышения надежности теста

Надежность тестов до определенной степени может быть повышена путем:

а) более строгой стандартизации тестирования,

б) увеличения числа попыток,

в) увеличения числа оценщиков (судей, экспертов) и повыше ния согласованности их мнений,

г) увеличения числа эквивалентных тестов,

д) лучшей мотивации испытуемых.

3. ИНФОРМАТИВНОСТЬ ТЕСТОВ

3.1 Основные понятия

Информативность теста -- это степень точности, с какой он измеряет свойство (качество, способность, характеристику и т. п.), для оценки которого используется. Информативность нередко называют также валидностыо (от английского уаНаНу -- обоснованность, действительность, законность). Допустим, что для определения уровня специальной силовой подготовленности спринтеров -- бегунов и пловцов -- хотят использовать такие показатели: 1) кистевая динамометрия, 2) сила подошвенного сгибания стопы, 3) сила разгибателей плечевого сустава (эти мышцы несут большую нагрузку при плавании кролем), 4) сила мышц-разгибателей шеи. На основе этих тестов предполагают управлять тренировочным процессом, в частности находить слабые звенья двигательного аппарата и целенаправленно укреплять их. Хорошие ли тесты выбраны? Информативны ли они? Даже не проводя специальных экспериментов, можно догадаться, что второй тест, вероятно, информативен у спринтеров-бегунов, третий -- у пловцов, а первый и четвертый, наверное, ни у пловцов, ни у бегунов не покажут ничего интересного (хотя могут оказаться очень полезными в других видах спорта, например в борьбе). В разных случаях одни и те же тесты могут иметь разную информативность.

Вопрос об информативности теста распадается на 2 частных вопроса:

Что измеряет данный тест?

Как точно он это делает?

Например, можно ли по такому показателю, как максимальное потребление кислорода (МПК), судить о подготовленности бегунов-стайеров, и если можно, то с какой степенью точности. Иными словами, какова информативность МПК у стайеров? Можно ли использовать этот тест в процессе контроля?

Если тест используется для определения (диагноза) состояния спортсмена в момент обследования, то говорят о диагностической информативности. Если же на основе результатов тестирования хотят сделать вывод о возможных будущих показателях спортсмена, тест должен обладать прогностической информативностью. Тест может быть диагностически информативен, а прогностически нет и наоборот.

Степень информативности может характеризоваться количественно -- на основе опытных данных (так называемая эмпирическая информативность) и качественно -- на основе содержательного анализа ситуации (содержательная, или логическая, информативность).

3.2 Эмпирическая информативность (случай первый -- существует измеряемый критерий)

Идея определения эмпирической информативности состоит в том, что результаты теста сравнивают с некоторым критерием. Для этого рассчитывают коэффициент корреляции между критерием и тестом (такой коэффициент называют коэффициентом информативности и обозначают г гк, где I -- первая буква в слове «тест», к -- в слове «критерий»).

В качестве критерия берется показатель, заведомо и бесспорно отражающий то свойство, которое собираются измерять с помощью теста.

Нередко бывает так, что существует вполне определенный критерий, с которым можно сравнить предполагаемый тест. Например, при оценке специальной подготовленности спортсменов в видах спорта с объективно измеряемыми результатами таким критерием служит обычно сам результат: более информативен тот тест, корреляция которого со спортивным результатом выше. В случае определения прогностической информативности критерием является показатель, прогноз которого надо осуществить (например, если прогнозируется длина тела ребенка, критерий -- длина его тела во взрослые годы).

Чаще всего в спортивной метрологии критериями служат:

Спортивный результат.

Какая-либо количественная характеристика основного спортивного упражнения (например, длина шага в беге, сила отталкивания в прыжках, успешность борьбы под щитом в баскетболе, выполнение подачи в теннисе или волейболе, процент точных длинных передач в футболе).

Результаты другого теста, информативность которого доказана (это делают, если проведение теста-критерия громоздко и сложно и можно подобрать другой тест, столь же информативный, но более простой. Например, вместо газообмена определять частоту сердечных сокращений). Этот частный случай, когда критерием является другой тест, называют конкурентной информативностью.

Принадлежность к определенной группе. Например, можно сравнивать членов сборной команды страны, мастеров спорта и перворазрядников; принадлежность к одной из этих групп является критерием. В данном случае используются специальные разновидности корреляционного анализа.

Так называемый составной критерий, например сумма очков в многоборье. При этом виды многоборья и таблицы очков могут быть как общепринятыми, так и заново составлены экспериментатором (о том, как составляются таблицы, см. следующую главу). К составному критерию прибегают, когда нет единичного критерия (например, если стоит задача оценить общую физическую подготовленность, мастерство игрока в спортивных играх и т. п., ни один показатель, взятый сам по себе, не может служить критерием).

Пример определения информативности одного и того же теста ¦-- скорость бега 30 м с ходу у мужчин -- при разных критериях проведен в табл.. 4.

Вопрос о выборе критерия является, по существу, самым важным при определении реального значения и информативности теста. Например, если стоит задача определить информативность такого теста, как прыжок в длину с места у спринтеров, то можно выбрать разные критерии: результат в беге на 100 м, длину шага, отношение длины шага к длине ног или к росту и т. п. Информативность теста при этом будет меняться (в приведенном примере она возрастала от 0,558 для скорости бега до 0,781 для отношения «длина шага/длина ноги»).

В видах спорта, где нельзя объективно измерить спортивное мастерство, стараются обойти эту трудность введением искусственных критериев. Например, в командных спортивных играх эксперты располагают всех игроков по их мастерству в определенном порядке (т. е. составляют списки 20, 50 или, скажем, 100 сильнейших игроков). Место, занятое спортсменом (как говорят, его ранг), рассматривается в качестве критерия, с которым и сравнивают результаты тестов с целью определения их информативности.

Встает вопрос: зачем использовать тесты, если известен критерий? Например, не проще ли устроить контрольные соревнования и определить спортивный результат, чем определять достижения в контрольных упражнениях? Применение тестов имеет следующие преимущества:

спортивный результат не всегда можно или целесообразно определить (например, нельзя часто проводить соревнования в марафонском беге, зимой обычно нельзя зарегистрировать результат в метании копья, а летом в лыжных гонках);

спортивный результат зависит от многих причин (факторов), таких, например, как сила спортсмена, его выносливость, техника и т. п. Применение тестов дает возможность определить сильные и слабые стороны спортсмена, оценить каждый из этих факторов в отдельности

3.3 Эмпирическая информативность (случай второй -- единичного критерия нет; факторная информативность)

Нередко бывает так, что нет единичного критерия, с которым можно сравнить результаты предполагаемых тестов. Допустим, хотят найти наиболее информативные тесты для оценки силовой подготовленности молодежи. Что предпочесть: подтягивания на перекладине или отжимания в упоре на брусьях, приседания со штангой, тягу штанги либо переход в сед из положения лежа на спине? Что здесь может быть критерием правильного выбора теста?

Можно предложить испытуемым большую батарею разнообразных силовых тестов, а затем отбирать среди них те, которые дают наибольшую корреляцию с результатами всего комплекса (ведь нельзя же систематически пользоваться всем комплексом -- он слишком громоздок и неудобен). Эти тесты будут наиболее информативны: они дадут сведения о возможных результатах испытуемых по всему исходному комплексу тестов. Но результаты в комплексе тестов не выражаются одним числом. Можно образовать, конечно, какой-либо составной критерий (например, определить сумму набранных очков по какой-либо шкале). Однако гораздо более эффективен другой путь, основанный на идеях факторного анализа.

Факторный анализ -- один из методов многомерной статистики (слово «многомерный» указывает, что изучается одновременно много разных показателей, например результаты испытуемых во многих тестах). Это довольно сложный метод, поэтому здесь целесообразно ограничиться изложением лишь основной его идеи.

Факторный анализ исходит из того, что результат любого теста является следствием одновременного действия ряда непосредственно ненаблюдаемых (как иначе говорят -- латентных) факторов. Например, результаты в беге на 100, 800 и 5000 м зависят от скоростных качеств спортсмена, его силы, выносливости и пр. Значение этих факторов для каждой из дистанций не одинаково важно. Если выбрать два теста, на которые влияют примерно в равной степени одни и те же факторы, то результаты в этих тестах будут сильно коррелировать друг с другом (скажем, в беге на дистанциях 800 и 1000 м). Если же у тестов нет общих факторов или они мало влияют на результаты, корреляция между этими тестами будет низкой (например, корреляция между результатами в беге на 100 и 5000 м). Когда берется большое число разных тестов и рассчитываются коэффициенты корреляции между ними, то с помощью факторного анализа можно определить, сколько факторов совместно действует на данные тесты и какова степень их вклада в каждый тест. А затем уже легко выбрать тесты (или их комбинации), которые наиболее точно оценивают уровень отдельных факторов. В этом состоит идея факторной информативности тестов. Следующий пример конкретного эксперимента показывает, как это делается.

Задача состояла в том, чтобы найти наиболее информативные тесты для оценки общей силовой подготовленности студентов-спортсменов третьего -- первого разрядов, занимающихся разными видами спорта. С этой целью было обследовано. (Н.В. Аверкович, В.М. Зациорский, 1966) по 15 тестам 108 человек. В результате факторного анализа выделились три фактора: 1) сила верхних конечностей, 2) сила нижних конечностей, 3) сила мышц брюшного пресса и сгибателей тазобедренных суставов. Наиболее информативными тестами среди опробованных оказались: по первому фактору -- отжимание в упоре, по второму -- прыжок в длину с места, по третьему -- поднимание прямых ног в висе и максимальное число переходов в сед из положения лежа на спине в течение 1 мин. Если ограничиваться лишь одним тестом, то наиболее информативным был переворот силой в упор на перекладине (оценивалось число повторений).

3.4 Эмпирическая информатазность в практической работе

При практическом использовании показателей эмпирической информативности следует иметь в виду, что они справедливы лишь по отношению к тем испытуемым и условиям, для которых они рассчитаны. Тест, информативный в группе начинающих, может оказаться совершенно неинформативным, если попытаться его применять в группе мастеров спорта.

Информативность теста неодинакова в разных группах. В частности, в группах, более однородных по своему составу, тест обычно менее информативен. Если определена информативность теста на какой-либо группе, а затем сильнейшие из нее включены в сборную команду, то информативность того же теста в сборной команде будет значительно ниже. Причины этого понятны из рис. 5: отбор уменьшает общую дисперсию результатов в группе и снижает величины коэффициента корреляции. Например, если определить информативность такого теста, как МПК у пловцов на 400 м, имеющих резко различные результаты (скажем, от 3.55 до 6.30), то коэффициент информативности будет очень высок (У 4 й>0,90); если провести те же измерения в группе пловцов, имеющих результаты то 3.55 до 4.30, г № по абсолютной величине не будет превосходить 0,4--0,6; если определить тот же показатель у сильнейших пловцов мира (3.53>, 5=4.00), коэффициент информативности вообще ""может быть равен нулю: с помощью одного этого теста нельзя будет различить пловцов, плывущих, скажем, 3.55 и 3,59: и у тех, и у других величины МПК. будут высоки и примерно одинаковы.

Коэффициенты информативности очень сильно зависят от надежности теста и критерия. Тест с низкой надежностью всегда мало информативен, поэтому не имеет смысла проверять малонадежные тесты на информативность. Недостаточная надежность критерия также приводит к снижению коэффициентов информативности. Однако в данном случае было бы неправильно пренебрегать тестом как малоинформативным -- ведь верхней границей возможной корреляции теста является не ±1, а его индекс надежности. Поэтому надо сравнивать коэффициент информативности с этим индексом. Действительную информативность (с поправкой на ненадежность критерия) рассчитывают по формуле:

Так, в одной из работ ранг спортсмена в водном поло (ранг рассматривали как критерий мастерства) был установлен на основе оценок 4 экспертов. Надежность (согласованность) критерия, определенная с помощью внутриклассового коэффициента корреляции, равнялась 0,64. Коэффициент информативности был равен 0,56. Действительный коэффициент информативности (с поправкой на ненадежность критерия) равен:

С информативностью и надежностью теста тесно связано понятие о его различительной возможности, под которой понимается то минимальное различие между испытуемыми, которое диагностируется с помощью теста (это понятие по смыслу аналогично понятию о чувствительности прибора). Различительная возможность теста зависит от:

Межиндивидуальной вариации результатов. Например, такой тест, как «максимальное число повторных бросков баскетбольного мяча в стену с расстояния 4 м в течение 10 сек.», хорош для начинающих, но непригоден для квалифицированных баскетболистов, так как все они показывают примерно один и тот же результат и становятся неразличимыми. Во многих случаях вариация результатов между испытуемыми (межклассовая вариация) может быть повышена за счет увеличения трудности теста. Например, если дать спортсменам разной квалификации легкую для них функциональную пробу (скажем, 20 приседаний или работу на велоэргометре мощностью 200 кгм/мин), то величина физиологических сдвигов у всех будет примерно одинакова и оценить степень подготовленности будет невозможно. Если же предложить им трудное задание, то различия между спортсменами станут большими, и по результатам теста можно будет судить о подготовленности спортсменов.

Надежности (т. е. соотношения меж- и внутрииндивидуаль-ной вариации) теста и критерия. Если результаты одного и того же испытуемого в прыжках в длину с места варьируют, скажем, в пре-

делах ±10 см, то, хотя длину прыжка и можно определить с точностью до ± 1 см, различить с убежденностью испытуемых, «истинные» результаты которых равны 315 и 316 см, нельзя.

Нет фиксированной величины информативности теста, после которой можно считать тест" пригодным. Здесь многое зависит от конкретной ситуации: желаемой точности прогноза, необходимости получить хотя бы какие-то дополнительные сведения о спортсмене и т. п. Практически для диагностики используются тесты, информативность которых не меньше 0,3. Для прогноза, как правило, нужна более высокая информативность -- не менее 0,6.

Информативность батареи тестов, естественно, выше, чем информативность одного теста. Нередко бывает так, что информативность одного отдельно взятого теста слишком низка, чтобы этим тестом пользоваться. Информативность же батареи тестов может быть вполне достаточна.

Информативность теста не всегда можно установить с помощью эксперимента и математической обработки его результатов. Например, если стоит задача разработать билеты для экзаменов или темы дипломных работ (это ведь тоже разновидность тестирования), надо отобрать такие вопросы, которые наиболее информативны, по которым можно точнее всего оценить знания выпускников и их подготовленность к практической работе. Пока в подобных случаях опираются лишь на логический, содержательный, анализ ситуации.

Иногда бывает и так, что информативность теста ясна без всяких экспериментов, особенно когда тест является просто частью тех действий, которые выполняет спортсмен на соревнованиях. Едва ли нужны эксперименты, чтобы доказать информативность таких показателей, как время выполнения поворотов в плавании, скорость на последних шагах разбега в прыжках в длину, процент попаданий со штрафных бросков в баскетболе, качество выполнения подачи в теннисе или волейболе.

Однако не все подобные тесты в равной мере информативны. Например, вбрасывание из-за боковой линии в футболе, хотя и является элементом игры, едва ли может рассматриваться как один из самых важных показателей мастерства футболистов. Если таких тестов много и надо отобрать самые информативные из них, без математических методов теории тестов не обойтись.

Содержательный анализ информативности теста и экспериментально-математическое ее обоснование должны дополнять друг друга. Ни один из этих подходов, взятый сам по себе, не является достаточным. В частности, если в результате эксперимента определен высокий коэффициент информативности теста, нужно обязательно проверить, не является ли это следствием так называемой ложной корреляции. Известно, что ложные корреляции появляются, когда на результаты обоих коррелируемых признаков влияет некоторый третий показатель, который сам по себе не представляет

интереса. .Например, у старшеклассников можно найти существенную корреляцию между результатом в беге на 100 м и знанием геометрии, поскольку они по сравнению с учениками младших классов в среднем покажут более высокие показатели как в беге, так и в знании геометрии. Посторонним, третьим, признаком, вызвавшим появление корреляции, явился возраст испытуемых. Конечно, совершил бы ошибку тот исследователь, который этого бы не заметил и рекомендовал экзамен по геометрии как тест для бегунов на 100 м. Чтобы не совершать подобных ошибок, надо обязательно проанализировать причинно-следственные связи, вызвавшие появление корреляции между критерием и тестом. Полезно, в частности, представить себе, что произойдет, если результаты в тесте улучшатся. Приведет ли это к росту результатов критерия? В приведенном примере это означает: если ученик будет лучше знать геометрию, станет ли он быстрее бежать дистанцию 100 м? Очевидный отрицательный ответ приводит к естественному заключению: знания по геометрии не могут служить тестом для спринтеров. Найденная корреляция является ложной. Разумеется, ситуации реальной жизни значительно сложнее этого нарочно оглупленного примера.

Частным случаем содержательной информативности тестов является информативность по определению. В данном случае просто договариваются о том, какой смысл надо вкладывать в то или иное слово (термин). Например, говорят: «прыжок в высоту с места характеризует прыгучесть». Точнее было бы сказать так: «условимся называть прыгучестью то, что измеряется результатом прыжка вверх с места». Такой взаимный уговор необходим, так как он предупреждает ненужные недоразумения (ведь кто-то может понимать под прыгучестью результаты в десятерном прыжке на одной ноге, а прыжок в высоту с места считать, скажем, тестом «взрывной» силы ног).

56.0 Стандартизация тестов

Стандартизация тестов физической пригодности для оценки аэробной производительности человека достигается соблюдением следующих принципов.

Методика тестирования должна позволять проводить непосредственные измерения или вычислять косвенным путем максимальное потребление кислорода организмом (аэробную производительность), так как этот физиологический показатель физической пригодности человека является наиболее важным. Он будет обозначаться символом гпах1ггшт У 0г и выражаться в миллилитрах на килограмм веса испытуемого в минуту (мл/кг-мин.).

В основном методика проведения тестов должна быть одинаковой как для лабораторных, так и для полевых измерений, однако:

1. В лабораторных условиях (в стационарных и подвижных ла бораториях) аэробная производительность человека может быть непосредственно определена с помощью достаточно сложного оборудования и большого числа измерений.

2. В полевых условиях аэробная производительность оценивается косвенным путем на основе ограниченного числа физиологических измерений.

Методика проведения тестов должна позволять сравнивать их результаты.

Тестирование должно проводиться в один день и желательно без перерывов. Это позволит целесообразно распределить время, оборудование, силы при первичном и повторном тестировании.

Методика тестирования должна быть достаточно гибкой, чтобы давать возможность обследовать группы людей, обладающих различными физическими способностями, различного возраста, пола, с различным уровнем активности и т. д.

57.0. Выбор аппаратуры

Все названные принципы физиологического тестирования могут быть соблюдены прежде всего при условии правильного отбора следующих технических средств:

третбана,

велоэргометра,

степэргометра,

необходимого вспомогательного оборудования, которое может использоваться в любом виде теста.

57.1. Третбан может применяться в самых разнообразных исследованиях. Однако этот прибор является наиболее дорогим. Даже самый маленький его вариант слишком громоздок, чтобы его можно было широко применять в полевых условиях. Третбан должен позволять варьировать скорости от 3 до (по меньшей мере) 8 км/час (2--5 миль/час) и наклон от 0 до 30%. Наклон третбана определяется как процентное отношение вертикального подъема к пройденной дистанции по горизонтали ".

Дистанция и вертикальный подъем должны быть выражены в метрах, скорость -- в метрах в секунду (м/сек) или километрах в час (км/час).

57.2. Велоэргометр. Данный прибор легко применять как в ла бораторных, так и в полевых условиях. Он достаточно универсален, на нем можно выполнять работу различной интенсивности -- от ми нимального до максимального уровня.

Велоэргометр имеет механическую или электрическую тормозную систему. Электрическая тормозная система может получать электропитание как от внешнего источника, так и от генератора, находящегося на эргометре.

Регулируемое механическое сопротивление выражается в килограммометрах в минуту (кгм/мин) и в ваттах. Килограммометры в минуту переводятся в ватты по формуле:

1 ватт = 6 кгм/мин. 2

Велоэргометр должен иметь подвижно закрепленное сиденье, чтобы можно было регулировать высоту его положения для каждого отдельного человека. При тестировании сиденье устанавливается таким образом, чтобы человек, сидящий на нем, мог почти полностью выпрямленной ногой достать до нижней педали. В среднем расстояние между сиденьем и педалью в максимально опущенном положении должно составлять 109% от длины ноги испытуемого.

Имеются различные конструкции велоэргометра. Однако тип эргометра не влияет на результаты эксперимента, если указанное сопротивление в ваттах или килограммометрах в минуту точно соответствует суммарной внешней нагрузке.

Степэргометр. Это относительно недорогой прибор с регулируемой высотой ступенек от 0 до 50 см. Подобно велоэргометру, он может легко использоваться как в лаборатории, так и в полевых условиях.

Сравнение трех вариантов тестирования. Каждый из этих приборов имеет свои преимущества и недостатки (в зависимости от того, используется ли он в лабораториях или в полевых условиях). Обычно при работе на третбане величина тах1ггшт У 07 немного больше, чем при работе на велоэргометре; в свою очередь, показатели велоэргометра превышают показания на степэргометре.

Уровень расхода энергии испытуемых, находящихся в состоянии покоя или выполняющих задание по преодолению силы тяжести, прямо пропорционален их весу. Поэтому упражнения на третбане и степэргометре создают для всех испытуемых одинаковую относительную рабочую нагрузку по подъему (своего тела. -- Прим. ред.) на заданную высоту: при данной скорости и наклоне третбана, частоте шагов и высот ступенек на степэргометре высота подъема тела будет-одинакова (а выполняемая работа различна. -- Прим. ред.). С другой стороны, велоэргометр при фиксированной величине заданной нагрузки требует почти одинаковых затрат энергии, независимо от пола и возраста испытуемого.

58.0, Общие замечания по методике тестирования

Чтобы применять тесты при обследовании больших групп людей, необходимы простые и не занимгющие много времени методы тестирования. Однако для более детального изучения физиологических особенностей испытуемого нужны более глубокие и трудоемкие тесты. Для извлечения большей пользы из тестов и более гибкого их применения необходимо найти оптимальный компромисс между этими двумя требованиями.

58.1. Интенсивность работы. Тестирование необходимо начинать с малых нагрузок, с которыми могут справиться самые слабые из испытуемых. Оценку адаптационных возможностей сердечно-сосу дистой и дыхательной систем следует проводить в процессе работы с постепенно увеличивающимися нагрузками. Функциональные пре делы должны быть установлены, таким образом, с достаточной точ ностью. Практические соображения подсказывают принять исход ный уровень метаболизма (т. е. уровень метаболизма в состоянии покоя) за единицу измерения количества энергии, необходимого для выполнения той или иной нагрузки. Первоначальная нагрузка и последующие ее ступени выражаются в Метах, кратных интенсив ности метаболизма у человека, находящегося в состоянии полного покоя. Физиологическими показателями, лежащими в основе Метов, являются количество кислорода (в миллилитрах в минуту), потреб ляемое человеком, находящимся в состоянии покоя, или же его ка лорический эквивалент (в килокалориях в минуту).

Для контроля за нагрузками в единицах Мет или в эквивалентных им величинах потребления кислорода непосредственно во время тестирования необходима сложная электронно-вычислительная аппаратура, которая в настоящее время еще сравнительно малодоступна. Поэтому при определении количества кислорода, необходимого организму для выполнения нагрузок определенного вида и интенсивности, практически удобно пользоваться эмпирическими формулами. Предсказанные (на основе эмпирических формул. -- Прим. ред.) величины потребления кислорода при работе на третбане -- по скорости и наклону, при степ-тесте -- по высоте и частоте шагов хорошо согласуются с результатами непосредственных измерений и могут быть использованы как физиологический эквивалент физического усилия, с которым соотносятся все физиологические показатели, полученные при тестировании.

58.2. Продолжительность тестов. Желание сократить процесс тестирования не должно идти в ущерб целям и задачам проводимого теста. Слишком короткие тесты не дадут достаточно различимых результатов, их различительные возможности будут малы; слишком длительные тесты активируют в большей мере терморегулятор-ные механизмы, что мешает установлению максимальной аэробной производительности. В рекомендуемой методике тестирования каждый уровень нагрузки выдерживается в течение 2 мин. Среднее время проведения теста -- от 10 до 16 мин.

58.3. Показания для прекращения теста. Тестирование должно быть прекращено, если только:

пульсовое давление неуклонно падает, несмотря на увеличение нагрузки;

систолическое кровяное давление превышает 240--250 мм рт. ст.;

диастолическое кровяное давление поднимается выше 125 мм рт. ст.;

появляются такие симптомы недомогания, как возрастающая боль в груди, сильная одышка, перемежающаяся хромота;

появляются клинические признаки аноксии: бледность или синюшность лица, головокружение, психотические явления, отсутствие реакции на раздражение;

показания электрокардиограммы свидетельствуют о парок-сизмальной супервентрикулярной или вентрикулярной аритмии, появлении желудочковых экстрасистолических комплексов, возникающих до окончания, зубца Т, нарушении проводимости, кроме легкой Л У блокады, снижении /?--5Г горизонтального или нисходящего типа более чем на 0,3 мв. .;»;, -

58.4. Меры предосторожности.

Здоровье испытуемого. Прежде чем подвергаться обследованию, испытуемый должен пройти медицинскую комиссию и получить справку о том, что он здоров. Очень желательно сделать электрокардиограмму (хотя бы одно грудное отведение). Для мужчин старше 40 лет снятие электрокардиограммы является обязательным. Неотъемлемой частью всей процедуры тестирования должны быть регулярно повторяющиеся измерения кровяного давления. По окончании тестирования испытуемых необходимо проинформировать о мерах, предотвращающих опасное скопление крови в нижних конечностях.

Противопоказания. Испытуемый не допускается к тестам в следующих случаях:

отсутствие разрешения врача принимать участие в тестах с максимальными нагрузками;

оральная температура превышает 37,5°С;

частота сердечных сокращений после длительного отдыха выше 100 уд/мин;

явный упадок сердечной деятельности;

случай инфаркта миокарда или миокардита за последние 3 месяца; симптомы и показания электрокардиограммы, свидетельствующие о наличи этих заболеваний; признаки стенокардии;

инфекционные заболевания, включая простудные.

Менструация не является противопоказанием к участию в тестах. Однако в некоторых случаях целесообразно изменить расписание их проведения.

Б. СТАНДАРТНЫЕ ТЕСТЫ

59.0. Описание основной методики проведения стандартных

Во всех трех видах упражнений и независимо от того, с максимальной или субмаксимальной нагрузкой проводится тест, основная процедура тестирования является одинаковой.

Испытуемый приходит в лабораторию в легкой спортивной одежде и мягкой обуви. В течение 2 час. перед началом теста он не должен принимать пищу, пить кофе, курить.

Отдых. Тесту предшествует период отдыха, который длится 15 мин. В это время, пока устанавливаются физиологические измерительные приборы, испытуемый удобно сидит в кресле.

Период аккомодации. Самое первое тестирование любого испытуемого, как и все повторные тесты, даст достаточно надежные результаты, если основному тесту будет предшествовать короткий период упражнений с малой нагрузкой -- период аккомодации. Он длится 3 мин. и служит следующим целям:

ознакомить испытуемого с аппаратурой и типом работы, которую он должен выполнять;

предварительно изучить физиологическую реакцию испытуемого на нагрузку приблизительно в 4 Мета, что соответствует частоте сердечных сокращений примерно 100 уд/мин;

ускорить приспособление организма к непосредственному проведению самого теста.

Отдых. За периодом аккомодации следует короткий (2 мин.) период отдыха; испытуемый удобно сидит в кресле, пока экспериментатор делает необходимые технические приготовления.

Тест. В начале теста задается нагрузка, равная нагрузке аккомодационного периода, и испытуемый выполняет упражнения без перерыва до завершения теста. Через каждые 2 мин. работы нагрузка увеличивается на 1 Мет.

Тестирование прекращается при одном из следующих условий:

испытуемый не в состоянии продолжать выполнять задание;

имеются признаки физиологической декомпенсации (см. 58.3);

данные, полученные на последней ступени нагрузки, позволяют экстраполировать максимальную аэробную производительность на основе последовательных физиологических измерений (выполненных в ходе тестирования. -- Прим. ред.).

59.5. Измерения. Максимальное потребление кислорода в миллилитрах на килограмм в минуту измеряется непосредственно или вычисляется. Методы определения потребления кислорода весьма разнообразны, так же как разнообразны дополнительные технические приемы, используемые для анализа физиологических возможностей каждого индивида. Подробнее об этом будет сказано дальше.

59.6. Восстановление. По окончании эксперимента физиологическое наблюдение продолжается в течение минимум 3 мин. Испытуемый вновь отдыхает в кресле, слегка приподняв ноги.

Примечание. Описанная методика тестирования дает сопоставимые физиологические данные, полученные при одинаковой последовательности увеличения нагрузки на третбане, велоэргометре и степэргометре. Дальше методика тестирования описана отдельно для каждого из трех приборов.

60.0. Третбан-тест

Аппаратура. Третбан и необходимое вспомогательное оборудование.

Описание. Тщательно выполняется основная методики тестирования, описанная в 59.0.

Скорость движения третбана с испытуемым, идущим по нему, равна 80 м/мин (4,8 км/час, или 3 мили/час). При такой скорости энергия, необходимая для передвижения по горизонтали, равна приблизительно 3 Метам; каждое увеличение наклона на 2,5% добавляет одну единицу начальной скорости метаболизма, т. е. 1 Мет к расходу энергии. В конце первых 2 мин. наклон третбана быстро увеличивается до 5%, в конце следующих 2 мин.--до 7,5%, затем до 10%, 12,5% и т. д. Полная схема дана в табл. 1.

Подобные документы

Проведение контрольных испытаний с помощью контрольных упражнений или тестов с целью определения готовности к физическим упражнениям. Проблема стандартизации тестов. Внешняя и внутренняя валидность тестов. Ведение протокола контрольного обследования.

реферат , добавлен 12.11.2009

Характеристика двигательных способностей и методика развития гибкости, выносливости, ловкости, силы и быстроты. Тестирование двигательных способностей школьников на уроках физической культуры. Применение двигательных тестов в практической деятельности.

дипломная работа , добавлен 25.02.2011

Оценка динамики изменения антропометрических данных у школьников, систематически занимающихся легкой атлетикой, и школьников, не занимающихся в спортивных секциях. Разработка тестов для определения общей физической подготовленности; анализ результатов.

дипломная работа , добавлен 07.07.2015

Основные направления использования тестов, их классификация. Тесты для отбора в спортивной борьбе. Методы оценки спортивных достижений. Тестирование специальной выносливости борца. Взаимосвязь показателей тестов с техническим мастерством борцов-вольников.

дипломная работа , добавлен 03.03.2012

Оценка специальной выносливости пловца с помощью контрольных упражнений. Приспособленность основных реакций физиологических систем в условиях водной среды. Разработка принципов оценки медико-биологических показателей, используемых при тестировании пловца.

статья , добавлен 03.08.2009

Рассмотрение здоровой энергетики как первоосновы здоровья. Ознакомление с особенностями гимнастических упражнений по системе цигун. Подбор комплекса упражнений для домашних занятий. Составление тестов для получения выводов по проделанной работе.

дипломная работа , добавлен 07.07.2015

Спортивная метрология - исследование физической величины в физкультуре и спорте. Основы измерений, теория тестов, оценок и норм. Методы получения информации о количественной оценке качества показателей; квалиметрия. Элементы математической статистики.

презентация , добавлен 12.02.2012

Сущность и значение контроля в физическом воспитании и его виды. Проверка и оценка двигательных умений и навыков, полученных на уроках физической культуры. Тестирование уровня физической подготовленности. Контроль функционального состояния учащихся.

курсовая работа , добавлен 06.06.2014

Расчет величины абсолютной и относительной погрешностей измерения. Перевод результатов тестирования в баллы, используя регрессирующую и пропорциональную шкалу. Ранжирование результатов тестов. Изменения мест в группе по сравнению с предыдущими оценками.

контрольная работа , добавлен 11.02.2013

Режим двигательной активности. Роль факторов, обусловливающих физическую работоспособность футболистов на разных этапах многолетней подготовки. Типы эргогенных средств. Методика проведения тестов для определения уровня физической работоспособности.

основы теории тестов

Основные понятия теории тестов

Измерение или испытание, проводимое с целью определения состояния или способностей спортсмена, называется тестом .

Не всякие измерения могут быть использованы как тесты, а только те, которые отвечают специальным требованиям. К ним относятся:

1. стандартизованность (процедура и условия тестирования должны быть одинаковыми во всех случаях применения теста);
2. надежность;
3. информативность;
4. наличие системы оценок.

Тесты, удовлетворяющие требованиям надежности и информативности, называют добротными или аутентичными (греч. аутентико - достоверным образом).

Процесс испытаний называется тестированием ; полученное в итоге измерения числовое значение - результатом тестирования (или результатом теста). Например, бег 100 м - это тест, процедура проведения забегов и хронометража - тестирование, время забега - результат теста.

Тесты, в основе которых лежат двигательные задания, называют двигательными или моторными . Результатами их могут быть либо двигательные достижения (время прохождения дистанции, число повторений, пройденное расстояние и т.п.), либо физиологические и биохимические показатели.

Иногда используется не один, а несколько тестов, имеющих единую конечную цель (например, оценку состояния спортсмена в соревновательном периоде тренировки). Такая группа тестов называется комплексом или батареей тестов .

Один и тот же тест, примененный к одним и тем же исследуемым, должен дать в одинаковых условиях совпадающие результаты (если только не изменились сами исследуемые). Однако при самой строгой стандартизации и точной аппаратуре результаты тестирования всегда несколько варьируют. Например, исследуемый, только что показавший в тесте становой динамометрии результат 215 кГ, при повторном выполнении показывает лишь 190 кГ.

2. Надежность тестов и пути ее определения

Надежностью теста называется степень совпадения результатов при повторном тестировании одних и тех же людей (или других объектов) в одинаковых условиях.

Вариацию результатов при повторном тестировании называют внутри индивидуальной, или внутри групповой, либо внутриклассовой.

Четыре основные причины вызывают эту вариацию:

1. Изменение состояния исследуемых (утомление, врабатывание, научение, изменение мотивации, концентрации внимания и т.п.).
2. Неконтролируемые изменения внешних условий и аппаратуры (температура, ветер, влажность, напряжение в электросети, присутствие посторонних лиц и т.п.), т.е. все то, что объединяется термином “случайная ошибка измерения”.
3. Изменение состояния человека, проводящего или оценивающего тест (и, конечно, замена одного экспериментатора или судьи другим).
4. Несовершенство теста (есть такие тесты, которые заведомо малонадежные. Например, если исследуемые выполняют штрафные броски в баскетбольную корзину, то даже баскетболист, имеющий высокий процент попаданий, может случайно ошибиться при первых бросках).

Основное различие теории надежности тестов от теории ошибок измерения состоит в том, что в теории ошибок измеряемая величина считается неизменной, а в теории надежности тестов предполагается, что она меняется от измерения к измерению. Например, если необходимо измерить результат выполненной попытки в прыжках в длину с разбега, то он вполне определенный и с течением времени значительно измениться не может. Конечно, в силу случайных причин (например, неодинакового натяжения рулетки) нельзя с идеальной точностью (скажем до 0,0001 мм) измерить этот результат. Однако используя более точный измерительный инструмент (например, лазерный измеритель), можно повысить их точность до необходимого уровня. Вместе с тем, если стоит задача определить подготовленность прыгуна на отдельных этапах годичного цикла тренировки, то самое точное измерение показанных им результатов мало чем поможет: ведь они от попытки к попытке изменятся.

Чтобы разобраться в идее методов, используемых для суждения о надежности тестов, рассмотрим упрощенный пример. Предположим, что необходимо сравнить результаты прыжков в длину с места у двух спортсменов по двум выполненным попыткам. Допустим, что результаты каждого из спортсменов варьируют в пределах ± 10 см от средней величины и равны соответственно 230 ± 10 см (т.е. 220 и 240 см) и 280± 10 см (т.е. 270 и 290 см). В таком случае вывод, конечно, будет совершенно однозначным: второй спортсмен превосходит первого (различия между средними в 50см явно выше случайных колебаний в ± 10 см). Если же при той же самой внутригрупповой вариации (± 10 см) различие между средними значениями исследуемых (межгрупповая вариация) будут маленькими, то сделать вывод будет гораздо труднее. Допустим, что средние значения будут примерно равны 220 см (в одной попытке - 210, в другой - 230 см) и 222 см (212 и 232 см). При этом первый исследуемый в первой попытке прыгает на 230 см, а второй - только на 212 см; и создается впечатление, что первый существенно сильнее второго. Из этого примера видно, что основное значение имеет не сама по себе внутриклассовая изменчивость, а ее соотношение с межклассовыми различиями. Одна и та же внутриклассовая изменчивость дает разную надежность при равных различиях между классами (в частном случае между исследуемыми, рис. 14).

Рис. 14. Соотношение меж- и внутриклассовой вариации при высокой (вверху) и низкой (внизу) надежности:

короткие вертикальные штрихи - данные отдельных попыток;

Средние результаты трех исследуемых.

Теория надежности тестов исходит из того, что результат любого измерения, проводимого на человеке , есть сумма двух значений:

где: - так называемый истинный результат, который хотят зафиксировать;

Ошибка, вызванная неконтролируемыми изменениями в состоянии исследуемого и случайными ошибками измерения.

Под истинным результатом понимают среднее значение х при бесконечно большом числе наблюдений в одинаковых условиях (по этому при х ставят знак ).

Если ошибки случайны (их сумма равна нулю, и в равных попытках они не зависят друг от друга), тогда из математической статистики следует:

т.е. зарегистрированная в опыте дисперсия результатов равна сумме дисперсий истинных результатов и ошибок .

Коэффициентом надежности называется отношение истинной дисперсии к дисперсии, зарегистрированной в опыте:

Кроме коэффициента надежности используют еще индекс надежности :

который рассматривают как теоретический коэффициент корреляции зарегистрированных значений теста с истинными.

Понятие об истинном результате теста является абстракцией ( в опыте измерить нельзя). Поэтому приходится использовать косвенные методы. Наиболее предпочтителен для оценки надежности дисперсионный анализ с последующим расчетом внутриклассовых коэффициентов корреляции. Дисперсионный анализ позволяет разложить зарегистрированную в опыте вариацию результатов теста на составляющие, обусловленные влиянием отдельных факторов. Например, если зарегистрировать у исследуемых их результаты в каком-либо тесте, повторяя этот тест в разные дни, причем каждый день делать по несколько попыток, периодически меняя экспериментаторов, то будут иметь место вариации:

а) от испытуемого к испытуемому;

б) ото дня ко дню;

в) от экспериментатора к экспериментатору;

г) от попытки к попытке.

Дисперсионный анализ дает возможность выделить и оценить эти вариации.

Таким образом, чтобы оценить практически надежность теста надо, во-первых, выполнить дисперсионный анализ, во-вторых, рассчитать внутриклассовый коэффициент корреляции (коэффициент надежности).

При двух попытках величина внутриклассового коэффициента корреляции практически совпадает со значениями обычного коэффициента корреляции между результатами первой и второй попыток. Поэтому в таких ситуациях для оценки надежности можно использовать обычный коэффициент корреляции (он при этом оценивает надежность одной, а не двух попыток).

Говоря о надежности тестов, необходимо различать их стабильность (воспроизводимость), согласованность, эквивалентность.

Под стабильностью теста понимают воспроизводимость результатов при его повторении через определенное время в одинаковых условиях. Повторное тестирование обычно называют ретестом.

Согласованность теста характеризуется независимостью результатов тестирования от личных качеств лица, проводящего или оценивающего тест.

При выборе теста из определенного числа однотипных тестов (например, спринтерский бег на 30, 60 и 100 м) методом параллельных форм оценивается степень совпадения результатов. Рассчитанный между результатами коэффициент корреляции называют коэффициентом эквивалентности.

Если все тесты, входящие в какой-либо комплекс тестов, высоко эквивалентны, он называется гомогенным. Весь этот комплекс измеряет одно какое-то свойство моторики человека (например, комплекс, состоящий из прыжков с места в длину, вверх и тройного; оценивается уровень развития скоростно-силовых качеств). Если в комплексе нет эквивалентных тестов, то есть тесты, входящие в него, измеряют разные свойства, то он называется гетерогенным (например, комплекс, состоящий из становой динамометрии, прыжка вверх по Абалакову, бега на 100 м).

Надежность тестов может быть повышена до определенной степени путем:

а) более строгой стандартизации тестирования;

б) увеличения числа попыток;

в) увеличения числа оценщиков (судей, экспериментов) и повышения согласованности их мнений;

г) увеличения числа эквивалентных тестов;

д) лучшей мотивации исследуемых.

Пример 10.1.

Определить надежность результатов тройного прыжка с места в оценке скоростно-силовых возможностей спортсменов-спринтеров, если данные выборок таковы:

Решение:

1. Занести результаты тестирования в рабочую таблицу:

2. Подставляем полученные результаты в формулу расчета рангового коэффициента корреляции:

3. Определим число степеней свободы по формуле:

Вывод : полученное расчетное значение Следовательно, с уверенностью в 99% можно говорить о том, что тест тройного прыжка с места надежен.

Математические основы теории конструирования тестов

Типы тестовых заданий

Существует две существенно отличающихся формы заданий: закрытые (когда испытуемому для выбора предлагаются варианты ответов) и открытые (испытуемый должен получить ответ самостоятельно). Открытые задания, в свою очередь, можно разделить на две группы:

задания с кратким регламентируемым ответом, формулировка которых должна порождать только один, запланированный разработчиком, ответ;

задания со свободно конструируемым ответом, не имеющие никаких ограничений на содержание и форму представления ответов.

Выделяют пять основных типов заданий. Все остальные типы являются вариациями или комбинациями этих пяти типов.

Задание с выбором. Текст задания состоит из вопроса. Для выбора предлагаются несколько вариантов ответа, из которых один или несколько являются правильными.

Задание на дополнение. В формулировке зада-ния пропущен некоторый фрагмент текста, который указыва-ется подчерком (или несколькими подчерками одинаковой длины, если пропущенных слов несколько). Пропуск может быть в любой части текста, но рекомендуется делать его в конце. В ответе испытуемый должен написать пропущенные слова.

Задание на установление правильной последовательности.

Задание на установление соответствия. Формулировка задания содер-жит два перечня. Слева, как правило, приводятся элементы множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору. Элементы левого множества нумеруются, правого – обозначаются буквами. Желательно, чтобы второе множество содержало большее число элементов по сравнению с первым множеством. При этом каждому эле-менту первого множества соответствует один или несколько элементов второго множества.

Задание с развернутым ответом.

Этапы разработки теста

Формулировка цели и объекта исследования.

Кто, что и почему подлежит тестированию

Разработка содержания тестирования.

Изучение требований образовательного стандарта, содержания учебников.

Составление спецификации теста:

Выделение разделов (тем) и их процентного содержания в тесте

Выбор типов заданий

Определение уровней овладения знаниями и умениями:

1 уровень	Знание определений основных понятий дисциплины, а также основных утверждений о методах дисциплины
2 уровень	Знание основных формул и алгоритмов; умение применять их при решении стандартных задач
3 уровень	Применение полученных знаний для решения нетипичных задач

Определение примерного количества заданий в тесте и распределение этого количества по типам заданий.

Разработка заданий.

Поскольку первый вариант теста должен выявить недостатки заданий (в том числе и предложенных дистракторов), то в каждом задании предлагалось возможно наибольшее число дистракторов, чтобы при выбраковке их осталось достаточное количество.

Экспертиза сырого теста.

Целью экспертизы является выявление и исправление некорректных и непонятных формулировок. В результате из теста могут быть удалены какие-либо задания (поэтому рекомендуется заданий).

Апробация.

Расчет характеристик заданий и теста.

По результатам тестирования проводят расчет следующих статистических характеристик заданий и теста.

Размах индивидуальных баллов измеряет расстояние, в пределах которого изменяются все значения показателя в распределении (индивидуальных баллов).

Среднее выборочное (среднее арифметическое ) для совокупности индивидуальных баллов Х 1 , Х 2 , …, Х K группы K испытуемых вычисляется по формуле

Подсчет дисперсии основан на вычислении отклонений каждого значения показателя от среднего арифметического в распределении:

Низкая дисперсия указывает на низкое качество теста, поскольку слабая вариация результатов говорит о слабой дифференциации испытуемых по уровню подготовки. Излишне высокая дисперсия характерна для случая, когда все учащиеся различны по числу выполненных заданий, что также требует переработки теста.

Завершает расчёт характеристик теста оценка надёжности теста. Для вычисления коэффициента надёжности можно использовать формулу коэффициента Кьюдера-Ричардсона (только в случае, когда все веса заданий равны единице) :

Чтобы по значению коэффициента дать качественную оценку надежности теста, используют следующую таблицу:

Значение коэффициента надежности	Оценка надежности
	неудовлетворительная
	удовлетворительная

	отличная

Оценка трудности j-го задания рассчитывается по формуле

Заметим, что чем легче задание, тем больше будет доля правильных ответов на него (p j ), поэтому естественнее было бы интерпретировать эту долю как легкость задания. В хорошо сбалансированном по трудности тесте должно быть несколько трудных заданий, несколько легких, но основная масса заданий должна иметь трудность от 0,3 до 0,7; при этом желательно, чтобы за-да-ния располагались в порядке воз-рас-та-ния их трудности.

Валидность заданий теста определяется степенью соответствия задания цели дифференциации испытуемых. Для этого определяются коэффициенты корреляции оценки за задание с баллом по всему тесту. Это делается с помощью коэффициента корреляции по формуле

где X i  тестовый балл i -го испытуемого, Y i  балл i -го испытуемого за задание. Заметим, что в случае дихотомического оценивания задания расчёт коэффициента несколько упрощается . Если r < 0, то задание следует удалить из теста, т. к. в нем побеждают слабые ученики, а сильные выбирают неверный ответ либо пропускают задание при выполнении теста. Положительные значения, но близкие к нулю (незначимые), указывают на низкую прогностическую способность задания теста; такие задания требуют доработки содержания.

Способность дифференцировать испытуемых на лучших и худших показывает коэффициент дифференцирующей способности (или индекс дискриминативности ) задания. Самый простой способ вычисления такого индекса называется методом контрастных групп и заключается в следующем. Из всей группы испытуемых выделяется некоторая часть лучших по результатам выполнения теста испытуемых (будем называть их сильной подгруппой) и столько же худших (слабая подгруппа). Затем для каждой из этих подгрупп вычисляется доля правильных ответов в подгруппе. Обозначим через p 1 j долю правильных ответов на j -е задание в сильной подгруппе, а через p 0 j – долю правильных ответов в слабой подгруппе. Тогда индекс дискриминативности i -го задания определяется по формуле:

(r дис) j = p 1 j – p 0 j .

Для задания, с которым справились все сильные испытуемые, и не справился ни один слабый, индекс дискриминативности r дис будет равен 1; в этом случае задание обладает максимальным дифференцирующим эффектом. Для задания, с которым справились все слабые испытуемые, и не справился ни один сильный, индекс дискриминативности будет равен –1. В остальных случаях индекс будет принимать значения между –1 и 1. Задания с нулевым и отрицательным значением индекса дискриминативности плохо дифференцируют учащихся, поэтому должны быть удалены из теста. Если индекс положителен, но меньше 0,2 , то такое задание требует тщательного анализа содержания.

Согласно этим характеристикам какие-то задания могут быть удалены из теста, какие-то подлежат исправлению. После этого должны быть повторены этапы 5, 6.

Формулы для вычисления вероятности угадывания

При составлении теста нужно определить, сколько ответов следует предлагать на каждый вопрос, чтобы вероятность успешно пройти тестирование, просто угадав правильные ответы, была меньше 0,05 (т.е. меньше 5%). Тестирование будем считать успешно пройденным, если тестируемый верно отвечает не менее, чем на Q % вопросов. Если тест включает N вопросов, то для вычисления вероятности “успешного угадывания” используется следующая формула :

где m - число ответов, предлагаемых на каждый вопрос.

В случае, когда количество предлагаемых ответов на вопросы в разных заданиях различно, формула имеет более сложный вид:

где - вероятность угадывания ответов на j вопросов, которая вычисляется следующим образом. Пусть все вопросы в тесте можно разделить на r групп так, что в одну группу объединены вопросы с одинаковой вероятностью угадывания. Обозначим p i , 0< p i <1 - вероятность угадывания и k i - количество вопросов в i - той группе (
) , причем

Тогда для j от
до N:

где t r = j  (t 1 + t 2 +…+ t r -1) , причем если t r > k r , то будем считать
= 0 .

Примеры.

N=10, Q=2/3: m=2, P<0,2; m=3, P<0,02; m=4, P<0,004

Литература

Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.

Малыгин А. А., Светцов В. И., Щаницина С. В. Практические рекомендации к составлению контрольно–измерительных материалов: Метод. пособие / Иван. гос. хим.–технол. ун-т. – Иваново, 2005. – 30 с.

Как составить тест // Слойер К. Математические фантазии. - М.: Мир, 1993. - с.116-118.