TalentApproved

Доступность оценивания: шаги NCEO, шесть линз, быстрые пилоты юзабилити

Доступность оценивания: шаги NCEO, шесть линз, быстрые пилоты юзабилити

Доступность оценивания означает проектирование тестов таким образом, чтобы они измеряли заявленный навык для каждого обучающегося — независимо от наличия инвалидности, языкового происхождения или способа взаимодействия с технологиями. Единственный наиболее полезный первый шаг — планировать универсальный дизайн до написания первого задания, а затем проводить проверку доступности на уровне заданий до того, как тест попадёт к испытуемому. Федеральное законодательство подкрепляет это требование: Закон об американцах с ограниченными возможностями (ADA) обязывает организации, проводящие тестирование, предлагать экзамены в месте и форме, доступной для людей с инвалидностью.

Кратко:

  • Универсальный дизайн следует планировать с самого начала, используя доступные форматы — например, тегированный PDF или HTML, — чтобы избежать дорогостоящей доработки.
  • Средства поддержки разделяются на универсальные инструменты, специальные средства поддержки и приспособления, каждое из которых требует различного уровня согласования и документации.
  • Решения по вопросам доступности необходимо принимать оперативно, чтобы не допустить отказа в равных возможностях; при этом приспособления не должны подрывать валидность оценивания.
  • Проведение проверок доступности на уровне заданий и пилотных тестов на удобство использования с участием пользователей вспомогательных технологий позволяет выявить барьеры, которые проверки соответствия могут упустить.
  • Включение инструментов оценивания в учебный процесс и проведение небольших пилотных тестирований способны значительно повысить успешность испытуемых и сократить необходимость в специальных сессиях.
Talent Approved
Создавайте более целенаправленные оценки
Talent Approved помогает работодателям создавать оценки навыков, специфичных для конкретной роли, и анализировать возможности кандидатов за рамками резюме.

Содержание

Что в действительности включает доступность оценивания

Большинство программ оценивания организуют средства поддержки по трём уровням, и их путаница — одна из наиболее распространённых ошибок команд. Универсальные инструменты доступны каждому испытуемому без каких-либо запросов. К ним относятся преобразование текста в речь, масштабирование, маркеры и маскировка ответов. Специальные средства поддержки требуют решения педагога или команды — как правило, потому что данная функция меняет опыт тестирования для отдельных учащихся, например изменение контрастности цветов или проведение тестирования в отдельном помещении. Приспособления — наиболее ограничительная категория, привязанная к задокументированному плану, такому как IEP или план 504; они нередко включают такие меры, как продление времени или помощь писца.

Государственные программы тестирования хорошо это иллюстрируют. Матрица ресурсов доступности Департамента образования Калифорнии перечисляет десятки встроенных и невстроенных средств поддержки по этим трём уровням для общегосударственных оценок. Это разграничение имеет операционное значение:

  • Универсальные инструменты не требуют никаких документов и должны быть доступны в ходе повседневного обучения, а не только в день тестирования.
  • Специальные средства поддержки требуют решения команды, но не медицинского или образовательного диагноза.
  • Приспособления требуют документации и, как правило, регистрируются в системе регистрации до начала тестирования.

Раздел 309 Закона ADA является основополагающей нормой для любой организации, проводящей экзамены, — от лицензионных комиссий до программ профессиональной сертификации. Он обязывает организации, проводящие тестирование, предлагать экзамены «в месте и форме, доступной для лиц с инвалидностью», и предоставлять разумные приспособления по запросу — согласно руководству Министерства юстиции по приспособлениям при тестировании.

Стандарт документации уже, чем большинство людей предполагает. Организации, проводящие тестирование, могут запрашивать документацию, однако она должна быть разумной и чётко ограниченной, а не представлять собой исчерпывающий пакет бумаг. Принятие документации от квалифицированного специалиста без требования избыточных дополнительных доказательств сокращает сроки согласования и обеспечивает соответствие процесса требованиям.

Чаще всего команды по оцениванию допускают ошибки в двух областях: своевременность и сохранение валидности. Решение по запросу о приспособлении не может неделями ждать в очереди. Задержка с ответом может быть приравнена к отказу в равных возможностях — согласно тому же техническому документу ADA. И какое бы приспособление ни было предоставлено, оно должно сохранять то, что измеряет тест. Например, приспособление в виде зачитывания вслух на экзамене по пониманию прочитанного может подорвать именно тот конструкт, который тест призван оценивать, — именно поэтому лицензирующие органы тщательно изучают подобные решения.

Схема процесса принятия решений по приспособлениям при оценивании

Универсальный дизайн на практике: воплощение шагов NCEO в действие

Национальный центр по результатам образования описывает девятишаговый процесс создания оценок со встроенной доступностью с первого дня, подробно изложенный в его руководстве штата по оценкам с универсальным дизайном. В сжатом виде для команды по оцениванию это выглядит следующим образом:

  1. Планировать доступность до написания заданий, а не после того, как пилот выявит проблемы.
  2. Чётко определить конструкт, чтобы знать, что тест должен измерять, а что является для него второстепенным.
  3. Требовать универсального дизайна в запросах предложений от поставщиков, чтобы доступность не стала неоплачиваемой дополнительной услугой, запрошенной позже.
  4. Привлекать экспертов по доступности на этапе написания заданий, а не только при проверке соответствия требованиям.
  5. Проводить тестирование удобства использования с репрезентативной выборкой до запуска теста.
  6. Проводить пробные тестирования заданий и теста, анализировать результаты до полного развёртывания.
  7. Вести мониторинг и вносить изменения в каждом цикле, поскольку потребности в доступности меняются по мере изменения контингента и технологий.

Техническая сторона не менее важна, чем процессная. Создавайте оценки в семантических, интероперабельных форматах — тегированный PDF, HTML или QTI там, где это поддерживается, — а не в закрытых проприетарных файлах, требующих ручной доработки впоследствии; на это делается акцент в техническом руководстве Департамента образования Массачусетса. Соответствие стандартам WCAG и Section 508 с самого начала позволяет избежать дорогостоящих доработок.

Совет: Используйте в учебном процессе те же инструменты доступности, которые планируете применять на экзамене. Когда учащиеся уже знают, как работает их функция преобразования текста в речь или масштабирование, тест измеряет навык, а не способность под давлением освоить новый интерфейс.

Практический контрольный список доступности на уровне заданий

Обнаружить барьеры до запуска теста значительно дешевле, чем устранять их после того, как группа уже прошла тестирование. Департамент образования Массачусетса разработал контрольный список и протокол проверки, основанный на шести аспектах, которые любая команда может адаптировать для своих нужд.

  • Языковые требования: Является ли словарный запас более сложным, чем того требует конструкт?
  • Культурная предвзятость: Предполагает ли задание общий опыт, которого у некоторых испытуемых может не быть?
  • Требования к навыкам: Проверяет ли задание заявленный навык, или оно также неявно проверяет скорость чтения или моторную координацию?
  • Оформление и читаемость: Будут ли плотность текста, размер шрифта или макет излишне замедлять слабовидящего читателя?
  • Формат ответа: Сможет ли испытуемый ответить, если он не пользуется мышью или не может писать от руки?
  • Утомляемость: Приведут ли объём задания или продолжительность теста к ошибкам, не связанным с измеряемым навыком?

Сам протокол проверки лучше всего работает в командном режиме. Назначьте рецензентов для конкретных аспектов, фиксируйте каждую проблему с указанием конкретного места и предложением по исправлению, затем соберитесь для обобщения правок, вместо того чтобы позволять одному человеку единолично принимать все решения.

Часто встречающийся барьер Конкретное решение
Многоэтапное задание, скрытое в одном длинном условии Разбить на последовательные, отдельно оцениваемые шаги
Изображение или диаграмма без текстовой альтернативы Добавить описательный alt-текст, передающий ту же информацию
Единственный формат ответа (только ввод с клавиатуры) Предложить голосовой ввод или выбор из нескольких вариантов в качестве альтернативного пути
Чрезмерно сложная структура предложения Упростить условие, не убирая проверяемую концепцию

Тестирование теста: пилоты удобства использования и доступности

Проведение пилотного тестирования удобства использования не требует специализированной лаборатории. Удалённая сессия «думай вслух», в ходе которой несколько испытуемых комментируют свой мыслительный процесс при работе с заданиями, быстро выявляет проблемные точки. Обзор с использованием программы экранного доступа даже с тремя-четырьмя пользователями вспомогательных технологий позволяет выявить проблемы, которые разработчик задания без инвалидности никогда не заметит, — например, диаграмму, воспринимаемую как бессмысленный набор цифр.

Показатели, заслуживающие отслеживания, просты:

Показатель Что он выявляет
Процент выполненных заданий Возможно ли вообще ответить на задание с помощью вспомогательных технологий
Время выполнения задания Увеличивают ли усталость или трудности с навигацией время выполнения
Выявленные барьеры Конкретные моменты, где испытуемый застрял или запутался
Совместимость со вспомогательными технологиями Корректно ли работают программы экранного доступа или средства увеличения

Более сложная задача — сочетать результаты тестирования удобства использования с психометрическими проверками. Исправление в сфере доступности, которое изменяет сложность задания или демонстрирует дифференциальное функционирование задания по группам, требует повторного рассмотрения перед выпуском — руководство NCEO считает этот шаг обязательным. Доступность и валидность — не конкурирующие цели. Их совместная, а не последовательная проверка обеспечивает, что исправление не нарушит незаметно то, что измеряет тест. Командам, которым нужен структурированный способ отслеживать такие данные на уровне заданий, может быть полезно прочитать об аналитике оценивания с акцентом на измерении.

Обучение и коммуникация для администраторов тестирования

Приспособления работают только в том случае, если люди, проводящие тестирование, знают, как их активировать. Обучение администраторов должно охватывать правильное заблаговременное введение встроенных настроек, обработку запросов на приспособления в последний момент без срыва расписания, а также проверку фактической работоспособности вспомогательных технологий и устройств до открытия окна тестирования — практика, отражённая в руководстве Smarter Balanced по удобству использования и приспособлениям.

Семьи и обучающиеся также нуждаются в заблаговременном уведомлении и возможности попрактиковаться с реальными инструментами до того, как ставки станут высокими.

  • Убедитесь, что встроенные настройки введены до открытия окна тестирования.
  • Предоставьте испытуемым практическую сессию с теми же инструментами, которые они будут использовать в день тестирования.
  • Проверьте устройства, наушники и вспомогательные технологии накануне, а не утром в день тестирования.

Совет: Направляйте подтверждения приспособлений в письменном виде не менее чем за неделю до тестирования. Устное «да», которое так и не попало в систему, — это единственная наиболее распространённая причина сбоев с приспособлениями в день тестирования.

Что происходит, когда команды действительно следуют универсальному дизайну

Команды по оцениванию, которые встраивают доступность с самого начала, а не дорабатывают её после жалобы, как правило, сталкиваются с меньшим количеством специальных сессий тестирования, требующих планирования, и достигают более высоких показателей завершаемости в целом. Включение таких инструментов, как преобразование текста в речь, в повседневное обучение — а не только в тест — демонстрирует измеримый рост завершаемости и уверенности испытуемых, согласно материалу ReadSpeaker об инклюзивном дизайне экзаменов.

Платформы могут ускорить отдельные части этого рабочего процесса, однако они не заменяют стоящие за ним человеческие суждения. Инструмент может пометить отсутствующий тег alt-текста; он не может решить, сохраняет ли приспособление конструкт, который вы тестируете. Эта ответственность остаётся за командой разработчиков — независимо от того, насколько много автоматизации её окружает.

Контрольный список превосходит коммерческое предложение

Вот что на самом деле подтверждают исследования по этой теме, и это опровергает многие расхожие советы: приобретение «доступной» платформы для тестирования — это не то же самое, что наличие доступного оценивания. Поставщики решений в сфере соответствия требованиям с удовольствием продадут вам соответствие WCAG на уровне доставки, тогда как сами задания по-прежнему будут скрывать математическую задачу в трёх предложениях постороннего контекста или предполагать культурные знания, не имеющие отношения к измеряемому навыку. Платформа никогда не была слабым звеном.

Контрольный список превосходит коммерческое предложение — обзорная диаграмма

Контрольный список на уровне заданий — занятие непривлекательное, и именно поэтому большинство команд его пропускают. Это не решение о закупках. Это вторник после обеда, проведённый с тремя рецензентами, которые спорят о том, проверяет ли словарный запас задачи математику или чтение. Этот спор, повторяемый для каждого задания теста, и есть место, где реально строится доступность. Функции доступности поставщика имеют значение, но они — минимальный уровень, а не стратегия.

Если после прочтения этого вы сделаете только одно изменение, пусть им станет пилотное тестирование удобства использования. Небольшая группа пользователей вспомогательных технологий, работающих с вашим тестом, может выявить больше реальных барьеров, чем проверка соответствия требованиям, — и для её проведения вам не нужна специализированная лаборатория или контракт с поставщиком.

— Jimmie

Как Talent Approved вписывается в доступный рабочий процесс

Talent Approved не заменит ваш протокол проверки заданий и не должен этого делать. Его сильная сторона — снять ручную нагрузку с тех частей рабочего процесса, которые отнимают больше всего времени. Инструмент, создающий оценку, специфичную для роли, на основе описания вакансии за несколько минут, позволяет вашим рецензентам тратить время на аспекты доступности, которые действительно важны, — язык, культуру, требования к навыкам, утомляемость, — вместо того чтобы писать задания с нуля.

Talent Approved

Мониторинг против мошенничества и сгенерированные ИИ сводки по результативности могут взять на себя проверку после запуска тестов, предоставляя командам найма чёткое, последовательное представление о результатах без дополнительной административной нагрузки при обработке приспособлений. Ничто из этого не заменяет планирование универсального дизайна с самого начала или проведение собственного пилотного тестирования удобства использования. Это просто означает, что инструментарий вокруг этих решений не замедляет вас. Если ваша команда готова создать оценку, специфичную для роли, и проверить, как рабочий процесс соответствует вашему собственному контрольному списку доступности, вы можете попробовать Talent Approved напрямую.

Источники

Часто задаваемые вопросы

Что такое доступность в оценивании?

Доступность оценивания означает, что тест измеряет заявленный навык или знание для каждого испытуемого — независимо от наличия инвалидности, языкового происхождения или технологии, используемой для ответа. Это требует проектирования с встроенными универсальными инструментами, специальными средствами поддержки и приспособлениями, а не добавления их постфактум.

Каковы примеры приспособлений при оценивании?

Распространённые приспособления включают продление времени, помощь писца или чтеца, отдельное помещение для тестирования, совместимость с программами экранного доступа и альтернативные форматы ответа, например голосовой ввод. Приспособления, как правило, привязаны к документации — например, к плану IEP или 504, — в отличие от универсальных инструментов, доступных всем.

Каковы четыре типа барьеров доступности, которые необходимо проверять?

Практическая проверка охватывает четыре основные области: языковые требования, культурная предвзятость, требования к навыкам, выходящие за рамки проверяемого конструкта, а также физические или сенсорные барьеры — оформление, читаемость и формат ответа. Утомляемость от продолжительности теста — пятый аспект, который многие команды добавляют для выявления ошибок, не связанных с измеряемым навыком.

Какие инструменты поддерживают доступное онлайн-оценивание?

Универсальные инструменты — преобразование текста в речь, масштабирование и маскировка ответов — в сочетании с семантическими и интероперабельными форматами файлов, такими как тегированный PDF или HTML, составляют техническую основу доступного онлайн-тестирования. Платформы, подобные Talent Approved, могут ускорить создание тестов, специфичных для роли, однако проверка доступности и тестирование удобства использования по-прежнему должны проводиться применительно к содержанию самих заданий.

Сколько времени должны занимать решения по приспособлениям?

Закон ADA не устанавливает фиксированного числа дней, однако руководство чётко указывает, что излишние задержки могут быть приравнены к отказу в равных возможностях. Организации, проводящие тестирование, должны встроить временные рамки для ответа в свой процесс, а не позволять запросам на приспособления оставаться без ответа ближе к дню тестирования.