Введение в тестологию

[kovaleva]

Я закончила курс «Введение в тестологию» в Шанинке!!! Нереально собой горжусь. Я даже тест сдала на «четыре», за это мне дали сертификат дивной красоты. Конечно, какие-то вещи я и раньше знала, но теперь я знаю, почему они такие. А о каких-то вещах услышала впервые. Например, о поправке против угадывания для вопросов multiple choice. Надо ли говорить, что большая часть того, о чем рассказывал профессор, при создании тестов не используется? Это ж долго, дорого, давайте лучше чаю попьем.

Профессор был прекрасен. Помимо нескольких эшелонов материала, которые он нам привез, он воздвиг статую вопросу «Зачем?» Это тот вопрос, который должен задавать себе каждый, кто решил подвергнуть учеников тесту. Потому что если задача теста — отобрать лучших, это одна история, а если выдать сертификат всем, кто освоил материал на достаточном уровне — то это совсем другая история. А если мы решили получить представление о творческих способностях, забудьте о тесте вообще. А если у нас поток в сотню человек, забудьте об индивидуальном подходе, не выпендривайтесь.

Зачем — в принципе мой любимый вопрос. Я всегда задаю его и студентам, и клиентам, потому что он самый главный. Пока нет на него ответа, невозможно подобрать нормальное решение.

Из побочных эффектов. Мне теперь понятно, не только почему сам ЕГЭ ни о чем (это и до этого было ясно), но и критика его тоже ни о чем. Потому что тест не может проводиться одновременно с несколькими целями. Нельзя навешивать на один тест задачи сертификации, селекции и исследования, а это именно то, что пытаются сделать критики ЕГЭ. И в этих декорациях дискуссия никуда и не ведет. Потому что если у той стороны, которая ваяет тесты, цели есть, то у другой стороны их нет. Есть только большая светлая правда, которая слишком абстрактна, чтобы ее можно было воплотить.

Вел курс Багдасарян Арсен Геворкович: http://rtc-edu.ru/course04. Это был самый плотный, понятный и полезный материал по учебным тестам, который я вообще когда-либо видела. Я его очень рекомендую всем, кто работает с большими потоками учеников, а также тем, кто решил насмерть бороться с тестами, потому что их уязвимые стороны в этом курсе были прекрасно видны. Только я не знаю, когда он будет в следующий раз.

Comments

[kot-kam.livejournal.com]

А что за поправка против угадывания? Или это секрет фирмы и разглашению не подлежит?

[kovaleva.livejournal.com]

вроде не запрещали разглашать)) вот:
она называется «формула коррекции баллов»

Х - набранный балл по тесту
N - число заданий

Q=N-X число неправильных ответов

Y - балл после коррекции

Формула для 2 вариантов ответов
Y=X-Q

Формула для 3 вариантов ответов
Y=X-Q/2

Формула для 4 вариантов ответов
Y=X-Q/3

[kot-kam.livejournal.com]

Ага, спасибо. Значит, я неправильно понял идею. Я думал, это какой-то ноу-хавчик, позволяющий предохраниться против угадывания при составлении тестов, а речь идет уже о подсчете результатов.

[kovaleva.livejournal.com]

это он и есть. роль угадывания снижается до минимума

[livelight]

Применяется ли эта формула при сдаче теста по тестологии, а также при тестировании тестового набора для проведения тестов по тестологии? :)

[kovaleva.livejournal.com]

:))

[hugan.livejournal.com]

а можно практический вопрос: ведь в больших тестах есть же принципиальная возможность исследовать различные параметры.. Вы говорите - нельзя проводить с разными целями. А почему именно? Мне казалось, можно же добавить некую "субшкалу" (или просто отдельные исследовательские вопросы) в тест, изначально проводимый, скажем, для сплошной сертификации..? (Тест же - по своей природе конгломерат, а не цельная какая-то последовательная структура..)

[kovaleva.livejournal.com]

так испытуемый сдохнет, пока пройдет тест с разными параметрами. там и так довольно много получается, если закладывать на проверку большой материал. по мелочи можно что-то замерить, но все, что замерено по мелочи, оказывается довольно ненадежным.

[hugan.livejournal.com]

а, понял, спасибо). Ну да, получится сильно менее оптимально и не сильро более информативно

[tigrenok-t.livejournal.com]

Один из героев повести "Девочка из птицелет" любил задавать всем этот вопрос: "Зачем? Зачем ты это делаешь?"

Ведь на самом деле такой верный вопрос.

[kovaleva.livejournal.com]

ну да. но очень не хочется отвечать. надо бежать!

[tigrenok-t.livejournal.com]

Мне иногда так кажется, что бегу как белка в колесе. Одно понятно зачем делаю, а вот другое-то зачем...

[kovaleva.livejournal.com]

ну необходимость кардио тоже никто не отменял

[pv55.livejournal.com]

>>Потому что если задача теста — отобрать лучших, это одна история, а если выдать сертификат всем, кто освоил материал на достаточном уровне — то это совсем другая история. ... Мне теперь понятно, не только почему сам ЕГЭ ни о чем

Почему ЕГЭ ни о чем? ЕГЭ именно что о чем. Цель ЕГЭ дифференцировать абитуру по владению предметом. Это вступительные испытания в вузы. Его роль такая же, как и SAT в США.


>> А если мы решили получить представление о творческих способностях, забудьте о тесте вообще.

В вопросах ЕГЭ присутствуют в настоящее время достаточно трудные задания. Ничто не мешает засадить туда задачки международных олимпиад. Только в этом нет надобности. Или Вы считаете, что ЕГЭ -- это не тест?

[kovaleva.livejournal.com]

я считаю, что егэ - это тест со смешанными целями. этим и плох. его цель действительно селективная, но при этом одновременно и сертификационная. а самым ярким проявлением невменяемого микса является наличие сочинения в егэ по р.я. это уступка тем, кто хотел замерять творческие способности, что в принципе в тесте невозможно, а также тем, кто хотел замерять ориентацию ученика в общепринятой морали. ну и еще есть проблемы с самой селективной функцией, но про это можно говорить годами.

[pv55.livejournal.com]

>> а самым ярким проявлением невменяемого микса является наличие сочинения в егэ по р.я.

Но ведь, к примеру, тест SAT I содержит как задания с выбором ответа, так и с развернутым. В частности, в заданиях по английскому языку, помимо проверки правописания, есть еще и эссе.

>>это уступка тем, кто хотел замерять творческие способности, что в принципе в тесте невозможно

А что, проблема в названии? Ну так не называйте ЕГЭ и SAT тестом, делов-то. Но студентов, понимаешь, в вузы надо как-то принимать, никуда не денешься. Каждый год проходит вступительная кампания. Это вещь практическая, тут не до теоретизирования о сферическом коне. Принимают и по ЕГЭ, и по результатам олимпиад. Тут работает больше здравый смысл, чем какие-то научные -- подозреваю, наукообразные -- изыскания. Вот задания для экзаменов придумывают, как правило, преподаватели соотвествующих предметов. Есть среди них великолепные композиторы заданий.
Никто же не мешает научным тестологам представить общественности свои демоварианты вступительных испытаний вместо того, что разрабатывают ященки и демидовы. Лично я пока не видел альтернативы.

[kovaleva.livejournal.com]

я вас умоляю, в вузы принимали и без егэ. как-то справлялись. поэтому говорить о том, что без егэ невозможно напринимать студентов в вузы, как минимум некорректно. не говоря уже об олимпиадах, творческих заданиях и волшебном обходном пути через колледжи. когда люди хотят принимать абитуриентов без егэ, у них отлично получается.

что касается эссе. то они бывают разные. эссе по обществознанию и эссе по английскому построены по западной схеме и проверяют качество аргументации. и творчество тут не при чем, это тест схемы. а вот эссе по русскому - это уже совсем другой конь. возможно даже сферический. вот такого типа заданий в принципе не может быть в тестах.

если вам показалось, что я хочу отредактировать егэ, то вам показалось. я знаю, почему он введен, кто выгодополучатель, почему он не будет ни отменен, ни скорректирован. меня интересовала структура его порочности, теперь она мне известна, вот и хорошо. а массовому образованию все равно уже не помочь, так что его все равно под какую музыку в белых тапках выносить.

[pv55.livejournal.com]

>>я вас умоляю, в вузы принимали и без егэ. как-то справлялись. поэтому говорить о том, что без егэ невозможно напринимать студентов в вузы, как минимум некорректно. не говоря уже об олимпиадах, творческих заданиях и волшебном обходном пути через колледжи. когда люди хотят принимать абитуриентов без егэ, у них отлично получается.

А, значит Вы подтверждаете, что старые вступительные экзамены отлично справлялись с набором в вузы. Но ведь они в такой же, а даже в большей мере к "научной" тестологии никаким боком не относятся.
Да раньше сдавали экзамены непосредственно в выбранном вузе, сейчас сдают централизовано. Это что, только в РФ. Это практически везде: от США до Китая. Так удобнее для абитуры. Один раз сдаешь, несколько раз поступаешь.

[kovaleva.livejournal.com]

товарищ, вы вообще о чем? тестология - наука о тестах. ее можно применять, можно не применять. егэ - метод перераспределения бюджетов. его можно не применять, можно не применять. а практика рф - не то же самое, что практика сша. почему у вас все вместе-то?

[tovbard.livejournal.com]

Зачем — в принципе мой любимый вопрос. Я всегда задаю его и студентам, и клиентам, потому что он самый главный. Пока нет на него ответа, невозможно подобрать нормальное решение.

Абсолютно поддерживаю! При планировании любой передачи знаний использую три вопроса-убийцы:
1. Зачем? (какие цели, какую выгоду хотим получить в результате адаптации новым знанием (https://metasilaev.livejournal.com/125136.html))
2. Какие критерии успешности? (кто ключевые выгодополучатели и как каждый из них понимает успех, итоговый и промежуточный)
3. Как измерим результат? (как часто и по какой процедуре будем сравнивать итог и желаемое из п.2; что делать если расхождение существенно)

Если на "зачем?" администраторы и айтишники с опытом более-менее отвечают, то буквально каждый раз на втором вопросе обнаруживаются очень интересные подробности. Например, оказывается, что учтены только 2 из 5 стейкхолдеров. Или вообще неизвестно, в каких категориях они понимают успех и процедура контроля результата подобрана наугад. А ведь ничего сложного - обычная инициация проекта, "все это знают, делали десятки раз".

[kovaleva.livejournal.com]

да, все так. в обычной жизни, правда, 3 пункт почти не исполним, потому что люди начинают двигать критерии успешности буквально на глазах. особенно когда все вроде бы получается.

[tovbard.livejournal.com]

Именно это они и делают :) Основная задача третьего вопроса - показать, что мы решаем сложную административную задачу (управление командой в условиях высокой неопределенности), и источник этой сложности - сами заказчики, которые постоянно меняют требования. Мы можем каждый раз предлагать и реальзовать новый формат проверок, но надо понимать, что это все время и ресурсы. И вообще, мы играем важную роль в решении административных задач, это сильная позиция в переговорах.

Впрочем, с айтишниками достаточно часто получается остановиться на простой модели, например - экспертная оценка, опрос ключевых стейкхолдеров по 3-4 пунктам раз в неделю; если динамика отрицательная - снова садимся и пересматриваем пп 1-3.