Integrative test / Global test

Интегральный тест. Интегральные тесты выдвигаются как альтернатива дискретным тестам (см. выше, Discrete-point test) и направлены на определение уровня сформированности не отдельных навыков или одного умения, а их совокупности. Интегральные тесты дают возможность комплексной проверки иноязычной коммуникативной компетенции. Они часто являются прагматическими, а прагматические тесты всегда интегральные (см. Pragmatic test, с. 193).

Тест общего владения иностранным языком (тест общих умений) служит для определения общего уровня коммуникативной компетенции и вынесения заключения о возможности поступления тестируемого в учебное заведение, где обучение ведется на данном языке. В зависимости от конкретной цели применения этот тест может служит для отбора абитуриентов (entry tes? / selection test), для распределения учащихся по группам (placement test) или для уточнения программы обучения отдельной группы (planning instruction test).

Тест общего владения иностранным языком может также проводиться с целью отбора кандидатов на ту или иную должность при приеме на работу. Он позволяет сравнить уровень лингвистической и коммуникативной компетенции кандидатов, обучавшихся иностранному языку в учебных заведениях разных типов. Основным отличием тестов общего владения иностранным языком является то, что они не ориентированы на конкретную учебную программу и составляются независимо от условий предыдущего обучения. Помимо основной цели — определения степени владения языком — тест общих умений может выполнять диагностическую и прогностическую функции.

Некоторые тесты общего владения иностранным языком, такие как американский тест TOEFL (Test of English as a Foreign Language), серия кембриджских экзаменов (First Certificate in English —- FCE, Certificate in Advanced English — CAE, Certificate of Proficiency in English — СРЕ) и оксфордские экзамены (Preliminary EFL exam, Higher EFL exam), стандартизованы для международного пользования. Цель этих экзаменов — установить, достиг ли тестируемый уровня владения английским языком, достаточного для получения образования в США или в Великобритании.

Тест, используемый для распределения учащихся по учебным группам в зависимости от уровня владения иностранным языком. В отечественных публикациях по дидактике встречается переводной эквивалент «тест размещения* (Кларин 1997). Многие учебные программы предусматривают распределение учащихся в примерно равные по уровню обученности группы. При этом учитываются такие факторы, как способности (интеллектуальные и языковые), конкретные потребности в изучении иностранного языка, профессиональная или академическая ориентация. По существу, это тест учебных достижений, если он составлен по пройденной программе (см. Achievement test, с. 196), либо тест общего владения иностранным языком (см. Proficiency test, с. 194).

Диагностический тест проводится с целью выявить уровень успеваемости, своевременно обнаружить сильные и слабые стороны отдельных учащихся и учебной группы в целом в процессе овладения иностранным языком. Например, диагностический тест может показать, что у учащегося трудности с произношением либо пробелы в усвоении пройденного лексического или грамматического материала, лучше сформированы умения в одном виде речевой деятельности по сравнению с другими. Помимо индивидуальных ошибок диагностический тест помогает обнаружить ошибки, характерные для нескольких учащихся или для всей учебной группы, что может свидетельствовать о недостатках и просчетах в обучении. Выявляя качество предшествующего обучения в целом, диагностические тесты проверяют как учебные достижения учащихся, так и работу учителя. Результаты диагностических тестов и их анализ позволяют корректировать и строить дальнейшее обучение.

Диагностические тесты дают возможность определить также уровень владения иностранным языком на определенном этапе обучения. Учитывая

многоцелевой характер тестов и их взаимосвязь, следует отметить, что диагностические тесты наличествуют как таковые, но существенно не отличаются от тестов общих умений (Davies 1990).

Среди диагностических тестов выделяются собственно диагностические тесты (formative tests) и итоговые, суммарные (summative tests). Первые проводятся в течение курса обучения с целью проверки того, какие разделы курса и какая часть учебного материала усвоены недостаточно хорошо. Итоговые тесты даются в конце курса обучения для измерения окончательных результатов в овладении языковым материалом и речевыми умениями.

Тест успеваемости (тест учебных достижений). С его помощью проверяют уровень владения учащимися конкретным языковым материалом и степень сформированности речевых навыков и умений за определенный период обучения. Тесты успеваемости используются для осуществления текущего, промежуточного и итогового контроля за ходом и результатами обучения в рамках определенной программы и соответственно подразделяются на тесты текущего и промежуточного контроля успеваемости (см. ниже, Progress achievement test) и тесты итогового контроля (см. ниже, Final achievement test).

Тесты текущего и промежуточного контроля успеваемости измеряют прирост знаний, навыков и умений по изучаемому языку за определенный отрезок времени (месяц, четверть, семестр). Такие тесты, привязанные, в первую очередь, к текущему учебному материалу и конкретным задачам этапа обучения, должны составляться с учетом более общих учебных задач, достижение "* которых ожидается к концу курса обучения в учебном заведении данного типа. Так проявляется преемственность между тестами текущего и итогового контроля успеваемости и реализуются такие важные требования контроля, как его систематичность, поэтапность и объективность. Кроме констатирующей и оценочной функций тесты учебных достижений выполняют диагностическую функцию.

Тест итогового контроля успеваемости проводится в конце курса обучения с целью проверки усвоения учебного материала и овладения речевыми умениями за весь курс. Этот тест может быть подготовлен Министерством образования, официальными экзаменационными комиссиями или сотрудниками учебных заведений.

Главная отличительная особенность итоговых тестов успеваемости по сравнению с тестами общего владения иностранным языком (см. Proficiency test, с. 194) заключается в том, что они обязательно связаны с предыдущим курсом обучения. Тест может непосредственно опираться на содержание учебной программы и включать в себя образцы пройденного учебного материала, и, таким образом, его результаты будут констатировать, насколько успешно пройден этот материал. В другом случае итоговый тест успеваемости может ориентироваться преимущественно на заявленные учебной программой цели и задачи обучения, и тогда он определяет соответствие или несоответствие уровня сформированных навыков и умений намеченным целям (Hughes 1993, р. 11-12).

Нормо-ориентированный тест определяет уровень обученности и/или языковой компетенции учащегося относительно других учащихся. Нормой считается показатель владения иноязычной речью, определяемый тем или иным способом. Нормы могут быть соотнесены с такими факторами, как возраст учащихся, продолжительность предшествующего обучения. Традиционные экзамены и контрольные работы были ориентированы в основном на нормы, в последнее же десятилетие все большее предпочтение отдается тестам, ориентированным на определенные критерии (criterion-referenced tests). Критериально-ориентированный тест определяет уровень обученности учащихся относительно определенного критерия. Этот критерий устанавливается без учета различий, которые могут существовать между учащимися.

Противопоставление нормо-ориентированных тестов критериально-ориентированным является до некоторой степени искусственным, так как большинство тестов ориентируется и на нормы, и на определенные критерии.

Приемы контроля — это конкретные действия учителя, направленные на контроль сформированности речевых навыков и умений, на определение уровня обученности. Приемы контроля реализуются в разнообразных видах и формах контроля, включая лингводидактическое тестирование (см. Test, с. 189). Testing в сочетании testing techniques соответствует термину «контроль» в широком толковании (см. Testing, 1, с. 188).

Наряду с термином testing techniques используется термин test method (Bachman 1990).

Между приемами контроля и приемами обучения (см. Techniques, с. 124) существует неразрывная связь и взаимное влияние как проявление единства обучения и контроля. Фактически большинство приемов обучения могут быть использованы как приемы контроля, иными словами, большинство приемов контроля повторяют приемы обучения. Ряд тестов (в широком понимании термина — объективные и субъективные тесты), в которых реализуются приемы контроля, и тренировочные упражнения, в которых реализуются приемы обучения, совпадают, но, в отличие от упражнений, тесты:

направлены на проверку уровня сформированности речевых умений;

могут быть использованы в более свободной последовательности;

исключают подсказки, пояснения, ориентировочную основу;

предполагают жесткую регламентацию по времени;

выполняются чаще индивидуально и реже в парном или групповом

При тестировании отмечается повышенная мотивированность обучаемых, нацеленных на успешное выполнение задания.

Что касается объективных тестов, то их составление требует соблюдения строгих технологических правил, в отличие от технологии составления тренировочных и традиционных контрольных упражнений.

См.: Davies 1990, р. 17; Alderson et al. 1996, pp. 41-42; Брейгина 1991; Симкин 1996; Товма 1996.

Методика восстановления (дополнения). Учащимся (испытуемым) предъявляется связный текст, в котором преднамеренно пропущены отдельные слова. Испытуемые должны вставить слова, подходящие по смыслу, восстанавливая таким образом деформированный текст. В данном случае имеет место прогнозирование лингвистических элементов на уровне слова с опорой на неполноценный контекст.

При «препарировании» текста в нескольких предложениях в начале текста пробелы не делаются, чтобы испытуемые могли ознакомиться с темой. Не рекомендуется использовать узкоспециальные тексты и тексты, содержащие большое количество фактов. Пропуск слов может быть фиксированным и нефиксированным. При фиксированном пропуске слов (fixed-ratio method или standard cloze procedure) из текста удаляется каждое энное слово (где п колеблется от 5 до 10). Нефиксированный пропуск слов (variable-ratio method) осуществляется в зависимости не от порядкового номера слова, а от избранного критерия: например, удаляются некоторые знаменательные слова (только существительные, прилагательные и т. п.) или служебные слова. Выбор той или иной разновидности методики дополнения зависит от конкретной цели.

• для определения читабельности (степени сложности) текста при отборе материала для чтения (readability test: Nuttall 1982, p. 29);

• для создания клоуз-тестов, проверяющих уровень понимания текста и оценивающих владение языком (см. ниже, Cloze test);

• для разработки тренировочных (подготовительных) упражнений на заполнение пропусков (см. Gap-filling, с. 136);

• для анализа ошибок и определения эффективности обучения (Oiler 1992, р. 348).

Впервые методика восстановления была использована для измерения читабельности текста (Weir 1990, р. 46; Heaton 1994, р. 131), но впоследствии стала широко применяться как средство контроля в виде клоуз-тестов.

При проверке заданий, основанных на методике дополнения, и их оценке в качестве правильного ответа зачитывается каждое точно восстановленное слово (exact word method) или любое слово, удовлетворяющее данному контексту (acceptable word method, contextually appropriate method). Во втором случае не исключается субъективная оценка со стороны тестирующего.

Клоуз-тест — тест восстановления или дополнения, один из приемов прагматического тестирования, основанный на методике восстановления (см. выше, Cloze procedure). Превращению целенаправленно деформированного текста в тест должна предшествовать трудоемкая работа по его экспериментальной проверке и стандартизации. При помощи клоуз-теста достаточно точно и объективно устанавливаются степень сформированности рецептивных лек-сико-грамматических навыков чтения и уровень понимания прочитанного. Клоуз-тест применяется также для оценки общего уровня владения языком.

В основе клоуз-теста лежит связный текст, а его восстановление требует взаимодействия различных навыков и умений — рецептивных и продуктивных. Испытуемый должен обработать смысловую информацию микроконтекста пропуска, проанализировать грамматическую схему этого микроконтекста, извлечь из долговременной памяти вербальные элементы, подходящие по смыслу и удовлетворяющие требованиям словосочетаемости (Ейгер, Рапопорт 1992). Как прием прагматического тестирования этот тест является интегральным, в отличие от дискретного теста множественнного выбора (см. ниже, Multiple-choice test). Клоуз-тест следит за процессом чтения, то есть контролирует понимание текста при чтении. Тест множественного выбора, напротив, соотносится с продуктом деятельности — чтения, а именно оценивает умение читающего интерпретировать извлеченную из текста информацию.

Некоторые авторы считают клоуз-тестами только тексты с фиксированным пропуском слов, то есть с пропуском каждого энного слова независимо от его функции в предложении (Alderson et al. 1995). Другие же понимают под клоуз-тестом не только тексты с фиксированным пропуском слов, но и с пропуском конкретных грамматических, лексических единиц или элементов дискурса, подлежащих тестированию (Carter 1991, р. 161).

См.: Hughes 1993; Красюк 1986; Коккота 1989; Поляков 1994.

Си-тест является разновидностью клоуз-теста (см. Cloze test, с. 198). Особенность си-теста заключается в том, что при его подготовке из текста удаляется вторая часть каждого второго слова вместо изъятия языковых единиц в целостном виде через больший интервал. Представленная первая часть каждого второго слова служит подсказкой для тестируемых при заполнении пропусков подходящими по смыслу словами. При проверке заданий в виде си-теста правильным считается каждое точно восстановленное слово (exact-word method).

Достоинствами си-теста считаются его экономичность и репрезентативность. В небольшом по объему тексте содержится большое количество пропусков. Проверка теста занимает мало времени и является объективной в силу однозначности ответов. Отличаясь надежностью, си-тест уступает другим приемам тестирования по такому критерию, как внешняя валидность (см. Face validity, с. 205), поскольку искаженный вид предъявляемого текста с большим количеством пропусков озадачивает и отталкивает испытуемых (Weir 1990, р. 46; Коккота 1989).

Тест множественного выбора. Психологической основой работы испытуемых с тестами множественного выбора является узнавание, сравнение и выбор, а отличительный внешний конструктивный признак этого теста — ряд выборочных ответов (options / alternatives), следующих за основой тестового задания, в которой преднамеренно пропущена одна языковая единица. Задача испытуемого — выбрать один правильный ответ из нескольких вариантов. В отличие от клоуз-тестов тесты множественного выбора являются дискретными и направлены на проверку владения языковым материалом и оценку сформированности, в основном, рецептивных навыков и умений (см. Cloze test, с. 198).

Очевидные преимущества тестов множественного выбора: надежность измерения, экономичность и быстрота. К недостаткам этих тестов можно отнести ограниченную сферу их применения, трудность составления методически грамотного теста и большую вероятность догадки при выборе правильного ответа. Самая значительная трудность при профессиональной подготовке теста множественного выбора заключается в поиске и выборе неправильных, отвлекающих ответов — distractors (Goodrich 1977).

Тест множественного выбора должен отвечать следующим основным требованиям (Heaton 1994, р. 30):

• задания должны быть краткими, точными, предпочтительно представленными в контексте;

• каждое задание должно иметь только один правильный ответ;

• в каждом задании проверяется только один элемент, например элемент грамматики или лексики;

• каждая альтернатива должна быть в грамматически правильной форме;

• оптимальное число альтернатив — 5 (многие авторы рекомендуют 4 альтернативы для грамматических единиц и 5 — для лексических).

Диктант — вид письменной работы, записывание под диктовку. Традиционно диктант широко использовался как средство обучения и средство контроля, в основном, орфографической грамотности. В методике обучения иностранным языкам разработаны различные виды диктантов: традиционный (словарный) диктант (standard dictation), частичный диктант (см. Partial dictation, с. 201), диктант-сочинение (dictocomp / dictogloss), диктант со звуковыми помехами (dictation with noise), самодиктант (self-dictation), парный диктант (mutual dictation) и др. (Hughes 1993; Wilberg 1996, p. 125; Глухов, Щукин 1993; Мильруд 1997).

Письмо под диктовку требует выполнения ряда действий и операций в условиях дефицита времени: определение смысла услышанного сообщения и его полное письменное воспроизведение. Это возможно при сформированности умений распознавать акустическую форму слова и соотносить ее с графическим образом слова, удерживать в памяти отрезки речевой цепи (Ейгер, Рапопорт 1991, с. 65).

Развитие идей прагматического тестирования в зарубежной методике послужило причиной «возрождения» диктанта как одного из приемов контроля для получения общей характеристики владения иноязычной речью испытуемыми в том случае, когда текст предъявляется со скоростью разговорной речи.

Последние годы отмечены интересом к диктанту не только как к одному из приемов прагматического интегрального тестирования, но и как к одному из приемов обучения. Новые, плодотворные идеи разработки различных видов диктантов изложены в книге: Davis and Rinvolucri 1993.

Частичный диктант — стандартизированное контрольное задание, сочетающее традиционный диктант (см. Dictation, с. 200) — записывание текста, воспринимаемого на слух, — с клоуз-тестом (см. Cloze test, с. 198). Учащимся предлагается письменный текст с пропусками отдельных слов, словосочетаний, фраз. В ходе прослушивания полной аудиоверсии того же текста учащиеся должны заполнить пропуски в его письменном варианте. Частичный диктант дает возможность комплексной проверки рецептивных навыков и умений.

Частичный диктант может быть использован и как тренировочное упражнение для развития умений в аудировании с извлечением выборочной информации (см. Listening for partial comprehension, с. 104).

Контроль сформированности рецептивных умений в чтении и аудировании. При контроле рецептивных видов речевой деятельности полезно иметь в виду две группы объектов контроля. Одна группа связана с результатом чтения или аудирования, то есть объектом контроля является понимание прочитанного или прослушанного текста. Другая группа связана с процессом становления и функционирования рецептивных речевых умений (Брейгина 1991, с. 25). Учитывая сходство психологического механизма рецептивных видов речевой деятельности, для проверки понимания прочитанного или прослушанного текста могут быть использованы сходные приемы контроля (тестирования), повторяющие собой приемы обучения:

• classifying (selection, matching, ranking, и др.) — упражнения на организацию языковых или речевых единиц,

• true-false statements — верные-неверные утверждения,

• mind-mapping — составление логико-семантической карты,

• information transfer / media transfer — перекодирование информации,

Для проверки сформированности умений в чтении и аудировании применяются лингводидактические тесты (см. Cloze test, с. 198; C-test, с. 199; Multiple-choice test, с. 199).

Тестовые задания могут выполняться одновременно с чтением или восприятием текста на слух, а также могут следовать за предъявлением текста (в этом случае они выполняются на основе припоминания). Контроль рецептивных умений на современном этапе отличается практически полным отказом от предъявления разрозненных высказываний, использованием аутентичных законченных текстов разного объема и увеличением протяженности текста, предназначенного для прослушивания. Указанные свойства, характерные для прагматического интегрального тестирования, повышают валид-ность рецептивных тестов (см. Testing techniques, с. 197; Pragmatic test, с. 193; Integrative test, с. 194).

Контроль сформированности продуктивных умений в говорении и письме. В силу особенностей процесса речепорождения и условий функционирования экспрессивной письменной и устной форм коммуникации для достижения большей валидности контроль сформированности умений в говорении и письме осуществляется разными приемами, которые, в свою очередь, повторяют приемы обучения этим видам речевой деятельности. В этом заключается одно из отличий контроля сформированности экспрессивной речи. Другим отличием является то, что при определении уровня владения продуктивными умениями сложнее решается проблема критериев, а сам процесс проверки отличается большей субъективностью, трудоемкостью (особенно при оценке письменных контрольных работ), а также имеет организационную специфику (см. Oral testing, с. 203).

Для проверки сформированности умений в экспрессивной устной речи (репродуктивной, продуктивной, диалогической, монологической) используются:

information transfer / media transfer — перекодирование информации,

drama — приемы драматизации (ролевые игры, сценарии и т. д.),

Указанные приемы контроля осуществляются в индивидуальном, парном и групповом режиме.

Для проверки сформированности умений в экспрессивной письменной речи используются различные виды письменных работ. Большинство из них представляют собой функциональные типы письменных сообщений (см. Types of writing, с. Ill):

• letter-writing in response to information — написание письма в ответ на полученную информацию (письмо-жалоба, письмо с выражением благодарности, поддержки или несогласия и т. д.),

• written commentary — письменный комментарий к полученной информации,

• information transfer / media transfer — перекодирование информации,

• dictation — различные виды диктантов (см. Dictation, с. 200),

• summary writing — письменное сообщение, представляющее полученную информацию в сжатом виде (краткое изложение, рецензия, аннотация и т. д.); при этом степень компрессии может быть разной (см. Summarizing, с. 114),

• editing — редактирование собственных и чужих письменных произведений,

Устный контроль — проверка устно-речевой компетенции (сформированности слухопроизносительных и продуктивных лексико-грамматических навыков и умений устной речи). Устная форма контроля экспрессивной речи (устно-речевого общения) позволяет выявить наиболее важные для данного вида речевой деятельности свойства: речевую реакцию, речевые автоматизмы, спонтанность, темп речи. В устной форме можно проверить и понимание прочитанного (прослушанного) текста. Устный контроль может быть фронтальным, индивидуальным или групповым. Фронтальная проверка в виде опроса (oral test) наиболее удобна для текущего контроля, а индивидуальная характерна для итогового контроля и проводится обычно в виде собеседования (см. ниже, Oral interview; Production testing, с. 202). Подробно о приемах устного контроля см.: Underbill 1993.

Эффективное проведение устного контроля требует специфических профессиональных умений со стороны учителя иностранного языка: умение создать обстановку, благоприятную для контроля, стимулирующую речемыслительную и коммуникативную активность обучающегося; умение задавать наводящие, уточняющие вопросы, исправлять ошибки, формулировать оценки и рекомендации (об этом подробнее см.: Елухина, Жукова 1991).

Собеседование — прагматический тест устной коммуникации, один из приемов устного контроля (см. выше, Oral testing), прямое речевое взаимодействие между экзаменатором (interviewer) и учащимся (learner / interviewee) с целью определения уровня владения иноязычной устной речью (умениями аудирования, монологическими и диалогическими умениями). Экзаменатор, внешне выступая в роли собеседника, тем не менее обладает инициативой в разговоре, направляет речь учащегося в нужное русло, используя методические приемы, стимулирующие речемыслительную активность экзаменуемого и вовлекающие его в иноязычное общение. Несмотря на то что действия экзаменатора и экзаменуемого до некоторой степени запрограммированы, последний свободен в выборе ответов на вопросы, в изложении своих взглядов и оценок. Собеседование предполагает наличие тщательно разработанной шкалы оценок устно-речевой иноязычной деятельности (Underbill 1993, р. 54; Fulcher 1996).

6.4. Test validity and reliability — Валидность и надежность тестов

Валидность, одна из основных характеристик эффективности теста, включает в себя широкий круг понятий. В самом общем виде валидность показывает, что измеряет тест и насколько хорошо он это делает. Другими словами, валидность указывает на большую или меньшую степень пригодности теста для его использования с определенной целью. Многие зарубежные педагоги и психологи сходятся в том, что важнейшими сторонами этого показателя эффективности теста является обоснованность содержания, или содержательная валидность (content validity), сопряженная валидность (concurrent validity), прогностическая валидность (predictive validity / prognostic validity), конструктивная валидность (construct validity) и внешняя валидность (face validity). Различные стороны, или типы, валидности являются по существу разными способами ее определения.

Валидность лингводидактических тестов и других форм контроля усиливается за счет следующих параметров:

• использование аутентичных материалов в рецептивных тестах;

• создание ситуаций, приближенных к реальной жизни при контроле устно-речевых навыков и умений;

• использование коммуникативных заданий, отличающихся целевой направленностью, завершенностью и ориентированных на достижение результата (речевого продукта), особенно при контроле экспрессивной письменной речи.

• использование групповых, парных форм контроля.

Содержательная валидностъ лингводидактических тестов определяется тем, насколько полно и всесторонне тест охватывает учебный материал, для проверки которого он был сконструирован, и зависит от глубины предварительно проведенного составителями теста анализа учебного плана и программы, содержания учебников, от точности и полноты формулировок целей обучения. В языковых тестах содержательная валидность определяется использованием в них соответствующего языкового материала.

Сопоставительная валидностъ предполагает сопоставление результатов проведенного теста с результатами другого теста, самооценкой испытуемых, оценками преподавателей, которые были получены примерно в то же время. Результат сравнения обычно выражается в виде коэффициента корреляции.

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычислить, когда этот...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: