Искусственный интеллект стремительно меняет образование, но остается один вопрос: может ли ИИ действительно улучшить процесс обучения студентов, а не просто предоставлять ответы? В недавней исследовательской работе этот вопрос рассматривается на примере Phosphor — интерактивной платформы для учебников, работающей на основе ИИ и предназначенной для поощрения активного обучения путем встраивания викторин и сгенерированной ИИ обратной связи непосредственно в учебные материалы.

В статье представлены результаты пилотного исследования, проведенного в рамках вводного курса статистики в Дартмутском колледже, и предлагаются ценные выводы о том, как искусственный интеллект может быть использован для повышения вовлеченности, завершения чтения и академической успеваемости.

Что такое фосфор?

Phosphor — это интерактивная цифровая платформа для учебников, которая интегрирует искусственный интеллект непосредственно в процесс обучения. Вместо использования автономного чат-бота студенты читают учебные материалы, одновременно выполняя встроенные оценочные задания, за которые получают мгновенную обратную связь, сгенерированную искусственным интеллектом.

Платформа включает:

  • Интерактивные онлайн-уроки по учебнику
  • Встроенные тесты после каждого урока
  • Оценка ответов в свободной текстовой форме (ответы, сформулированные в виде предложений) с помощью ИИ.
  • Традиционные вопросы с множественным выбором
  • Контрольные работы для проверки усвоения материала
  • Чат-бот с расширенными возможностями поиска информации (RAG) для вопросов, связанных с учебным курсом.

Важно отметить, что участие было полностью добровольным и не влияло на оценки студентов по курсу.

Исследование

Пилотный проект был проведен в рамках вводного курса статистики с участием 151 студента, из которых 143 успешно завершили курс. Несмотря на отсутствие поощрительных оценок, исследователи отметили удивительно высокий уровень участия.

В исследовании рассматривались три основных вопроса:

  • Может ли искусственный интеллект повысить вовлеченность студентов в чтение учебников?
  • Улучшает ли формирующее оценивание с использованием ИИ результаты обучения?
  • Являются ли открытые вопросы более эффективными, чем тесты с несколькими вариантами ответа?

Высокая вовлеченность студентов

Уровень чтения по традиционным учебникам часто бывает низким: по оценкам преподавателей, только около 10–15% студентов выполняют заданные для чтения задания.

Результаты, полученные с использованием фосфора, существенно отличались.

  • Более 90% студентов использовали эту платформу.
  • Предполагаемый процент завершенного чтения резко возрос.
  • Многие студенты добровольно прошли большинство занятий, несмотря на то, что не получили за них зачетных баллов.

Полученные результаты свидетельствуют о том, что интеграция интерактивных оценочных заданий непосредственно в учебные материалы может значительно повысить вовлеченность учащихся.

Более высокая вовлеченность была связана с более высокими показателями эффективности.

Студенты, которые чаще всего взаимодействовали с платформой, как правило, показали лучшие результаты на итоговом экзамене.

Исследователи обнаружили:

  • Наблюдается сильная положительная корреляция между завершением урока и результатами экзаменов.
  • Даже с учетом предыдущей успеваемости, студенты, которые прошли больше заданий на платформе, показали существенно более высокие результаты на итоговых экзаменах.

Поскольку участие было добровольным, исследование не может доказать, что улучшение было вызвано исключительно использованием платформы Phosphor. Мотивированные студенты, естественно, с большей вероятностью будут использовать платформу и показывать хорошие академические результаты. Тем не менее, взаимосвязь оставалась значимой даже после статистической корректировки.

Вопросы с открытым ответом показали лучшие результаты, чем вопросы с множественным выбором.

Один из самых интересных результатов был получен в ходе неожиданного сравнения различных форматов викторин.

В течение семестра:

  • Первый модуль включал в себя как вопросы с множественным выбором, так и вопросы со свободным ответом, оцениваемые искусственным интеллектом.
  • Второй модуль почти полностью состоял из вопросов с несколькими вариантами ответа.
  • В третьем модуле снова использовались задания в свободной форме.

Исследователи отметили, что успеваемость студентов значительно улучшилась в модулях, содержащих вопросы с развернутым ответом. В разделе, состоящем только из вопросов с множественным выбором, дополнительное прохождение тестов показало незначительную измеримую связь с результатами экзамена.

Этот вывод подтверждает результаты педагогических исследований, свидетельствующих о том, что активное генерирование ответов способствует более глубокому обучению, чем простое распознавание правильного варианта.

Важность контрольных работ для повторения материала

Студенты, которые успешно прошли итоговые контрольные работы, неизменно показывали лучшие результаты, чем те, кто их пропустил.

Авторы объясняют это улучшение хорошо известными принципами обучения, в том числе:

  • Розыскная практика
  • Интервальное повторение
  • Чередование ранее изученных концепций

Эти методы способствуют долговременному запоминанию, а не кратковременному.

Примечательно, что студенты редко использовали чат-бота.

Несмотря на то, что Phosphor включал в себя чат-бота с искусственным интеллектом, способного отвечать на вопросы по учебному материалу, студенты использовали его сравнительно мало.

Согласно отзывам студентов, этому способствовали несколько факторов:

  • Доступ к универсальным инструментам искусственного интеллекта зачастую осуществлялся быстрее.
  • В содержании урока уже были даны ответы на большинство вопросов.
  • Встроенные викторины оказались для студентов более полезными, чем разговорный искусственный интеллект.

Это позволяет предположить, что ИИ может принести большую пользу в образовательном плане, если будет интегрирован в учебный процесс, а не функционировать как автономный помощник.

Ключевые принципы проектирования

В статье утверждается, что ИИ наиболее эффективен, когда он поддерживает активное обучение, а не заменяет его. Успешные образовательные системы на основе ИИ должны:

  • Интегрировать непосредственно в учебные материалы.
  • Обеспечьте немедленную формирующую обратную связь.
  • Оценивайте ответы в свободной форме, а не полагайтесь исключительно на вопросы с несколькими вариантами ответа.
  • Поощряйте тренировку навыков поиска и извлечения предметов.
  • Отслеживайте прогресс учащихся с течением времени.

Ограничения исследования

Хотя полученные результаты обнадеживают, авторы признают наличие ряда важных ограничений:

  • Данное исследование носило наблюдательный характер, а не являлось рандомизированным контролируемым исследованием.
  • Студенты сами выбирали, использовать ли платформу.
  • Исследование проводилось в одном университете.
  • Некоторые ответы в ходе опроса могут быть предвзятыми.
  • Различия между модулями курса касались не только типа вопросов, что затрудняло установление причинно-следственных связей.

Заключение

Исследование компании Phosphor предполагает, что искусственный интеллект обладает значительным потенциалом для улучшения высшего образования при непосредственной интеграции в учебный процесс. Искусственный интеллект, вместо того чтобы выступать в роли простого средства, предоставляющего ответы, представляется наиболее ценным, когда он побуждает студентов думать, извлекать информацию и получать немедленную обратную связь по своим собственным ответам.

Пожалуй, наиболее важный вывод заключается в том, что формирующее оценивание с использованием искусственного интеллекта, а не чат-боты на основе ИИ, может представлять собой наиболее эффективное применение больших языковых моделей в образовании.

Оригинальная исследовательская работа

Полный текст статьи можно прочитать здесь:

Баланс между эффективностью и вовлеченностью в интерактивных текстах (PDF)