Телеграм канал «Лаборатория онлайн-обучения»

Почему я ставлю высокие оценки проектам с проработанным исследовательским этапом?

Сейчас провожу оценку образовательных проектов премии Digital Learning в номинации «Тренажёры и симуляторы».

Хочу поделиться с вами одним наблюдением о том, насколько важны исследования перед запуском образовательного решения.

Мне поступают самые разные проекты. Одни представлены презентациями на 10 страниц, другие — на 50 и более. И, поверьте, я готов внимательно изучать даже самые объёмные материалы, если в них действительно раскрыта логика проектирования образовательного решения.

Недавно мне попался проект, который особенно заинтересовал своей исследовательской составляющей.

Не буду раскрывать название компании, но расскажу, что именно меня впечатлило.

Прежде чем приступить к разработке тренажёра, коллеги провели масштабную исследовательскую работу. Собрали обратную связь от сотен сотрудников, проанализировали рабочие встречи, изучили проблемы целевой аудитории и т. д.

Но самое интересное в том, что команда проекта для каждого сегмента определила конкретные затруднения, которые необходимо решить с помощью обучения на тренажёре.

Затем последовательно показали, как выявленные проблемы связаны с содержанием тренажёра и каким образом предлагаемое решение должно помочь их устранить.

Получилась очень стройная логика:
сегментация целевой аудитории → выявление проблем → формулирование продуктовой гипотезы → проектирование образовательного решения.

Мне как члену жюри особенно приятно видеть такие работы.

Сразу чувствуется серьёзная проработка исследовательского этапа и понимание того, как результаты исследования должны влиять на проектные решения.

Почему я считаю это принципиально важным?

Когда мы понимаем, с какими проблемами сталкиваются разные категории обучающихся, нам значительно проще проектировать содержание образовательного решения.

Представим, например, что мы разрабатываем тренажёр по работе с Excel.

У начинающих сотрудников возникают сложности с использованием базовых функций. У более опытных — с построением сводных таблиц, а у руководителей с тем, как анализировать данные для принятия управленческих решений.

Очевидно, что для этих трёх сегментов потребуются разные учебные задачи, содержание, критерии оценки и т.д.

И если мы провели эффективное исследование, то уже заранее можем определить, какие именно изменения в знаниях и умениях должны произойти у каждой группы, а затем проверить, удалось ли этих изменений достичь.

Что самое главное — нам становится проще обосновывать эффективность разработанного образовательного решения перед всей компанией.

Потому что теперь вместо того, чтобы ограничиваться показателями доходимости или положительными отзывами обучающихся, мы можем продемонстрировать, какие конкретные образовательные задачи были решены для каждого сегмента целевой аудитории.

Вот что даёт исследовательский этап!

Конечно, сами по себе исследования ещё не гарантируют эффективности тренажёра. Но они позволяют сформулировать обоснованные гипотезы и заранее определить, что именно мы будем проверять после внедрения.

💭 Отдельно хочу обратиться к коллегам, которые разрабатывают тренажёры, симуляторы и т.д., в том числе с использованием искусственного интеллекта.

Уделяйте исследовательскому этапу столько внимания, сколько он действительно требует.

Изучайте целевую аудиторию, сегментируйте её, выявляйте реальные проблемы, формулируйте гипотезы и только после этого переходите к выбору технического решения с описанием всех интерфейсов и пользовательского опыта.

Потому что даже самый технически совершенный тренажёр может оказаться бесполезным, если мы изначально не разобрались, какую образовательную задачу он должен решать.

Алиса, я уже давно не работаю в Университете Иннополис 😀

Вот тебе и нейросети...

Только верифицировать ответы и верифицировать, так как всё нейросетка берёт из открытых источников, а в них порой чушь, причём содержательная.

Коллеги, сколько в среднем времени тратите на верификацию ответов?

Кто будет вести занятия через три года?
Вижу, как многие преподаватели всё чаще задумываются о том, заменит ли их искусственный интеллект.

А я как раз готовлю учебную программу для одного из вузов, которую сам и буду вести.

И мне правда хочется, чтобы у коллег сохранялась конкурентоспособность в условиях стремительного развития ИИ. Чтобы они не задумывались о всяких заменах подменах преподавателей.

Поэтому, пока гиганты рынка учат преподавателей пользоваться генеративным ИИ для генерации контента, заданий, планов занятий и т.д., мы будем учиться решать с помощью ИИ сложные педагогические задачи.

Возьмём одно из моих занятий:



Соответственно, на нём будут подниматься вопросы:
🧳как, имея конкретный образовательный результат, вместе с ИИ определить, какое учебное содержание необходимо для его достижения?
🧳как установить связь между результатами обучения и изучаемыми материалами с помощью ИИ?
🧳как обнаружить содержательные пробелы и проверить, действительно ли выбранные материалы позволяют достичь запланированных результатов? и т.д.

У меня программа будет трансформационно-образовательной (методологию для её построения уже определил), поэтому на каждом вопросе дам провести рефлексию с позиции того, где преподавателю использовать Human-led, Human-in-the-loop, а где Agent-led

Почему я считаю это важным?

Потому что если ценность преподавателя заключается преимущественно в создании учебных материалов, то конкурировать с ИИ ему будет всё сложнее.
Если раньше носитель знаний был ценен, то сейчас я вижу кейсы, где ИИ-аватары преподавателей по содержанию, глубине и актуальности знаний становятся всё сильнее и сильнее, потому что во многих случаях для них контент верифицируют эксперты, а масштабировать таких ИИ-аватаров становится дешевле.
Поэтому мне неинтересно ограничиваться тем, что ИИ позволяет делать здесь и сейчас.

Уверен, что умение принимать педагогические решения с помощью ИИ даёт гораздо более устойчивое профессиональное преимущество, чем умение быстро генерировать учебный контент или планы занятий.

Краснодар, давайте встретимся!

Хочу собрать наше методическое сообщество на очную встречу, чтобы познакомиться, пообщаться и обменяться опытом. Приглашаю коллег из EdTech, корпоративного обучения и других образовательных ниш.

Предлагаю провести встречу на тему «Год спустя: как ИИ изменил нашу работу?»

Хочется обсудить, кто чем сейчас занимается, какие изменения произошли в наших рабочих задачах благодаря ИИ, что уже получается, а что по-прежнему вызывает сложности.

Чтобы встреча получилась содержательной, предлагаю такую повестку:

1. Кто мы сегодня?
Познакомимся (или познакомимся заново), расскажем, кто чем сейчас занимается и что изменилось в нашей профессиональной деятельности за последний год.

2. ИИ: ожидания и реальность
Обсудим, насколько активно мы используем ИИ, какие задачи уже ему делегируем, что оказалось полезным, а что не оправдало ожиданий.

3. «А можно подробнее?»
Поделюсь с вами исследованиями и кейсами по использованию ИИ в методических задачах и сделаю несколько выводов о них.

4. Что дальше?
Обсудим, какие форматы очных встреч нам интересны: разборы рабочих кейсов, практические мастерские, совместное решение методологических (или методических) задач, обмен образовательными решениями, встречи с приглашёнными экспертами и т.д.

Соберём предложения и выберем наиболее интересные направления для следующих встреч.

Пока встреча не утверждена. Сначала хочу понять, сколько человек заинтересованы в участии, и на основании откликов принять решение, будем ли её проводить.

Если вам интересно присоединиться, сделайте два простых шага 👇🏼

1. Вступите в нашу Telegram-группу: telemetr.me/metod_solution_krasnodar

2. Поставьте «+» в комментариях под сообщением с приглашением на встречу внутри группы.

Так я смогу оценить количество потенциальных участников.

Итоги подведу 27 октября. Если наберётся достаточно желающих и мы решим проводить встречу, уже вместе обсудим дату, время и конкретное место.

Буду рад увидеться!

Рынок образовательный
идёт в рынок технологический

Всё чаще обращаются разные команды, которые делают технические продукты для образования, чтобы мне либо принять участие в их исследовании, либо проконсультировать.

В основном, конечно, сейчас всё крутится вокруг ИИ.

И знаете, мне это очень напоминает тот период, когда все массово пошли делать онлайн-курсы. При этом понимание того, как вообще сделать образовательный продукт качественно, зачем там нужен педагогический дизайн, как исследовать аудиторию, как проверять результат и т.д., было далеко не у всех.

В итоге рынок довольно быстро расслоился. Кто-то научился очень хорошо продавать то, что было собрано буквально на коленке, а кто-то начал вкладываться в методологию, исследования, аналитику и т.д.

И уже потом постепенно стали появляться более серьёзные разговоры о том, а что вообще считать хорошим образовательным продуктом. Появились даже целые конференции, сообщества и т.д.

Мне кажется, что сейчас похожая история начинает происходить уже с ИИ-сервисами и образовательными платформами.

Потому что сделать вау-эффект из серии «Михаил, смотрите у нас ИИ за минуту проверил задание» не сложно. Но в реальной практике только на демо версиях всё выглядит «красиво».

Потому что дальше от меня начинаются уже более важные вопросы. Какую образовательную задачу вообще решает этот сервис? Что меняется у обучающегося? Он действительно начинает лучше учиться или просто быстрее получает готовый результат? Как мы вообще понимаем, что продукт работает, кроме того, что он что-то делает что-то быстрее? и т.д.

Мне кажется, что сейчас мы как раз находимся в точке, когда технологию уже научились очень хорошо показывать и продавать, а критерии качества её применения в образовании ещё только формируются.

И вполне возможно, что через какое-то время возникнет вопрос про то, что считать качественным ИИ-сервисом для образования.

В общем, есть ощущение, что пока на наших глазах появляется новый инфобиз.

Только теперь уже технологический.

Что думаете, коллеги ❓

Так сегодня выглядит деловая программа автора канала.

Никаких пиджаков и деловых лиц.

Только сплошное веселье 😀

💭 Я с уважением отношусь к работе исследователей и считаю, что появление подобных научных публикаций само по себе заслуживает положительной оценки.

Однако с точки зрения экспериментальной логики и обоснованности выводов у меня остаётся несколько вопросов 👇🏼

1. Почему для проверки сокращения трудозатрат авторы не использовали контрольное условие, в котором преподаватели разрабатывали бы аналогичные материалы традиционным способом?

2. Можно ли считать экспертную оценку качества разработанных материалов доказательством их образовательной эффективности?

3. Как авторы установили, что повышение оценок связано именно с особенностями мультиагентной архитектуры?

На мой взгляд, этих трёх вопросов достаточно, чтобы обозначить определенные ограничения исследования (если к нему относиться как к научному исследованию).

Отдельно отмечу, что инструкции (или промты), с которых я начал свой разбор, стали для меня маркером недостаточной глубины методической проработки. Я сознательно ограничился этим аспектом, поскольку подробный анализ всех методологических вопросов превратил бы публикацию в объёмный академический текст, не слишком удобный для читателей канала.

Так какие в итоге выводы позволяет сделать это исследование?

Первый вывод — мультиагентная система способна генерировать образовательные материалы, которые эксперты считают пригодными для дальнейшей доработки.

Второй вывод — режимы работы AI-агентов с участием преподавателя получают более высокие экспертные оценки.

На мой взгляд, это как раз те результаты исследования, которые доказаны и заслуживают внимания.

Однако они сами по себе не доказывают образовательную эффективность созданных материалов или, например, преимущества именно мультиагентной архитектуры в разработке учебных курсов.