Учебная аналитика
Термин аналитика широко используется в бизнесе и науке по отношения к компьютерному сбору данных, которые могут использоваться при принятии решений.
Содержание |
Определения
- Учебная аналитика
- Learning analytics - измерение, сбор, анализ и представление данных об учениках и их действиях с целью понимания и оптимизации учебного процесса и той среды, где это этот процесс происходит.
- Использование данных и моделей для прогнозирования успеваемости и достижений, а также способность действовать на основе этой информации - http://nextgenlearning.com/The-Challenges/Learning-Analytics
- Набор методов, позволяющих учителям и ученикам лучше понимать происходящее в учебном процессе.
- Шнейдер - аналитика учебного процесса - http://edutechwiki.unige.ch/en/Learning_process_analytics
- Шнейдер и соавторы определяют аналитику учебного процесса как набор методов, которые позволяют обучающим и обучаемым лучше понимать события, происходящие в рамках учебного сценария - над чем работают участники, как они взаимодействуют, что они создают, какие средства они используют, в какой среде они протекает учебная деятельность. В центре внимания проектно-ориентированный и студентоцентрированный дизайн - проектное, исследовательское, проблемное обучение.
Набор методов, позволяющих субъектам образования принимать решения на основании данных, собираемых компьютерами. Учебная аналитика использует интеллектуальный анализ данных (Data Mining) - совокупность методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Одно из важнейших назначений методов интеллектуального анализа данных состоит в наглядном представлении результатов вычислений (визуализация), что позволяет использовать этот инструментарий людьми, не имеющими специальной математической подготовки.
Возникновение учебной аналитики связано ростом числа данных о деятельности учеников, которые могут быть собраны компьютерами, для дальнейшего использования в учебном процессе. В тех случаях, когда участие субъекта образования в учебном процессе опосредовано цифровыми устройствами, данные о поведении участника автоматически могут быть получены, сохранены и использованы для анализа.
Где осуществляется учебная аналитика?
Системы управления обучением
- Аналитика процесса обучения
- Комплексные интерактивные системы, такие как системы управления обучением, собирают огромное количество данных, описывающих поведение пользователей. Эти данные могут быть использованы в качестве основы для огромного количества исследований. Кроме того, существует острая необходимость в таких исследованиях для улучшения структур этих систем и выявления их недостатков. Особенно интересной областью для исследований является поиск частотных навигационных моделей в пользовательских данных, записанных в лог-файлах или базах данных.
- Аналитика в LMS
- Сбор данных по действиям учеников внутри системы и дальнейшая визуализация этих данных для преподавателя, чтобы он мог проследить за действиями обучаемых.
Среды общего назначения
Это различные CMS общего назначения, блоги, вики, документы Google и другие среды совместной деятельности, которые разрабатывались для сетевой деятельности, но не были специально созданы для нужд образования. Преподаватели успешно работают в этих средах, но каких-то специальных средств для анализа учебной деятельности здесь нет. В связи с этим и для учителей и для учеников трудно отслеживать совместную деятельность.
Пример - http://hapara.com/ - мониторинг и визуализация того, что происходит в среде Google Apps
Возможности и трудности учебной аналитики
Несмотря на огромные потенциальные возможности, которые содержит учебная аналитика, ее методы практически не используются для анализа учебного процесса, в связи с отсутствием опыта использования данных как индикаторов учебной деятельности.
Даже в тех случаях, когда исследователи заинтересованы в получении данных о сетевой структуре организации и сетевых взаимодействиях субъектов образования, основным методом исследования остается анкетирование. В качестве примера можно привести исследование К.М. Ушакова, в котором он выстраивает модель сетевой структуры взаимодействия учителей внутри образовательной организации на основании ответов на вопросы анкеты. Сама попытка диагностировать сетевую структуру образовательной организации представляется крайне интересной, но недостатки способа получения информации очевидны:
- Результаты основываются на ответах анкетируемых - анализируются представления, а не действия.
- Сбор и обработка данных занимает значительный период времени, в течение которого индикаторы могут утратить актуальность. Для управления развивающейся системой свежесть данных имеет значение.
- Данные и методы их преобразования доступны только исследователю, который эти данные собирает.
- Ушаков К.М. Диагностика реальной структуры образовательной организации // Вопросы образования. 2013. Т. 4. С. 241 – 254.
Отличия учебной аналитики от
| Педагогическая диагностика | Учебная аналитика |
|---|---|
| Результаты основываются на ответах анкетируемых - анализируются представления, а не действия. | Исходными данными являются записи компьютера о действиях ученика - время пребывания на страницах, созданные объекты, число и содержание редактирований. |
| Сбор данных для исследования является специальной процедурой, которая занимает значительный период времени, в течение которого индикаторы могут утратить актуальность. | Сбор и сохранение данных осуществляется непрерывно. |
| Данные и методы их обработки, преобразования и представления доступны только исследователю, который эти данные собирает. | Данные и методы их обработки и визуализации доступны и могут использоваться всеми субъектами образования для корректировки своей деятельности |
Педагогические смыслы учебной аналитики
| Педагогические критерии | Сетевые показатели | Индикаторы |
|---|---|---|
| Критерии | Показатели | Индикаторы |
| Критерии | Показатели | Индикаторы |
| Критерии | Показатели | Индикаторы |
| Критерии | Показатели | Индикаторы |
| Критерии | Показатели | Индикаторы |
| Критерии | Показатели | Индикаторы |
Методы учебной аналитики
Кластерный анализ
Массив данных обрабатываются с целью разбиения на кластеры.
Факторный анализ
Близкий к кластерному способ работы с данными.
Анализ социальных сетей
Источники данных для учебной аналитики
Вики метрики
Различные стратегии, методы и средства, которые позволяют измерять и анализировать деятельность участников (обучающихся) в вики.
Измерение вклада
Измерение взаимодействия (коллаборация)
- Разнообразие (diversity)
- Количество участников, которые работают над одной статьей или общим проектом
- Уровень взаимодействия
- Количество соавторов / к возможному числу участников
- Например, если из 10 участников 6 работают над этой статьей, то уровень коллаборации = 0.6
- Интерактивность
- Число редактирований
- Интенсивность
- Интерактивность / Разнообразие - т.е. число редактирований / число участников
Жизнеспособность (устойчивость) вики
- Roth C., Taraborelli D., Gilbert N. Measuring Wiki Viability: An Empirical Assessment of the Social Dynamics of a Large Sample of Wikis // Proceedings of the 4th International Symposium on Wikis WikiSym ’08. New York, NY, USA: ACM, 2008. С. 27:1–27:5.
Для оценки устойчивости и жизнеспособности вики использовались следующие показатели и их индикаторы
- Размер популяции U - количество зарегистрированных участников - число зарегистрированных участников = NUMBEROFUSERS 84 036
- Активность редактирования E - Общее число редактирований - NUMBEROFEDITS 1 566 510
- Количество контента - P - число полноценных страниц (статьи) - число полноценных статей в Летописи = NUMBEROFARTICLES 54 368
- Число администраторов A - NUMBEROFADMINS - 25
- Общее число страниц - NUMBEROFPAGES 280 252
- Число загруженных файлов F - NUMBEROFFILES - 108 741
Из этих имеющихся данных следуют индикаторы
- Активность редактирования = E / U
- Плотность редактирований = E / P
- Плотность пользователей = U / P
- Продуктивность пользователей (показатель обратный плотности пользователей) P / U
- Это достаточно нейтральный параметр. Как показывают данные из нескольких сообществ количество зарегистрированных участников и количество статей - достаточно близкие цифры. По ряду серверов участников даже больше. Т.е. есть участники, которые зарегистрировались и не написали ни одной статьи. Такое положение дел достаточно часто встречается в сетевых сообществах, поскольку обычное распределение соответствует цифрам 1:10:90 – 1% участников организует деятельность, 9 – 10 % активно участвуют и 90% наблюдают за деятельностью, не принимая участия. А вот снижение пользователей может служить тревожным показателем.
На 7 апреля показатель продуктивности составляет 0.69 - Плотность администраторов = A / P
Учебная аналитика на страницах Летописи
- Патаракин Е.Д, Катков Ю.В. «Использование викиграмм для поддержки совместной сетевой деятельности» –«Образовательные технологии и общество» (Educational Technology & Society) 2012, апрель 2012, с. 536 - 552 http://ifets.ieee.org/russian/depository/v15_i2/html/13.htm
- Патаракин Е.Д., Включение участников открытых сетей в исследовательскую деятельность. ГАУДЕНАМУС: Психолого-педагогический журнал 2/2010 Тамбов, с. 62 - 67.
- Патаракин Е.Д., Культура 2.0 - совместное творчество и совместное исследование. Образовательные технологии и общество (Educational Technology & Society) Издательство Казанский государственный технологический университет, 2010, № 2, с. 302 - 315
- Патаракин Е.Д. От использования контента к совместному творчеству. Анализ сетевого проекта Летописи.ру // Вопросы образования. 2009. № 3. С. 114–129.
Литература
- Парагогика: синергия самостоятельной и организованной учебной деятельности - Перевод И.Травкина
- Y. Engestrom: From communities of practice to mycorrhizae, in H. Hughes, N. Jewson, L. Unwin (Eds.), Communities of practice: Critical perspectives. London: Routledge (2007). http://www.open.ac.uk/cetl-workspace/cetlcontent/documents/476902341f33c.pdf
- Dimopoulos I., Petropoulou O., Retalis S. Assessing Students’ Performance Using the Learning Analytics Enriched Rubrics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 195–199.
- Dyckhoff A.L. и др. Supporting Action Research with Learning Analytics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 220–229.
- Ferguson R., Shum S.B. Social Learning Analytics: Five Approaches // Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge LAK ’12. New York, NY, USA: ACM, 2012. С. 23–33.
- Ice P. и др. Introduction to Analytics for E-Learning. , 2011. С. 684–686.
- Knight S., Buckingham Shum S., Littleton K. Epistemology, Pedagogy, Assessment and Learning Analytics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 75–84.
- Lonn S., Aguilar S., Teasley S.D. Issues, Challenges, and Lessons Learned when Scaling Up a Learning Analytics Intervention // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 235–239.
- Schneider D. и др. Requirements for learning scenario and learning process analytics. , 2012. С. 1632–1641.
- Siemens G. Learning Analytics: Envisioning a Research Discipline and a Domain of Practice // Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge LAK ’12. New York, NY, USA: ACM, 2012. С. 4–8.
- Siemens G., Baker R.S.J. d. Learning Analytics and Educational Data Mining: Towards Communication and Collaboration // Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge LAK ’12. New York, NY, USA: ACM, 2012. С. 252–254.
- Tempelaar D.T. и др. Formative Assessment and Learning Analytics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 205–209.
- UNESCO IITE | E-library | Learning Analytics [Электронный ресурс]. URL: http://iite.unesco.org/publications/3214711 (дата обращения: 05.04.2014).
- Long, P. and Siemens, G., Penetrating the fog: analytics in learning and education. Educause Review Online, 46, 5, (2011), 31-40. http://www.educause.edu/ero/article/penetrating-fog-analyticslearning-and-education
- Упоминание учебной аналитики в блоге Галактики - https://edugalaxy.intel.ru/?automodule=blog&blogid=11&showentry=1031
