Previsão de risco de abandono de estudantes no Moodle

A partir da versão 3.4, o Moodle oferece um ferramental de Análise de Aprendizagem (Learning Analytics) implementado utilizando tecnologias de aprendizado de máquina de código aberto. Nesta versão 3.4, está disponível um modelo chamado “Estudantes com risco de abandono“. Vamos conhecer mais sobre este modelo.

O modelo em questão prevê quais estudantes estão em risco de não completar (abandonar) um curso no Moodle, com base no baixo engajamento do estudante. Neste modelo, a definição de “abandono” é “nenhuma atividade do estudante no último quarto do curso”.  Este modelo de previsão é utilizado o modelo de engajamento dos alunos conhecido como “Comunidade do inquérito (ou da ingação)”, do inglês Community of Inquiry, que consite em três partes:

• Presença cognitiva
• Presença social
• Presença do professor

Vejamos a seguir como estas construções são definida no modelo.

Funcionalidades

Através da abstração dos conceitos de “presença cognitiva” e “presença social”, este modelo de previsão é capaz de analisar e traçar conclusões a partir de uma variedade de cursos e aplicar essas conclusões para fazer predições sobre novos cursos, até mesmo cursos nunca ministrados no Moodle antes. Este modelo não se limita a fazer previsões sobre sucesso dos alunos apenas em cópias exatas dos cursos já oferecidos no passado.

Limitações

Este modelo de previsão assume que os cursos tem datas fixas de início e fim e não é projetado para ser usado com cursos que tem matrículas recorrentes. Modelos que suportem uma maior variedade de tipos de cursos serão incluídos em versões futuras do Moodle.

Como esse modelo assume que os cursos tem datas fixas, é muito importante definir as datas de início e fim dos cursos para utilizar esse modelo. Caso as datas dos cursos antigos ou dos cursos em andamento não estejam definidas, os resultados podem não ser precisos. Além disso, os cursos não serão inclusos no treinamento da rede caso sua data final seja anterior a sua data inicial.

Este modelo requer o uso de sessões dentro dos cursos, de forma a dividir todas as atividades em intervalos de tempo.

Cursos em que a data final está um ano ou mais a frente da data inicial não serão utilizados.

Este modelo requer uma certa quantidade de dados dentro do Moodle para fazer as previsões. No momento, apenas as atividades padrão do Moodle são incluídas no conjunto de indicadores. Cursos que não incluem diversas atividades padrão em cada “intervalo de tempo” terão um suporte de previsão de baixa qualidade. Este modelo preditivo será mais eficaz com cursos totalmente online ou “híbridos” ou “blended” com componentes online substanciais.

Como as datas finais dos cursos só foram introduzidas na versão 3.2 do Moodle, e como alguns cursos podem também não ter definido uma data de início, foi criado uma ferramenta de linha de comando que estima as datas de início e fim dos cursos com base nos logs de acessos dos usuários a estes cursos. É importante você revisar as datas estimadas para ter certeza que estão razoavelmente corretas.  Você pode encontrar essa ferramenta dentro do diretório do seu Moodle no caminho “admin/tool/analytics/cli/guess_course_start_and_end.php”.

Alvo

O alvo aqui é “estudantes com risco de abandono” (um alvo negativo) e é definido como: Estudantes inscritos não desempenham nenhuma atividade no último quarto do curso. Além disso:

1. 1. Inscrições nas quais a data de fim é anterior a data de início atual do curso serão descartadas das previsões
   2. Inscrições com duração maior que um ano serão descartadas
   3. A conclusão de curso pode ser usada como uma métrica de sucesso caso esteja habilitada
   4. Caso contrário, qualquer atividade feita no último quarto do curso será considerada como “não abandono”

Indicadores

Os indicadores podem ser definidos em qualquer nível de contexto. Os indicadores utilizados nesse modelo são baseados nos conceitos de “profundidade cognitiva” e “amplitude social”, que são implementados por cada um dos módulos de atividades padrão do Moodle.

Profundidade cognitiva

Profundidade cognitiva é uma medida da construção “presença cognitiva” dentro da estrutura teórica de Comunidades de Inquérito. Presença cognitiva é definida como “Até qual ponto os participantes em qualquer configuração particular de uma comunidade de inquérito são capazes de construir significado através de uma comunicação sustentada” (Garrison, Anderson & Archer, 2000, p 89). A presença cognitiva tem sido geralmente determinada em pesquisas através de análise manual de conteúdos. Nesse modelo, nós definimos esta construção baseado no tipo de atividade oferecida ao estudante e o ponto até o qual o aluno demonstra engajamento cognitivo naquela atividade. O nível de profundidade varia de 0 a 5, onde 0 indica que o aluno nem viu a atividade. Os níveis possíveis de profundidade cognitiva são:

1. 1. O aprendiz visualizou os detalhes da atividade
   2. O aprendiz submeteu algum conteúdo na atividade
   3. O aprendiz visualizou o feedback do professor/tutor ou de um colega na atividade
   4. O aprendiz forneceu feedback para o professor/tutor ou colega na atividade
   5. O aprendiz revisou e/ou reenviou conteúdo na atividade

Esse modelo começa definindo um valor máximo possível para a profundidade cognitiva de cada módulo de atividade. Por exemplo, o módulo Tarefa permite até no máximo uma profundidade cognitiva de 4. Em seguida veremos em mais detalhes como esses níveis são definidos para cada módulo padrão.

Uma vez que os níveis potenciais são definidos, cada estudante inscrito no curso é avaliado com base na proporção da profundidade cognitiva alcançada. Por exemplo, se uma atividade suporte até o nível 3 e o estudante alcançou o nível 3, o estudante está participando em 100 por cento do nível de profundidade cognitiva possível.

Amplitude Social

Amplitude social é uma medida da construção “presença social” dentro da estrutura teórica de Comunidades de Inquérito. Ela é definida como “A habilidade dos participantes em identificar-se com o grupo ou curso de estudos, comunicar propositalmente em um ambiente confiável, e desenvolver relacionamentos pessoais e afetivos progressivamente por meio de projetar suas personalidades individuais” (Garrison, 2009, p 352). No passado, a presença social geralmente era medida através de questionários pós-curso e análise manual dos discursos, embora existam cada vez mais tentativas de automatizar esse processo. Esse modelo implementa a presença social como “amplitude social” examinando a amplitude das oportunidades que o participante tem para comunicar com os outros. O nível de amplitude varia entre 0 e 5, onde 0 indica que o aprendiz não interagiu com ninguém. Os níveis de potencial amplitude social são:

1. 1. O aprendiz não interagiu com nenhum outro participante nesta atividade (por exemplo, ele leu uma página)
   2. O aprendiz interagiu com pelo menos um participante (por exemplo, submetendo uma tarefa, ou completando um quiz com notas automáticas que forneça feedback)
   3. O aprendiz interagiu com diversos participantes nesta atividade (por exemplo, incluindo um post no fórum, editando uma wiki, ou uma base de dados, etc)
   4. O aprendiz interagiu com participantes em pelo menos uma “rodada” de comunicações de ida e vinda
   5. O aprendiz interagiu com pessoas fora da sala de aula, por exemplo em uma autêntica comunidade de prática

Este modelo começa atribuindo um nível máximo potencial de amplitude social para cada módulo de atividade. Por exemplo, o módulo de Atividade permite no máximo uma amplitude social de 2. Em seguida veremos em mais detalhes como esses níveis são definidos para cada módulo padrão.

Uma vez que os níveis potenciais são atribuídos, cada estudante inscrito no curso é avaliado com base na proporção do potencial de amplitude alcançado. Por exemplo, se uma atividade suporta apenas 3 níveis de amplitude e o aluno alcançou o nível 3, o estudante está participando em 100 por cento da amplitude social possível.

Potencial nível dos indicadores para os módulos de atividades selecionados

O potencial de engajamento através de presença cognitiva e presença social constitui o Modelo Instrucional, que é um elemento chave na presença de ensino. O diagrama abaixo mostra o potencial cognitivo e a amplitude social de todas as atividades padrão do Moodle e algumas outras não-padrão. O diagrama tem um eixo horizontal, “Social Breadth”, para a “Amplitude Social”, quanto mais para a direita, maior essa amplitude; e no eixo vertical, “Cognitive Depth”, para a “Profundidade Cognitiva”, quanto mais para baixo, maior a profundidade cognitiva daquela atividade.

Ao categorizar cada atividade com base em sua profundidade cognitiva e amplitude social, nós podemos antecipar o nível de engajamento suportado (e possívelmente esperado) do aprendiz, mesmo sem um histórico de muitas ações de outros aprendizes naquela atividade. Perceba que níveis mais altos em cada eixo incluem todos os nívels mais baixos, ou seja, atividades que envolvem os estudantes e todos os colegas (nível 3) automaticamente inclui o nível 1 (apenas o estudante) e o nível 2 (o estudante e mais um). Em muitos casos o nível específico só pode ser determinado analisando as configurações  da atividade. Note que no modelo incluído na versão 3.4 do Moodle, apenas as atividades padrão são suportadas. As atividades não-padrão foram incluídas aqui como exemplos.

Analisável

O elemento “analisável” do Moodle para este modelo é o curso. Isso indica que o modelo irá iterar sobre os cursos do site e processar cada um, tanto para treinar o modelo quanto para fazer previsões. Previsões são feitas para cada entidade “amostra” no contexto do curso.

Por razões de escalabilidade todos os cálculos no nível de curso são executados para cada curso e os conjuntos de dados resultantes são integrados assim que a análise de todos os cursos do site seja terminada.

Amostras

Amostras no contexto de aprendizagem de máquina indicam uma unidade de análise. Nesse modelo, as amostras são as inscrições dos estudantes nos cursos. Previsões serão feitas para cada inscrição de estudantes em um curso, com base nos dados observados durante o treinamento do modelo com todas as inscrições de estudantes em cursos que já terminaram.

Amostras válidas

Amostras válidas são definidas para cada modelo, tanto para o treinamento quanto para as previsões. Para este modelo, o critério de uma amostra válida para treinamento é ser um curso terminado, com atividade; para as previsões, o critério é cursos em andamento.

Insights

Insights são as previsões específicas geradas por um modelo para cada unidade definida na amostra (nesse caso, inscrições de estudantes em um curso) no contexto de um modelo (nesse caso, cada curso). O contexto é utilizado para definir quem irá receber notificações com base na capacidade moodle/analytics:listinsights naquele contexto. Para esse modelo, essa permissão é dada ao papel de professor por padrão.

Nesse modelo, os insights são binários: “estudantes com risco de abandono” e “estudantes sem risco de abandono”.

Ações

Cada insight pode ter uma ou mais ações definidas. Para esse modelo, as ações são:

• Enviar uma mensagem para o estudante
• Ver o relatório de Outline para aquele estudante naquele curso
• Ver os detalhes da previsão
• Confirmar ciência da previsão
• Marcar a notificação como “não útil”

Recomendações de métodos de divisão do tempo

O método de divisão de tempo é selecionado quando o modelo é habilitado. Isso depende da duração dos cursos e da duração do período de inscrições (se houver). Se você quer ver as previsões nas duas primeiras semanas de um curso de 16 semanas, você deve utilizar “décimos”. (16 semanas são 112 dias, então as previsões serão calculadas para aproximadamente cada 11 dias). No entanto, se você quiser ver as previsões a cada duas semanas em um curso de 8 semanas, escolher “quartos” será suficiente. Lembre-se, o processo de avaliação irá iterar sobre todos os métodos de divisão de tempo selecionados, então quanto mais métodos de divisão de tempo habilitados, mais devagar será o processo de avaliação cada vez que ele for executado (e o modelo também irá levar mais tempo para treinar).