Le programme de R&D

Comment s’assurer que Navi fonctionne bien ? En l’évaluant !

Les axes de recherche et développement

Le programme de recherche et développement (R&D) prévoit de montrer que les moteurs d’intelligence artificielle de Navi ont récolté suffisamment de traces d’apprentissage pour réussir à tourner.

Ainsi, le programme de R&D nous permettra de démontrer en suivant une démarche scientifique que Navi est utile aux professeurs dans leur enseignement de la lecture et de l’écriture au CP, CE1 et CE2.

Pour cela, nous avons défini des objectifs à atteindre et choisi des indicateurs pour les mesurer.

1. Les objectifs de Navi

Pour valider le bon fonctionnement des moteurs d’intelligence artificielle de Navi, nous allons observer :

  • le système expert : l’intelligence artificielle doit réussir à organiser et caractériser les contenus pédagogiques du catalogue de Navi à partir d’un arbre de compétences conçu par un pédagogue.
  • la mémorisation : l’intelligence artificielle doit réussir à personnaliser l’expérience de mémorisation des élèves en faisant des propositions d’exercices à réaliser à des moments précis.
  • la remédiation : l’intelligence artificielle doit réussir à personnaliser l’expérience d’apprentissage des élèves à travers des parcours pédagogiques différenciés.
  • le partitionnement de données (clustering) : l’intelligence artificielle doit réussir à former des groupes de niveaux homogènes. Cela sera évalué en seconde phase du partenariat d’innovation sur l’intelligence artificielle.

Pour résumer, si les professeurs saisissent suffisamment de traces d’apprentissage pour nourrir l’intelligence artificielle de Navi et que celle-ci parvient à leur faire des recommandations de contenus pertinentes selon les élèves, alors ce sera gagné !

Mais, comment le mesurer ?

2. Les indicateurs à suivre

Nous avons défini avec le ministère de l’Éducation nationale des indicateurs qualitatifs et quantitatifs à suivre tout au long du programme de recherche.

Par exemple, pour valider la mémorisation, nous proposons de suivre : la fréquence d’utilisation de Navi, sa durée d’utilisation, la mémorisation des élèves au bout d’un mois, puis de 3 mois.

Afin de mesurer l’impact de la remédiation, nous proposons de suivre : le nombre de recommandations choisies par les professeurs, le temps qu’ils ont investi et leurs impressions qualitatives et quantitatives sur le niveau de progression et d’homogénéisation de leurs élèves.

Dernière mesure et pas des moindres ! Pour évaluer la pertinence de Navi, nous proposons d’observer : la quantité d’évaluations par professeur rapportée au nombre d’élèves dans leur classe, les appréciations ergonomiques, les fonctionnalités utilisées et la densité des usages par classe.

En récoltant et en analysant ces données, nous serons en mesure de démontrer que les moteurs d’intelligence artificielle de Navi ont tourné et que sa mission est accomplie !