Création d'un QCM

Théorie et quelques trucs

Certaines erreurs de conception (pour plus de détails également un court texte de Pierre Dillenbourg sur la création de questions fermées (orienté Authorware, pour le cours staf16), voir permettent à l'utilisateur du QCM de deviner la bonne réponse, il faut donc tenir compte de ces paramètres:

• Il est possible (et recommandé) d'insérer des distracteurs dans des propositions. Attention toutefois à prévoir des distracteurs pertinents par rapport au contenu (des erreurs fréquentes). Ne pas compliquer gramaticalement (à moins que cela ne soit justement le contenu testé) les questions ni les réponses proposées.
• il n'est la plupart du temps pas nécessaire d'insérer des propositions fantaisistes que l'utilisateur ne choisira pas (quoique, cela peut ajouter une note d'humour).
• Dans le même esprit de clarté (et afin de tester réellement ce que l'on veut tester), il est généralement recommandé d'éviter les formulations négatives dans les questions (et à fortiori les doubles négations).
• Plus le nombre de réponses proposées à l'utilisateur est grand, plus le test est discriminant, en réduisant la probabilité de répondre correctement au hasard.
• Dans la même optique, on peut inclure une réponse Je ne sais pas.
  Remarque: dans ce QCM, il n'y a pas pour l'instant de réponses neutres, chaque proposition est soit correcte soit fausse. De plus, la personne qui utilisera le QCM ne pourra pas ne pas répondre à une question.
• Le concepteur a tendance à placer les réponses correctes vers le milieux; il n'y a donc pas à hésiter à placer une bonne réponse au début ou a la fin d'une liste de propositions.
• On a également tendance à ne pas disposer la réponse correcte deux fois de suite au même endroit
• Les affirmations générales (tous, aucun, toujours, ..) sont le plus souvent fausses (et l'utilisateur le sait), alors que les affirmations nuancées ont tendance à être vraies.

Procédure pour créer le QCM

Pour crééer le QCM, vous allez alternez entre les 2 premières étapes décrites ci-dessous:

1. La question:
   • entrer la question
   • le nombre de réponses que vous prévoyez
   • illustrez (facultatif) la question par une image. Pour ce faire indiquer simplement l'adresse (URL de type http://.....) de cette image (format gif ou jpg)
   • pour la première question
     • spécifiez si les résultats s'affichent dans la même fenètre ou une nouvelle (cette dernière option permet de continuer à visualiser les questions en même temps que les réponses)
     • le titre qui apparaîtra en haut du QCM généré
   • (validez en cliquant sur le bouton correspondant)
2. pour les réponses, saisissez ensuite :
   • chacune des réponses possibles,
   • leur feed-back associé ainsi que
   • la qualité de la réponse (Vraie ou Fausse) (Remarque: il n'y a pas de contrôle de cohérence de la part du script, vous pouvez spécifier toutes les réponses comme correctes si vous le désirez)
3. avant d'entrer une autre question, vous pouvez créer le questionnaire en cliquant sur le bouton correspondant
4. Recommencer ces étapes jusqu'à obtention d'un qcm onctueux
5. une fois le questionnaire créé, il vous suffit de le sauvegarder en local et de lui donner l'extension .html (menu File, commande Save As dans Netscape 3.0 version ag)

Lors de la création du QCM, des petites fenêtres apparaissent et peuvent guider le concepteur dans son processus. Il s'agit soit d'un tip of the day, une suggestion facultative (ne dépendant pas du travail du concepteur), apparaissant avec une probabilité de 1/2:

• Affirmation générale
• Affirmation nuancée
• Insérer des distracteurs pertinents
• Propositions fantaisistes pas nécessaires
• Mettre la proposition correcte au même endroit
• Formulation négative de la question

soit de mises en garde quant à des erreurs possibles du concepteur.

• Eviter les formulations négatives si le concepteur écrit "ne pas" ou "n' pas" dans la question
• Plusieurs propositions lorsque le concepteur prévoit moins de 3 réponses et moins de 2 réponses dans 2 questions consécutives
• Eviter de placer la réponse correcte vers le milieu si le concepteur prévoit deux fois de suite d'insérer la réponse vraie au centre de la liste des propositions

Il est important de noter que les questions apparaîtront dans le QCM final dans le même ordre que celui que vous choisirez lors de la création.

Description du QCM généré

Lorsque l'utilisateur a répondu à toutes les questions, il clique sur un bouton et les résultats s'affichent. Pour chacune des quesions, s'afficent alors un rappel de la question, la réponse que l'utilisateur a sélectionné (de couleur verte si elle est correcte et rouge sinon) et le feed-back que le concepteur a prévu pour cette question; tout en bas le nombre d'erreurs total. Remarque: la couleur que prend la réponse de l'utilisateur est un structurant, il permet à l'utilisateur de rapidement visualiser qulles réponses sont correctes et lesquelles sont incorrectes. Remarquons encore que cette distinction colorée n'est pas indispensable à la compréhension du feed-back (tant mieux pour 8 % des hommes et 1 % des femmes).
Pour chacune des questions, une seule réponse est possible (radio button, 1 choix parmi N); par contre vous pouvez intégrer plusieurs réponses correctes. Si l'utilisateur ne répond pas à une question, le feed-back n'est pas affiché, et une fenêtre le convie à compléter la (les) question(s) manquante(s). Après avoir lu le feed-back, si l'utilisateur veut recommencer, il peut revenir en arrière (bouton Back), mais il faut savoir que toutes ses réponses auront été effacées, il devra recommencer et répondre à nouveau à toutes les questions (ceci pour des raisons de programmation principalement).
Voir un exemple de QCM achevé.

Dès que j'en aurais le temps, j'implémenterai un tuteur qui donnera des conseils quant aux différents points théoriques décrits plus haut. Une petite fenêtre apparaîtra, vous serez libre de tenir compte des conseils ou non. Je suis en train de développer ça (apparemment, j'aurai le temps). Bien, j'ai effectivement eu le temps.

Avantages

• ce script génère un QCM stand-alone, qui peut se suffir à lui-même, qui ne nécessite pas d'être intégré dans une structure plus complexe
• client-side scripting: pas besoin de modifier quoique ce soit dans le serveur pour que cela fonctionne
• il n'est pas nécessaire de connaître JavaScript puisqu'il est généré automatiquement

• Pour s'amuser.. voir par exemple le quizz que j'ai fait pour mon Dad: http://www.roiron.com
• plus sérieusement, au niveau pédagogique, et pour les raisons évoquées ci-dessus, ce n'est pas recommandé ni pour une évaluation sérieuse, une certification (étant donné la facilité pour connaître les bonnes réponses), ni pour le suivi d'un processus d'apprentissage long et complexe (tels ceux proposés par les étudiants du cours staf17 dans le domaine de la navigation côtière, pour lesquels il faut entrer un nom login permettant un suivi de l'apprenant: voir par exemple pc, dao ). Par contre, il est tout-à-fait possible d'envisager l'intégration d'un QCM dans une section d'enseignement à distance, par exemple ici pour enseigner les Paramètres du marqueur TD des tableaux en HTML (intégré dans le tutoriel-web en cours de développement). Remarquons encore toutefois certes et malgré tout que cette limitation n'est pas liée à ce support particulier, dont le côté sémio-technopragmatique n'étonnera personne, mais bien à l'utilisation que nous, êtres humains, en faisont. En effet, de nombreux livres dont la principale fonction est d'entraîner le lecteur sont accompagnés d'un fascicule en libre accès contenant l'intégralité des réponses. Le principes est donc le suivant: on suppose ici que l'utilisateur est animé d'une motivation interne, que sa volonté d'autoformation est aussi grande que le mont Everest est haut.

• Création et implémentation de catégories:
  permettre au concepteru de prévoir des questions qui seraient considérées comme équivalentes (mesurant le même facteur) et permettant de fournir à l'utilisateur un feed-back différencié sur ces catégories.
• Enregistrement des résultats:
  il devrait être possible de prévoir (nécessite du server-side scripting) un moyen de sauvegarder sur disque les résultats des utilisateurs et d'en garder une trace écrite, à des fins d'encadrement pédagogique plus intensif ou, plus simplement:
• un feed-back au tuteur:
  si le QCM est engagé dans une action pédagogique, on pourrait de manière assez simple implémenter l'envoi d'un e-mail au tuteur (en même temps que les feed-backs s'affichent pour l'utilisateur), qui contiendrait les résultats de l'apprenant au QCM.
• Comparaison avec d'autres résultats:
  dans la même optique que l'enregistrement des résultats, il pourrait s'avérer utile de donner la possibilité au concepteur de comparer l'utilisateur aux autres utilisateurs, de manère automatique. L'apprentissage par comparaison avec des pairs est également un argument intéressant: permettre à l'utilisateur de voir où il se situe comparativement à ses pairs.

Remarque: Si par hasard vous deviez modifier le QCM une fois sauvegardé localement, il faut éviter de le modifier avec un éditeur HTML (du type WYSIWYG) car le code javascript risque d'être effacé. Utilisez un éditeur de texte simple et sauvegardez les changements en mode texte.

Bien, je pense que l'on peut maintenant y aller