This page hosts a human evaluation study for the conversational agent I built during my PhD at LORIA, Controlled Conversational Models through Conversation-Dedicated Ontology, supervised by Mathieu d’Aquin (LORIA, CNRS) and Gaël Guibon (LIPN, Université Sorbonne Paris Nord).
The idea: guide the model with a conversation strategy defined from formal concepts and rules, giving a set of explicit constraints laid on top of a language model to make its behaviour more predictable and relevant to the use-case. The prototype simulates a job interview across five stages:
Phase 1 — Greetings and small talk2 turns
Phase 2 — Background and experience3 turns
Phase 3 — Technical discussion3 turns
Phase 4 — Short debate2 turns
Phase 5 — Summary and send-off2 turns
At each stage, the model is expected to respect constraints on language level, polarity, emotional tone, and fit with the current stage.
Taking part
For each context, you’ll see two possible responses and pick the one that fits best. You can also flag inconsistencies — the agent stuck in the wrong stage, contradicting itself, or forgetting something said earlier. No AI background needed, just read the guide first:
Questions, or want to take part? Get in touch.
Cette page présente une étude d’évaluation humaine pour l’agent conversationnel développé pendant ma thèse au LORIA, Controlled Conversational Models through Conversation-Dedicated Ontology, encadrée par Mathieu d’Aquin (LORIA, CNRS) et Gaël Guibon (LIPN, Université Sorbonne Paris Nord).
L’idée : guider le modèle par une stratégie conversationnelle définie à partir de concepts et de règles formalisés, apportant un ensemble de contraintes explicites posées sur un modèle de langage afin de rendre son comportement plus prévisible et plus pertinent pour le cas d’usage. Le prototype simule un entretien d’embauche en cinq étapes :
Phase 1 — Accueil et discussion informelle2 tours
Phase 2 — Parcours et expérience3 tours
Phase 3 — Discussion technique3 tours
Phase 4 — Court débat2 tours
Phase 5 — Conclusion et prise de congé2 tours
À chaque étape, le modèle doit respecter des contraintes de niveau de langue, de polarité, de charge émotionnelle et de cohérence avec l’étape en cours.
Participer
Pour chaque contexte, vous verrez deux réponses possibles et choisirez celle qui correspond le mieux. Vous pouvez aussi signaler des incohérences — l’agent resté bloqué dans une étape précédente, qui se contredit, ou qui oublie une information donnée plus tôt. Aucune expertise en IA n’est nécessaire, il suffit de lire le guide de l’annotateur :
Des questions, envie de participer ? Contactez-moi.
