Le blog de C-Campus

Qu’est-ce que le retour sur les attentes (ROE) ?

Après l’omniprésence du retour sur investissement (ROI – Return on investment) dans les écrits et les discours relatifs à l’évaluation des formations durant des années, il est désormais question de retour sur les attentes (ROE – Return on expectations). Dans ces communications, le ROE est tantôt défini comme étant la réponse aux attentes de l’apprenant (ce qui relèverait plutôt du niveau 1 du modèle de Kirkpatrick), tantôt comme le degré d’atteinte des objectifs pédagogiques (donc plutôt du ressort du niveau 2), tantôt comme la montée en compétences de l’apprenant (donc le niveau 3). Certains considèrent aussi, à tort, le ROE comme étant une forme de “sous-ROI”. Verdict ? Aucune de ces définitions ne correspond au ROE tel qu’il a été défini et popularisé par les Kirkpatrick, car le ROE correspond au niveau 4 (ou, plus précisément, à la partie supérieure/à plus long terme de celui-ci). Explications.

Une erreur classique : penser l’évaluation après la formation

Il n’est pas naturel pour la majeure partie des professionnels de la formation de se poser des questions d’évaluation avant de s’intéresser à la formation en tant que telle. Ainsi, il est fréquent d’avoir travaillé sur le “produit” de formation (conception pédagogique, choix des formateurs / tuteurs / accompagnateurs, planification, etc.) sans s’être réellement interrogé sur les objectifs visés et les résultats attendus. Tenons-en pour preuve nombre de cahiers charges où l’absence d’objectifs concrets se fait cruellement sentir. Et, quand bien même ces objectifs existeraient, ils se situent généralement, au mieux, au niveau 2 de Kirkpatrick (objectifs pédagogiques ou d’apprentissage). Et quelques semaines ou quelques mois plus tard, le commanditaire viendra questionner le fameux retour sur investissement, alors que l’on n’aura que des preuves d’apprentissage à lui fournir…

Pour éviter cela, il est impératif de renverser cette logique, à savoir penser évaluation avant formation. L’évaluation permet de structurer complètement l’action de formation : comment savoir quels contenus délivrer, selon quelles modalités et avec quelles méthodes, si l’on n’est pas au clair sur les livrables ?

Des critères de succès aux critères d’évaluation

Dans l’expression “retour sur les attentes”, le mot le plus important est… attentes. OK, mais les attentes de qui ? Eh bien, pour les formations éligibles à une évaluation du ROE (généralement les formations stratégiques, qui concernent le cœur de métier, qui représentent des volumes et donc des coûts importants, etc.), ce seront les attentes des commanditaires d’un niveau hiérarchique élevé (par ex. une direction générale ou une direction opérationnelle/fonctionnelle). On exclut donc les formations à l’initiative d’un salarié et/ou de son manager, car une formation à destination d’un seul individu ne risque probablement pas de faire “bouger les lignes” au niveau des résultats organisationnels.

L’objectif va donc être de questionner ces commanditaires en amont de la formation, de façon à déterminer, à partir de leurs attentes plus ou moins bien formulées, des critères de succès desquels découleront des critères d’évaluation pertinents en aval. Logique imparable : ceux qui sont à l’origine de la demande de formation sont les mieux placés pour exprimer ce qu’ils en attendent. Évidemment, rares sont les commanditaires à arriver avec des critères précis… d’où l’importance de dépasser le stade des attentes initiales pour arriver aux véritables attentes, plus ou moins implicites, plus ou moins latentes. Pour y arriver, une question, une seule, qu’il va falloir répéter plusieurs fois. La question la plus puissante qui soit, que les adultes oublient souvent au contraire des enfants (et au grand dam, parfois, des adultes…) : pourquoi ?

Des attentes initiales aux objectifs stratégiques

Les habitués auront reconnu la méthode des “cinq pourquoi”, utilisée pour déterminer la cause racine et, dans le cas présent, pour remonter le fil des attentes, jusqu’à parvenir à des objectifs stratégiques.

Dans le livre L’évaluation de la formation (Dunod, 2017, 2e éd.), l’exemple donné est celui d’une responsable formation d’un enseigne bancaire qui, venue initialement avec un projet de formation en management, a fini par, à force de “pourquoi” (ou de “pourquoi est-ce un problème ?”, ou encore de “pour quoi”)…, admettre que ce projet était l’un des éléments contributeurs de l’objectif stratégique de l’entreprise qui était de devenir, d’ici trois ans, “la banque de proximité de référence auprès de ses clients, permettant d’augmenter de 2 % notre produit net bancaire.”

Le ROE n’est donc pas propre à chaque formation. Bien que pouvant évoluer dans le temps, le ROE est propre à chaque organisation et, donc, unique au sein de celle-ci. Le ROE correspond à la mission/raison d’être de l’organisation, associée à une certaine réalité financière. Après tout, si la formation concernée est réellement stratégique, elle devrait pouvoir être reliée à la stratégie, n’est-ce pas ? Dans des organisations marchandes, il sera fréquemment question de chiffre d’affaires, de bénéfices, de positionnement (par ex. “Être leader de tel secteur, en réalisant X euros de chiffre d’affaires”), tandis que dans les organisations non marchandes cela pourra être l’intérêt général qui sera mis en avant (par ex. “Fournir aux citoyens le meilleur niveau de service possible, en respectant les dotations budgétaires”, dans le cas d’une collectivité territoriale). Donc toujours un équilibre entre la mission/raison d’être et une certaine réalité financière.

Dans le cas de l’enseigne bancaire, le travail a consisté à affiner les attentes initiales (“La direction générale veut que l’on forme les managers”) et à les hisser jusqu’à un niveau stratégique. Pour initier l’échange et la succession de “pourquoi”, cette simple question est généralement suffisante :

En quoi cette formation sera un succès selon vous ?

Dans tous les cas, le but est de pousser ses interlocuteurs dans leurs derniers retranchements pour arriver jusqu’aux véritables résultats souhaités (le ROE). Et s’il s’avère que la formation n’a pas cette ambition, peut-être se limitera-t-on à une amélioration ou une modification des comportements/pratiques des salariés (niveau 3), ou encore à la transmission de savoirs, savoir-faire et/ou savoir-être (niveau 2). Et peut-être même que la seule justification inhérente à cette formation est que les salariés passent un bon moment… une évaluation de niveau 1 suffira alors.

Dans tous les cas, qui peut le plus peut le moins : il est essentiel de commencer le questionnement par le dernier niveau, pour que la commande et les critères de succès soient clairs, car de ceux-ci dépendront les preuves que l’on fournira en aval de la formation pour présenter les résultats de la formation. On cherche ainsi ici à éviter des “fouilles archéologiques” pour tenter de dénicher des indicateurs qui permettraient de démontrer un impact concret de la formation. Si ce travail n’a pas été fait en amont, votre évaluation ne sera qu’approximative… et les données fournies peut-être pas au niveau des attentes de vos commanditaires.

Penser ROE, c’est changer de posture face aux commanditaires

Il y a de nombreux avantages à cette manière de procéder dans notre relation aux commanditaires :

  • les commanditaires prennent conscience que la formation peut contribuer à l’atteinte des objectifs stratégiques de l’organisation et ne pas se limiter à des effets au niveau des salariés (niveaux 2 et 3 du modèle) ;
  • peut-être que le responsable formation et les commanditaires, du fait de cet échange, en arriveront à identifier une solution plus pertinente que la formation (évitant la dérive de la formation “solution miracle et réponse-à-tout”)… voire à conclure que le besoin n’est pas avéré ;
  • si le besoin est confirmé et que les commanditaires souhaitent s’engager dans cette voie, une discussion pourra s’ouvrir quant à l’adéquation entre les moyens engagés et les résultats souhaités (les ressources prévues sont-elles suffisantes ?) ;
  • mais c’est aussi le moment tout trouvé pour expliquer que la formation seule ne produira pas de miracle si elle ne s’inscrit pas dans un projet plus large, dans lequel interviennent d’autres actions et d’autres fonctions, en amont ou en parallèle du projet. Une excellente occasion de réunir autour de la table toutes les parties prenantes qui peuvent, là encore, contribuer à l’obtention des résultats souhaités.

Ainsi, le niveau 4 du modèle de Kirkpatrick (qui comprend le ROE) définit les résultats, non pas de la seule formation, mais d’un projet plus global dans lequel il y a une composante formation. Il est donc vain de vouloir isoler la part de responsabilité de la formation, comme le préconisent les adeptes du ROI. L’organisation est un système, un tout qui est la somme de ses parties. Vouloir séparer les éléments, vouloir persister dans le “silotage” et le découpage en fonctions bien distinctes est, au mieux, un manque de maturité managériale et organisationnelle, et, au pire, une tentative désespérée de prouver son utilité. Or, isoler c’est s’isoler soi-même. Penser en termes de ROE, c’est considérer qu’il vaut mieux intégrer les éléments plutôt que de les séparer. C’est le tout qui a une valeur.

Cet article est rédigé sur un MacBook Air (écran 13 pouces) d’une valeur initiale de 1 500 euros. Posez-vous la question : quelle est la valeur de la touche T ? Vous avez du mal à trouver une valeur précise ? À nouveau : c’est le tout qui a une valeur.

Et une fois le ROE identifié et bien formulé ?

Une fois que l’on a cerné le ROE (mission/raison d’être + réalité financière) et que les différentes parties prenantes s’accordent sur celui-ci, et donc que l’on est bien au niveau 4 du modèle, alors les étapes suivantes peuvent s’enchaîner pour concevoir une solution performante, combinant formation, évaluation et autres actions :

  • identifier les indicateurs avancés (la seconde partie du niveau 4) qui permettront de suivre, à cout terme (par ex. mois après mois), les effets concrets, observables et mesurables du projet (le ROE étant, lui, un résultat à plus long terme) ;
  • définir les comportements critiques (niveau 3), à savoir les pratiques que les apprenants devront mettre en œuvre en situation de travail au retour de leur formation, de façon à avoir un impact positif sur les indicateurs précédemment cités ;
  • identifier des actions à mettre en œuvre avant, pendant et/ou après la formation (niveau 3) pour favoriser le transfert des acquis (les “leviers” dans le nouveau modèle de Kirkpatrick) ;
  • définir des objectifs pédagogiques/d’apprentissage (niveau 2), cohérents par rapport aux comportements précédemment identifiés ;
  • concevoir une formation qui génèrera des réactions positives chez les apprenants (niveau 1).

À chaque étape, le responsable formation s’interroge ainsi sur les preuves qu’il devra fournir aux différents acteurs pour démontrer les effets de la formation. Il convient donc de présenter les résultats espérés à chaque niveau, avant même que le projet ne débute.

Une fois le dispositif d’évaluation conçu en amont, il conviendra de le mettre en œuvre et de piloter le projet au long cours, quitte à enclencher des actions correctives si les résultats ne sont pas au rendez-vous, et ce, jusqu’à la présentation finale des résultats aux commanditaires.

Permettant de s’assurer de l’alignement de la formation (et des autres actions) sur les objectifs les plus élevés de l’organisation, le ROE est donc l’indicateur le plus important pour démontrer la valeur ajoutée de la formation.

Les prochaines sessions du programme de certification à l’évaluation Kirkpatrick Four Levels® (niveau bronze).

 

Vous souhaitez en savoir plus sur la mise en œuvre du nouveau modèle de Kirkpatrick et l’évaluation du ROE ? N’hésitez pas à vous inscrire à l’événement “Le Printemps de la formation“, organisé par Unow, durant lequel j’aurais l’occasion de coanimer un webinaire sur le thème de l’évaluation de l’efficacité des formations, le mercredi 22 mai 2019.

Jonathan Pottiez

Jonathan Pottiez

Vous avez apprécié cet article, abonnez-vous au blog ! 

S'inscrire au Blog de C-Campus