Travailler ensemble pour améliorer l’évaluation dans le secteur du sport : les enseignements d’un partenariat de recherche

L’évaluation des programmes est cruciale pour les organismes de sport. Par exemple, l’évaluation peut servir à démontrer l’incidence des programmes aux organismes de financement (comme Sport Canada) ou à éclairer les changements apportés aux programmes afin de mieux servir les sportives et sportifs. Cependant, de nombreux organismes de sport manquent de temps, d’argent, de connaissances et d’expérience pour entreprendre efficacement des travaux d’évaluation (Mitchell & Berlan, 2016 ; Lovell et al., 2016).  

Dans le but de combler une lacune à l’échelle du secteur en matière de capacité d’évaluation et d’améliorer nos pratiques d’évaluation internes, le Centre de documentation pour le sport (SIRC) s’est associé à Corliss Bean, PhD, CE, chercheuse et experte en évaluation de l’Université Brock. Ensemble, nous avons formé un partenariat de recherche axé sur la mise en œuvre d’une initiative d’application des connaissances visant à accroître les connaissances et les capacités en matière d’évaluation au sein des organismes de sport à but non lucratif au Canada. 

Dans cet article de SIRCuit, nous décrirons notre partenariat et notre processus de planification, d’exécution et d’évaluation de notre initiative d’application des connaissances. Nous partagerons également des conseils et des enseignements aux organismes qui souhaitent s’engager dans des partenariats de recherche. 

Cet article du SIRCuit est basé sur un article académique coécrit par le SIRC et Corliss Bean. Veuillez contacter le SIRC à l’adresse info@sirc.ca pour consulter l’article. Télécharger l’article ici.

Développer le partenariat 

En 2020, le SIRC a engagé Corliss Bean, PhD, CE, pour animer un atelier d’évaluation en deux parties pour les membres du personnel du SIRC. L’atelier nous a permis de réfléchir à nos pratiques en matière d’évaluation et d’identifier des façons de les améliorer. Grâce à cet atelier et à des discussions avec d’autres organisations sportives, nous avons réalisé qu’il y avait un besoin de formation sur l’évaluation dans le secteur du sport, car de nombreuses organisations n’avaient pas les connaissances ou les capacités nécessaires pour réaliser des évaluations significatives de leurs initiatives.  

Pour répondre à ce besoin, nous avons formé un partenariat de recherche. Lorsque des chercheurs et des parties prenantes ou des organismes communautaires se réunissent pour œuvrer vers un objectif commun qui profitera à la recherche et à la pratique, il en résulte un partenariat de recherche (Holt et al., 2018 ; Kendellen et al., 2017). Les objectifs de notre partenariat étaient de :  

1. Coanimer une série de webinaires axés sur l’enseignement des habiletés en matière d’évaluation qui combleraient les principales lacunes en matière de connaissances et amélioreraient les capacités d’évaluation dans le secteur du sport. 
2. Co-créer des ressources (par exemple, des feuilles de travail et des vidéos) qui accompagneraient la série de webinaires afin de faciliter l’assimilation des connaissances et d’améliorer la portée de l’initiative. 
3. Co-évaluer la série de webinaires et les ressources afin d’établir ce qui a bien fonctionné et ce qui pourrait être amélioré. 
4. Renforcer la capacité d’évaluation du SIRC afin d’accroître nos connaissances, d’améliorer nos programmes et de mieux servir le secteur du sport au Canada. 

Subventions Connexion

Principes de partenariat  

Afin de maintenir une relation positive et de nous engager mutuellement de manière significative, nous avons développé un ensemble de principes pour guider notre partenariat de recherche. Ces principes proviennent d’une liste établie à partir d’une synthèse de la littérature sur les partenariats (Hoekstra et al., 2020). Avec notre partenaire de recherche, Corliss Bean, nous avons identifié et convenu de principes qui, selon les deux partenaires, se traduiraient par un partenariat fructueux. Une liste de ces principes et des exemples de stratégies que nous avons utilisées pour soutenir chaque principe est présentée ci-dessous.

Orienter le processus  

Pour que les initiatives aient un impact, elles doivent être conçues de manière réfléchie en tenant compte des besoins des utilisateurs des connaissances (dans notre cas, les gestionnaires du sport). Afin de nous assurer que notre initiative a des répercussions favorables, nous avons guidé sa planification, sa mise en œuvre et son évaluation à l’aide du cadre de mise en pratique des connaissances [Knowledge to Action Framework ou KTA] (Graham et al., 2006). 

Le cadre KTA est composé de deux processus. Le premier processus est l’entonnoir de création de connaissances, que vous pouvez voir au centre de la figure 1. L’entonnoir de création de connaissances décrit le processus de création de nouvelles connaissances et leur synthèse en messages clés qui peuvent être partagés sous la forme d’outils et de produits. Le deuxième processus est le cycle d’action, que vous pouvez voir sur l’anneau extérieur de la figure 1. Le cycle d’action décrit le processus de conception, de mise en œuvre et d’évaluation de ressources, de programmes ou d’initiatives fondé sur des données probantes afin d’appuyer l’utilisation des connaissances dans la pratique.  

Notre initiative a été principalement guidée par le cycle d’action. Nous décrivons ci-dessous comment nous avons utilisé les étapes du cycle d’action pour guider la planification, la mise en œuvre et l’évaluation de notre initiative. Ces étapes peuvent servir de modèle pour orienter votre prochain projet d’application des connaissances. 

Étape 1 : Identifier le problème et déterminer l’écart entre les connaissances et l’action 

Nous avons identifié un besoin d’améliorer notre capacité d’évaluation interne et avons engagé un chercheur possédant l’expertise nécessaire pour nous aider. Conscients de l’existence d’une lacune plus large dans l’ensemble du secteur en matière de connaissances et de capacités en ce qui a trait à l’évaluation, nous avons formé un partenariat de recherche pour nous aider à combler cette lacune. 

Étape 2 : Sélectionner les connaissances et les adapter au contexte local  

En tant que partenariat, nous avons examiné la documentation sur l’évaluation dans les contextes d’organismes à but non lucratif et d’organismes sportifs pour voir ce qui avait été fait précédemment. Nous avons pris en compte nos propres expériences en matière d’évaluation et nous avons contacté d’autres organisations pour connaître leurs besoins. Ensemble, nous avons identifié trois sujets prioritaires reflétant les principales lacunes dans les connaissances en matière d’évaluation des secteurs à but non lucratif et du sport. 

Étape 3 : Évaluer les obstacles et les facteurs facilitant l’utilisation des connaissances  

Nous avons utilisé les résultats de notre analyse documentaire et nos expériences pour identifier certaines des principales raisons pour lesquelles les organisations ne procédaient pas à des évaluations. Les obstacles courants à la pratique de l’évaluation dans les organismes de sport à but non lucratif que nous avons relevés étaient les suivants : 

• le manque d’expérience ou de formation du personnel
• le manque de ressources opérationnelles
• des ressources financières limitées 

En comprenant ce qui empêchait les organisations de procéder à des évaluations, nous pouvions mieux concevoir des ressources pour les aider à surmonter ces obstacles. 

Étape 4 : Sélectionner, adapter et mettre en œuvre les interventions   

Nous avons prévu d’organiser des webinaires comme principale composante de notre initiative en raison du succès de la série de webinaires des experts du SIRC. Les webinaires sont géographiquement et financièrement accessibles à un large éventail de personnes, peuvent accueillir de nombreux participantes et participants simultanément, et peuvent être enregistrés et partagés à une date ultérieure. Pour accompagner les webinaires, nous avons développé et partagé des billets de blogue, des vidéos et des gabarits. Ces ressources présentent les connaissances partagées lors de la série de webinaires sous différents formats afin de favoriser l’apprentissage et l’application future des connaissances. Nous avons hébergé ces ressources dans une boîte à outils en ligne gratuite et facilement accessible sur la page web du SIRC. La série de webinaires et les ressources complémentaires ont aidé à surmonter les obstacles, notamment les ressources financières et les ressources d’évaluation limitées, et ont permis aux participantes et participants d’améliorer leurs connaissances en matière d’évaluation dans nos trois domaines prioritaires. 

Étapes 5 et 6 : contrôler l’utilisation des connaissances et évaluer les résultats 

Nous avons contrôlé l’utilisation des connaissances partagées dans le cadre de notre initiative et évalué leur incidence à l’aide d’un outil appelé le cadre RE-AIM (Glasgow et al., 1999). Un suivi et une évaluation réguliers (par exemple, après chaque webinaire) offrent une occasion importante de voir ce qui fonctionne ou ne fonctionne pas, et de procéder à des ajustements pour améliorer les résultats. Les définitions de chaque dimension du cadre RE-AIM et des exemples d’indicateurs que nous avons évalués pour chaque dimension sont présentés ci-dessous. 

1. La portée fait référence au nombre, à la proportion et à la représentativité des personnes touchées par l’initiative. Nous avons mesuré la portée à l’aide des formulaires d’inscription aux webinaires et des analyses des médias sociaux. Par exemple, nous avons évalué le nombre d’inscriptions, les caractéristiques démographiques des personnes inscrites (telles que leur rôle dans le sport, leur profession et leur province ou territoire de résidence) et le nombre de personnes qui ont consulté les promotions du webinaire et des ressources sur les médias sociaux.
2. L’efficacité fait référence à l’impact de l’initiative sur les résultats positifs et négatifs. Nous avons choisi d’évaluer l’évolution des connaissances en matière d’évaluation, la confiance dans les pratiques d’évaluation et les intentions d’appliquer les connaissances acquises sur chaque sujet d’évaluation. Nous avons mesuré ces résultats à l’aide d’un sondage envoyé aux participantes et participants immédiatement après chaque webinaire. Les résultats ont montré que la série de webinaires était largement efficace : 86 % des répondants ont signalé une augmentation de leurs connaissances, 73 % ont signalé une augmentation de leur confiance et 78 % ont prévu d’appliquer ce qu’ils ont appris. Au-delà de la série de webinaires, nous avons suivi le nombre de consultations des blogues, des vidéos et des ressources hébergées sur la page web du SIRC comme indicateur général de l’application des connaissances.
3. L’adoption fait référence au nombre, à la proportion et à la représentativité des structures et du personnel qui sont prêts à participer à l’initiative. Pour notre initiative, nous avons mesuré le nombre de participantes et participants et le taux de participation aux webinaires (la proportion de personnes inscrites qui ont effectivement participé) à l’aide des rapports générés par l’application Zoom. Notre taux de participation a été en moyenne de 51 % pour l’ensemble de la série de webinaires, ce qui correspond à la norme du secteur pour les événements virtuels (Bennet, 2023). 
4. La mise en œuvre fait référence à la mesure dans laquelle l’initiative a été mise en œuvre comme prévu. Les indicateurs de mise en œuvre comprenaient le nombre prévu par rapport au nombre réel de webinaires organisés et de ressources créées, ainsi que les commentaires des participantes et participants (recueillis par le biais du sondage de rétroaction après la présentation) sur ce qu’ils ont apprécié et ce qui pourrait être amélioré. Dans l’ensemble, l’initiative a été mise en œuvre comme prévu. Toutefois, les gens ont suggéré d’accorder plus de temps aux périodes de questions et de réponses, et ont encouragé les animatrices et animateurs des webinaires à inclure davantage d’éléments pratiques dans leurs présentations. Nous avons utilisé les commentaires recueillis après chaque webinaire pour améliorer les webinaires ultérieurs de la série. 
5. Le maintien fait référence à l’impact à long terme de l’initiative sur les résultats des participantes et participants (au-delà de 6 mois), ainsi qu’à la mesure dans laquelle l’initiative devient partie intégrante de la pratique organisationnelle. Nous continuons à contrôler et à évaluer le maintien en suivant le nombre de consultations des blogues, des vidéos et des ressources hébergées sur la page web du SIRC au fil du temps. 

Étape 7 : Maintenir l’utilisation des connaissances  

Les étapes du cycle d’action sont en fin de compte destinées à conduire à l’application durable des connaissances. Nous continuons à encourager l’utilisation des connaissances en partageant régulièrement les ressources que nous avons créées avec le secteur du sport par le biais du bulletin quotidien du SIRC et des médias sociaux. L’équipe du SIRC continue également à appliquer les connaissances et les compétences acquises dans le cadre de ce partenariat ainsi que les outils et les modèles que nous avons créés ensemble dans nos pratiques d’évaluation quotidiennes. 

Réflexions finales et principaux enseignements 

Ce partenariat de recherche a fourni aux deux partenaires les ressources et les capacités nécessaires pour développer et offrir une série de webinaires et des ressources en ligne afin d’améliorer les capacités d’évaluation dans le secteur du sport au Canada. Les clés de la réussite de ce partenariat ont été l’utilisation des cadres KTA et RE-AIM pour planifier et évaluer intentionnellement notre initiative du début à la fin, ainsi que l’identification et l’adoption d’un ensemble de principes pour guider notre partenariat dès le départ.  

Êtes-vous en train de développer un partenariat de recherche pour favoriser l’application des connaissances ? Voici trois conseils pour vous aider à démarrer :  

• Créez vos initiatives en pensant aux utilisateurs des connaissances : Tirez parti de vos expériences et communiquez avec les utilisatrices et utilisateurs des connaissances pour guider le développement de vos initiatives. Assurez-vous de les impliquer dès le début du processus afin de vous assurer que vos initiatives répondront à leurs besoins et réduiront les obstacles qu’ils rencontrent dans l’utilisation des connaissances.  

• L’évaluation est essentielle : Prenez le temps, au début de votre projet, de planifier la manière dont vous évaluerez chaque étape de votre initiative et veillez à communiquer avec votre partenaire pour identifier ce que vous devez mesurer (par exemple, les exigences des financeurs) afin d’évaluer l’impact de votre programme. Une évaluation efficace demande du temps et de la planification. Pour nous, les cadres RE-AIM et KTA se sont avérés des outils utiles pour guider notre évaluation.  

• Jouez sur vos points forts : au début de votre partenariat, discutez de ce que chaque groupe apportera à la table et identifiez qui s’appropriera chaque rôle et chaque activité avec le soutien de toutes les parties. Jouer sur les forces de chacun et communiquer régulièrement les besoins contribue à la réussite des partenariats.