Ce billet de blogue fait partie d’une série réalisée en collaboration avec l’Université Brock. Rédigé par une étudiante du cours sur l’évaluation de programmes dans la pratique professionnelle, cet article décrit l’expérience directe d’une étudiante qui a réalisé une évaluation de programme dans le cadre d’un programme de stage avec les Penguins de Brock Niagara. Le présent article vise à fournir des réflexions et des pratiques exemplaires aux intervenants du domaine du sport qui mènent des évaluations de programmes dans des contextes similaires.

---

Les Penguins de Brock Niagara sont une organisation de para-sports de St. Catharines, en Ontario, qui offre une diversité de programmes (p. ex. natation, volleyball assis, et basketball en fauteuil roulant) aux jeunes et aux adultes ayant avec un handicap physique. L’organisation s’efforce d’offrir un environnement sécuritaire et sans obstacles dans lequel les participants peuvent être physiquement actifs, améliorer leur confiance et devenir des leaders communautaires bien équilibrés. 

En mars 2020, la pandémie de la COVID-19 a obligé le gouvernement de l’Ontario à fermer les entreprises non essentielles. Ces fermetures ont nécessité le passage de programmes en personne à une réalité virtuelle pour les Penguins – une réalité qui est devenue la norme pour de nombreuses organisations de sport dans tout le pays.  

Pour mon programme de stage dans l’organisation des Penguins, qui a débuté en janvier 2021, nous avons travaillé avec les intervenants pour concevoir et mettre en œuvre une évaluation de leurs programmes, dans le but d’étudier les conséquences de la transition d’un programme en personne à un mode virtuel sur le sentiment de confiance en soi et le niveau d’activité physique des athlètes.

Construire : Choisir les bons outils

Lors de l’élaboration de notre plan d’évaluation, une première étape importante a consisté à choisir les méthodes de recueil de données les mieux adaptées au contexte de notre programme, aux intervenants et aux besoins de l’évaluation. Pour évaluer la transition de programmes en personne à une modalité virtuelle des Penguins de Niagara, nous avons choisi deux méthodes de recueil de données : (1) les sondages et (2) les entrevues semi-structurées.

Sondages

Les sondages ont été choisis comme principale source de collecte de données parce qu’ils permettaient une certaine souplesse sur le plan du contenu et du style de questions, ainsi que de la rapidité de distribution (Newcome et Triplett, 2015). Plus précisément, nous avons choisi d’utiliser des sondages électroniques en raison de la nature d’éloignement entraînée par la pandémie. Les sondages électroniques sont une option économique aux sondages papier, peuvent être complétés dans un laps de temps relativement court et peuvent atteindre un large public (Newcome et Triplett, 2015).

Nous avons créé un sondage électronique pour cette évaluation en utilisant une plateforme de sondage en ligne gratuite (Google Forms), et avons distribué un lien vers le sondage aux participants du programme par courriel. Les participants comprenaient tous les athlètes inscrits des Penguins qui ont participé à un programme de forme physique virtuel qui s’est déroulé une fois par semaine à partir de janvier 2021. Les participants ont été sondés en mars, environ trois mois après le début du programme. Dans les sondages, les participants ont été invités à évaluer leur confiance et leur niveau d’activité physique pendant leur participation.

Lors de l’élaboration de notre sondage, nous avons appris que nous devions le construire puis le démolir pour nous assurer que nous posions les bonnes questions. Pour nous, les « bonnes » questions étaient :

• claires, précises et directes;
• pertinentes par rapport à nos questions d’évaluation;
• engageantes pour les participants, sans prendre trop de leur temps.

Notre sondage virtuel a été complété sur une période de deux semaines par neuf participants qui suivaient régulièrement le programme de forme physique hebdomadaire. Cela nous a permis de savoir si les participants pensaient que le programme virtuel avait une incidence sur leur adhésion à l’activité physique et sur leur confiance en eux pendant la pandémie de la COVID-19.

Entrevues semi-structurées

Les entrevues semi-structurées (réalisées virtuellement) ont été choisies comme outil complémentaire de recueil de données pour aider à examiner davantage l’effet des programmes virtuels des Penguins sur les niveaux d’activité physique et la confiance en soi des participants. Alors que les sondages nous ont permis de comprendre le « quoi » , les entrevues semi-structurées nous ont permis d’avoir des discussions approfondies avec nos participants pour comprendre le « comment » et le « pourquoi » (Crabtree et DiCicco-Bloom, 2006).

En utilisant des entrevues semi-structurées dans notre évaluation, nous avons pu en apprendre davantage sur la façon dont un échantillon de participants des Penguins a vécu les programmes virtuels. Cependant, nous avons également appris qu’il est important de réfléchir aux personnes à interroger afin de répondre au mieux aux questions spécifiques de l’évaluation. Par exemple, dans notre évaluation, nous avons choisi d’interroger les participants qui ont assisté à la fois aux programmes en personne (avant la pandémie) et aux programmes virtuels (pendant la pandémie). Il n’aurait pas été pertinent pour nous d’interroger un participant qui n’a connu qu’une seule forme de prestation, puisque nous leur avons demandé de comparer leurs expériences. Nous avons également estimé qu’il était préférable d’interroger les athlètes, plutôt que les entraîneurs et les animateurs, afin d’obtenir une perspective impartiale des programmes.

Lors de l’utilisation d’entrevues semi-structurées pour des évaluations de programmes, nous avons également appris qu’il est important de :

• Développer un rapport avec les participants en leur proposant de parler avec eux avant l’entrevue, en leur fournissant des exemples de questions, en leur expliquant clairement leur rôle dans l’étude et la façon dont leurs réponses seront utilisées, afin de vous assurer qu’ils sont à l’aise pour vous parler librement et ouvertement.
• Demander aux participants s’ils consentent à l’enregistrement de l’entrevue, afin qu’il soit facile de le réécouter et de se faire une idée précise des réponses des participants.
• Se pratiquer avec le guide d’entrevue (p. ex. entraînez-vous à interviewer un collègue ou un ami) pour optimiser le déroulement de la séance et renforcer l’engagement des participants.
• Envisager la présence d’un interprète ou d’un traducteur pendant l’entrevue pour faciliter la compréhension de la langue.

Les entrevues de suivi avec sept des neuf athlètes interrogés ont permis de clarifier la façon dont les programmes virtuels ont contribué à soutenir l’activité physique et le niveau de confiance des athlètes pendant la pandémie de la COVID-19, ainsi que la façon dont ils diffèrent des programmes en personne. Par exemple, comme dans le cas d’un cours en personne, un participant des Penguins a partagé ce qui suit :

« Il [le programme virtuel] permet d’établir une sorte de routine où l’on se dit que l’on doit s’entraîner à telle heure… Je ne peux pas le remettre à plus tard et trouver une excuse pour ne pas le faire. Il y a un rendez-vous prévu et des gens qui s’attendent à ce que vous soyez là. »

Démolir : Leçons apprises en cours de route

Grâce à notre évaluation, nous avons appris que les programmes virtuels menés par les Penguins de Niagara ont eu un effet positif sur le niveau d’activité physique des participants, ainsi que sur leur confiance en eux. De plus, malgré les nombreux défis que la COVID-19 a présentés aux organisations de sport communautaires, la pandémie a offert plusieurs avantages pour le processus d’évaluation.

Par exemple, au cours de la dernière année, la pandémie a accru l’utilisation de la technologie et permis l’examen d’entrevues et de plateformes de sondage virtuelles. Au lieu de créer des sondages sur papier et de les distribuer à des participants sélectionnés, nous avons pu partager notre sondage par voie électronique avec tous les participants au programme. De même, nous avons pu organiser des entrevues sur une plateforme de réunion virtuelle, où les participants pouvaient se sentir à l’aise dans leur propre environnement à la maison, choisir d’utiliser une caméra (ou non), et les entrevues ont pris moins de temps parce que les participants n’ont pas eu à se rendre sur un site sur place du programme pour y participer. Tout cela a augmenté la volonté des participants de participer.

Sur la base de cette évaluation, nous encourageons les autres programmes de sport communautaires à envisager de tirer parti de leurs ressources actuelles pour évaluer les parties d’un programme qui fonctionnent bien et celles qui pourraient être améliorées, en particulier compte tenu de la récente transition de nombreux programmes vers des environnements virtuels. Chaque évaluation est différente, et ce que j’ai appris, c’est que « construire et démolir » sont des étapes importantes pour sélectionner les bonnes questions, choisir les bons outils pour répondre à ces questions, et finalement répondre à ces questions de manière significative.

---

A propos de(s) l'auteur(s)

Nicole Quinlan est une étudiante de quatrième année en récréation et loisirs, avec une spécialisation en récréation thérapeutique. Elle est également étudiante stagiaire à l’hôpital de réadaptation pour enfants Holland Bloorview et prévoit s’inscrire au programme de santé mentale et de toxicomanie du Collège Fleming à l’automne 2021.

La Dre Meghan Harlow est instructrice à temps partiel au département des études sur les loisirs à l’Université Brock. Elle est également boursière postdoctorale à l’Université York. Ses recherches portent sur le rôle des entraîneurs dans le sport chez les jeunes enfants de moins de 6 ans et visent à mieux comprendre la prestation optimale de programmes sportifs pour les enfants d’âge préscolaire.

Références

Brock Niagara Penguins. (2021). Our Vision and values. Brock Niagara Penguins. https://www.niagarapenguins.org/beta/about/our-vision-and-values/

Crabtree, B. F. et DiCicco-Bloom, B. (2006). The qualitative research interview. Medical Education, 40, 314 à 321

Newcome, K. E. et Triplett, T. (2015). Using surveys. In Wholey, Hatry, & Newcomer (Eds.) Handbook of practical program evaluation (pp. 262 à 397). Jossey-Bass.

---

Les informations présentées dans les blogues du SIRC et les articles du SIRCuit sont exacts et vérifiées à la date de publication. Les développements qui surviennent après la date de publication peuvent avoir un impact sur l'exactitude actuelle de l'information présentée dans un blogue ou un article publié précédemment.