chapitre 4: Résultats et interprétation de l’étude de la validité prédictive de l’APS

Table des matières

L’annexe 6 présente les statistiques descriptives inhérentes aux variables à l’étude pour les deux cohortes qui ont constitué l’échantillon de notre recherche, soit les cohortes de 1995 et de 1996 (tableaux D1 et D2).

En 1995, nous avons réussi à récupérer 147 questionnaires relatifs à l’engagement au travail des enseignantes sur les 205 distribués, ce qui nous donne un taux de réponse de 72%. On peut constater que le critère de décision pour convoquer les candidats au test de l’APS a été fixé en 1995 à un rang centile collégial minimal de 33. Autrement dit, seuls des étudiants provenant des deux tiers supérieurs de la cohorte pour cette variable ont été retenus. Pour la cohorte 1996, ce critère avait été fixé à une cote de rendement collégial de 12.9 environ.

Le tableau 4-1 présente l’évolution de la taille des échantillons pour les deux cohortes allant de la convocation des candidats à la procédure de sélection jusqu’à la mesure de l’engagement dans l’enseignement pour la cohorte de 1995.

Signalons qu’au BÉPÉP, le nombre de candidats retenus est fixé selon le nombre de places disponibles aux stages pratiques, soit 270 places en 1995 (idem en 1996).

Nous pouvons ainsi déduire qu’il y a un effet de la restriction de la variance dû à la perte de sujets entre l’année de la passation du test de l’APS et l’année de la mesure de l’engagement dans l’enseignement.

Rappelons que le succès initial en enseignement est défini par les notes aux stages pratiques 3 et 4, les notes à chacun des items de ces stages et le score à l’engagement dans l’enseignement ainsi que les scores aux trois dimensions de l’engagement.

Pour déterminer l’éventuelle contribution de chacune des variables de l’APS dans la prédiction des variables dépendantes tout en tenant compte du dossier scolaire, nous avons repris à notre compte, comme indiqué précédemment, la même procédure d’analyse des données qu’avait utilisée Shechtman (1993).

Le tableau 4-2 présente les variables indépendantes et les variables dépendantes pour les deux questions de recherche.

Le tableau 4-3 présente les résultats de l’analyse de régression pour les étudiants de la cohorte de 1995 qui ont gradué en juin 1999 et dont nous avons mesuré l’engagement dans l’enseignement en juin 2000 (n=205). Il présente également les résultats de l’analyse de régression pour les étudiants de la cohorte de 1996 dont on a recueilli les résultats au stage pratique de troisième année (n=288) et au stage pratique de quatrième année (n=174). Pour alléger ce tableau, nous n’avons présenté que les résultats significatifs au seuil de signification de 5%.

Signalons que pour la cohorte de 1996, l’engagement dans l’enseignement n’a pas été mesuré. Pour chaque indicateur de succès initial en enseignement, la contribution additionnelle des six composantes de l’APS pour prédire les différentes variables dépendantes est indiquée. Nous obtenons ainsi une mesure du pourcentage de variance « expliquée » des variables dépendantes que permet l’ajout dans le modèle de régression des six variables de l’APS pour les cohortes de 1995 et 1996.

Les trois dernières colonnes de ce tableau indiquent respectivement les proportions de variance expliquée pour chacun des modèles, les gains en pourcentage de variance expliquée dû à l’ajout des variables de l’APS et enfin, le Cp de Mallows, une statistique qui indique jusqu’à quel point les modèles de régression sont biaisés ou encore affectés par une quelconque erreur d’échantillonnage.

Tableau 4-3 : La contribution des variables de l’APS en terme de proportions de variance expliquée pour prédire le succès au stage pratique 3, le succès au stage pratique 4 et l’engagement dans l’enseignement pour les étudiants des deux cohortes de 1995 et 1996.

Les indicateurs de succès initial en enseignement

Modèles de régression et

coefficients de régression standardisés correspondants

R2

Gain en R2

Cp de Mallows

La note au stage pratique (stage 3, 1995, n=204)

Modèle 1 : C + RCC

Modèle 2 : C + RCC (ß=.20*) + respect des personnes et esprit de collaboration (ß=.17*)

.029*

.055

.027*

-1.318

(p=3)

Items évalués en commun (stage 3, 1996, n=165)

Modèle 1 : C + CRC

Modèle 2 : C + CRC (ß=.14) + analyse, jugement et sens de l’éthique (ß=.22*)

.024

.072

.048**

0.609

(p=3)

Compétences personnelles et professionnelles (stage 3, 1996, n=287)

Modèle 1 : C + CRC

Modèle 2 : C + CRC (ß=.14) + analyse, jugement et sens de l’éthique (ß=.27*)

.025

.097

.073**

1.425

(p=3)

Appréciation du directeur de l’école (stage3, 1995, n=198)

Modèle 1 : C + RCC

Modèle 2 : C + RCC (ß=.11) + leadership et sens de l’organisation(ß=.18*)

.009

.042

.033*

1.371

(p=3)

Les attitudes personnelles

(stage 4, 1995, n=203)

Modèle 1 : C + RCC

Modèle 2 : C + RCC (ß=.04) + habileté à communiquer verbalement et non verbalement (ß=.19*)

.001

.035

.034*

-0.655

(p=3)

Les habiletés professionnelles de préparation

(stage 4, 1996, n=172)

Modèle 1 : C + CRC

Modèle 2 : C + CRC (ß=.16) + gestion de soi (ß= -.24*)

.022

.080

.058*

1.357

(p=3)

Action en classe, mise en oeuvre des activités d’apprentissage

(stage 4, 1996, n=172)

Modèle 1 : C + CRC

Modèle 2 : C + CRC (ß=.22*) + gestion de soi (ß= -.22*)

.041

.087

.046*

-0.732

(p=3)

Séminaire sur l’évaluation des attitudes

(stage 4, 1996, n=143)

Modèle 1 : C + CRC (ß=.29**)

Modèle 2 : C + CRC (ß=.29**) + respect des personnes et esprit de collaboration (ß=.29**)

Modèle 3 : C + CRC (ß=.30**) + respect des personnes et esprit de collaboration (ß=.50**) + ouverture d’esprit, créativité et curiosité intellectuelle (ß= -.34**)

.086**

.170

.246

.084**

.076**

3.190

(p=4)

Satisfaction au travail

(1995, n=135)

Modèle 1 : C+ RCC

Modèle 2 : C + RCC (ß=.023*) + ouverture d’esprit, créativité et curiosité intellectuelle (ß= -.19*)

.003

.039

.035*

0.311

(p=3)

Légende : RCC= rang centile collégiale, CRC= cote de rendement collégial, C= constante, *p<.05, **p<.01, p=nombre de variables indépendantes incluant la constante, n= nombre de sujets impliqués.

Les sections suivantes présentent l’interprétation de ces tableaux selon les variables dépendantes prédites.

Notons que la valeur du Cp de Mallows est toujours inférieure à la valeur de p (nombre de variables indépendantes dans le modèle, incluant la constante); nous sommes donc confiant que le modèle retenu comporte peu de biais.

Il ressort du tableau 4-3 que les habiletés de communication verbale et non verbale expliquent 3.4% de la variance des attitudes personnelles des stagiaires lors du dernier stage pratique pour les étudiants de la cohorte 1995, un pourcentage faible mais tout de même plus élevé que celui du dossier scolaire qui est presque nul. Ces attitudes personnelles étaient au nombre de deux : démontrer de l’accueil et de l’ouverture par rapport à soi et aux autres et faire preuve de confiance en soi (Université Laval, Faculté des sciences de l’Éducation, Bureau des stages d’enseignement, 1998).

Le respect des personnes est lui aussi relié à l’un des indicateurs de succès au stage pratique 4, soit les attitudes des stagiaires.

Par contre, une caractéristique personnelle de l’APS apparaît comme négativement reliée à la capacité de préparer la classe ou encore à la capacité de démontrer des habiletés jugées efficaces par les maîtres de stage. Cette caractéristique personnelle est la gestion de soi.

Ce résultat est un peu surprenant car il indique que plus les candidats aux études en enseignement ont des aptitudes élevées à avoir une bonne gestion d’eux-mêmes, ou encore une gestion positive de soi, moins ils sont habiles à bien préparer leur classe ou à agir en classe ou encore à démontrer des habiletés jugées efficaces lors du stage de quatrième année.

Mentionnons que lors de ce stage, le contenu à enseigner était livré le plus souvent la veille seulement au stagiaire. Ce dernier ne disposait donc que de peu de temps pour préparer correctement la leçon. Cela peut expliquer, en partie, cette corrélation négative entre la gestion de soi et l’habileté de préparation de sa classe.

Aucune des caractéristiques personnelles mesurées dans l’APS ne contribue à la prédiction du score moyen de l’engagement dans l’enseignement.

Si on veut prédire la première dimension de l’engagement qui est la satisfaction au travail, il appert que seule l’une des variables de l’APS, l’ouverture d’esprit (incluant la créativité et la curiosité intellectuelle) puisse la prédire. Par contre le coefficient bêta associé est négatif (bêta= -.19). Ainsi, plus les candidats ont un score élevé à l’ouverture d’esprit, à la créativité et à la curiosité intellectuelle, moins ils sont satisfaits de leur travail plus tard, une année après leur arrivée sur le marché du travail. Le pourcentage de variance expliquée est faible puisque seulement 3.5% de la variance peut être « expliquée » par cette composante de l’APS.

Ce résultat nous laisse perplexe. Toutefois, nous identifions une possibilité pour l’interpréter : celle de l’existence d’un biais lors de la sélection. Il se pourrait que les juges aient été systématiquement influencés par une définition erronée de ce qu’est un enseignement efficace. En effet, pour plusieurs enseignants, un enseignant efficace est celui qui prend le plus de place dans la classe, qui a une capacité de domination élevée. Pourtant, dans les faits, plusieurs recherches, comme celles de Aspy et Roebuck (1990), soutiennent le contraire.

Un enseignant efficace serait plutôt celui qui laisse de la place à ses élèves. Il leur laisse la parole en particulier et fait preuve d’un type d’ouverture d’esprit tout autre que celui qui aurait été pris en compte lors de la sélection des candidats aux études en enseignement en 1995.

Par ailleurs, la prédominance d’une fausse croyance à ce sujet dans des nombreuses écoles, pourrait expliquer le résultat négatif. Les candidats ayant le plus d’ouverture d’esprit et de créativité ne pourraient être pleinement satisfaits d’un milieu de travail qui valorise l’autoritarisme et le statu quo.

Les recherches de Aspy et Roebuck (1990) ont révélé à quel point une formation à la communication et aux relations interpersonnelles améliore l’efficacité de l’enseignement et l’apprentissage des jeunes élèves. Ces chercheurs en arrivent à la conclusion fondamentale suivante :

« ... le meilleur moyen pour les enseignants d’aider vraiment leurs élèves à apprendre et à mieux respecter la discipline, c’est de suivre un programme de formation qui leur enseigne systématiquement à employer des modes d’interaction et de communication efficaces (selon Carkhuff). » p. 16

En examinant à nouveau la définition des comportements qui étaient censés évaluer la présence seule de l’ouverture d’esprit, cela renforce notre interprétation. En effet, cette caractéristique regroupait en fait l’ouverture d’esprit, la créativité ainsi que la curiosité intellectuelle.

Les comportements associés à l’ouverture d’esprit sont le fait de prendre en considération l’opinion des autres, le fait d’exprimer sa confiance envers les jeunes, la reconnaissance aux jeunes du droit d’avoir des idées différentes des siennes, d’accepter les idées retenues même si elles ne sont pas les siennes et enfin d’exprimer son acceptation à l’égard des différences culturelles.

La créativité, elle, était évaluée avec les trois comportements suivants : le fait de susciter l’intérêt des autres par ses idées, proposer des solutions novatrices et proposer des activités dans une situation nouvelle. Enfin, la curiosité intellectuelle consistait à évaluer si le candidat cherchait à en savoir davantage en situation de résolution de problèmes.

Comme on le voit, les deux dernières composantes (la créativité et la curiosité intellectuelle) correspondent à une intervention beaucoup plus directe de l’enseignant et non pas seulement à sa capacité d’accepter et de prendre en considération la nouveauté et la différence.

Ainsi, si nous assumons que les juges étaient influencés par leur conception plus directive de ce qu’est un enseignement efficace, ils ont pu évaluer essentiellement les deux autres sous-composantes que sont la créativité et la curiosité intellectuelle.

On peut donc penser que l’ouverture d’esprit et la créativité constituent une composante polysémique et que les juges, à l’instar de la théorie de Aspy et Roebuck (1990) n’ont, en fait, tenu compte que des aspects de la créativité. Ainsi, nos résultats corroboreraient le constat de Aspy et Roebuck puisque les enseignants qui ne laissent pas de place à leurs élèves finiraient par être insatisfaits au travail. Comme le suggèrent les deux auteurs précités « les enfants n’apprennent pas des enseignants qu’ils n’aiment pas ».

Cette section présente les différentes valeurs prédictives (qui correspondent au coefficient de régression standardisé) de l’une ou l’autre des qualités personnelles telles que mesurés par l’APS pour expliquer les différents indicateurs de succès initial en enseignement que nous avons retenus dans cette étude soit les succès aux stages pratiques et l’engagement dans l’enseignement.

Le tableau 4-4 présente les variables de l’APS qui sont reliées à ces indicateurs de succès ainsi que le nombre de fois qu’elles le sont selon les cohortes étudiées. Ce tableau nous permet d’identifier les variables de l’APS qui sont les plus importantes dans le contexte qui nous intéresse car elles sont le plus souvent reliées aux différentes variables dépendantes.

*p<.05, **p<.01, n= nombre de sujets impliqués.

A la lecture de ce tableau, nous constatons donc que quatre variables de l’APS sont positivement reliées à l’un ou l’autre des indicateurs de succès initial en enseignement tandis que les deux autres sont négativement reliées à ces indicateurs.

Les variables de l’APS qui sont positivement reliées à ces indicateurs sont le respect des personnes et l’esprit de collaboration, le leadership et le sens de l’organisation, l’analyse, le jugement et le sens de l’éthique et l’habileté à communiquer verbalement et non verbalement. Par contre, la gestion de soi et l’ouverture d’esprit, la créativité et la curiosité intellectuelle sont négativement reliées à l’un ou l’autre de ces indicateurs.

Le respect des personnes ressort clairement comme étant la variable de l’APS la plus utile à retenir dans le modèle de sélection en terme de valeur prédictive additionnelle. En effet, cette caractéristique personnelle est reliée aussi bien pour prédire le succès des stagiaires qui ont subi le test APS en 1995 qu’en 1996.

L’analyse, le jugement et le sens de l’éthique apparaît aussi comme une variable importante car elle est reliée à deux reprises aux indicateurs de succès du stage 3 pour la cohorte des étudiants de 1996, soit la moyenne des items évalués en commun et les compétences personnelles et professionnelles.

Une quatrième variable intéressante est l’habileté de communication verbale et non verbale. Cette variable est reconnue comme importante pour déterminer le succès en enseignement. D’ailleurs, Shechtman (1983, 1989) reconnaît cette variable parmi les trois variables de son modèle APS. De même, nous retrouvons également le leadership comme variable ayant une valeur prédictive significative.

Par contre, il apparaît nettement que la gestion de soi et l’ouverture d’esprit sont négativement reliées aux indicateurs de succès initial en enseignement aussi bien pour la cohorte 1995 que pour celle de 1996. Rappelons qu’à partir de 1998, ces deux variables de l’APS ont été supprimées.

On constate que le dossier scolaire « explique » au maximum 8.6% de la variance d’un indicateur de succès initial en enseignement soit un séminaire sur l’évaluation des attitudes du stage pratique de quatrième année alors que lorsqu’on ajoute les variables de l’APS, on arrive à un pourcentage de 24.6% pour expliquer le succès à ce même séminaire.

Il apparaît donc que les variables de l’APS peuvent, du moins quelquefois, contribuer à ajouter une explication non négligeable au succès initial en enseignement. Par contre nous sommes loin des 68 % de variance expliquée qu’avaient trouvé Shechtman et Godfried (1993).

Certes, les pourcentages de variance expliquée additionnels ne sont pas toujours significatifs sur le plan scientifique, mais le fait que l’une ou l’autre des variables de l’APS ressorte à plusieurs reprises comme significativement reliées aux différentes variables dépendantes nous amène à conclure que le dispositif de sélection APS peut se montrer utile pour prédire le succès en enseignement.

Le prochain chapitre présente la conclusion de cette recherche. Ce chapitre expose une discussion générale des résultats trouvés, les limites de la recherche et quelques pistes de recherche futures.