Les évaluations : ce qui a changé

Il faut d’abord savoir que les échelles utilisées ont changé depuis la dernière enquête de 2003. Les compétences sont maintenant considérées comme un continuum d’aptitudes : les personnes sont plus ou moins compétentes dans un domaine, plutôt que simplement « compétentes » ou « incompétentes ». Il n’existe plus de seuil à partir duquel on peut distinguer ceux qui possèdent un niveau d’aptitude minimal dans un domaine de ceux qui ne l’ont pas. Le niveau 3 considéré longtemps comme un « seuil fonctionnel » ne peut donc plus être utilisé pour classer la population en deux catégories.

Les échelles de mesure sont graduées en fonction de la complexité des tâches de traitement de l’information dans les domaines de la littératie, de la numératie et de la résolution de problèmes dans un environnement à forte composante technologique. Dans chaque domaine, cette complexité est considérée comme l’addition de plusieurs facteurs : le type d’opérations cognitives requises pour accomplir une tâche, la présence ou non d’informations distrayantes, et la nature de l’information et des connaissances requises pour s’acquitter de cette tâche avec succès.

L’OCDE a divisé les échelles de compte-rendu de la littératie en cinq niveaux de compétence, avec une catégorie supplémentaire sous le niveau 1. Chaque niveau correspond à une description de ce que les adultes ayant des pointages particuliers peuvent faire concrètement.

Si un répondant obtient le pointage d’un niveau de compétence particulier, cela ne signifie pas qu’il ne peut accomplir des tâches des niveau supérieur, cela signifie que, même s’il réussit à accomplir des tâches des niveaux supérieurs, les probabilités sont faibles qu’il puisse le faire de façon constante.

Il est important de souligner que l’objectif du PEICA est de mesurer la répartition de la population adulte dans le spectre des aptitudes dans chacun des domaines évalués, et non de voir si les adultes ont atteint un certain niveau de compétence de base.

Des définitions différentes : la littératie et ses niveaux

Selon le PEICA, la littératie est la capacité de comprendre, d’évaluer, d’utiliser et d’analyser des textes écrits afin de participer à la société, d’atteindre ses objectifs, de perfectionner ses connaissances et de développer son potentiel. Cette définition met l’accent sur la gamme des processus cognitifs en jeu dans la littératie : elle souligne que la littératie va bien au-delà du décodage ou de la compréhension des textes, mais bien jusqu’à leur utilisation appropriée en contexte.

Le PEICA a évalué la littératie des personnes avec des textes imprimés et numériques (contenant en plus des menus, des barres de défilement et des liens hypertextes). Ces deux types de textes pouvaient avoir les caractéristiques suivantes :

  • Suivis, avec des phrases énonçant des descriptions ou des instructions,
  • Non suivis, avec par exemples des diagrammes ou des cartes,
  • Mixtes, avec les deux, par exemple, un article de journal illustré d’un graphique,
  • Multiples, comme un billet de blogue suivi d’une chaîne de commentaires.

Les niveaux de littératie :

Sous le niveau 1 : les personnes peuvent lire de courts textes, non-numériques et avec un vocabulaire limité, sur des sujets familiers et y localiser un élément d’information particulier dont la présentation est identique à celle de la question ou de la directive.

Niveau 1 : les personnes peuvent lire des textes numériques ou imprimés, suivis, non suivis ou mixtes, relativement courts, et y localiser un élément d’information identique à celui de la question ou de la directive, ou un synonyme.

Elles peuvent remplir des formulaires simples, comprendre le vocabulaire de base, déterminer le sens des phrases et lire des textes suivis avec un certain degré de fluidité.

Niveau 2 : les personnes peuvent intégrer au moins deux éléments d’information fondés sur des critères, comparer l’information ou élaborer un raisonnement à son sujet, et faire des inférences élémentaires.

Elles peuvent naviguer dans des textes numériques pour accéder à l’information ou la localiser à partir de différentes parties d’un document.

Niveau 3 : les personnes peuvent comprendre des textes denses ou longs, et y réagir, que ces textes soient suivis, non suivis, mixtes ou étalés sur plusieurs pages. Elles comprennent les structures sémantiques et les procédés rhétoriques, et elles peuvent cerner, interpréter ou évaluer au moins un élément d’information et faire des déductions.

Elles peuvent effectuer des opérations en plusieurs étapes et sélectionner les données pertinentes parmi les renseignements concurrents afin de dégager des réponses.

Niveau 4 : les personnes peuvent effectuer des opérations en plusieurs étapes afin d’intégrer, d’interpréter ou de synthétiser l’information à partir de textes complexes et longs, suivis, non suivis, mixtes ou multiples, qui contiennent de l’information conditionnelle ou concurrentielle.

Elles peuvent faire des déductions complexes, appliquer de façon appropriée leurs connaissances préalables et interpréter ou évaluer des affirmations ou des arguments subtils.

Niveau 5 : les personnes peuvent exécuter des tâches qui requièrent la recherche et l’intégration d’information provenant de textes multiples et denses, la synthèse d’idées ou de points de vue semblables ou contradictoires, ou l’évaluation de données probantes ou d’arguments. Elles sont en mesure d’appliquer et d’évaluer des modèles logiques et conceptuels.

Des définitions différentes : la numératie et ses niveaux

Selon le PEICA, la numératie se définit comme étant la capacité de comprendre, d’utiliser, d’interpréter et de communiquer l’information et les idées mathématiques afin de s’approprier et de gérer les exigences mathématiques dans un éventail de situations de la vie adulte. Cette définition souligne l’importance de la numératie dans un large éventail de compétences et de connaissances applicables à la vie courante (p. ex. comprendre des factures ou des reçus, lire des cartes) qui vont au-delà des quantités et des nombres et qui englobent des notions comme les dimensions, les formes, les proportions, les relations et les statistiques.

Les niveaux de numératie :

Sous le niveau 1 : les personnes peuvent s’acquitter de tâches très simples dans des contextes concrets et familiers où le contenu mathématique est explicite et qui ne nécessitent que l’application de processus simples comme le dénombrement, le tri, les opérations arithmétiques élémentaires avec des nombres entiers ou des montants d’argent, ou la reconnaissance de représentations spatiales courantes.

Niveau 1 : les personnes peuvent s’acquitter de tâches nécessitant l’application de procédés mathématiques élémentaires dans des contextes courants et familiers où le contenu mathématique est explicite, avec un minimum de texte et d’éléments distrayants.

Elles peuvent appliquer des procédés simples ou en une seule étape (dénombrement, tri, arithmétique élémentaire, comprendre des pourcentages simples, repérer et cerner des représentations graphiques ou spatiales simples).

Niveau 2 : les personnes peuvent s’acquitter de tâches nécessitant d’agir à partir d’informations ou d’idées mathématiques intégrées à une gamme de contextes courants où le contenu mathématique est passablement explicite ou visuel avec relativement peu d’éléments distrayants.

Elles peuvent utiliser des procédés en deux étapes ou plus, comme des calculs avec des nombres entiers et des décimales courantes, des pourcentages et des fractions, des mesures et des représentations spatiales simples, des estimations ou encore l’interprétation de données ou de statistiques relativement simples dans des textes, des tableaux et des graphiques.

Niveau 3 : les personnes peuvent s’acquitter de tâches nécessitant une compréhension de l’information mathématique moins explicite, intégrée à des contextes peu familiers, et représentée de façons plus complexes.

Elles peuvent accomplir des tâches en plusieurs étapes pouvant nécessiter l’application de différentes techniques de résolution de problèmes et des procédés connexes. Elles sont à l’aise avec les nombres et la représentation spatiale, savent reconnaître les relations, les schémas et les proportions mathématiques exprimées de façon verbale ou numérique et les appliquer. Elles savent interpréter les données et les statistiques présentes dans les textes, les tableaux et les graphiques, et en faire une analyse sommaire.

Niveau 4 : les personnes peuvent comprendre un large éventail de renseignements mathématiques complexes, abstraits ou intégrés à des contextes peu familiers.

Elles peuvent effectuer des tâches nécessitant l’application de procédés en plusieurs étapes et de stratégies de résolution de problèmes sélectionnées. Elles peuvent se lancer dans des analyses et des réflexions plus complexes sur des quantités et des données, des statistiques et des probabilités. Elles peuvent aussi comprendre des arguments et communiquer des explications raisonnées pour exprimer des réponses ou des choix.

Niveau 5 : les personnes peuvent comprendre des représentations complexes, ainsi que des idées mathématiques et statistiques abstraites et formelles, parfois intégrées à des textes complexes.

Elles savent intégrer plusieurs types de renseignements mathématiques nécessitant un travail considérable de traduction ou d’interprétation, faire des déductions, élaborer des arguments ou des modèles mathématiques ou travailler avec eux, justifier, évaluer et critiquer des solutions ou des choix.

La résolution de problèmes dans des environnements technologiques (RP-ET) et ses niveaux

Selon le PEICA, la RP-ET se définit comme étant la capacité d’utiliser la technologie numérique, les outils de communication et les réseaux afin d’obtenir et d’évaluer l’information, de communiquer avec autrui et d’accomplir les tâches pratiques. Elle est au croisement de ce que l’on appelle parfois la « culture informatique » (soit la capacité à utiliser des outils et des applications informatiques) et des capacités cognitives requises pour résoudre des problèmes.

Les niveaux de RP-ET :

Sous le niveau 1 : les personnes peuvent s’acquitter de tâches dont le but est explicite et pour lesquelles les opérations se font dans un contexte simple et familier.

Elles peuvent régler des problèmes dont la solution ne requiert que quelques étapes, l’usage d’un nombre restreint d’opérateurs, et une supervision limitée d’un grand nombre d’actions.

Niveau 1 : les personnes peuvent s’acquitter de tâches dont le but est explicite et pour lesquelles les opérations se font dans un contexte simple et familier.

Elles peuvent régler des problèmes dans des environnements technologiques dont la solution ne requiert que quelques étapes, l’usage d’un nombre restreint d’opérateurs, et une supervision limitée d’un grand nombre d’actions.

Niveau 2 : les personnes peuvent régler des problèmes dont la solution repose sur des critères explicites, un petit nombre d’applications et plusieurs étapes et opérateurs.

Elles peuvent suivre les progrès vers l’atteinte de la solution et gérer les résultats inattendus ou les impasses.

Niveau 3 : les personnes peuvent s’acquitter de tâches nécessitant l’usage de plusieurs applications, en plusieurs étapes, tout en butant sur des impasses et en découvrant et utilisant des commandes spéciales dans un nouvel environnement.

Elles peuvent dresser un plan pour trouver une solution et en surveiller la mise en œuvre, tout en composant avec les résultats inattendus et les impasses.

Le changement du taux de probabilité de compétence dans les enquêtes

Le PEICA place les individus sur les trois échelles de compétence à l’aide d’une valeur de probabilité de réponse (PR) de 0,67. Cette approche est différente de celles préconisées pour l’EIACA et l’EIAA où l’on utilisait une PR de 0,80. Ce changement n’a aucune conséquence sur l’estimation de la compétence ou sur la précision des échelles.

Dans le cas du passage d’un taux de probabilité de 0,80 à 0,67, le répondant se situe sur l’échelle (ou le niveau de compétence) au point où il a une probabilité de 67 % de réussir à s’acquitter d’un ensemble aléatoire de tâches représentant la compétence mesurée.