L'enseignement doit-il être une mongolfière ?

  • Posted on: 23 February 2015
  • By: jdanhier
Does education have to be like a hot-air balloon?

Foreword: The following analyses are extracted from the report Vers des écoles de qualité pour tous ? Analyse des résultats à l'enquête PISA 2012 en Flandre et en Fédération Wallonie-Bruxelles. PISA ("Program for International Student Assessment") is a research project conducted by the OECD which aims to assess “the extent to which students near the end of compulsory education have acquired some of the knowledge and skills that are essential for full participation in modern society 1. " This large-scale survey was conducted every three years since 2000 and currently covers 65 countries (approximately 510,000 students aged 15 surveyed). PISA allows to measure skills that are useful to the market economy, even though it does not cover the entire spectrum of educational missions. It provides a useful, albeit imperfect, tool for comparing educational systems.

A frequently heard argument that efficiency and dispersion in education may be mutually exclusive. According to this rhetoric, an education system either is highly efficient, or it produces students with similar performances. With this in mind, education is seen like a hot-air balloon: in order to rise, one has to dump ballast.

In order to verify this idea, let us compare results of OECD education systems regarding their efficiency and their dispersion2. Efficiency is defined as the degree to which student populations in each country mastered the skills measured by PISA. The indicator used to measure this dimension is the score mean for students in each system. The higher this indicator is, the more efficient is the system. Dispersion refers to “a difference, a disparity, or a gap between people 3.” The chosen indicator is the interdecile gap. If one ranks 100 students according to their results, the interdecile gap is simply the distance between the scores of the 10th child and those of the 90th. In other words, this difference measures the size of the score dispersion of 80% of the students, the two ends of the distribution having been ignored. The higher the indicator is, the less a system succeeds in bringing its students at the same level.

Figure 1: Efficacy (vertical axis) as a function of dispersion (horizontal axis)

In Figure 1, the education systems are displayed according to their results in terms of efficiency and dispersion. The figure shows that with his 492.9 average, the FWB does not differ significantly from the OECD mean. Flanders, whose mean performance reaches 530.9, does significantly better. Among the six education systems that have an interdecile gap that is significantly higher than the OECD average, in the best-scoring systems are Flanders (271.2 points), France (256.0 points), and the French-speaking Community (FWB - 252.5 points). These three systems therefore have the largest dispersion of our selection. Out of 100 students in Flanders, 271 points so would separate the 10th student from the 90th. This difference is huge. It corresponds to a difference of more than six grades according to the OECD, according to which 41 points are, on average, equivalent to one year of teaching. Although this mode of interpretation is rough, it gives an idea of the difference that exists between weak and strong students.

The upper right quadrant represents the most favorable position on the two considered dimensions and the lower left quadrant, the worst. In the top right quadrant, we find countries like Finland, Canada, Switzerland and the Netherlands. These countries exemplify that it is possible to perform well in mathematics and reduce the gap between the best performing and the worst underperforming students.

Flanders shows that it is also possible to be well positioned in terms of efficiency while producing very different performances. The FWB, meanwhile, seems relatively ineffective while producing students with relatively different performances since it is located near the lower left quadrant. In terms of average performance, it is clear that the school system works better in Flanders than in FWB. Flanders, however, would commit an unforgivable mistake if it pays attention only to its higher efficiency in PISA. Indeed, like the FWB, it still achieves low scores in terms of dispersion of results.

In short, education does not have to be like a hot-air balloon: it is quite possible to produce an education system that is efficient (that is to say, having students with good performances), while also reducing the dispersion of results among students. A priori, it is therefore unnecessary to “dump ballast”, that is, leaving behind bad students in order to raise performance levels.

  • 1. OECD (2014). PISA 2012 Results: What students know and can do. Paris : OECD Publishing. P. 23.
  • 2. For more details, please refer to the publication (available in French and Dutch). Our discussion is made from an international comparative perspective by selecting 21 education systems relatively close to us: Belgium (where we distinguish Dutch- and French-speaking communities), the other countries of Western Europe, defined here as the area covering the countries of the former EU-15, Iceland, Switzerland and Norway, to which we add two countries of North America (US and Canada) and one country of Eastern Europe (Poland). This selection is somewhat arbitrary, and other choices would also have been possible, but we decided to limit ourselves to these 21 systems for readability reasons.
  • 3. Friant, N. (2012, novembre 14). Vers une école plus juste: Entre description, compréhension et gestion du système. UMons, Mons.

Avant-propos: Les analyses qui suivent sont extraites du rapport Vers des écoles de qualité pour tous ? Analyse des résultats à l'enquête PISA 2012 en Flandre et en Fédération Wallonie-Bruxelles. PISA (“Program for International Student Assessment”) est un projet de recherche mené par l’OCDE qui vise à évaluer “dans quelle mesure les élèves qui approchent du terme de leur scolarité obligatoire possèdent certaines des connaissances et compétences essentielles pour participer pleinement à la vie de nos sociétés modernes1.” Cette enquête à large échelle a été conduite tous les trois ans depuis 2000 et concerne actuellement 65 pays (approximativement 510 000 étudiants de 15 ans interrogés). PISA permet de mesurer certaines compétences essentielles à l’économie de marché, même si elle ne couvre pas l’entièreté du spectre des missions de l’éducation. Elle fournit un outil, certes imparfait, mais très utile pour comparer les systèmes d’enseignement.

Un argumentaire souvent entendu repose sur le caractère mutuellement exclusif entre d’une part, l’efficacité et d’autre part, la dispersion. Selon cette rhétorique, soit un système d’éducation est performant, soit il produit des élèves aux performances similaires. Dans cette optique encore, l’enseignement est considéré non pas comme un ascenseur social, mais comme une montgolfière : pour qu’il monte, il faut lâcher du lest.

Afin de vérifier cette idée, comparons les résultats des systèmes éducatifs de l’OCDE en fonction de leur efficacité et leur dispersion2. Par efficacité, nous entendons le degré auquel les populations scolaires de chaque système maitrisent les compétences mesurées par PISA. L’indicateur utilisé pour mesurer cette dimension est la moyenne des scores des élèves de chaque système. Plus cet indicateur est élevé, plus le système est efficace. Par dispersion, nous nous référons à "une différence, une disparité, ou un écart entre individus3." L’indicateur choisi est l’écart interdécile. Si l’on ordonne 100 élèves selon leurs résultats, l’écart interdécile est simplement la distance entre les scores du 10e élève et ceux du 90e. En d’autres termes, cet écart est une mesure de l’amplitude de la dispersion des scores de 80 % des élèves puisque les deux extrémités de la distribution ont été ignorées. Plus cette mesure est grande, moins un système parvient à amener ses élèves au même niveau.

Figure 1 : Efficacité (axe vertical) en fonction de la dispersion (axe horizontal)

Dans la figure 1, les systèmes éducatifs sont disposés selon leurs résultats en termes de d'efficacité et de dispersion. Nous voyons alors qu’avec sa moyenne de 492,9, la FWB ne se distingue pas significativement de celle calculée sur l’entièreté des pays de l’OCDE. La Flandre dont la moyenne s’élève à 530,9 obtient par contre des résultats significativement meilleurs. Parmi les six systèmes éducatifs dont l’écart interdécile est significativement supérieur à la moyenne de l’OCDE, le podium est constitué de la Flandre (271,2 points), de la France (256,0 points) et de la Fédération Wallonie-Bruxelles (FWB - 252,5 points). Ces trois systèmes présentent donc la dispersion la plus importante de notre sélection. Sur 100 élèves en Flandre, 271 points sépareraient donc les 10e et 90e élèves. Cette différence est littéralement énorme. Elle représenterait une différence de plus de six années d’études si l’on suit l’OCDE selon laquelle 41 points sont, en moyenne, équivalents à une année. Bien que ce mode d’interprétation soit grossier, il nous donne une idée du monde qu’il existe entre élèves faibles et forts.

Le quadrant supérieur droit représente la position la plus favorable sur les deux dimensions considérées et le quadrant inférieur gauche, la pire. Dans le cadre supérieur droit, nous trouvons des pays comme la Finlande, le Canada, la Suisse ou le les Pays-Bas. Pour ces pays, l’idée que l’enseignement est forcément une montgolfière ne tient pas : il est clairement possible d’afficher de bons résultats en mathématiques et un écart réduit entre les élèves les plus performants et les moins performants.

La Flandre montre qu’il est également possible d’être bien positionné sur le plan de l’efficacité tout en ayant un enseignement produisant des élèves aux performances très disparates. La FWB, quant à elle, semble relativement peu efficace tout en produisant des élèves aux performances relativement différentes puisqu’elle se trouve au bord du quadrant inférieur gauche. Au vu des performances moyennes, il est clair que le système scolaire fonctionne mieux en Flandre qu'en Fédération Wallonie-Bruxelles du point de vue de l'efficacité, mais pas point de vue de la dispersion. La Flandre commettrait une erreur impardonnable si elle se satisfaisait de ses scores moyens élevés aux enquêtes PISA. En effet, comme la FWB, elle réalise toujours de mauvais scores si l’on regarde la dispersion des résultats.

En somme, l’enseignement ne doit pas forcément être une montgolfière : il est tout à fait possible de produire un enseignement efficace (c’est-à-dire ayant des élèves aux bonnes performances), tout en réduisant la dispersion des résultats entre élèves. A priori inutile donc, de  "lâcher du lest" en laissant les mauvais élèves derrière afin de faire monter le niveau des compétences.

  • 1. OCDE (2014). Résultats du PISA 2012 : Savoirs et savoir-faire des élèves. Paris : OECD Publishing. P. 23.
  • 2. Pour plus de détails, veuillez vous référer à la publication (disponible en français et en neerlandais). Nous avons choisi de situer notre propos dans une perspective de comparaison internationale en sélectionnant 21 systèmes éducatifs relativement proches de nous : la Belgique (où nous distinguons la Flandre et la Fédération Wallonie-Bruxelles), les autres pays de l’Europe de l’Ouest, définie ici comme la région rassemblant les pays de l’ancienne Union européenne des 15, l’Islande, la Suisse et la Norvège auxquels nous ajoutons deux pays de l’Amérique du Nord (les États-Unis et le Canada) et un pays d’Europe de l’Est (la Pologne). Cette sélection est quelque peu arbitraire et d’autres choix auraient également été possibles, mais nous avons décidé de nous limiter à ces 21 systèmes par souci de lisibilité.
  • 3. Friant, N. (2012). Vers une école plus juste: Entre description, compréhension et gestion du système. UMons, Mons.