Radu Vranceanu
email: vranceanu@essec.fr

Jérôme Barthélémy

Jerome Barthelemy
email: barthelemy@essec.fr

Hanane Rahmoune
email: rahmoune@essec.edu

Knowledge in economics and economic reform : An analysis of French survey data 1 KNOWLEDGE IN ECONOMICS AND ECONOMIC REFORM: AN ANALYSIS OF FRENCH SURVEY DATA

Keywords: JEL Classification: A11, A14, A20, C83 Economic knowledge, Policy reform, Survey methods, France

The coexistence of a predominantly poor opinion of free markets and lack of education in economics are two documented features of France. In this paper, we use data collected through an Internet-based survey conducted in December 2009 in order to test whether this situation is more than a mere coincidence. A first regression model allows us to study how personal characteristics, general and economics education, occupation and personal interest in economics affect knowledge in economics. We then apply factor analysis in order to build an aggregate indicator of opinion on promarket reforms. This opinion indicator becomes the dependent variable in a second multiple regression model; it turns out that knowledge in economics contributes by 3.5% to explain the favorable opinion on pro-market reforms.

Introduction

A critical attitude to capitalism and free markets is an established feature of French society. In June to October 2009, GlobeScan conducted a survey for the BBC World Service of more than 29000 persons all around the world. Although dissatisfaction with capitalism was generally on the rise after the last financial crisis, the survey highlighted huge differences between countries when it comes to opinions of free market capitalism. While less than 13% of respondents in Germany, Japan and the United States agreed that "capitalism is fatally flawed, and a new economic system is needed", 43% of the French ticked the "yes" box. 1 Many other similar surveys performed in the last decade reached a similar outcome. The Economist on July 24 th , 2010 notices that "Nowhere is contempt for free enterprise, and its linked evils of wealth and profits, more intense than in France". 2 Criticism of free market capitalism is even louder among the cultural elite in which journalists, artists, and academics play a central role. It is not easy to see where this skepticism comes from, given that capitalism has put France among the leading Western economies, with per-capita GDP of $32,800 in 2009, and eighth in the world for total GDP ($2.1 trillion), immediately after Germany, UK and Russia. This resistance to reform has been part and parcel of the French social landscape for more than two centuries. The Ancien Regime"s failure to modernize culminated in 1776 when King Louis XVI dismissed his finance minister, Anne Robert Turgot (Dakin, 1936), who was a proponent of free market reforms. Some could argue that the inability to reform, casting 1 See for instance the BBC report on November 9, 2009 at http://news.bbc.co.uk/2/hi/8347409.stm. 2 Europe"s dark secret, The Economist, July 24 th , 2010, pg. 26. most of the population into poverty, and the massive indebtedness of the central government were what ultimately made recourse to violent changes unavoidable (French Revolution, 1789). In literature and philosophy, writers from Molière, Balzac and Zola to more recently Sartre have denounced the corrupting power of money.

In a recent theoretical paper, Saint-Paul (2010) submits an interesting explanation for modern France"s persistent distrust of free markets. In his model, people who distrust markets self-select for the protected teacher profession; in this position, they do not have enough information to understand businesses and markets, and thus continue to relay a skeptical discourse on capitalism, further "indoctrinating" the next generation in a self-perpetrating anti-capitalist intellectual dynamic. However, as the author points out, this explanation cannot account for the negative attitude to markets of other intellectuals such as journalists, writers and artists who do not work in protected segments of the labor market. If the favorable/unfavorable opinion on free market capitalism cannot always be matched with a given profession, is there any other factor that can influence people"s attitude toward promarket reforms?

The social science that studies voluntary exchange as a coordination mechanism is economics. Over the years, this discipline has evolved to become a consistent body of knowledge with significant explanatory power. In particular, by incorporating elements from statistics and game theory in the late 1970s, economics brought a fresh view about strategic decision-making under uncertainty. 3 The other side of the coin is the extreme complexity of the field (Machlup, 1980), which makes correct analyses difficult for anyone without a minimum level of specific training.

It is perhaps unsurprising to learn that another salient feature of France is the low level of economic education and knowledge of economics. In a private remark extensively quoted by all French blogs on economics, Edmund S. Phelps, a respected winner of the Nobel Prize in economics, argued that if French people had a better education in economics, the country"s potential output growth rate would increase by one percentage point. 4 There is much to corroborate this challenging diagnostic. In 2007, the French Minister of Education ordered a report on economics as taught at secondary school level. Several international experts contributed to this document and an executive summary was drafted by Professor Pierre-André Chiappori from Columbia University. His conclusions were rather pessimistic, observing that French economics education neglects fundamentals. In addition, many French economics textbooks contain outright errors and biased representations of reality (ASMP, 2008). Several surveys performed since 2006 have also pointed out that many French people have difficulties with economic reasoning, and only modest knowledge of economic facts and institutions. 5 Another survey showed that French people themselves believe that their general knowledge in economics is weak. 6 Organizers of a national conference in Lyon in October 2009 on broad economic issues, attended by professional economists and policymakers, reported that: "In France, economics is hampered by a lack of understanding, knowledge diffusion and accessibility". 7 Finally, international comparisons are also unfavorable to France with respect to economic literacy: Jappelli (2010) reports results on surveys on managers in various countries, performed by the IMD Lausanne and published in their World Competiveness Yearbook, who were asked how strong is economic literacy among the 4 See Jean-Marc Vitori, L"inculture économique des Français, Les Echos, 03.06.2008. 5 One survey on the knowledge of basic economic facts related to businesses (http://questionaire.fnege.org) was performed in September 2008 by the National Foundation for Management Education (FNEGE) on a representative sample of 1009 persons. The results were extremely disappointing. Another survey of basic economic knowledgereasoning, facts, and practical usewas performed by a main French survey organization, the TNS-Sofres, in October 2009, at the demand of the CODICE (http://www.kezeco.fr/Passezvotre-test-Codice). The sample of 1080 persons was representative of the French population. Grades present a Gaussian distribution centered around 9.5/20. Somehow puzzling, the 64% of the respondents that never studied economics obtained an average grade as high as 8.4. 6 According to a survey carried out by the TNS-Sofress on behalf of the CODICE in November 2008. 7 "Les Journées de l"Economie de Lyon". See www.journeeseconomie.org. population. In 2008 France holds the 32th rank over 55 countries surveyed, far below the five leaders (Singapore, Finland, Hong Kong, Australia and Denmark).

To address the perceived weakness of general education in economics, the "Council for Diffusion of Economic Culture" (CODICE) was created in 2006 as a non-profit organization under the supervision of the Minister for Economics and Finance. In the initial Mission Letter, Thierry Breton, the incumbent minister, stated that: "French citizens have the right to get the skills needed to evaluate the economic decisions they will be subject to and to judge the economic plans that will be submitted to them." 8 We have so far argued that knowledge of economics is disappointing in France, and that the general opinion of free markets is rather negative. Some right-wing politicians argue that this is more than a coincidence, and that poor economics education could be responsible for the general skepticism about free markets. At least two distinct theories can back such a claim. If economics allows citizens to understand the true parameters of the economy and the relationship between markets and growth opportunities, this would naturally prompt them to endorse free-market reforms. In this "optimistic" approach, market reforms are good for growth in general, but only the economically educated people know it. Political economy would provide a more "pessimistic" explanation. If knowledge in economics is a proxy for human capital, and if market reforms favor reallocation of resources from the low skilled to the high skilled individuals, then the positive relationship between knowledge in economics and market reform would stem from selfish redistributive calculations (with winners from reform pushing for reform).

This paper aims at investigating the relationship between knowledge in economics and the social acceptability of pro-market reforms in France within an empirical set-up. In a first step, we examine the contribution of various factors to an individual"s knowledge of 8 See the Web site of the CODICE at www.codice.fr. macroeconomic principles and policies. In a second step, we explore the relationship between this measure of knowledge in economics and the attitude towards market-oriented reforms.

For so doing, we work out an original indicator of opinion on market reforms that resorts to factor analysis in order to aggregate several dimensions. One key finding is that knowledge in economics has a substantial positive impact on the favorable opinion about pro-market reforms.

Data used in this paper were collected through an original Internet survey conducted in December 2009 by Vranceanu et al. (2010). The 1543 respondents belong to the network of a main French business school. With 90% of the respondents being graduates of higher education, this sample is representative of a group of highly educated persons, with current or future top positions in main French companies and organizations, including public administration and education. While the sample is not representative of the entire French population, previous studies suggest that education level has an influence on economic knowledge and economic opinion (Walstad and Rebeck, 2002). Therefore, testing the relationship between knowledge in economics and opinion on market-oriented reforms in a sample of highly educated people may be viewed as an "acid test": if a relationship can be put forward in this narrow segment of highly educated persons, it could probably be extended to other categories of people.

Our methodology builds to a large extent on a study by Walstad (1997) who used a set of US data collected by Gallup in 1992. His sample was made up of 1,005 randomly selected adults who answered 46 economic knowledge questions and gave their opinion on topical economic issues at that time: independence of the Fed, taxation, active labor market policies, controls on oil imports, tariffs. In a first step, the aggregate indicator of economic knowledge defined as the proportion of right answerswas regressed on age, race, sex, college and high-school education in economics and income. In a second step, the author run five probit models, one for each policy issue. It turned out that economic knowledge has a significant impact on explaining opinions on the various issues. His findings were corroborated by Walstad and Rebeck (2002) who applied this methodology to similar US data collected by surveys in 1994, 1996, 1998 and 1999. The paper is organized as follows. In the next section, we describe the data and the methodology. In the following section, we present our empirical findings. Finally, we discuss their implications.

Data and sample

A website was created specifically to host the web address of the test, describe the objective of the study, and explain the test procedure. 9 The address was displayed on the homepage of the ESSEC Business School website for one full month, from December 1 st 2009 to January 5 th 2010. 10 All the partners and prospects, including high school pupils and undergraduates students who visited the Web site had direct access to the survey. In addition, the graduate students enrolled in the schools" programs, the staff and some of the close partners of the school (human resource managers in about 50 large firms) were invited by direct mails to fill the questionnaire. By January 5 th 2010, 1,543 persons had answered to all questions. 11 The average answering time was 18 minutes.

The Introductory section contained questions such as age, gender, occupation, general education and education in economics. Additional questions asked how frequently the respondent uses economic concepts in daily life and whether the respondent has a personal 9 The survey is available at https://sites.google.com/a/essec.edu/test_economie/. Special thanks to Delphine Dubart for the technical assistance in implementing the web questionnaire and database. 10 ESSEC Business School is a well known French Business School. Students are admitted to prepare a graduate degree in management (three years) after passing a very demanding national competitive examination. They prepare for this competition during a two years specialized program. 11 In total, 3617 persons have visited the website of the test. Those who dropped are much younger and less educated than the rest. This would support this idea according to which people who carried out the test did selfselect: only those that had a satisfactory education in economics went up to the end. interest for economic issues. For French-specific cultural reasons, it would have been inappropriate to ask questions about political orientation or income. Furthermore, it is illegal in France to ask questions about race or ethnic group.

The Test of Knowledge section contained 18 statements/questions. For each question, four true/false answers were submitted. Importantly, more than one answer could be true (which adds to the difficulty of the test). The focus of the survey was stated from the outset: macroeconomic and policy analysis as applied to the European and French context. Our questions draw from generally accepted principles in macroeconomics, such as presented in a majority of introductory textbooks and were validated by discussions with several economists.

One important objective was to address ideology-free topics.12 Some of the questions tested the knowledge of elementary definitions (e.g., what is the GDP or the exchange rate), or the functioning of a key institution such as the European Central Bank. For instance, one question asked whether the main mission of the European Central bank is (a) to support the competiveness of European firms, (b) to maintain price stability, (c) to support the euro parity with respect to the dollar, or (c) to maintain public debt below a normal threshold. 13 Most of the questions tested (macroeconomics) reasoning. For instance, it was asked whether a positive growth rate of the real GDP can be due to (a) higher inflation, (b) lower productivity, (c) an increase in employment or (d) technical progress.

Another question asked whether during a recession the government decides to increase public spending, one can expect: (a) a reduction in public deficit due to higher tax revenues, (b) an increase in interest rates, (c) an increase in private investment, (d) a favorable effect on employment.

This definition of knowledge in economics is relatively narrow. It essentially captures the individual"s knowledge of essential macroeconomic constructs and principles. 14 The degree of difficulty of the test was adjusted to the minimum level required for a critical and autonomous analysis of economic policies. In this respect, the test can be considered as being rather difficult and success required a good background in economics. For sure, one should interpret results to such a test with extreme caution; this measure of "knowing economics" might be only imperfectly related to how much an individual really knows about the economy (Machlup, 1980).

Finally, a Reform opinion section was included at the end of the questionnaire with the aim of capturing the general sentiment of respondents on economic reforms. The attitude towards economic reform was measured using four three-point Likert scales:

1. In France, the role of the State as a provider of goods and services should: (a) increase, (b) be kept unchanged, (c) decrease. 14 Economic knowledge can be seen as a broader concept that includes this definition of knowledge in economics and the knowledge of economic facts, institutions and challenges. See Blinder and Krueger (2004) for a nine item scale that aim at measuring directly economic knowledge. Examples of questions are: Do you know the level of the Federal budget deficit?" or "Do you know that President Bush had proposed partial privatization of Social Security?".

Empirical models

Factors affecting economic knowledge

In the first regression model, the knowledge in economics test score was the dependent variable. Independent variables reflected personal characteristics, general education, economic education, occupation, personal interest for economic issues and the use of economic concepts in daily life.

As pointed out above, the knowledge in economics indicator reflects the percentage of correct answers to the 76 questions that were included in the survey. The score followed a normal distribution. For the sample of 1,543 respondents, the mean score was 71 percent correct. Only 8% of the respondents had a score better than 80%. From the original 1,543 observations, 133 observations were dropped because of missing data. Thus, we were left with a sample of 1,410 observations. The variables likely to influence knowledge in economics were all derived from prior US-based research (Walstad and Rebeck, 2002). The descriptions, means and standard deviations of these variables are presented in Table 1.

- ------------------------------Insert Table 1 about here -------------------------------According to Walstad (1997), economic knowledge should increase with age because older individuals have had more time to learn about economic phenomena than younger ones.

On the other hand, one may expect younger individuals to be more knowledgeable in countries where the teaching of economics has improved in the last decades. In U.S. data, males have also been found to get higher scores than females on economic tests. Thus, the regression model includes a continuous measure of the age of the respondent (in years) and a dummy for the sex of the respondent.

The level of general education has also been found to influence knowledge in economics. Because respondents with more education are more literate, they are also more likely to be able to understand economic phenomena. In this study, we captured the level of general education using the following dummy variables: (1) high school education ("baccalauréat"), (2) two years of college ("baccalauréat+2"), (3) three years of college ("baccalauréat+3"), (4) four years of college ("baccalauréat+4"), ( 5) five years of college ("baccalauréat+5"), and (6) Ph.D ("doctorat"). In the regression analyses, high school education was the excluded category for this set of variables.

The level of economic education (i.e., if the respondent has studied economics as an independent course) is particularly likely to influence knowledge in economics. The higher the level of economic education, the better the expected level of knowledge in economics.

Consistent with Walstad (1997), we captured prior course work in economics using two dummy variables: (1) high school economics only, and (2) college economics.

Income may also contribute to economic knowledge. As Walstad (1997, p.198) made clear: "Individuals with a higher level of income are more likely to show a direct interest in economic matters and are more likely to understand how the economy works than those with less income." In France however, people are very reluctant to disclose their income (even in anonymous surveys). Moreover, they have a negative perception about this question. As a proxy variable, we asked them for their current occupation using the following dummy variables: (1) executive, (2) employee, (3) self-employed, (4) professor, (5) student, and (6) other.

Finally, we asked the respondents about their personal interest for economics using a three point Likert scale (1 = "weak", 2 = "moderate", 3 = "strong") and their use of economic concepts in their daily life using a four-point Likert scale (1 = "never", 2 = "not very often", 3 = "very often", 4 = "all the time").

Table 2 summarizes the results of the OLS regression analysis.

- ------------------------------Insert Table 2 about here -------------------------------With an R 2 as high as 0.27, the explanatory power of the model is quite satisfactory.

Overall, empirical results are consistent with prior U.S.-based studies (Walstad and Rebeck, 2002). Respondents are more likely to get a high score when they are males, more educated (cf. four years of college, five years of college and Ph.D.) and more trained in economics (cf. college economics).

Hence, if policymakers want to improve general economic knowledge of the populations, enhancing the volume and intensity of economic education is a good way to do so. We can notice that the coefficient on high school education is not significant, while the coefficient of college education is both large and statistically significant. The fact that the "high school" coefficient is not significant is consistent with the Chiappori Report (ASMP, 2008) that revealed major shortcomings in economics education at this level. This validates the decision of the government to focus his efforts on improving high school education in economics.

While occupation itself does not have a significant effect on knowledge in economics, it is interesting to notice that personnel interest for economics and the use of economic concepts in daily life also have a strong positive impact on knowledge in economics.

The only significant difference with prior U.S.-based studies is that younger French people seem to have more knowledge in economics than older ones. This could be explained by the steady efforts made by successive governments to improve training in economics.

Factors affecting attitude towards market-oriented economic reforms

In the second regression model, the attitude towards market-oriented economic reforms was the dependent variable and knowledge in economics was the main independent variable. All personal and educational characteristics from the first regression model were used as control variables.

While this technique is consistent with prior studies, our measure of the attitude towards market-oriented economic reforms is somewhat different. A priori, answers to the four opinion questions presented in the previous section are not likely to be correlated. In this case, the optimal strategy for analyzing the relationships between our measure of knowledge in economics and opinion answers would involve using four regression models. However, if individuals can be ranked according to their degree of economic liberalism, answers should be correlated. 15 A liberal person, proponent of a small government and tougher competition in product and factor markets, fierce advocate of free trade, would pick answers 1-c, 2-a, 3-a and 4-c. The opposite would occur for the person that trusts the State for its ability of to correct market failures.

We thus apply factor analysis in order to check whether a common pattern can be inferred from the four pro-market reform opinion questions. This method is helpful for identifying patterns when several variables can be combined to measure an underlying (unobserved) construct (see for instance, Michael, 2000). Results are summarized in Table 3.

- ------------------------------Insert Table 3 about here -------------------------------Using the standard criterion of eigenvalues superior to one, only one factor emerged from the analysis. This single factor explained 46% of the variance in the indicators. 16 All indicators loaded with the same sign on the single factor, which confirms the interpretation of the factor as attitude towards economic reform. Hereafter, attitude towards free-market reform refers to the standardized factor score (mean = 0.00 and standard deviation = 1.00).

Results of the regression analysis are summarized in Table 4.

-------------------------------Insert Table 4 about here -------------------------------Model 1 includes only control variables. It is significant at the 0.01 level and explains 12.5% of the variance. General education, education in economics and personal interest for economics have all a positive statistically significant impact on the reform indicator. Man and older persons seem to be more favorable to free-market reforms. In general occupation is not statistically significant, although it might be interesting to notice the negative significant sign of the coefficient of the "employee" dummy variable.17

The addition of the knowledge in economics variable significantly improves the R 2 statistics from 12.5% to 16% (incremental R 2 = 0.035, p < 0.01; the same variation for the adjusted R²). As expected, the sign of the regression coefficient on knowledge in economics is positive and strongly significant. The more respondents have knowledge in economics, the more they are likely to be in favor of pro-market economic reforms.

One may argue that our main result is driven by an omitted personality variable: those who believe in free-market capitalism simply like economics. Yet, we must emphasize that our result holds when we control for the personal interest for economics variable, which maintains its statistical significance in model 2. Furthermore, questions in the Test of Knowledge refer to definitions and principles in macroeconomics, among which the majority have a Keynesian flavor, a school of thought that is not the most favorable to free-market reforms. It is hard to see why those persons who can perform a correct Keynesian analysis should have a strong incentive to support free-market reforms.

Finally, as pointed out in the Introduction we noticed that those with a better knowledge in economics would support to market reforms either because they have a better understanding of the positive effects of these reforms, or because they have a better human capital and market reforms tend to redistribute resources from the low to the high skilled individuals. Our study corroborates both of these hypotheses. Indeed, the knowledge in economics indicator is positively related to the pro-market reform indicator while we control for general education (years of college), which is also statistically significant. General education is the best measure of human capital, and, as the "redistribution" assumption suggests, it is positively related to the favorable opinion on market reform. Given that knowledge in economics variable is positively related to the favorable opinion on market reform while we control for human capital, this would to corroborate the "better understanding" assumption.

Discussion and conclusions

The effect of economic knowledge on economic reform opinions has been extensively explored in the US (Walstad and Rebeck, 2002). In this study, we focused on the influence of knowledge in economics on the attitude towards economic reform in France. The French context is particularly interesting because France is considered by a majority of analysts as particularly difficult to reform country. On the other hand, as pointed out in the Introduction, there is a widespread consensus among French policymakers (backed by opinion surveys conducted among the French citizens) that despites substantial interest of the French for economic issues, their general education in economics is relatively weak.

A first regression model showed that age, gender, general education, specific training in economics and personal interest for economics are important determining factors of economic knowledge.

In a second step, we apply factor analysis to build an original indicator of pro-market reform, using a four item scale. A second regression model showed that age, gender and general education have an impact on the reform indicator, as well as the personal interest for economics variable. The key finding is that the economic knowledge variable is positively related and contributes to explain 3.5% of the variance of the pro-reform indicator.

Since people with little knowledge in economics are more reluctant to economic change, then the ability of the French government to adopt more far-fetching economic reforms would increase if economics education improves. In the last few years the French government has taken several measures in order to improve high-school education in economics, by revamping curricula and textbooks. Our analysis suggests that this measure goes in the right direction. Indeed, from the data, high-school education in economics seems to be uncorrelated with our indicator of knowledge in economics. This can be the outcome of inadequate curricula, textbooks and training of the instructors. By comparison, college education in economics has a positive and statistically significant effect on knowledge in economics.

Saint-Paul (2010) argued that occupation should have an impact on the people"s ability to understand the free market economy and ultimately on their political support for freemarket reforms. Our empirical findings point out that knowledge in economics could play a similar role. Indeed, we have shown that knowledge in economics and favorable opinions on free-market reforms are positively correlated while controlling for many other factors, including general education (as a proxy for human capital) and personal interest for economics. This empirical regularity suggests that economics might well help people understanding the functioning of the market economy, i.e., the world they live in. This is a major social goal, and policymakers might want to provide more resources to training people to this discipline, as they are trained to mathematics or literature.

  2. The French layoff regulation should be: (a) made more flexible, (b) kept unchanged, (c) made stricter. 3. In France, economic reforms should: (a) go toward higher flexibility of the markets for goods and services, (b) not change the existing equilibrium, (c) go toward tighter regulation of the markets for goods and services. 4. In France, economic reforms should: (a) better protect enterprises, (b) not change the existing equilibrium, (c) enhance competition between firms.

Table 1 : Description of dependent variables for economic knowledge regressions

 1

	Variable

Table 2 : Results of knowledge in economics regression

 2

	Independent variables

Table 4 : Results of attitude towards pro-market economic reforms regressions

 4

	Independent variables	Estimated parameter coefficients
		Model 1	Model 2
	Constant	-1.483**	-2.662**
		(0.270)	(0.255)
	Age	0.005	0.007*
		(0.003)	(0.003)
	Respondent sex	0.323**	0.229**
		(0.057)	(0.057)
	Two years of college ("Baccalauréat + 2")	0.134	0.117
		(0.107)	(0.104)
	Three years of college ("Baccalauréat + 3")	0.341**	0.320**
		(0.118)	(0.116)
	Four years of college ("Baccalauréat + 4")	0.327**	0.237*
		(0.115)	(0.113)
	Five years of college ("Baccalauréat + 5")	0.555**	0.400*
		(0.099)	(0.099)
	Ph.D. ("Doctorat")	0.464**	0.284
		(0.157)	(0.155)
	High school economics only	0.055	0.029
		(0.103)	(0.101)
	College economics	0.228**	0.134
		(0.076)	(0.076)
	Personal interest for economics	0.180**	0.143*
		(0.051)	(0.050)
	Use of economic concepts in daily life	0.046	0.016
		(0.032)	(0.032)
	Executive	-0.081	-0.106
		(0.114)	(0.112)
	Employee	-0.335*	-0.325*
		(0.147)	(0.144)
	Self-employed	-0.002	0.032
		(0.178)	(0.174)
	Professor	-0.102	-0.158
		(0.171)	(0.167)
	Student	0.121	0.095
		(0.123)	(0.121)
	Knowledge in economics		0.022**
			(0.003)
	F	12.457	15.650
	R 2	0.125	0.160
	R²-adj.	0.115	0.150
	N	1,410	1,410
	* p < 0.05, ** < 0.01
	Two-tailed tests. Standards errors are in parentheses.

See Blanchard (2009) for a survey of the recent advances and challenges of macroeconomics. See[START_REF] Vranceanu | The moral layer of contemporary economics: a virtue-ethics perspective[END_REF] for a definition of economics with a focus on the ethical foundations of the field.

This test of knowledge was worked out at ESSEC Business School by Radu Vranceanu and Maxime Laot.

In December 2009 the answer was obvious. It might be less so now (late 2010), once that the Greek debt crisis has completely disturbed the principles agreed in 1992 (Maastricht Treaty).

There are many attempts to define economic liberalism, and it is beyond the scope of this paper to address this debate. An extremely sharp definition was conveyed by Milton Friedman in his Free to Choose masterpiece[START_REF] Friedman | Free to Choose[END_REF].

The factor would have explained a higher percentage of the variance if we had used five-point or seven-point Likert scales for instance. Yet, when they have to take a stance about broad policy issues, people who can easily answer "more/less/unchanged", tend to be less at ease with five-point or seven-point scales.

The "teacher" coefficient is negative, as suggested by Saint-Paul (2010) analysis, but it is not statistically significant neither in model 1 nor in model 2.

Acknowledgments: The authors are grateful to Gilles Saint-Paul and Andrew Oswald for their suggestions and remarks on an early draft of this paper.


Avner Bar-Hen

U

La précognition est-elle démontrée ?

Les pouvoirs paranormaux

NE première version du papier est disponible. Notons que le The Journal of Personality and Social Psychology publiera en même temps une sévère critique de ses travaux, que l'on peut également télécharger, arguant essentiellement que les mauvais tests statistiques ont été utilisés et que des tests idoines invalident les résultats.

Mais que dit le texte de Bem, au juste ? Il relate neuf expériences, toutes inspirées de tests ou d'effets bien établis en psychologie, mais dont l'ordre chronologique des étapes a été renversé afin de mesurer une éventuelle faculté de précognition chez les sujets.

Par exemple : dans une de ces expériences, 100 individus, moitié masculins et moitié féminins, ont été réunis pour jouer à un jeu informatique dans lequel l'écran était séparé en deux, chaque moitié étant cachée par un "rideau". Il s'agissait d'essayer de deviner derrière lequel se cachait une image de nature érotique. Celle-ci pouvait être neutre ou choisie au hasard dans une base de données [2]. Le test est répété 36 fois pour chaque participant, soit 3600 fois en tout.

Les résultats publiés indiquent que, lorsque l'image était érotique (1560 cas), les sujets ont identifié derrière quel rideau elle se cachait dans 53.1 % des cas par comparaison avec les 50 % que l'on pourrait attendre. Le taux de succès n'est que de 49.8% avec les photos non-érotiques.

Si la précognition n'existe pas, ce test revient à tirer à pile ou face 3600 fois. On s'attend grosso modo à 50% de réussite. Notons que même dans un cas parfaitement aléatoire, il est exceptionnel d'obtenir exactement 50% de « pile » et 50% de « face » : ça n'arrive que moins d'une fois sur 75. Il y aura donc en général un écart à 50% et il faut décider si cet écart « doit » faire penser qu'on n'a pas affaire au « hasard pur ». Je ne veux surtout pas rentrer dans le débat sur la partie psychologique. Mais essayons de revenir sur la partie statistique et tout particulièrement sur la notion fondamentale de test statistique. La théorie des tests est à la base de nombreuses études médicales, sociales, économiques, etc. Cette controverse est pour nous une occasion de revenir là-dessus. Pour simplifier on considère qu'il y a autant de numéros rouges que de numéro noirs (ce qui est le cas au casino) et que tous les nombres ont des couleurs (et donc on ne prend pas en compte les subtilités liées à l'absence de couleur du zéro). On suppose aussi que le jeu est honnête, c'est-à-dire que la bille a la même probabilité de s'arrêter sur chacun des numéros. La probabilité que la bille s'arrête sur un numéro rouge est donc de 1/2. On peut alors calculer la probabilité de réussir 59 fois ou plus sur 100 dans ce cas.

Calcul de la probabilité d'exactement 50% de « face »

La probabilité d'obtenir un tel résultat sous l'hypothèse « pas de triche » est de 4%.

Calcul de la probabilité

On ajoute les probabilités d'avoir succès. Chacune des probabilités peut être calculée comme la probabilité pour et il faut faire la somme. On peut le faire sans difficulté sur un tableur ou avec un logiciel scientifique (ou à la main en étant un peu plus astucieux).

La théorie des probabilités nous dit que si on expulse tout joueur ayant gagné 59 fois ou plus sur 100, on ne commettra d'injustice que pour moins de 4% des innocents. Si la politique du casino est de se protéger dès que le risque d'une telle injustice à l'encontre d'un innocent est inférieur à 5%, alors il faut expulser ce joueur ! Par contre la probabilité de gagner au moins 58 fois sur 100 ou plus étant sous l'hypothèse « pas de triche » de 6.6% : le risque d'expulser à tort étant supérieur à 5% (risque admissible défini par le casino), on n'expulsera pas.

Plus généralement

Un test statistique considère une hypothèse de référence (appelée habituellement , lu « H zéro »), et examine si les mesures faites ont pu arriver sous cette hypothèse par le simple jeu du « hasard ». Plus précisément, si la probabilité d'observer de telles mesures est trop faible, on rejettera l'hypothèse de référence au profit de sa négation (appelée ), la tricherie dans l'exemple du casino, la « précognition » dans l'expérience citée (c'està-dire l'influence du futur).

En ce sens il y a une analogie entre un test d'hypothèse et un procès : tout suspect est présumé innocent et l'accusation doit apporter la preuve de sa culpabilité avant que la justice décide de le condamner. Cette preuve doit de plus s'appuyer sur des éléments concrets. Dans le cas du test ce sont les données qui permettent ou non de rejeter l'hypothèse. Quand on accepte , on ne prouve pas qu'elle est vraie, on accepte de conserver parce qu'on n'a pas pu accumuler suffisamment de preuves contre elle. Accepter c'est acquitter faute de preuve. Notons aussi que l'on suppose (comme dans le cas de la précognition) qu'un tricheur triche pour gagner et donc la zone de rejet ne comporte que les valeurs « anormalement » élevées de succès.

Test unilatéral ou test bilatéral

Imaginons que l'on veuille tester la qualité d'une balance. Pour cela nous allons peser des masses dont le poids est connu.

Considérons dans un premier temps que la question est posée par un fabricant. La question est de savoir la balance donne le bon poids (hypothèse de référence ) et tous les écarts doivent être pris en compte car ils constituent des preuves d'un dérèglement de la balance (hypothèse

).

Si nous considérons maintenant que la question est posée pour savoir si un commerçant est honnête (hypothèse ) ou cherche à tromper les clients (hypothèse ), seuls les poids sur-estimés doivent être pris en compte car une sous-estimation du poids ne peut être considérés comme une preuve de malhonnêteté du commerçant.

Dans le premier cas on parle de test bilatéral : la zone de rejet de l'hypothèse principale est située des deux côtés de la distribution de probabilité de référence.

Dans le deuxième cas on parle de test unilatéral : la zone de rejet de l'hypothèse principale est située d'un seul côté de la distribution de probabilité de référence. Le hasard de l'échantillonnage peut fausser les conclusions. Quatre situations doivent être envisagées : l'acceptation de l'hypothèse de référence alors qu'elle est vraie ; 1. le rejet de l'hypothèse de référence alors qu'elle est vraie ; 2. l'acceptation de l'hypothèse de référence alors qu'elle est fausse ; 3. le rejet de l'hypothèse de référence alors qu'elle est fausse. 4.

H 0 H 1 H 0 H 1 H 0 H 0 H 0 H 0 A H 0 R H 0 H 1 {0, 1, 2, … ,
Dans le premier et le dernier cas, la conclusion obtenue est correcte, mais non dans les deux cas intermédiaires.

Pour reprendre l'analogie du procès, le deuxième cas correspond à l'erreur judiciaire : rejet à tort de l'hypothèse innocence et le troisième cas correspond au cas de l'acquittement à tort par manque de preuve. L'erreur qui consiste à rejeter une hypothèse vraie est appelée erreur de première espèce (c'est-à-dire, une expulsion injuste par le casino).

La probabilité de rejeter à tort est appelée erreur de seconde espèce.

En résumé, nous avons le tableau suivant : la première colonne considère le cas où est vraie, la seconde ligne le cas où on affirme que c'est . Les cases de la diagonale correspondent donc à une bonne réponse et les deux autres à des erreurs.

Réalité

Décision

OK erreur de 2ème espèce erreur de 1ère espèce OK Pratiquement, on se donne une limite supérieure du risque de première espèce, le plus souvent 5% (appelé par convention « significatif »), 1% (« très significatif ») ou 1 pour mille (« hautement significatif »). Cette limite est appelée niveau de signification du test et permet de définir la condition de rejet de l'hypothèse de référence. Le choix d'une région de rejet de (c'est-à-dire l'ensemble des valeurs qui conduit à rejeter ) assez petite permet de réduire le risque de première espèce. La règle étant définie, on peut regarder ce qui se passe au niveau des données : quelle est la probabilité (souvent notée ) d'observer une telle configuration de données sous l'hypothèse . Dans l'exemple de l'article de Bem, on calcule donc la probabilité d'obtenir au moins 53.1% de succès sous l'hypothèse

H 0 H 0 H 1 H 0 H 1 H 0 H 1 H 0 H 1 H 0 H 1 H 0 H 0 p H 0
d'avoir une chance sur deux de découvrir la bonne image. Cette probabilité est appelée le niveau de signification réel du test et donne la probabilité de rejeter à tort . On rejette alors l'hypothèse de référence au niveau de signification choisi (par exemple 0.05) si (et seulement si) le niveau de signification réel est inférieur ou égal au niveau de signification choisi . Dans le cas de l'article de Bem, sous l'hypothèse d'absence de précognition la probabilité de trouver l'image érotique est de 50%, on observe 53.1% de succès parmi les 1560 images. Ce résultat s'obtient en considérant une loi binomiale de paramètres 1560 et 0.5. On calcule une probabilité de dépassement d'environ . Cette probabilité étant inférieure à 5%, on rejette l'hypothèse de référence et Bem conclut à la réalité de la précognition.

On note donc que est le risque réel de première espèce et qu'il peut être sensiblement inférieur au risque de première espèce choisi. Cette attitude est donc conservatrice. Dans l'exemple du casino le risque choisi était de 5% mais le risque réel est d'environ 4%.

Un bon test possède des risques de première et de deuxième espèce faibles. Attention : ces risques ne sont pas indépendants, mais on doit choisir un compromis. Si on rejette toujours le risque de deuxième espèce est nul (un procès qui condamne toujours ne laisse pas échapper de coupable) mais l'erreur de première espèce sera importante (beaucoup d'innocents sont condamnés). Réciproquement un procès qui innocente toujours l'accusé ne condamne pas d'innocents (risque de première espèce égal à zéro) à un risque de deuxième espèce important (les coupables innocenté-e-s).

Limite du principe du test

La théorie des tests statistiques est extrêmement puissante et utilisée. Elle permet dans une large mesure (et au prix d'efforts empiriques certains) de tester des hypothèses en présence de beaucoup d'inconnues (par exemple l'effet de tel médicament). On ne sera pas étonné s'il s'agit probablement des théorèmes mathématiques les plus souvent utilisés... voire abusés. C'est pourquoi il est important de comprendre les limites intrinsèques des tests statistiques. Voici un rapide florilège.

Une différence significative n'équivaut pas à une différence ayant du sens.

Considérons le cas de la discrimination contre les femmes à l'embauche et supposons que l'on désire un niveau de signification de 5%. Dans une entreprise de 10 employés, l'hypothèse d'avoir la même probabilité d'embaucher un homme ou une femme est à rejeter s'il y a deux femmes ou moins parmi les 10 employés. Dans une entreprise de 1000 employés, on rejette cette hypothèse à partir de 527 hommes (pour un niveau de signification inchangé à 5%).

Notons que le test est unilatéral car une entreprise n'employant que des femmes ne pourra être considérée comme pratiquant la discrimination contre les femmes. Si la question était de savoir si il y a une discrimination contre les hommes ou les femmes, le test serait bilatéral car tous les écarts à la parité seraient considérés comme des « preuves ». Dans l'entreprise de 10 salariés l'hypothèse (de référence) de non-discrimination est rejetée s'il y a moins de 20% de femmes, alors que dans l'entreprise de 1000 salariés, l'hypothèse est rejetée s'il y a moins de 47.4%. En effet, les fluctuations dues au hasard [4] diminuant avec la taille de l'échantillon, de plus petits écarts entre les chances d'embaucher un homme ou une femme sont détectés. On peut donc avoir des écarts statistiquement significatif (à un seuil donné) mais qui n'ont que peu de sens en pratique (la législateur peut décider de ne pas punir un biais de 2.6% seulement). On observe plus souvent des règles considérant qu'il y a discrimination s'il y a moins de 40% de femmes indépendamment de la taille de l'entreprise.

Multiplicité des tests : quand il y en a un (test) ca va. C'est quand il y en a beaucoup qu'il y a des problèmes.

Un autre problème dans cet article provient de la répétition des tests. Cette question est bien connue dans les problèmes en grande dimension (génomique ou traitement d'image par exemple). Imaginons que l'on fasse 100 000 tests (pour détecter des gènes jouant un certain rôle ou des pixels erronés pour garder les deux exemples). Considérons que pour chaque test on rejette l'hypothèse de référence si le risque d'erreur est inférieur à 5%. Le nombre d'erreurs peut être vu comme un exemple de loi binomiale de paramètres 100 000 et 0.05 et donc le nombre « moyen » d'erreurs (appelé également espérance mathématique du nombre d'erreurs) est de 5000 erreurs. Pour un phénomène rare, le taux d'erreur final est beaucoup trop élevé pour être acceptable : on peut avoir beaucoup plus de fausses alertes que de vraies détections. Les tests multiples sont un sujet actuel de recherches actives et un lecteur intéressé peut par exemple consulter un article de base.

Pourquoi 5% ?

On peut discuter sans fin sur le seuil de 5% mais il semble que les raisons soient surtout historiques : jadis il fallait préparer des tables donnant les valeurs de statistique (par exemple le nombre de succès) maximales admissibles en fonction de la taille de l'échantillon (le nombre de paris) pour chaque niveau de test choisi. Ce problème calculatoire n'est plus d'actualité et il est donc préférable d'indiquer le niveau du test que de fixer une limite (par construction arbitraire) qui va décider si le test est ou non significatif (significatif dans le sens que le risque d'erreur de première espèce est assez faible si on rejette ).

Dans la critique de l'article on note que les auteurs proposent une autre approche dite bayésienne (cette approche nécessite également des choix tout aussi contestables mais c'est une autre histoire... peut-être l'objet d'un prochain article dans cette rubrique !)

Z n H 0 Z n p = 0.5 H 1 Z n p < 0.5 Z H 0 n = 10 n = 1000 H 0 H 0 H 0

Quelle conclusion ?

Comme indiqué au début, je ne souhaite pas rentrer dans le débat sur la précognition mais de toutes les façons cette expérience a besoin d'être à nouveau effectuée par d'autres chercheurs, nombreux à s'intéresser à ces travaux et à vouloir les reproduire. On verra bien alors leurs résultats. Au passage on peut noter que la Cour Suprême américaine a récemment jugé que la preuve ne pouvait uniquement s'appuyer sur un niveau de signification statistique (voir par exemple ici ou là)

La deuxième conclusion qu'on entend classiquement est qu'on peut faire dire ce qu'on veut à la statistique. On peut cependant noter que si Mr Bem avait construit une voiture beaucoup de gens auraient eu des doutes sur ses capacités et peu seraient montés dedans car on ne s'improvise pas ingénieur. Peut-être peut-on étendre cette idée et se dire que statisticien est un métier et que M. Bem aurait pu se demander s'il n'aurait pas été utile de collaborer avec un statisticien. C'est la collaboration entre les précogs et John Anderton qui fait la force de la « Précrime ».

P.S. :

La rédaction d'Images des maths, ainsi que l'auteur, remercient pour leur relecture attentive, les relecteurs dont le pseudonyme est le suivant : Thierry Monteil, François Sauvageot et Claire Lacour.

Notes

[ 1] c'est-à-dire retraité mais actif.

[ 2] Les psychologues disposent pour ce faire de bases de données étalonnées !

[ 3] C'est souvent difficile d'avoir la loi sous il faudrait comprendre le mécanisme de la tricherie ou de la précognition.

[ 4] Les fluctuations sont mesurés techniquement par la notion de variance.

Crédits images

  Si on considère tous les résultats possibles pour 3600 tirages, on a cas au total. Les cas donnant 1800 « face » et 1800 « pile » exactement, sont au nombre de (le nombre de façon de choisir les 1800 tirages « face » parmi les 3600 au total). La probabilité est donc Pour M. Bem, les résultats montrent que les sujets ont pu identifier derrière quel rideau se cachait la photo érotique dans 53.1 % des cas. Ce pourcentage chute avec les photos neutres, démontrant ainsi que les cobayes répondaient aux stimuli érotiques, avant que ceux-ci n'apparaissent. La conclusion proposée par M. Bem est l'existence d'une influence rétroactive d'un événement futur sur les réponses présentes d'un individu, c'est-à-dire la possibilité d'anticiper un événement futur qui ne pourrait être anticipé par un procédé connu d'inférence. Ce processus (anormal) de transfert d'information ou d'énergie, inexplicable en termes de mécanismes physiques ou biologiques, est appelé effet psi et comporte deux variantes : La précognition (perception d'événements futurs qui prend la forme d'un pressentiment, ie une impression diffuse et lente que quelque chose va se produire) ou la prémonition (expérience spontanée qui implique une action à venir dont le sujet est partie, par exemple certains rêves). Si un don de voyance existe, explique M. Bem, il doit avoir été retenu par la sélection naturelle -et la capacité de « pressentir » un danger ou une occasion de relation sexuelle donnerait un avantage évolutif certain à d'hypothétiques precogs, comme dit John Anderton dans Minority Report (ou Bill Murray dans Ghostbusters).

  Pour citer cet article : Avner Bar-Hen, La précognition est-elle démontrée ?. Images des Mathématiques, CNRS, 2011. En ligne, URL : http://images.math.cnrs.fr /La-precognition-est-elle-demontree.html H 1

  Construire un test de l'hypothèse de référence contre l'hypothèse alternative , c'est donc établir un critère de décision permettant de choisir entre l'hypothèse et : on conserve sauf si les données conduisent à la rejeter, c'est-à-dire que les données ne soutiennent pas l'hypothèse .Être acquitté n'est pas tout à fait la même chose qu'être innocent et il n'y a pas symétrie entre l'hypothèse de référence et l'hypothèse alternative. Un procès dont l'hypothèse de base est la culpabilité du suspect peut être considéré comme douteux. On peut même noter que dans ce cas il vaut mieux ne pas mener d'enquête car il y aurait un risque de trouver des preuves qui pourrait innocenter le suspect. Pour revenir à l'exemple qui nous intéresse, si l'hypothèse de référence est de croire à l'existence de la précognition, il ne faut surtout pas faire d'expérience car cela risquerait de remettre en cause l'hypothèse de référence. Cette manière de faire serait considérée, avec raison comme douteuse, et certainement pas scientifique.

	On détermine la loi de la variable aléatoire d'étude (par exemple le nombre de paris
	réussis) sous	[3]. L'ensemble des valeurs observées pour lesquelles l'hypothèse de
	référence	est admissible forme par définition la région d'acceptation	(ou plus
	exactement de non-rejet de	) et les autres valeurs constituent la région de rejet .
			59, … , 100
		50
				H 0
			p
				H 1
			H 0
	H 0
	H 0

La détermination de la région d'acceptation dépend donc d'un risque d'erreur. Dans l'exemple du casino, au seuil 5% on rejettera l'hypothèse (« pas de triche ») au profit de l'hypothèse (tricherie) si le joueur gagne 59 fois ou plus sur les 100 lancers. La région d'acceptation est donc et la région de rejet est .

  Dans le cas d'un test bilatéral, le risque d'erreur (déclarer à tort que la balance n'est pas juste) doit être calculé pour les poids sur-estimés et sous-estimés alors que dans le cas du test unilatéral (déclarer à tort que le commerçant est malhonnête) le risque d'erreur ne doit être calculé que pour les poids sur-estimés. Par symétrie le risque d'erreur dans le test bilatéral est le double du risque d'erreur du test unilatéral.

  Pour revenir à l'expérience du casino, l'hypothèse « pas de triche » est unilatéral (on ne peut considérer comme de la triche de perdre très souvent) par contre si la question était « les paris sont-ils non biaisés », nous serions dans le cas d'un test bilatéral.Si le but était de savoir si le jeu est équilibré entre le joueur et la banque, il faudrait donc construire une zone de rejet qui comprenne les nombres de succès trop grands et les nombres de succès trop petits. On peut calculer que l'on a moins de 5% d'erreur si on rejette « jeu équilibré » quand le nombre de succès est inférieur à 39 ou supérieur à 61.

	On voit que la zone de rejet est différente suivant le caractère bilatéral ou unilatéral du test. Autrement
	dit le choix précis des deux hypothèses	et	influe sur le choix de cette zone bien que seul
	intervienne dans le calcul du niveau de signfication d'une zone de rejet donnée.
			57, 58}
	{59, … , 99, 100}
			H 0
			H 1
	H 0		H 1