La place des parties prenantes dans l'évaluation de l

Keywords: parties prenantes, évaluation de l'impact social, secteur non lucratif

impact social des organisations non lucratives: étude empirique au sein d'une organisation française

Julien KLESZCZOWSKI

Résumé : Cet article s'intéresse à la place des parties prenantes dans les processus d'évaluation de l'impact social dans le secteur non lucratif. Partant du constat que la littérature académique et les prescriptions des praticiens insistent sur l'importance pour les organisations non lucratives d'impliquer les parties prenantes, nous nous appuyons sur une recherche-intervention au sein d'une organisation pour montrer que les parties prenantes sont en réalité très peu présentes dans l'évaluation de l'impact social, et nous tentons d'en identifier les principales raisons. Nous mettons en lumière ensuite deux traits qui caractérisent la perception de l'évaluation de l'impact social par les acteurs de terrain, et nous terminons par une discussion de la place réelle des parties prenantes.

Introduction

Abstract: This paper deals with the role of stakeholders in social impact measurement processes of the nonprofit sector. Academic literature and practitioners' prescriptions argue that nonprofit organizations should involve their stakeholders when they measure the social impact of their activities. Based on an action research methodology, we show through an in-depth case study that stakeholders are little involved and we analyze the main reasons which can explain this phenomenon. These reasons lead us to shed light on two features in actors' perception on social impact measurement, and we discuss the actual place of stakeholders. Key words: stakeholders, social impact measurement, nonprofit sector La question de l'évaluation de l'impact social des organisations non lucratives a fait l'objet d'une attention croissante au cours de ces dernières années [START_REF] Cordery | Measuring performance in the third sector[END_REF][START_REF] Nicholls | We do good things, don"t we?[END_REF][START_REF] Herman | Advancing nonprofit organizational effectiveness research and theory: Nine theses[END_REF]. Consistant à évaluer les effets et les changements des activités d'une organisation non lucrative sur ses parties prenantes et sur la société en général (CSESS, 2012), l'évaluation de l'impact social peut être assimilée à une mesure de la performance par les résultats et est jugée plus pertinente pour ce type d'organisations que la mesure de la performance basée sur des critères financiers [START_REF] Paton | Managing and Measuring Social Enterprises[END_REF][START_REF] Speckbacher | The economics of performance management in nonprofit organizations[END_REF].

Un large consensus se dégage sur la difficulté à évaluer l'impact social des organisations non lucratives, notamment pour le caractère intangible et subjectif des effets qui le composent [START_REF] Hofstede | Management control of public and not-for-profit activities[END_REF]. De nombreux outils ont été développés par les praticiens [START_REF] Cordery | Measuring performance in the third sector[END_REF] pour permettre aux organisations de relever ce défi. Par ailleurs, de nombreux travaux de recherche ont souligné la prédominance des attentes des financeurs dans les motivations de l'évaluation de l'impact social [START_REF] Carman | The Accountability Movement What's Wrong With This Theory of Change?[END_REF], Ebrahim, 2003), en insistant sur les risques de ce phénomène pour les organisations non lucratives elles-mêmes [START_REF] Chemin | L'évaluation de la performance, analyseur de la gouvernance associative[END_REF][START_REF] O'dwyer | The paradox of greater NGO accountability: A case study of Amnesty Ireland[END_REF]. La nature socialement construite de l'évaluation a conduit de nombreux chercheurs à plaider pour une large association des parties prenantes à l'évaluation [START_REF] Bouchard | Vers une évaluation multidimensionnelle et négociée de l'économie sociale[END_REF][START_REF] Herman | Theses on Nonprofit Organizational Effectiveness[END_REF][START_REF] Forbes | Measuring the Unmeasurable: Empirical Studies of Nonprofit Organization Effectiveness from 1977 to 1997[END_REF].

Ainsi, il est considéré comme naturel que les processus d'évaluation de l'impact social intègrent les parties prenantes. On peut l'expliquer d'une part par le contenu de cette évaluation, puisque l'impact social correspond aux effets vécus par les parties prenantes, et d'autre part par l'importance de satisfaire les destinataires externes de l'évaluation de l'impact social. Pourtant, la place réelle des parties prenantes dans les processus existants d'évaluation de l'impact social des organisations non lucratives a été assez peu étudiée en gestion à notre connaissance [START_REF] Hall | Who and What Really Counts? Stakeholder Prioritization and Accounting for Social Value[END_REF][START_REF] Sinclair | Third Sector Accounting Standard Setting: Do Third Sector Stakeholders Have Voice? VOLUNTAS[END_REF][START_REF] Costa | Social impact measurement: why do stakeholders matter? Sustainability Accounting[END_REF]. Notre recherche propose d'étudier le sujet sous cet angle, en s'appuyant sur une recherche-intervention menée au sein d'une grande fondation opératrice française. Nous avons choisi d'observer à la fois le processus de définition de la stratégie en matière d'évaluation de l'impact social et différentes démarches d'évaluation menées sur des entités spécifiques de l'organisation. Nous nous concentrons en particulier sur deux types de parties prenantes : les destinataires de l'évaluation et les acteurs sur lesquels l'impact est évalué. Nous essayons ensuite de caractériser le rôle joué par les parties prenantes en essayant d'en expliquer les raisons. Notre analyse nous conduit à mettre en lumière des traits caractéristiques de la perception dominante de l'évaluation de l'impact social par les acteurs de l'organisation.

Nous commencerons par présenter la littérature existante sur la question de l'évaluation de l'impact social des organisations non lucratives. Nous préciserons ensuite les points auxquels nous nous intéresserons dans le cadre de la recherche, puis la méthodologie adoptée. Nous décrirons ensuite le matériau empirique, et nous présenterons enfin les résultats et esquisserons les contributions de notre recherche.

Cadre théorique L'évaluation de l'impact social comme mesure de la performance des organisations non lucratives

La mesure de la performance des activités et organisations non lucratives est devenu un sujet de plus en plus important au cours des dernières années [START_REF] Herman | Advancing nonprofit organizational effectiveness research and theory: Nine theses[END_REF][START_REF] Paton | Managing and Measuring Social Enterprises[END_REF].

Un certain nombre d'outils ont été développés pour mesurer la performance de ces organisations sur le plan financier [START_REF] Steinberg | Ratio discrimination in charity fundraising: the inappropriate use of cost ratios has harmful side-effects[END_REF][START_REF] Trussel | Assessing Potential Accounting Manipulation: the Financial Characteristics of Charitable Organizations with Higher than Expected Program-Spending Ratios[END_REF][START_REF] Frumkin | Strategic Positioning and the Financing of Nonprofit Organizations: Is Efficiency Rewarded in the Contributions Marketplace?[END_REF][START_REF] Tuckman | A Methodology for Measuring the Financial Vulnerability of Charitable Nonprofit Organizations[END_REF]. D'autres chercheurs ont également conçu des instruments mesurant des caractéristiques de fonctionnement jugées déterminantes pour la réussite de ces organisations [START_REF] Frumkin | Measuring social enterprise performance: toward a universal dashboard[END_REF][START_REF] Kaplan | Strategic Performance Measurement and Management in Nonprofit Organizations[END_REF].

Néanmoins, de nombreux chercheurs considèrent que la performance des organisations non lucratives correspond à leur capacité à produire et maximiser des effets et des changements sur la société, dans la mesure où il s'agit de la finalité principale de ces organisations [START_REF] Baruch | Communalities and Distinctions in the Measurement of Organizational Performance and Effectiveness Across For-Profit and Nonprofit Sectors[END_REF][START_REF] Speckbacher | The economics of performance management in nonprofit organizations[END_REF][START_REF] Paton | Managing and Measuring Social Enterprises[END_REF][START_REF] Herman | Multiple Constituencies and the Social Construction of Nonprofit Organization Effectiveness[END_REF].

Si différentes notions sont utilisées pour désigner ces effets, comme « blended value » [START_REF] Nicholls | We do good things, don"t we?[END_REF][START_REF] Emerson | The blended value proposition : intgrating social and financial returns[END_REF], ou « utilité sociale » en français [START_REF] Duclos | Evaluer l'utilité sociale de son activité[END_REF][START_REF] Gadrey | Utilité sociale[END_REF], le terme d'« impact » ou d'« impact social » semble s'être imposé au cours des dernières années. Il a d'abord été employé par des publications de praticiens et d'acteurs institutionnels, aussi bien dans le monde anglo-saxon [START_REF] Clark | Double bottom line project report: assessing social impact in double bottom line ventures[END_REF][START_REF] Wainwright | Measuring impact: A guide to resources[END_REF]), qu'en France (CSESS, 2012), et repris par des travaux académiques [START_REF] Arvidson | Social Impact Measurement and Non-profit Organisations: Compliance, Resistance, and Promotion[END_REF][START_REF] Stievenart | Evaluer l'impact social d'une entreprise sociale : points de repère[END_REF][START_REF] Barraket | Evaluation and Social Impact Measurement Amongst Small to Medium Social Enterprises: Process, Purpose and Value[END_REF][START_REF] Maas | Social Impact Measurement: Classification of Methods[END_REF][START_REF] Ebrahim | The Limits of Nonprofit Impact: A Contingency Framework for Measuring Social Performance[END_REF]. C'est le terme que nous utilisons dans la suite de cet article, en nous appuyant sur la définition du Conseil Supérieur de l'Economie Sociale et Solidaire : « L'impact social consiste en l'ensemble des conséquences (évolutions, inflexions, changements, ruptures) des activités d'une organisation tant sur ses parties prenantes externes (bénéficiaires, usagers, clients) directes ou indirectes de son territoire et internes (salariés, bénévoles, volontaires), que sur la société en général » (CSESS, 2012).

De nombreux chercheurs ont depuis longtemps souligné les difficultés de la mesure des résultats des organisations non lucratives : en effet, contrairement à la plupart des activités lucratives, les résultats sont très souvent intangibles [START_REF] Hofstede | Management control of public and not-for-profit activities[END_REF], et les objectifs ambigus [START_REF] Kanter | Doing well while doing good: dilemmas of performance measurement in non-profit organizations and the need for a multipleconstituency approach[END_REF][START_REF] Hofstede | Management control of public and not-for-profit activities[END_REF]. Dans cette perspective, la mesure des résultats n'a rien d'évident. Au cours des dernières années, de nombreux outils et méthodes de mesure d'impact social spécifiques aux activités et organisations non lucratives ont fait leur apparition au cours des dernières années pour relever ces défis (Cordery & Sinclair, 2013 pour une classification des outils existants). Le « Social Return on Investment » (SROI) [START_REF] Scholten | SROI A Guide to Social Return on Investment[END_REF] et la base d'indicateurs IRIS [START_REF] Bouri | How Standards Emerge: The Role of Investor Leadership in Realizing the Potential of IRIS[END_REF] sont les deux outils les plus utilisés.

Cependant, les difficultés techniques liées à l'évaluation de l'impact social demeurent : les organisations non lucratives ont tendance à mesurer leur performance en quantifiant leur activité plutôt qu'en en mesurant les effets [START_REF] Ormiston | Understanding Value Creation in Social Entrepreneurship: The Importance of Aligning Mission, Strategy and Impact Measurement[END_REF].

Plusieurs raisons peuvent expliquer cette difficulté. Premièrement, la multiplicité des outils crée de la confusion. Sachant qu'il n'existe pas de consensus sur les meilleurs outils permettant de mesurer l'impact social des organisations non lucratives [START_REF] Maas | Social Impact Measurement: Classification of Methods[END_REF], chaque organisation doit trouver sa propre voie en la matière [START_REF] Stievenart | Evaluer l'impact social d'une entreprise sociale : points de repère[END_REF].

Deuxièmement, la mesure de l'impact social est un processus particulièrement chronophage et coûteux [START_REF] Luke | Measurement as legitimacy versus legitimacy of measures: Performance evaluation of social enterprise[END_REF], rendant l'évaluation de l'impact social difficile à mettre en oeuvre en pratique. Certains chercheurs préconisent alors que les organisations ne se concentrent que sur les aspects les plus faciles à mesurer, à savoir les résultats opérationnels à court terme, laissant à leurs financeurs le soin de mesurer les effets et changements de plus long terme [START_REF] Ebrahim | What Impact?[END_REF]. D'autres insistent sur la pertinence d'une évaluation sous forme qualitative, jugée également moins difficile à produire [START_REF] Luke | Measurement as legitimacy versus legitimacy of measures: Performance evaluation of social enterprise[END_REF][START_REF] Chen | Storytelling An Informal Mechanism of Accountability for Voluntary Organizations[END_REF][START_REF] Morgan | Purposes, activities and beneficiaries: Assessing the use of accounting narratives as indicators of third sector performance[END_REF]. Les organisations non lucratives doivent donc être capables de trouver la meilleure façon d'évaluer leur impact social, étant donné la difficulté intrinsèque de l'exercice et les différentes contraintes auxquelles elles sont confrontées.

Nous allons à présent nous intéresser à la place des parties prenantes dans l'évaluation de l'impact social d'après la littérature académique et la littérature grise.

Le rôle des parties prenantes dans l'évaluation de l'impact social

La notion de partie prenante est définie par [START_REF] Freeman | Strategic management: A stakeholder perspective[END_REF] comme « tout groupe ou individu qui affecte ou est affecté par l'atteinte des objectifs de l'organisation » (Freeman, 1984, p. 46). Si de nombreux auteurs ont montré que la théorie des parties prenantes a une influence considérable dans les discours et pratiques des acteurs du secteur lucratif [START_REF] Abrahamson | A More Relevant Approach to Relevance in Management Studies: An Essay on Performativity[END_REF], le secteur non lucratif n'est pas en reste, puisqu'il s'appuie abondamment sur la notion de parties prenantes et la perspective de cette théorie pour penser la gouvernance des organisations non lucratives et leur rôle dans la société [START_REF] Laville | Civil Society, the Third Sector and Social Enterprise: Governance and Democracy[END_REF].

La prise en compte des intérêts des parties prenantes nécessite dès lors un changement dans les pratiques managériales et les processus des organisations [START_REF] Donaldson | The stakeholder theory of the corporation: Concepts, evidence, and implications[END_REF]) [START_REF] Freeman | Managing for stakeholders: Survival, reputation, and success[END_REF]. Les systèmes de comptabilité et de reporting ne dérogent pas à la règle, et l'émergence de pratiques de comptabilité sociétale des entreprises peuvent se justifier à l'aune de ce courant [START_REF] Greenwood | Stakeholder engagement: Beyond the myth of corporate responsibility[END_REF][START_REF] Freeman | Stakeholder theory: The state of the art[END_REF][START_REF] Mitchell | Stakeholder inclusion and accounting for stakeholders[END_REF]. Dans cette perspective, il semble légitime que la mesure de la performance des organisations non lucratives intègre la vision des parties prenantes de ces organisations.

L'étude de guides pratiques et rapports de praticiens récemment publiés sur les outils de mesure de l'impact social nous montre que de nombreux acteurs prescrivent l'implication des parties prenantes dans la démarche d'évaluation. Le tableau ci-dessous présente les mentions à la participation des parties prenantes donc quatre publications. La participation des parties prenantes prescrite par ces différents guides méthodologiques est justifiée pour au moins deux raisons.

Premièrement, d'après la définition mentionnée plus haut, l'impact social correspond aux effets et conséquences produites par l'organisation sur ses différentes parties prenantes. Or dans la mesure où ces effets sont pour la plupart intangibles et subjectifs, comme l'ont souligné de nombreux travaux [START_REF] Herman | Theses on Nonprofit Organizational Effectiveness[END_REF][START_REF] Forbes | Measuring the Unmeasurable: Empirical Studies of Nonprofit Organization Effectiveness from 1977 to 1997[END_REF][START_REF] Kanter | Doing well while doing good: dilemmas of performance measurement in non-profit organizations and the need for a multipleconstituency approach[END_REF][START_REF] Hofstede | Management control of public and not-for-profit activities[END_REF], l'interrogation des acteurs qui vivent ces effets parait assez naturelle, pour réduire d'éventuelles controverses liées à l'appréciation de ces effets. L'association des parties prenantes à l'évaluation de l'impact social est donc un principe permettant de renforcer la qualité de cette évaluation.

Deuxièmement, l'implication des parties prenantes dans l'évaluation de l'impact social s'explique par leurs attentes en la matière. Il esiste un large consensus pour considérer que la raison prédominante de l'évaluation de la performance des organisations non lucratives est de répondre à l'exigence des donneurs d'ordre et des financeurs [START_REF] Moxham | Measuring up: examining the potential for voluntary sector performance measurement to improve public service delivery[END_REF][START_REF] Macindoe | How Organizational Stakeholders Shape Performance Measurement in Nonprofits Exploring a Multidimensional Measure[END_REF][START_REF] Campos | Performance Evaluation in Non-Governmental Organizations (NGOs): An Analysis of Evaluation Models and their Applications in Brazil[END_REF][START_REF] Costa | Accountability as a Managerial Tool in Non-Profit Organizations: Evidence from Italian CSVs[END_REF], Ebrahim, 2003). L'émergence de l'évaluation de l'impact social sous l'impulsion des financeurs peut d'ailleurs être analysée comme une manifestation du managérialisme qui touche les organisations non lucratives [START_REF] Avare | Le managérialisme et les associations[END_REF], dans la mesure où l'évaluation est un moyen de réduire l'asymétrie d'information entre les financeurs et les managers de l'organisation [START_REF] Berle | The modern corporate and private property[END_REF].

De nombreux chercheurs considèrent que le fait d'utiliser des outils d'évaluation imposés par les financeurs est problématique puisque d'autres dimensions de la performance de l'organisation sont occultées [START_REF] Chemin | L'évaluation de la performance, analyseur de la gouvernance associative[END_REF][START_REF] Carman | The Accountability Movement What's Wrong With This Theory of Change?[END_REF]. O'Dwyer et Unerman (2008) estiment même que la mesure de la performance sous le prisme unique des financeurs risque de mettre en péril l'accomplissement de la mission des organisations [START_REF] O'dwyer | The paradox of greater NGO accountability: A case study of Amnesty Ireland[END_REF]. Ces auteurs plaident pour que les organisations non lucratives rendent des comptes à l'ensemble des parties prenantes, notamment aux bénéficiaires [START_REF] Costa | Accountability as a Managerial Tool in Non-Profit Organizations: Evidence from Italian CSVs[END_REF], Ebrahim, 2003) et que la mesure de la performance soit également réalisée à des fins internes (Ebrahim, 2003), au service du management stratégique et de l'apprentissage organisationnel [START_REF] Carman | Nonprofits and evaluation: Empirical evidence from the field[END_REF][START_REF] Ebrahim | Accountability Myopia: Losing Sight of Organizational Learning[END_REF]. Nous pouvons ainsi souligner le lien direct que font ces auteurs entre les parties prenantes destinataires de l'évaluation de l'impact social et son contenu : selon leur perspective, les critères d'évaluation sont déterminés en fonction de la vision des destinataires sur l'organisation évaluée.

Dans la mesure où l'évaluation de l'impact social est une « construction sociale » [START_REF] Herman | Theses on Nonprofit Organizational Effectiveness[END_REF][START_REF] Forbes | Measuring the Unmeasurable: Empirical Studies of Nonprofit Organization Effectiveness from 1977 to 1997[END_REF], les organisations non lucratives doivent donc intégrer les parties prenantes dans un processus d'évaluation qui se doit d'être participatif et « pluraliste » [START_REF] Bouchard | Vers une évaluation multidimensionnelle et négociée de l'économie sociale[END_REF][START_REF] Kendall | Measuring the Performance of Voluntary Organizations[END_REF]. Cette perspective s'inscrit dans les travaux de recherche ayant mis en exergue le rôle fondamental des parties prenantes dans la gouvernance et le fonctionnement des organisations du tiers secteur [START_REF] Laville | Politique de l'association[END_REF][START_REF] Laville | Le tiers secteur[END_REF][START_REF] Salamon | Defining the nonprofit sector: A cross-national analysis[END_REF]. En considérant que l'évaluation de l'impact social est un processus significatif pour l'organisation, l'implication de ces parties prenantes est donc essentielle.

Ainsi, une bonne évaluation est celle qui implique le plus largement possible les parties prenantes de l'organisation à l'évaluation de l'impact social.

Les travaux consacrés spécifiquement à la place réelle des parties prenantes dans l'évaluation de l'impact social des organisations non lucratives sont peu nombreux et présentent des approches hétérogènes. [START_REF] Sinclair | Third Sector Accounting Standard Setting: Do Third Sector Stakeholders Have Voice? VOLUNTAS[END_REF] ont étudié l'influence des parties prenantes dans la construction de standards spécifiques aux organisations non lucratives [START_REF] Sinclair | Third Sector Accounting Standard Setting: Do Third Sector Stakeholders Have Voice? VOLUNTAS[END_REF], [START_REF] Hall | Who and What Really Counts? Stakeholder Prioritization and Accounting for Social Value[END_REF] ont mis en évidence les conditions de prise en compte de la voix des parties prenantes dans l'évaluation de l'impact social, tandis que [START_REF] Costa | Social impact measurement: why do stakeholders matter? Sustainability Accounting[END_REF] ont montré en quoi la combinaison des attentes des différentes parties prenantes pouvait permettre de déterminer la meilleure façon pour les organisations non lucratives d'évaluer leur impact social.

Motivations et objets de recherche

Plusieurs enseignements de cette revue de littérature nous semblent importants à relever par rapport à notre recherche. Premièrement, nous pouvons identifier deux perspectives distinctes.

Une première série de travaux s'attache aux questions d'ordre technique liées à l'évaluation de l'impact social (difficultés et contraintes, types d'instruments pour les résoudre). La deuxième série s'intéresse plutôt aux enjeux stratégiques et politiques liés à l'évaluation de l'impact social, en reliant les finalités de l'évaluation à la façon dont l'évaluation est menée, en particulier à travers l'identité des acteurs qui doivent y être associés.

Deuxièmement, il existe un certain consensus, tant dans la littérature académique que dans les publications de praticiens, pour s'accorder sur le fait que l'évaluation de l'impact social suppose de prendre en compte la vision des parties prenantes. Deux types de parties prenantes sont impliqués au minimum : les destinataires de l'évaluation d'une part, et les acteurs sur lesquels l'impact social est évalué d'autre part.

Alors que la question des parties prenantes est très présente dans la littérature sur l'évaluation de l'impact social, assez peu de travaux académiques se sont intéressés à leur place concrète dans l'évaluation de l'impact social des organisations non lucratives [START_REF] Hall | Who and What Really Counts? Stakeholder Prioritization and Accounting for Social Value[END_REF][START_REF] Sinclair | Third Sector Accounting Standard Setting: Do Third Sector Stakeholders Have Voice? VOLUNTAS[END_REF]. Nous nous intéresserons à cette question, en étudiant une démarche concrète d'évaluation menée au sein d'une organisation non lucrative en Franc.

D'une part, nous examinerons la place réelle occupée par les différentes parties prenantes dans le processus d'évaluation de l'impact social de cette organisation non lucrative et nous identifierons les raisons de la place qu'ils occupent. D'autre part, nous chercherons à identifier ce que la place réelle des parties prenantes révèle sur les logiques sous-jacentes à l'évaluation de l'impact social.

Méthodologie

Notre recherche s'appuie sur l'étude d'un cas unique d'une organisation non lucrative.

L'organisation est une grande fondation opératrice française (300 millions d'euros de budget annuel) ayant environ 200 établissements et services dédiés à l'accueil, l'éducation, la formation et l'insertion d'enfants et de jeunes en difficulté, ainsi qu'au soutien à la parentalité.

Les données présentées dans cet article sont issues d'une recherche plus large menée dans le cadre d'un doctorat en convention CIFRE. La méthodologie correspond à une approche de type recherche-intervention [START_REF] David | La recherche-intervention, cadre général pour la recherche en management[END_REF][START_REF] Cappelletti | La recherche-intervention : quels usages en contrôle de gestion ? Presented at the Crises et nouvelles problématiques de la Valeur[END_REF]. Le chercheur a tenu durant trois ans le rôle de chef de projet de l'évaluation de l'impact social au sein de l'organisation. A ce titre, il a notamment animé la réflexion stratégique sur l'évaluation de l'impact social dans une première phase, puis conduit cinq démarches d'évaluation de l'impact social sur des entités particulières de l'organisation (services ou projets), qui sont décrites dans la section suivante.

Les données collectées sont composées d'un journal de bord détaillé, de comptes rendus Le matériau empirique se compose de deux parties, correspondant à deux niveaux d'observation distincts. La première partie correspond à la stratégie de l'organisation sur l'évaluation de l'impact social, c'est-à-dire l'ensemble des actions visant à construire une connaissance et un positionnement de l'organisation sur l'évaluation de l'impact social. La deuxième partie correspond à l'application de cette stratégie, en l'occurrence la description des démarches d'évaluation de l'impact social réalisées sur des entités spécifiques de l'organisation.

Matériau empirique

La stratégie de l'organisation sur l'évaluation de l'impact social Pour remédier à ce biais, le responsable et les éducateurs conviennent alors que pour les nouveaux bénéficiaires, la grille sera remplie séparément par le bénéficiaire et par l'accompagnateur et que la note retenue pour chaque critère sera la moyenne des deux notes.

Au moment où le chercheur sort du terrain, cette nouvelle façon de procéder n'est pas encore mise en oeuvre.

Résultats et discussion

L'analyse détaillée des différentes actions relatives à l'évaluation de l'impact social dans l'organisation étudiée nous montre que les parties prenantes ont été très peu associées aux démarches d'évaluation de l'impact social. C'est le cas notamment des financeurs, principaux destinataires de l'évaluation, et des parties prenantes sur lesquelles l'impact est évalué, c'est à dire des bénéficiaires la plupart du temps.

D'une part, la place des financeurs dans les attentes liées à l'évaluation de l'impact social est importante, aussi bien au niveau de l'organisation qu'au niveau de certaines démarches.

Pourtant, nous constatons que les financeurs sont peu impliqués dans la démarche D'autre part, nous pouvons remarquer que les parties prenantes sur lesquelles l'impact est évalué ne sont que très peu impliquées dans le processus d'évaluation de l'impact social.

Aucun bénéficiaire n'a été impliqué dans le groupe de travail de la première phase de l'évaluation de l'impact social au niveau de l'organisation. Alors que le groupe a mené un travail d'identification des effets de l'organisation sur les bénéficiaires, aucun bénéficiaire n'a été interrogé à ce moment-là. Dans les cinq démarches d'évaluation, aucune n'implique dans la construction du contenu et des modalités de l'évaluation les parties prenantes sur lesquels les effets sont évalués. Certaines les interrogent (par questionnaire ou entretiens), tandis que d'autres recueillent l'information en s'appuyant sur des données existantes ou en se contentant d'interroger les salariés opérationnels des entités qui sont en contact avec ces parties prenantes.

Dans cette partie, nous identifions les raisons pour lesquelles les parties prenantes sont peu impliquées dans l'évaluation, puis nous exposons des caractéristiques de l'évaluation que mettent en lumière les raisons identifiées, et enfin nous discutons de l'influence des parties prenantes dans l'évaluation.

Les raisons de la faible implication des parties prenantes

Les destinataires de l'évaluation : les financeurs

La première raison avancée par les acteurs pour expliquer le manque de participation des financeurs est leur manque de connaissance de l'activité évaluée et des techniques d'évaluation. La fondation d'entreprise interrogée lors de la phase de définition de la stratégie a exprimé que l'évaluation était un sujet nouveau pour elle et qu'elle n'était pas très avancée sur le sujet, en l'illustrant par le fait qu'elle ne disposait pas d'outils pour suivre et évaluer la réalisation des différents projets financés. Même lorsqu'ils estiment bien maitriser la question de l'évaluation de l'impact social, les financeurs considèrent qu'ils ne sont pas les mieux placés pour déterminer ce qui doit être évalué et la façon de l'évaluer : un autre financeur rencontré dans la phase préliminaire considère que c'est à l'organisation financée de déterminer de façon précise comment évaluer étant donné sa connaissance fine de l'action.

Ce constat est corroboré par ce qui a pu être observé au niveau des différentes démarches.

Ainsi, pour la démarche 1, le financeur a considéré qu'il n'était pas le mieux placé pour savoir comment évaluer le projet, tandis que le responsable du projet a justifié le fait de ne pas Dans cette perspective, on peut comprendre aisément pourquoi aucun financeur n'a été associé au groupe de travail initial. En effet, il ne s'agissait pas d'imaginer comment évaluer l'impact social selon les attentes des financeurs, mais de répondre à une demande des financeurs en s'assurant qu'elle s'inscrive dans l'intérêt de l'organisation.

Ainsi, on peut considérer que le manque d'implication des financeurs dans l'évaluation résulte d'une volonté délibérée des acteurs de l'organisation de conserver une certaine opacité vis-àvis des financeurs et de garder la main sur la façon d'évaluer.

Les parties prenantes sur lesquelles l'impact est évalué : les bénéficiaires

La première raison invoquée à la faible participation des bénéficiaires porte sur les difficultés pratiques que représente la participation des parties prenantes à l'évaluation de l'impact social.

Dans la démarche 1, le responsable justifie la non-participation des professionnels et de leurs supérieurs hiérarchiques à la définition du contenu de l'évaluation et à la construction des outils (questionnaires notamment) par le manque de temps dont ils disposent. En effet, selon le responsable, la mise en place du projet (faisant l'objet de l'évaluation) est déjà très chronophage et l'évaluation n'est pas leur priorité, même s'ils en comprennent l'importance.

Selon lui, demander aux acteurs de s'impliquer dans l'évaluation aurait été mal perçu et les aurait mis en difficulté. prenantes dans l'évaluation, à savoir la crainte des responsables de l'action d'introduire des biais défavorables aux intérêts de l'action évaluée, révèlent des enjeux de pouvoir autour de l'évaluation. Les acteurs internes à l'organisation pressentent que les résultats de l'évaluation de l'impact social peuvent jouer un rôle particulièrement important dans un certain nombre de décisions : prolonger ou non le financement de l'action, étendre l'action à d'autres territoires.

La réputation de l'action dans son environnement peut également dépendre en partie des résultats de l'évaluation. Ainsi, les responsables opérationnels des entités évaluées cherchent à maximiser le résultat de l'évaluation, ils vont alors avoir tendance à exclure les parties prenantes de l'évaluation, dans la mesure où leur participation peut amener à réduire ce résultat. En effet, les financeurs peuvent choisir des effets à évaluer sur lesquels l'action est moins performante, tandis que les bénéficiaires peuvent avoir des réponses biaisées et donc produire des résultats inattendus. L'absence d'implication des parties prenantes révèle donc que l'évaluation de l'impact social est au centre de jeux de pouvoir, dans la mesure où les acteurs opérationnels cherchent à garder la main sur l'évaluation pour augmenter leur pouvoir.

Les responsables opérationnels cherchent donc à réduire l'incertitude, pour utiliser la terminologie employée par le courant de sociologie des organisations ayant mis en lumière les jeux de pouvoir à l'oeuvre dans les organisations [START_REF] Crozier | Rapport d'activité 2011 du Conseil supérieur de l'économie sociale et solidaire[END_REF][START_REF] Crozier | Pouvoir et organisation[END_REF].

Nos résultats se rapprochent de travaux sur l'évaluation de l'impact social qui ont montré que l'évaluation de l'impact social était utilisée par les responsables des organisations non lucratives à des fins stratégiques [START_REF] Arvidson | Social Impact Measurement and Non-profit Organisations: Compliance, Resistance, and Promotion[END_REF][START_REF] Nicholls | We do good things, don"t we?[END_REF]. [START_REF] Arvidson | Social Impact Measurement and Non-profit Organisations: Compliance, Resistance, and Promotion[END_REF] montrent que l'évaluation de l'impact social est utilisée par les organisations comme un instrument de promotion de façon à exercer un contrôle sur leur environnement. Notre recherche permet de mettre en évidence une condition d'exercice de contrôle à travers l'évaluation de l'impact social [START_REF] Arvidson | Social Impact Measurement and Non-profit Organisations: Compliance, Resistance, and Promotion[END_REF]. [START_REF] Nicholls | We do good things, don"t we?[END_REF] montre quant à lui que les acteurs choisissent un outil d'évaluation en fonction des buts qu'ils poursuivent [START_REF] Nicholls | We do good things, don"t we?[END_REF]. Nos résultats mettent en évidence que ces choix peuvent également porter sur les parties prenantes associées à l'évaluation, à l'intérieur d'un outil d'évaluation donné.

Alors qu [START_REF] Hall | Who and What Really Counts? Stakeholder Prioritization and Accounting for Social Value[END_REF] montrent que les croyances épistémiques et les conditions matérielles sont deux facteurs qui expliquent la prise en compte de la vision des parties prenantes dans l'évaluation de l'impact social par les managers, notre analyse permet de mettre en lumière que les intérêts des managers jouent également un rôle dans l'intégration réelle des parties prenantes dans le processus d'évaluation.

Influence et représentation des parties prenantes

Notre recherche montre que les financeurs sont peu impliquées dans l'évaluation de l'impact social, tandis que la littérature suggère le contraire, mettant en garder contre les risques à la domination des financeurs dans l'évaluation. Cette opposition apparente entre nos résultats et la littérature sur le sujet est cependant à nuancer. Premièrement, si aucun financeur n'a été associé à la réflexion sur l'évaluation de l'impact social lors de la première phase

Conclusion

Alors que la littérature suggère que l'évaluation de l'impact social associe au minimum les financeurs des organisations non lucratives, nous avons constaté à travers l'étude de notre cas que ces financeurs avaient une place très réduite dans l'évaluation. Les bénéficiaires ne sont pas plus impliqués, y compris pour identifier les effets correspondant à l'impact social. Ce constat nous a amené à identifier les principales raisons susceptibles d'expliquer cette faible participation tant des financeurs que de bénéficiaires. Les raisons avancées par les acteurs ont permis de mettre en évidence la prédominance du caractère technique de l'évaluation de l'impact social dans la perception des acteurs de l'organisation. Par ailleurs, des raisons plus implicites ont révélé des enjeux de pouvoir autour de l'évaluation de l'impact social. Malgré cette faible participation en apparence, il nous parait intéressant de soulever la question de l'influence des financeurs dans l'évaluation de l'impact social sur les choix et les pratiques des acteurs, ainsi que celle d'éventuels mécanismes de représentation sous-jacents. Ces points mériteraient d'être approfondis lors de recherches futures sur l'évaluation de la performance des organisations non lucratives.

  d'entretiens avec les acteurs clefs, ainsi que de données secondaires (comptes rendus de réunions, courriels, documents de recueil et d'analyse d'informations dans le cadre des démarches d'évaluation). Le traitement du matériau a été réalisé en reconstituant de façon chronologique les différentes étapes et actions menées, ainsi que les acteurs à l'oeuvre pour chaque action. Un codage a permis d'identifier les mentions explicites à la question des parties prenantes dans chacune des parties du matériau.

  Malgré cela, les accompagnateurs ne sont pas en capacité de contester les notes attribués, car ils ne sont pas légitimes pour le faire aux yeux des bénéficiaires. Une remise en cause de ces notes risque de perturber la relation de confiance en train de se nouer et jugée indispensable pour accompagner le bénéficiaire. D'après le responsable, cette surévaluation pose problème dans la mesure où l'écart entre la situation initiale et la situation finale risque d'être très faible voire nul, produisant des résultats en matière d'impact social très peu flatteurs et peu conformes avec ce qu'il imagine être la réalité. Les résultats obtenus en calculant les écarts à partir des notes d'une trentaine de bénéficiaires confirment cette crainte.

  d'évaluation de l'impact social. Ainsi, au niveau de l'organisation, aucun financeur n'a participé aux instances dédiées au sujet. Seuls des entretiens avec certains financeurs ont été réalisés pour recueillir leur vision. De la même façon, la participation des financeurs aux démarches d'évaluation menées sur des entités spécifiques a été très réduite : même dans les démarches où la demande du financeur est à l'origine de l'évaluation, le financeur ne participe pas à la construction du contenu et des modalités de l'évaluation, il en est juste informé et invité à donner son avis. Lorsque c'est le cas, nous avons constaté qu'il ne formulait aucune suggestion ni remarque particulière.

  impliquer le financeur par le fait qu'il « n'aurait rien apporté ». Pour la démarche 3, l'absence de réaction des représentants du financeurs lorsque l'outil d'évaluation leur a été présenté s'explique, d'après le responsable du service, par le fait qu'ils n'avaient aucune idée de la façon dont le service pouvait être évalué. Ils ne se sont pas sentis légitimes pour suggérer des modifications ni même pour poser des questions pour comprendre la façon dont l'outil était construit. Cela n'a pas étonné le responsable de service, qui estime que les représentants des financeurs connaissent très peu la réalité de l'action.Néanmoins, au-delà du manque de connaissance, réelle ou supposée, nécessaire pour participer activement à l'évaluation de l'impact social, une autre explication de la faible implication des financeurs peut être avancée. Lors de la phase préliminaire, le groupe de travail avait convenu d'interroger des financeurs pour recueillir leurs attentes sur l'évaluation de l'impact social. Lors de l'identification des financeurs susceptibles d'être interrogés, plusieurs acteurs de l'organisation ont exprimé leur crainte qu'un entretien sur le sujet de l'évaluation de l'impact social ne conduise le financeur à demander expressément à l'organisation d'évaluer l'impact social des projets financés en contrepartie de leur soutien. Ils se demandaient également si un tel entretien n'amènerait pas le financeur à penser que l'organisation n'est finalement pas très avancée sur le sujet. Dans les faits, les trois financeurs choisis pour être interrogés avaient tous une position particulière : la fondation d'entreprise venait d'accorder un financement pour un projet qui devait faire l'objet d'une évaluation, la fondation individuelle ne finançait aucune action de l'organisation mais avait le profil du financeur « du futur » selon l'acteur en charge des relations avec les fondations individuelles, tandis que le représentant du financeur public était un ancien responsable d'un financeur public parti à la retraite quelques mois auparavant, et n'ayant donc plus de responsabilité effective.Par ailleurs, certains acteurs ont souligné l'importance que l'organisation se saisisse de la question de l'évaluation de l'impact social avant que les financeurs n'imposent une façon d'évaluer l'impact social. Il s'agit d'être en mesure de proposer des principes et des outils d'évaluation de l'impact social, avant que les financeurs n'aient réfléchi au sujet et ne proposent une évaluation dont la forme ne serait pas avantageuse pour l'organisation.

  d'observation, on pourrait considérer que les financeurs étaient représentés dans le groupe de travail par le directeur des ressources et des relations avec les donateurs, en charge de la collecte des financements privés. Deuxièmement, bien que les financeurs ont été peu associés aux différentes démarches d'évaluation menées sur des entités spécifiques, l'étude des outils déployés laisse penser l'évaluation a été influencée par les financeurs, au moins pour certaines démarches. C'est notamment le cas dans la démarche 2, où, même si l'évaluation n'a pas été demandée par le financeur, le choix d'un outil de valorisation monétaire avait clairement pour but d'adopter le langage et la logique d'acteurs financiers. Ainsi, notre recherche montre que le rôle des financeurs dans l'évaluation de la performance des organisations non lucratives ne se traduit pas nécessairement par une participation concrète à la démarche d'évaluation, ni même par des indications données par les financeurs aux responsables de l'évaluation. Ce rôle se traduit par une influence plus indirecte, liée à la façon dont les responsables opérationnels se représentent les attentes des financeurs.Par ailleurs, l'absence de participation des parties prenantes dans l'évaluation de l'impact social ne signifie pas qu'elles sont complètement absentes du processus. Ainsi, on peut considérer que les différents membres du groupe de travail sont représentatifs d'acteurs externes : par exemple, le directeur des relations avec les donateurs représenterait les financeurs privés, les directeurs d'établissement représentent les bénéficiaires, le directeur international et prospective représente les partenaires internationaux. Si on suppose que ces acteurs internes connaissent les attentes des parties prenantes externes et ont pour mission de les satisfaire, on peut alors considérer qu'ils représentent ces parties prenantes. Cette vision permet ainsi de nuancer l'absence des parties prenantes, même s'il conviendrait d'examiner de façon plus approfondie l'articulation entre ces acteurs internes et les parties prenantes externes qu'ils sont supposés représenter.

Tableau 1 : Mentions de la participation des parties prenantes dans quatre guides méthodologiques d'évaluation de l'impact social Source / titre du rapport Organisation publiant le rapport / auteur Date de parution Mention de la participation des parties prenantes Verbatims / exemples

		Sous-groupe			« participation des parties
		« mesure de			prenantes » : « les parties
	Approches proposées	l'impact social »		L'un des six critères	prenantes doivent être
	pour la mesure de	du GECES 1	2014	d'une « 'bonne'	impliquées d'une façon ou
	l'impact social	(rattaché à la		mesure »	d'une autre dans chaque étape
		Commission			de la mesure de l'impact »
		Européenne)			(GECES, 2014, p. 48).
	Guide du retour social sur investissement (SROI). Traduction et adaptation en français de « A Guide to Social Return on Investment » (Cabinet Office, UK)	Institut de l'Innovation et de l'Entrepreneuriat social de l'ESSEC	2011	sous-étape de l'étape 1 « définir le champ d'application et identifier les parties prenantes » Premier des sept principes du SROI	« décider de l'implication des parties prenantes à la démarche» (ESSEC Business School, 2011, p.18) « impliquez les parties prenantes » (ESSEC Business School, 2011, p.61).
	Un guide pratique pour la gestion et la mesure de l'impact	EVPA 2 / L. Hehenberger, A.M. Harling, P. Scholten	2015	Etape 2 « analyser les parties prenantes »	« la coopération des principales parties prenantes au processus de mesure de l'impact est essentielle » (Hehenberger et al., 2015, p.55).
	Évaluer l'utilité sociale de son activité. Conduire une démarche d'auto-évaluation	AVISE 3 / H. Duclos	2007	Phase 2 de l'étape 2 « conduire une démarche d'évaluation de l'utilité sociale »	« qui associer et comment ? ». L'objectif est d'« associer les parties prenantes et construire une démarche collective » (Duclos, 2007, p.58).

des cinq démarches d'évaluation sur des entités spécifiques de l'organisation

  bénéficiaires dans la construction de la liste d'effets n'a pas été soulevée lors de la présentation à l'ensemble des membres du groupe de travail.En juin 2013, le groupe de travail rend ses conclusions dans un rapport remis et présenté au comité de direction générale. Il propose notamment de mener des démarches d'évaluation de l'impact social sur des entités spécifiques et d'inclure l'évaluation de l'impact social au sein de processus existants, ce qui est validé par le comité de direction générale. Il est décidé de mettre en place un comité de suivi pour suivre ces différentes actions. Ce comité est composé de certains acteurs ayant participé au groupe de travail, de nouveaux acteurs internes, mais également de trois acteurs externes : le directeur de thèse du chercheur, ainsi que deux responsables de démarches d'évaluation de l'impact social au sein d'autres organisations non lucratives. En revanche, aucune partie prenante de l'organisation n'a été proposée pour faire partie du comité.

	-responsable ressources humaines du siège -deux directeurs d'établissements -un directeur de territoire -un responsable des projets internationaux D2 Service d'écoute téléphonique destiné aux parents et à toute personne souhaitant recevoir des informations et des conseils autour de la situation d'un jeune en difficulté. d'anciens Constitution du comité de suivi D3 Dispositif d'accompagnement renforcé de jeunes en contrat d'apprentissage par un éducateur spécialisé.	Responsable service Financeur	Bénéficiaires, organisation, collectivité publique, partenaires Bénéficiaires
	-le directeur des ressources et des relations bienfaiteurs (en charge de la collecte des D4 Service visant à l'insertion sociale et professionnelle des jeunes de 17 à 20 ans accueillis dans le cadre de la Groupe de Bénéficiaires travail protection de l'enfance financements privés) -un référent de la protection de l'enfance au siège. Le groupe de travail est coordonné et animé par le chercheur, placé sous la responsabilité du D5 Service de soutien parental proposant un lieu permettant à des parents d'accueillir leurs enfants en situation de placement par les services de protection de l'enfance Bénéficiaires (deux Supérieur catégories hiérarchique distinguées) et du collectivité publique responsable (financeur) rapporteur du groupe de travail. Mise en place du groupe de travail Ainsi, seuls des acteurs internes à l'organisation ont été choisis pour participer au groupe de Afin d'identifier le rôle de chaque acteur, nous avons distingué trois types d'action menées
	A l'été 2011, le Secrétaire Général de l'organisation décide de lancer une réflexion sur dans chaque démarche :
	Par ailleurs, les membres ont considéré qu'il serait intéressant de commencer à « nommer »
	Le groupe de travail est alors constitué des acteurs suivants : l'impact social d'Apprentis d'Auteuil : pour cela, une liste des différents effets et -l'analyse des données et la formalisation du résultat de l'évaluation : il s'agit des actions
	-directeur des politiques et ressources éducatives (direction au sein de la direction de changements sur les bénéficiaires 4 a été établie, à travers des réunions individuelles et permettant de passer des données collectées à un résultat final de l'évaluation.
	collectives avec certains membres du groupe de travail ayant une très bonne connaissance de Concrètement, ces actions regroupent des opérations de définition et de calculs l'activité chapeautant les référents nationaux sur les différents domaines d'action de l'organisation et les responsables d'outils et de démarches directement liées à bénéficiaires (directeurs d'établissement notamment). Aucun bénéficiaire n'a été sollicité pour contribuer à ce travail : certains membres ont évoqué l'idée d'interroger des anciens Démarch e d'EIS Description de l'entité évaluée Demandeur Parties prenantes d'indicateurs, de synthèse de données qualitatives (issues d'entretiens par exemple), de sur lesquelles d'EIS l'impact est évalué transformation d'informations qualitatives sous une forme chiffrée (note sur 5, valeur l'activité) ayant été désigné comme le rapporteur du groupe de travail -directeur international et prospective -directeur de l'audit et du contrôle interne bénéficiaires, mais cela n'a finalement pas eu lieu. La non-participation de bénéficiaires ou D1 Projet expérimental d'utilisation de tablettes numériques à des fins éducatives et pédagogiques au sein de 3 internats éducatifs et scolaires d'établissements scolaires à la suite d'entreprise et éducateurs) d'une réponse à un appel à projet d'une fondation Salariés de terrain monétaire, etc.), et de formalisation d'un rendu final présentant la démarche et les impliqués dans le Financeur projet (enseignants résultats de l'évaluation.
	-directeur du contrôle de gestion

l'évaluation de l'impact social (EIS) au sein de l'organisation et met en place un groupe de travail sur le sujet. Plusieurs raisons l'ont amené à considérer que le sujet était suffisamment important pour s'en préoccuper. Tout d'abord, sur le plan externe, il a noté la nécessité de devoir justifier auprès des financeurs privés et publics des fonds octroyés, renforcés par une logique de concurrence entre les acteurs du secteur social. Ensuite, au niveau interne, le besoin des dirigeants de l'organisation de s'assurer de l'atteinte réelle de la mission était devenu de plus en plus pressant. Enfin, la multiplication d'évènements et de rapports sur l'évaluation de l'impact social montre que d'autres acteurs du champ s'interrogent sur le sujet et que c'est un aspect probablement incontournable dans les années à venir.

Le groupe de travail a pour missions de s'approprier la «matière existante » sur l'évaluation de l'impact social en étudiant les outils et méthodes existants, de faire un « benchmark » sur la pratique d'autres associations en la matière, de préciser la demande faite à l'organisation d'évaluer son impact social, et de faire des propositions sur la façon dont l'organisation devait avancer.

travail, alors que des attentes venant d'acteurs externes ont été identifiées parmi les raisons de l'évaluation de l'impact social et que le groupe avait pour objectif, entre autres, de clarifier la nature de ces attentes.

Décisions et réalisations du groupe de travail

Lors de la deuxième réunion du groupe, un consensus se dégage pour estimer que les financeurs publics et privés sont bien la partie prenante destinataire en priorité de l'évaluation de l'impact social. A la suite de cela, il est décidé d'approfondir la compréhension de la demande des financeurs en matière d'EIS, d'une part en étudiant des dossiers de demande de financement pour identifier la nature de cette demande, et d'autre part en interrogeant plusieurs financeurs. En revanche, il n'a pas été envisagé d'inclure de financeur dans le groupe, ni même d'en inviter un pour une réunion. Trois entretiens avec des représentants de financeurs (ou de potentiels financeurs) ont été conduits : un financeur public, une fondation d'entreprise et une fondation individuelle.

Les démarches d'évaluation de l'impact social (EIS) sur cinq entités spécifiques

Conformément aux préconisations du groupe de travail acceptées par le comité de direction générale, des démarches d'évaluation de l'impact social ont été menées sur cinq entités de l'organisation de façon expérimentale. Ces entités couvrent différents champs d'activité de l'organisation (protection de l'enfance, formation, insertion, parentalité), avec des sources de financement diverses (public, privé, mixte), avec des temporalités différentes (projets à durée limitée, services permanents). Ces démarches d'évaluations ont été menées pour répondre à une demande, soit du financeur, soit d'un acteur interne de l'organisation.

Le tableau suivant récapitule l'identité des parties prenantes à l'origine de la démarche d'évaluation, et celles sur lesquelles l'impact a été évalué.

Tableau 2 : Présentation -la définition du cadre et des modalités de l'évaluation : il s'agit du choix des objets d'évaluation et de la façon d'évaluer. Ce type d'actions regroupe l'ensemble des décisions relatives au périmètre de l'évaluation (parties prenantes sur lesquelles l'impact sera évalué, effets qui seront évalués lorsqu'une sélection est faite en amont), les moyens pour collecter les données, et la façon d'analyser les données. Ces décisions sont prises en général au début de la démarche, mais elles peuvent également être prises ou modifiées au cours de démarche la collecte de données : il s'agit des actions qui consistent à récolter les informations nécessaires à l'évaluation. Pour identifier et mesurer les effets sur les parties prenantes, il est nécessaire d'interroger des acteurs (à travers des questionnaires, des entretiens ou des réunions collectives par exemple) ou de consulter des sources d'information existante (bases de données, rapports, fiches de suivi, etc.). Le cas échéant, nous distinguons les acteurs qui collectent les données (par exemple, l'intervieweur dans un entretien), et les acteurs auprès de qui les données sont collectées (l'interviewé dans un entretien).

Le tableau suivant présente, pour chaque démarche d'évaluation, les parties prenantes associées à chacune de ces trois étapes.

Tableau 3 : Présentation

des acteurs impliqués dans les différentes phases des démarches d'évaluation

  Le premier échange sur le contenu de l'évaluation « interne » s'est déroulé lors d'une réunion avant le début du projet entre les représentants du financeur (fondation d'entreprise), les personnes en charge du suivi du projet au sein de l'organisation, le chercheur, et un chargé de relations avec les financeurs privés. Lors de cette réunion, le responsable du projet a demandé le chercheur et le responsable du service, durant laquelle les attentes du responsable du service sur la forme d'évaluation correspondaient à la logique du SROI.Conformément à la trame méthodologique proposée par les guides méthodologiques du SROI (cf. supra), la première étape a consisté à identifier les parties prenantes sur lesquels le service a des effets, puis à nommer ces effets. Ce travail s'est appuyé sur plusieurs réunions entre le chercheur, le responsable du service et un salarié, ainsi que sur des documents internes au service. Dix-huit effets au total, répartis sur sept parties prenantes différentes ont été distingués. L'étape suivante a cherché à mesurer les effets identifiés et à leur attribuer une valeur monétaire. Pour cela, le chercheur a récupéré des informations dans la base de données de suivi de l'activité du service, ainsi que d'autres informations chiffrées au sein de Vingt critères notés de 1 à 5 sont définis par le responsable du service. En remplissant cette grille au début de l'accompagnement puis à la fin de l'accompagnement, l'impact du service sur le bénéficiaire serait mesuré en calculant l'écart entre les deux scores.Le contenu de la grille d'évaluation (description des cinq niveaux pour chaque critère) est ensuite construit par le responsable du service, deux salariés opérationnels du service et le chercheur. Une fois l'outil d'évaluation finalisé, il est présenté aux deux financeurs publics.

		Définition du cadre et
	Démarche	des modalités de	Collecte de données	Analyse des données
		l'évaluation
	D1 au financeur la façon dont l'évaluation devait être menée : quel périmètre, quels effets responsable de l'entité, chercheur, autre salarié ; chercheur ; appui du deux personnes interrogation des salariés responsable et de deux évaluer, quels outils. Le financeur a répondu de façon générale, en disant que l'évaluation chargées du suivi de l'entité, chercheur ; financeur consulté opérationnels (partie prenante sur laquelle l'impact est évalué) personnes chargées du suivi de l'entité devait permettre de « voir dans quelle mesure le projet a un impact positif sur les différents Leur réaction est très positive : « notre grille a fait bonne impression », estime le responsable.
	D2 acteurs ». Par la suite, un groupe de pilotage composé de quatre personnes a été constitué responsable de l'entité, chercheur Ils n'émettent aucune remarque particulière. chercheur ; appui du chercheur ; interrogation du responsable de l'entité et d'un salarié responsable de l'entité et du pour concevoir l'évaluation: le responsable du projet, les deux autres personnes en charge du La grille commence à être utilisée quelques semaines plus tard, lors de l'entrée de nouveaux salarié opérationnel ; opérationnel => pas d'interrogation des acteurs sur lesquels l'impact est évalué modifications suite à la hiérarchique pour définir les effets à évaluer et les modalités de l'évaluation, construire les outils de consultation du supérieur suivi du projet et le chercheur. Ce groupe s'est réuni sept fois tout au long de l'évaluation bénéficiaires. Alors qu'il était convenu que la grille soit remplie conjointement par
	D3	responsable de l'entité, chercheur ; financeur consulté	salariés opérationnels ; interrogation des bénéficiaires	responsable de l'entité
			chercheur ; interrogation du
	D4	responsable de l'entité, chercheur	responsable de l'entité et salariés opérationnels => pas d'interrogation	chercheur
			des bénéficiaires
		responsable de l'entité,	responsable de l'entité, chercheur ;	chercheur ; supérieur
	D5	chercheur ; supérieur	interrogation des bénéficiaires pour	hiérarchique du responsable
		hiérarchique consulté	certains effets	consulté
	Nous avons choisi de présenter en détail les trois premières démarches, qui nous paraissent les
	plus pertinentes pour comprendre le niveau d'implication des différentes parties prenantes et
	les raisons associées.
	Démarche 1
	Dès la construction du projet, le responsable du projet a proposé au financeur que deux Les réponses aux questionnaires et aux entretiens ont été analysées par le chercheur. Des
	résultats intermédiaires ont été présentés au groupe de pilotage, qui a suggéré à plusieurs évaluations soient réalisées : reprises des axes d'analyse complémentaires. Démarche 3
	-une évaluation dite « externe », portant sur les effets sur les bénéficiaires (élèves), L'évaluation de l'impact social du dispositif d'accompagnement proposé par le service est
	conduite par un évaluateur indépendant, Démarche 2 demandée par le financeur public dans le cadre d'une extension à de nouveaux bénéficiaires
	-une évaluation dite « interne », portant sur les effets sur les professionnels impliqués dans L'évaluation de l'impact social de ce service a été menée selon la méthode SROI (Social amenant à une augmentation substantielle du financement accordé. Cependant, les
	le projet (éducateurs et enseignants), conduite par le chercheur et les personnes en charge Return On Investment), un outil d'EIS existant. Cet outil vise à évaluer l'impact d'un projet représentants du financeur ne donnent aucune indication sur la manière dont le dispositif
	du projet (responsable du projet et deux personnes assistant le responsable pour assurer le
	suivi du projet)

collecte de données (construction des questionnaires et des trames d'entretien), et ajuster les modalités de collecte de données lorsque cela s'avérait nécessaire. Un document présentant le contenu et les modalités de l'évaluation a été transmis au financeur avant le début de la collecte de données, afin qu'il donne son avis sur les modalités prévues, et indique d'éventuelles modifications. Ce document a également été transmis aux trois directeurs d'établissements dans lesquels le projet a été déployé. Ni le financeur ni les directeurs d'établissements n'ont formulé de remarque particulière. Des questionnaires et des entretiens ont permis d'interroger la plupart acteurs opérationnels impliqués dans le projet (enseignants et éducateurs), c'est-à-dire la partie prenante sur laquelle les effets devaient être évalués. Les questionnaires ont été administrés en ligne par le chercheur. Les entretiens ont été réalisés par le chercheur et par le responsable de la démarche qualité de l'organisation. ou d'une organisation en termes monétaires, avec le calcul d'un ratio obtenu en divisant la somme des impacts monétaires par le montant des ressources nécessaires à la conduite de l'action évaluée. Ce choix a été fait lors de la première réunion sur l'évaluation de l'impact du service entre l'organisation ou externes à l'organisation. Il a ensuite effectué les calculs nécessaires pour arriver au ratio SROI. Ce travail a été présenté au supérieur hiérarchique du responsable du service, qui a formulé quelques remarques. Il a remis en cause les hypothèses choisies pour le chiffrage monétaire de l'un des principaux effets. A la suite de cela, le chercheur, le responsable du service et le salarié ont convenu une autre façon de quantifier l'effet dont le chiffrage a été remis en cause. Cela a nécessité de collecter d'autres données issues du système d'information de l'organisation. Ils ont par ailleurs décidé d'attribuer une valeur monétaire à un autre effet non identifié dans un premier temps. Le chercheur a collecté les informations nécessaires et réalisé le chiffrage monétaire. A la fin de la démarche d'évaluation, la version finale des résultats a de nouveau été présentée au responsable hiérarchique du responsable de service qui a approuvé les chiffrages monétaires et le résultat final. Au moment où le chercheur est sorti du terrain, le responsable du service prévoyait de présenter l'évaluation de l'impact social au financeur public du service ainsi qu'à un réseau professionnel dont le service est membre. devait être évalué lorsque le responsable du service leur a posé la question. Ce dernier estime rapidement que l'évaluation doit porter sur l'évolution du comportement et la situation matérielle des bénéficiaires, et décide d'élaborer une grille d'évaluation de la situation du bénéficiaire.

l'accompagnateur et le bénéficiaire au début de l'accompagnement, le responsable constate rapidement que l'accompagnateur confiait au bénéficiaire le soin de remplir seul la grille, car l'accompagnateur ne connait pas assez le jeune à ce moment-là. Or l'ensemble des accompagnateurs remarquent que les bénéficiaires ont tendance à surévaluer leur situation sur l'ensemble des critères, « sans doute par peur de dévoiler leurs difficultés » d'après eux.

impact social : un processus perçu comme technique et véhiculant des enjeux de pouvoir

  De façon similaire, dans la démarche 2 où les effets sur différentes parties prenantes ont été identifiés et mesurés d'après la seule perception des salariés du service, le responsable considère qu'interroger les bénéficiaires aurait été très chronophage. effets sur ces bénéficiaires. Ainsi, tous les acteurs estiment que, pour parvenir à évaluer l'impact social d'une action, l'essentiel est de disposer d'une connaissance suffisante, l'association de parties prenantes importantes de l'action est jugée superflue dès lors qu'elles ne sont pas en mesure d'apporter cette connaissance.

	Par ailleurs, la participation des parties prenantes sur lesquelles est évalué l'impact social est
	parfois considérée comme susceptible de diminuer la qualité de l'évaluation. Ainsi dans la Ce raisonnement traduit une vision technique de l'évaluation : une « bonne » évaluation passe
	démarche 2, une façon rapide d'interroger les bénéficiaires pourrait être de poser la question à par la mobilisation de ressources jugées utiles pour cela. Dans cette perspective, la
	la fin du contact entre le salarié et le bénéficiaire (il s'agit d'un service d'écoute téléphonique, participation des parties prenantes n'est utile que dans la mesure où les acteurs considèrent
	ce serait donc un très court entretien à la fin de l'appel). Néanmoins, le responsable considère que ces parties prenantes peuvent apporter une information dont ils ne disposent pas. Ainsi,
	que cette façon de collecter l'information serait fortement biaisée, le questionnement étant fait associer les parties prenantes uniquement pour recueillir leur vision est jugé superflu,
	« à chaud », dans la foulée de l'accompagnement. De la même façon, dans la démarche 3, puisqu'ils cherchent d'abord à relever le défi technique que constitue l'évaluation. Par
	l'interrogation des bénéficiaires a été considérée comme un biais important dans les résultats conséquent, aux yeux des acteurs de terrain, l'enjeu technique, qui correspond au premier axe
	de l'évaluation, dans la mesure où leurs réponses ne reflétaient pas la réalité selon le que nous avons identifié dans la revue de littérature, est plus important que la préoccupation
	responsable du service. Ces justifications rejoignent le constat de certains travaux d'une évaluation pluraliste reflétant les différentes dimensions de l'impact social des
	académiques sur l'ambiguïté des relations entre les organisations non lucratives et leurs organisations non lucratives.
	bénéficiaires (Benjamin, 2012).
	Les différentes raisons que nous avons mentionnées précédemment révèlent selon nous un
	certain nombre de caractéristiques sur la perception qu'ont les différents acteurs de
	l'évaluation de l'impact social.
	Premièrement, le manque de légitimité ressenti par les financeurs pour s'impliquer dans l'EIS
	ainsi que la contrainte de temps avancée pour expliquer l'absence d'implication des
	bénéficiaires mettent en avant la nature essentiellement technique de l'EIS telle qu'elle est
	perçue par les différents acteurs. En effet, si les financeurs comme les responsables de
	l'organisation considèrent que les financeurs ne peuvent rien apporter à la démarche d'EIS,
	c'est qu'ils considèrent qu'elle requiert des connaissances qu'ils n'ont pas. On peut distinguer
	deux types de connaissances jugées importantes pour définir le contenu et les modalités de
	l'évaluation : une connaissance de l'action évaluée et la compétence liée aux outils
	d'évaluation. A partir du moment où les acteurs considèrent que les financeurs n'ont de

L'évaluation de l'

connaissance suffisante sur aucun des deux aspects, ils ne sont pas jugés légitimes pour être impliqués dans l'évaluation. De la même manière, il est considéré comme superflu d'associer les bénéficiaires lorsque les acteurs en charge de l'évaluation estiment connaitre suffisamment bien les Deuxièmement, les autres arguments tentant d'expliquer le manque d'implication des parties

Groupement d'Experts de la Commission Européenne sur l'Entrepreneuriat Social

European Venture Philanthropy Association

Agence de Valorisation des Initiatives Socio-Economiques (agence de soutien aux acteurs de l'économie sociale et solidaire)

les bénéficiaires ont été considérés comme étant la partie prenante la plus importante sur laquelle l'impact social devait être évalué, notamment parce que c'est ce qui intéresse le plus les financeurs.