L ' Échelle

Nicolas Mascret

Thierry Berthet

Pascale Brandt-Pomares

Magali Coupaud

Mathilde Favier

Jonathan Mirault

Johannes C Ziegler

Pôle Pilote Ampiric

DÉVELOPPER, EXPÉRIMENTER ET ÉVALUER DES DISPOSITIFS PÉDAGOGIQUES INNOVANTS : L'EXEMPLE DU CRÉATIVLAB D'AMPIRIC ET LA QUESTION DU PASSAGE A

et Technique d'Ampiric.

INTRODUCTION

L'efficacité d'un nouveau dispositif pédagogique ne va pas de soi. Ce n'est pas parce qu'il est dit « innovant » qu'il est par définition « plus efficace ». L'évaluation et l'expérimentation sont donc cruciales pour connaitre la valeur d'un dispositif dans la vie réelle à l'échelle d'une classe, d'une école, d'une académie ou même d'un pays tout entier.

Pourquoi expérimenter et évaluer des dispositifs pédagogiques innovants ?

Le mot « expérimenter » est souvent utilisé dans un sens assez vague, celui d'essayer, sur un groupe restreint, quelque chose qui sort de l'ordinaire. Cette idée de l'expérimentation dans le quotidien est assez éloignée de l'expérimentation qui consiste à mettre à l'épreuve une hypothèse à l'aide de méthodes susceptibles de contrôler les biais. Expérimenter permet de tester la véracité d'une hypothèse, ou de déterminer l'efficacité d'une méthode pédagogique. Avant chaque expérimentation, les chercheurs comme les enseignants doivent veiller à la pertinence de l'intervention proposée, penser à son éventuel passage à l'échelle et à son adoptabilité, aussi bien qu'à son impact potentiel. La conception expérimentale d'une recherche fait partie intégrante des aspects éthiques, car il n'est jamais éthique de mener une recherche dont on sait à l'avance qu'elle ne permettra pas de tirer la moindre conclusion solide, par exemple parce qu'elle comprend des biais importants, qu'aucun groupe contrôle n'est prévu, ou qu'elle concerne trop peu d'enfants pour être significative. Quelle serait en effet l'alternative à l'expérimentation ? La prise de décision sur la base de simples intuitions, sans savoir si elles sont fondées ? Certains s'opposent à l'idée même d'expérimentation en éducation pour des raisons faussement éthiques. Mais les enseignants testent tous les jours de nouvelles pratiques sur leurs élèves, sans que personne ne s'y oppose. Malheureusement, ces tentatives se font selon une méthodologie qui ne permet pas de tirer de conclusions rigoureuses, de diffuser les avancées et ne permet donc pas de faire avancer la connaissance au bénéfice de tous. Le Pôle Pilote Ampiric (Aix-Marseille -Pôle d'Innovation, de Recherche, d'enseIgnement pour l'éduCation) est né de la volonté de rapprocher les acteurs du domaine éducatif, qu'ils soient enseignants, scientifiques ou entrepreneurs dans un seul et même but : améliorer l'éducation des enfants afin de maximiser leur bien-être, leurs connaissances et leurs compétences.

Le Pôle Pilote Ampiric

Financé par le Programme d'Investissement d'Avenir (PIA3) et s'inscrivant dans la stratégie France 2030, Ampiric est un Pôle Pilote porté par Aix-Marseille Université en partenariat avec l'académie d'Aix-Marseille, Avignon Université, l'Université Côte d'Azur, le CNRS, l'Association Nationale de la Recherche et de la Technologie (ANRT), le Réseau Canopé, et la Région Sud. Le Pôle Pilote Ampiric (dénommé Ampiric dans la suite de ce chapitre) vise à améliorer durablement l'apprentissage des savoirs fondamentaux des élèves tout au long de leur parcours scolaire, notamment de ceux qui sont en difficulté. Ampiric se fonde sur le développement de travaux de recherche innovants, pour mieux informer l'évolution de la formation initiale et continue des enseignants, et développer, expérimenter, diffuser des approches pédagogiques innovantes. L'écosystème Ampiric se fonde ainsi sur une meilleure articulation entre la recherche, la formation et le terrain.

Ampiric poursuit cinq objectifs stratégiques : • Transformer la formation et l'accompagnement des enseignants pour faire évoluer leurs pratiques face aux défis liés aux apprentissages fondamentaux ; • Favoriser les coopérations recherche-terrain en soutenant les recherches collaboratives ; • Améliorer la compréhension des processus d'enseignement-apprentissage des savoirs fondamentaux en soutenant des recherches fondamentales, finalisées par les besoins de l'éducation et de la formation ;

L'EVALUATION DES PROJETS DANS LE CREATIVLAB D'AMPIRIC

L'évaluation des projets au sein du CréativLab répond à un double enjeu : accompagner des projets de recherche partenariale, co-portés par des chercheurs et des acteurs du monde socio-économique en lien avec l'éducation (entreprises, associations, parents d'élèves, enseignants), et évaluer les ressources produites ou développées afin d'envisager un éventuel passage à l'échelle. Deux niveaux d'évaluation des projets sont identifiés : le premier correspond à la procédure de sélection des projets qui intègrent le CréativLab et le second correspond au suivi et à l'évaluation des projets retenus.

La procédure de sélection des projets

Le premier niveau d'évaluation, visant à initier les collaborations, suit une procédure de sélection en deux temps : tout d'abord, les acteurs répondent à un appel à manifestation d'intérêt (AMI) pour soumettre leur projet. Cet appel ne fait pas l'objet d'une sélection particulière, bien que les projets doivent répondre aux objectifs du CréativLab, et plus largement à ceux d'Ampiric, à savoir l'amélioration de l'apprentissage des savoirs fondamentaux des élèves. L'ensemble des projets déposés dans le cadre de cet AMI sont présentés lors d'un « speed-dating » organisé annuellement, afin de permettre aux acteurs du monde socio-économique de rencontrer des acteurs de la recherche et de réfléchir ensemble à une collaboration potentielle. Cette collaboration se concrétise par le dépôt d'un projet commun dans le second temps de l'appel. Les projets déposés font l'objet d'une double évaluation conduite par des chercheurs du périmètre d'Ampiric en fonction des disciplines et thématiques concernées. Cette évaluation porte sur les éléments suivants :

-la qualité scientifique du projet ; -les perspectives de succès de la recherche partenariale ; -l'implication de l'entreprise et la pertinence du projet dans son contexte entrepreneurial ; -l'adéquation avec le laboratoire partenaire et sa pertinence dans le projet ; -la participation des enseignants et la pertinence du projet au service de l'amélioration de l'apprentissage des savoirs fondamentaux.

Au terme de cette évaluation, les rapporteurs doivent émettre un avis sur l'opportunité de recevoir les projets pour une audition. Cette dernière permet de clarifier certains aspects liés au projet qui n'auraient pas été précisés dans le dossier écrit, et constitue la dernière phase de ce processus de sélection. Les projets doivent recevoir deux avis favorables pour être reçus en audition, lors de laquelle la commission de sélection émet un avis final sur l'opportunité de soutenir et d'accompagner le projet dans le cadre du CréativLab.

Ce processus de sélection très rigoureux a été élaboré pour s'assurer de la mise en place de conditions favorables au bon déploiement des projets, en termes de déroulement et d'atteinte des objectifs. Financés par de l'argent public dans le cadre du Plan France 2030, les projets soutenus doivent en effet répondre aux exigences fixées par les objectifs du Pôle Ampiric relatifs à l'évolution de la professionnalité des enseignants et de l'amélioration de l'apprentissage des élèves. Pour ce faire, la problématique de recherche doit être pertinente et explicitée, et les conditions propices à une collaboration fructueuse entre les chercheurs et leurs partenaires doivent être réunies. Des zones d'ombre sur les modalités de collaboration ou sur l'implication et la motivation d'un partenaire à s'engager dans un projet, ou des incertitudes concernant des questions de méthodologie, de validation des résultats et des impacts de l'outil sur les apprentissages, sont autant de facteurs qui ne permettront pas aux projets d'être retenus. À l'inverse, une méthodologie expérimentale rigoureuse et clairement explicitée, contrôlant un maximum de paramètres et en gardant une situation écologique (en salle de classe par exemple), l'articulation avec les recherches actuelles, la plus-value de tel ou tel laboratoire en termes de compétences et d'approche scientifique et une collaboration active et pertinente entre la recherche et son partenaire sont autant d'éléments qui permettront aux projets de devenir lauréats.

Le suivi et l'évaluation des projets

Le suivi et l'évaluation des projets retenus forment le deuxième niveau du processus mis en oeuvre par le CréativLab. Ainsi il est demandé aux projets lauréats de compléter un bilan annuel intermédiaire et de présenter leurs avancées lors des « speed-datings » des années suivantes. Ce bilan intermédiaire permet de faire le point sur une mise à jour éventuelle des acteurs impliqués, de faire part des différentes avancées du projet au regard de ses objectifs initiaux, d'indiquer si ces derniers ont dû faire l'objet d'une réorientation, de signaler des premiers résultats potentiels, et de partager les difficultés rencontrées dans l'organisation de la collaboration ou tout autre aspect du déploiement du projet. Le suivi des projets permet également de mettre en évidence que les critères d'évaluation ne sont pas forcément identiques tout au long des différents étapes du développement du projet, comme l'illustre le projet de recherche basé sur le jeu Darwinium (Encadré 1). Ces rapports permettent au comité de suivi des projets lauréats de juger du respect des engagements initiaux par les différentes parties, et d'adresser d'éventuels problèmes. Selon les avancées, le comité se réserve le droit de ne plus soutenir des projets qui seraient jugés non conformes aux objectifs énoncés. Ainsi, certains projets ont dû être arrêtés à la suite du départ de certains collaborateurs (chercheurs ou équipes pédagogiques) ou à cause de difficultés techniques ou technologiques dans le déploiement des outils proposés.

Ce processus présente plusieurs avantages. Il permet tout d'abord de garantir la bonne utilisation et/ou l'optimisation des moyens mis à disposition, qu'ils soient financiers, humains ou matériels. Il assure par ailleurs l'adhésion collective de tous les acteurs et le bon déroulement de la collaboration, en garantissant la possibilité de se retirer d'une collaboration qui ne donnerait pas satisfaction. Cela est particulièrement important dans le développement de dispositifs pédagogiques innovants pour deux raisons : la première concerne le temps extrêmement précieux des équipes pédagogiques de terrain, qui doivent pouvoir trouver une utilité aux dispositifs mis en oeuvre en relation avec leur pratique professionnelle. La seconde répond au devoir de vigilance que l'on se doit d'avoir à l'égard des élèves impliqués dans le déploiement des dispositifs, afin que ceux-ci ne soient pas délétères pour leur expérience éducative. Enfin, le suivi rigoureux des projets contribue au développement d'une culture commune au regard de critères de réussite constitutifs des projets soutenus. À mesure du déploiement du second niveau de suivi et d'évaluation, ces critères pourront venir constituer la base d'un référentiel visant à permettre la labélisation de certaines ressources et/ou outils dans le cadre du développement d'une filière française spécialisée dans le développement de dispositifs pédagogiques ludiques innovants.

Encadré 1. Développement, expérimentation et évaluation du jeu Darwinium

Le projet de recherche présenté ici repose sur la conception du jeu Darwinium intégré à des ressources pédagogiques destinées aux enseignants de collège, afin d'aborder les concepts de hasard et d'évolution. Environné par Ampiric, il s'inscrit dans le cadre du projet ANR EGRESS (Educational Game about Randomness and Evolution for Students in Science). Ce jeu place des élèves de collège dans la situation de chercheurs observant l'évolution de populations chimériques placées dans un dôme expérimental et devant rendre compte de cette évolution sous forme verbale narrative (explication écrite et orale de l'évolution) et graphique (représentation de la population). Ce projet s'inscrit dans la continuité de travaux qui ont souligné les difficultés d'appréhension de l'évolution du vivant et des idées de hasard qui y sont liées (Fielder et al., 2019). L'objectif de cet encadré est de mettre en évidence la diversité des choix méthodologiques retenus pour guider les étapes de conception du jeu et mesurer son efficacité.

La conception du jeu « Darwinium » s'inscrit dans un projet plus large de métaconception du jeu intégré à une intervention didactique en classe [START_REF] Ardito | On the transferability of a meta-design model supporting end-user development[END_REF]. Le principe général de ce processus de méta-conception est d'intégrer différents acteurs, comme des experts (didacticiens, spécialistes de l'évolution, ou joueurs experts), des utilisateurs (comme des enseignants, des élèves), dans le processus de conception même. L'activité de conception implique des cycles itératifs de développement avec réalisation de différents prototypes (éléments et mécaniques du jeu différents) et feedbacks [START_REF] Bonnardel | Enhancing creativity in the educational design context: An exploration of the effects of design project-oriented methods on students' evocation processes and creative output[END_REF]. A différentes phases de test du jeu, plusieurs données sont collectées en contexte d'activité de classe ou non : verbatim, récits et dessins d'utilisateurs. La méthodologie est basée sur des analyses sémio-cognitives avec une attention particulière accordée aux spécificités d'une activité créative, aux interactions entre différents experts dans le processus de conception, à la place donnée aux utilisateurs finaux (enseignants et élèves) dans le processus de conception, et au retour d'expérience sur l'effet du jeu par rapport aux différents objectifs.

La deuxième partie du projet vise à mesurer l'impact du dispositif conçu sur le raisonnement évolutionniste de collégiens. L'étude en cours sera menée en situation écologique de classe de troisième lors d'un enseignement des SVT sur un large échantillon. Les mesures seront réalisées selon une méthode de pré-test / post-test, à partir d'un questionnaire fermé [START_REF] Coupaud | Validité et fiabilité d'un questionnaire visant à situer les conceptions de l'évolution du vivant de collégiens[END_REF]. Au sein d'un vingtaine de classes, un groupe contrôle et un groupe test seront constitués. La méthodologie est basée sur des analyses statistiques multivariées permettant une approche comparative des résultats.

Les procédures de sélection des projets dans le CréativLab et de suivi des projets retenus sont des illustrations, au sein d'Ampiric, du processus de développement, d'expérimentation et d'évaluation de dispositifs pédagogiques innovants. Toutefois, bien que spécifiques, ces procédures interrogent au-delà du CréativLab et interpellent la question du passage à l'échelle, transversale à toute évaluation de dispositifs pédagogiques innovants. En effet, la validation des outils ainsi développés doit faire l'objet de différents niveaux de preuve afin de permettre leur passage à une échelle plus large, et à terme aboutir à un transfert éventuel vers le marché. Au-delà du CréativLab d'Ampiric, les enjeux et les limites du passage à l'échelle des dispositifs pédagogiques innovants en contexte d'éducation se doivent alors d'être examinés de façon transversale.

LE PASSAGE À L'ÉCHELLE : ENJEUX ET LIMITES L'éducation fondée sur les données probantes

Se développant au début du XXème siècle, les bonnes pratiques scientifiques basées sur les niveaux de preuves voient le jour petit à petit dans le monde de la recherche. De nos jours, c'est un ensemble de pratiques qui tend à se systématiser pour optimiser l'impact de la recherche dans nos sociétés. Le rapport de la Haute Autorité de Santé (HAS) publié en 2013 a défini le niveau de preuve d'une étude comme étant la capacité de celle-ci à répondre à une question précise, en appui sur les quatre critères suivants : i) adéquation du protocole à la question, ii) existence de biais dans la réalisation, iii) adaptation de l'analyse statistique aux objectifs et iv) puissance statistique et taille de l'échantillon.

L'ensemble de ces bonnes pratiques basées sur les niveaux de preuves (evidencebased practices en anglais) est conceptualisé de manière globale mais elles se spécifient en fonction du domaine de prédilection de l'étude en question. Ainsi l'approche « éducation fondée sur des données probantes » ou evidence-based education apparaît dans les années 90 [START_REF] Barrett | The right to effective education[END_REF]. Elle réside dans des pratiques et des politiques éducatives préconisant le fondement des études sur les données les plus probantes produites par la recherche [START_REF] Saussez | Entre orthodoxie et pluralisme, les enjeux de l'éducation basée sur la preuve[END_REF]) afin de limiter l'influence des modes, des croyances et des idéologies [START_REF] Davies | What is evidence-based education?[END_REF][START_REF] Slavin | Evidence-based educational policies: transforming educational practice and research[END_REF]2008) dans le monde de l'éducation. Cette démarche qui se veut être un outil d'aide à la décision scientifique et rationnelle pour les praticiens et les politiques est fondée sur quatre étapes : i) formuler une question précise, ii) effectuer une revue systématique de recherche, iii) évaluer la qualité des preuves recueillies en se basant sur un système de production de la preuve, l'essai contrôlé randomisé et iv) formuler une réponse claire à la question posée, établir si la solution fonctionne et rendre ces preuves disponibles [START_REF] Davies | What is evidence-based education?[END_REF][START_REF] Gough | Weight of evidence: a framework for the appraisal of the quality and relevance of evidence[END_REF][START_REF] Oakley | Who's afraid of the randomized controlled trial? Social research methods: a reader[END_REF].

L'ambition du passage à l'échelle s'inscrit donc dans un mouvement plus large qui accorde un rôle important à l'utilisation des méthodes scientifiques afin d'aider à faire progresser les pratiques pédagogiques. Ce mouvement est par exemple mis en avant en France par le Conseil Scientifique de l'Éducation Nationale (CSEN) ou en Angleterre par l'Education Endowment Foundation (Encadré 2).

Encadré 2. Education Endowment Foundation (EEF)

Le secrétaire d'État britannique à l'éducation, Michael Gove, a annoncé fin 2010 son intention de créer un programme d'aide pour améliorer les conditions dans les écoles difficiles en Angleterre et c'est en 2011 que l'EEF est fondé par une association caritative, The Sutton Trust, en partenariat avec Impetus. Le programme EEF est alors doté d'une subvention du ministère de l'éducation de 125 millions de livres sterling. Il emboite le pas du mouvement « What Works » aux États-Unis et au Royaume-Uni (White, 2019).

Ce fonds lance chaque année de nombreuses expérimentations en éducation ayant pour but l'identification des pratiques et des aménagements efficaces et répondant le mieux possible aux objectifs définis par les acteurs de l'éducation. Avant chaque expérimentation, l'EEF réalise d'abord une revue de la littérature scientifique afin de savoir si une intervention est justifiée par des connaissances fondamentales ou empiriques. Puis, l'intervention est testée en situation réelle en utilisant principalement des paradigmes en essais contrôlés randomisés (ECR) avec randomisation des groupes témoin et expérimentaux. L'expérimentation est caractérisée par plusieurs étapes : 1/ Dans un premier temps, les enseignants et les chercheurs co-construisent ensemble une intervention qui est à la fois faisable et souhaitable du point de vue des pratiques éducatives des enseignants et de celui de la recherche ; 2/ Dans un deuxième temps, les enseignantes et les chercheurs mènent une étude pilote sur un petit échantillon afin de de savoir si les conditions sont réunies pour que l'intervention puisse faire l'objet d'un ECR ; 3/ Ensuite, une première expérimentation est réalisée sur un échantillon plus large de classes, mais en conditions idéales car l'intervention est menée par les chercheurs et enseignants qui ont conçu l'intervention ; 4/ Si cette première expérimentation produit des résultats positifs, l'intervention est alors testée à grande échelle par des enseignants et des expérimentateurs totalement indépendants de l'équipe initiale, après avoir formé le personnel censé la mettre en place dans la réalité.

Lorsque les résultats sont positifs, afin de multiplier les chances d'adoption des bonnes pratiques, EEF produit des boîtes à outils d'indications pratiques pour enseignants, propose des formations, un accompagnement, et la création de réseaux pour la dissémination des résultats et l'échange des pratiques. L'EEF a démontré qu'il est aujourd'hui possible de mener de nombreuses expérimentations en éducation, en utilisant principalement des paradigmes en ECR.

Cependant, les premières tentatives de l'EEF ont souffert d'un taux d'acceptabilité relativement bas, avec une moyenne de 24 % d'élèves qui ont abandonné entre 2011 et 2012, mais, depuis, l'EEF a introduit de nouvelles stratégies pour recruter et retenir les écoles avec par exemple, un développement des communications sur les avantages des ECR dans les écoles par le biais d'événements de recrutement et de diffusion de documents expliquant clairement la conception et l'évaluation des études mais aussi le rôle central des écoles (Dawson et al., 2017).

En termes d'évaluation, l'EEF a nommé, par le biais d'appel d'offres, un panel d'organismes de recherche spécialisés dans l'évaluation de l'éducation, qui se mettraient en concurrence pour évaluer les programmes et seraient ensuite associés aux développeurs. Un point d'honneur a été mis en avant : publier toutes les conclusions, quel que soit le résultat [START_REF] Nevill | EEF blog: Do EEF trials meet the new gold standard?[END_REF]. Certains des premiers essais de l'EEF ont souffert de l'absence d'évaluation de qualité, ce qui signifie qu'ils n'étaient pas en mesure d'expliquer les processus causaux qui sous-tendaient les résultats ou de décrire leur mise en oeuvre [START_REF] Morris | The importance of specifying and studying causal mechanisms in school-based randomised controlled trials: Lessons from two studies of crossage peer tutoring[END_REF]. Début 2012, l'EEF a publié des directives strictes sur la sélection des tests dans ses évaluations, les principaux critères étant qu'ils devaient avoir une large validité externe et être fortement corrélés aux performances dans les évaluations nationales à fort enjeu (The EEF, 2012). Grâce aux efforts réalisés, ce programme a généré un grand nombre de preuves qui aident à identifier ce qui fonctionne et ce qui ne fonctionne pas dans les écoles anglaises (pour une revue plus complète, voir [START_REF] Edovald | Working out what works: The case of the Education Endowment Foundation in England[END_REF].

Le passage à l'échelle, tel qu'envisagé par les méthodologies qui se basent sur une éducation fondée sur des données probantes, a pour ambition de s'appuyer sur une collaboration inédite entre les enseignants et les chercheurs dans le but de faire émerger une véritable « recherche translationnelle » en éducation (voir [START_REF] Dehaene | La recherche translationnelle en éducation. Synthèse de la recherche et recommandations[END_REF]. Ce terme trouve son origine en médecine. Son objectif premier est de proposer et d'évaluer des solutions aux problèmes concrets que pose la santé, afin que ces solutions soient fondées sur les meilleures preuves disponibles. Cette approche s'applique également au domaine de l'éducation qui constitue un enjeu sociétal aussi important que la santé. Tout comme la recherche médicale, la recherche en éducation doit aider à identifier des pratiques, des aménagements et des interventions efficaces, qui répondent le mieux possible aux objectifs définis par les acteurs de l'éducation. La recherche translationnelle doit aider à évaluer ce qui marche dans la vie réelle, à l'échelle d'une classe, d'une école, d'une académie ou même d'un pays tout entier. Le terme fait donc référence à l'ensemble des étapes qui permettent de passer d'une connaissance scientifique fondamentale à sa mise en application pratique. Ce processus est progressif : du laboratoire à la salle de classe en passant par une série de recherches sur des cohortes de plus en plus grandes d'élèves, jusqu'à la mise en pratique à grande échelle. Avant le passage à l'échelle d'un dispositif pédagogique innovant, il existe un continuum de méthodes, de plus en plus sophistiquées, fournissant une hiérarchie de niveaux de preuves (Encadré 3).

Encadré 3. La pyramide des preuves

L'approche basée sur les preuves a produit une liste de méthodes de recherche permettant d'apporter des preuves en faveur ou à l'encontre d'une intervention, ordonnées selon leur susceptibilité à des biais de différente nature. Dans son rapport sur la "recherche translationnelle", le CSEN (voir Dehaene et Pasquinelli, 2021) fait la proposition suivante : Preuves de niveau 0 : Témoignages, questionnaires, interactions entre enseignants, parents, apprenants, chercheurs. Ce riche tissu d'échanges permet de définir les buts des interventions de façon collégiale, mais aussi de recueillir la sagesse collective des personnes impliquées dans le processus éducatif. Même si les résultats de ces échanges ne fournissent pas une preuve de « ce qui marche », ils sont très importants à prendre en compte, car ils sont la principale source d'hypothèses sur « ce qui pourrait marcher ».

Preuves de niveau 1 : Connaissances d'ordre fondamental obtenues en laboratoire.

Par ordre croissant de fiabilité pour la recherche translationnelle, on distingue : -Les connaissances issues de recherches de laboratoire éloignées des conditions réelles, ou avec des échantillons limités ; -Les connaissances issues de recherches de laboratoire avec conditions proches de celles réelles, ou réalisées sur de nombreux sujets ; -Les résultats convergents de différentes lignes de recherche, avec réplication et confirmation des résultats, sur de vastes échantillons.

Preuves de niveau 2 : Études observationnelles dans les classes. Sans modification des conditions initiales, ces études examinent la corrélation entre les pratiques et les progrès des élèves. La qualité de ces études varie selon l'utilisation de supports objectifs pour l'observation (grilles, questionnaires, tests) et d'outils statistiques pour contrôler les autres variables qui pourraient expliquer les résultats.

Preuves de niveau 3 : Études expérimentales avec modification contrôlée des conditions d'apprentissage et observation des conséquences.

Par ordre de fiabilité, on distingue : -Les études qui comparent un pré-test et un post-test (un design expérimental souvent très insuffisant, car tous les élèves s'améliorent avec le temps) ; -Les études qui comparent un groupe d'intervention et un groupe témoin en pré-et posttest, mais sans les randomiser ; -Les études randomisées contrôlées, dans lesquelles les élèves ou les classes sont assignés aléatoirement à la condition d'intervention ou de contrôle, et sont comparés en pré-et post-tests.

Preuves de niveau 4 : Synthèses et méta-analyses.

Résultats répliqués et confirmés par plusieurs groupes de recherche indépendants, idéalement réunis dans des analyses systématiques de la littérature (méta-analyses).

Il est important de souligner que toutes ces méthodes différentes ont un rôle à jouer dans la recherche en éducation. Elles ne sont pas en concurrence mais créent des synergies et soutiennent collectivement la découverte de moyens pour améliorer l'éducation à tous les niveaux. Il serait contre-productif d'affirmer que seule une méthode ou un petit nombre de méthodes ont de la valeur dans le domaine de l'éducation fondée sur les preuves. Par exemple, il est souvent utile de commencer par des études observationnelles, avant de mener des études plus définitives (par études randomisées contrôlées) quant à l'efficacité causale des interventions éducatives.

Très souvent, les idées viennent d'abord des préoccupations du terrain, par exemple d'un enseignant qui souhaite tester une nouvelle idée avec ses élèves. Il est toutefois important d'être conscient que ces observations informelles ne fourniront pas de preuve. Si ces observations informelles suggèrent que l'idée est prometteuse, il est important de mener une véritable expérimentation -il ne s'agit pas encore d'un véritable essai randomisé contrôlé à grande échelle, mais d'une expérience à petite échelle (quelques classes), avec des mesures objectives des compétences cibles avant et après intervention, et autant que possible un groupe contrôle (voir la méthodologie proposée par EEF). Si cette expérimentation produit des effets espérés, il peut être judicieux de chercher à obtenir le niveau de preuve le plus élevé, en menant un essai randomisé contrôlé à une échelle qui dépasse celle d'un seul établissement. Toutefois, le passage à très grande échelle, à savoir le déploiement d'une nouvelle pratique pédagogique auprès de nombreux enseignants posent d'autres problèmes.

Le passage à l'échelle : la question de la pérennisation / généralisation L'évaluation d'une expérimentation pose de redoutables questions théoriques et pratiques notamment quand il s'agit de décider de l'opportunité de pérenniser et éventuellement généraliser le dispositif expérimenté. Le développement de logiques d'expérimentation à petite échelle de nouveaux dispositifs en vue de leur possible généralisation tend à s'imposer comme une nouvelle technique de policy making. L'évaluation de ces innovations expérimentales a donc une responsabilité particulière puisqu'il s'agit au fond de décider ex-ante du bien fondé d'un dispositif et soulève des questions inhabituelles en termes évaluatifs dont la plus prégnante est sans nul doute celle de sa pérennisation/généralisation. Leur évaluation suppose donc de prendre en compte un certain nombre de points de vigilance. Premier de ces points, les expérimentations s'inscrivent le plus souvent dans l'écosystème local qui les porte et elles visent à répondre à des problématiques elles aussi localisées dont il est souvent difficile de mesurer la validité externe pour d'autres écosystèmes. Il est ainsi plutôt rare que les expérimentations soient construites en intégrant dans leur design la perspective de leur généralisation. Il importe donc dans l'évaluation de bien mesurer le degré d'endogénéité de l'expérimentation en question pour analyser sa transférabilité. C'est là souvent un point critique des évaluation randomisées puisqu'il s'agit, dans le protocole expérimental d'évaluation, de neutraliser tous les biais endogènes possibles lors de la constitution des échantillons (Conseil d'État, 2019).

Second point critique, la représentativité de l'échantillon -ou des échantillons test et témoin en cas d'évaluation randomisée -qui supposerait que celui-ci soit représentatif de la population cible d'un processus de généralisation. Ainsi, évaluer la possibilité de généraliser les expérimentations conduites dans le cadre d'un pôle pilote comme Ampiric supposerait d'avoir la capacité de garantir que les populations d'élèves et d'enseignants soient représentatifs de la population cible régionale ou nationale visée.

La conscience, pour les parties-prenantes, de participer à une expérimentation peut également porter en soi un biais et nécessite de s'interroger sur l'effet de la disparition de cet effet potentiel en phase de généralisation. Ainsi, le caractère volontaire généralement en oeuvre pour la participation à une expérimentation dans le cadre des projets Ampiric suppose de s'interroger sur l'impact de la disparition de ce caractère en phase de généralisation. Il n'est ainsi pas dit qu'une expérimentation produisant un résultat positif auprès d'enseignants volontaires produise les mêmes effets dans le cadre d'une politique académique. Ce que rappelle également judicieusement Gordon Stobart à propos des conditions de généralisation d'une expérimentation d'évaluation par les apprentissages localisée à toutes les écoles britanniques lorsqu'il écrit « La manière dont les politiques centralisées sont parfois mises en oeuvre empêche que la généralisation de l'expérimentation atteigne ceux pour lesquels le dispositif est pourtant une clé essentielle de leur réussite, à savoir les enseignants de terrain » (2011, p.47).

Comme le rappellent Bérard & Valdenaire (2013, p.5), « le changement d'échelle peut induire des effets dits d'équilibre général qui n'affectent pas un dispositif expérimental ». Dit autrement, rien ne garantit que la généralisation d'un dispositif expérimental, par la montée en généralité qu'elle produit, se traduise par la réplication à l'identique des effets constatés sur une population réduite ; ce qui rejoint la question de la représentativité.

Si l'évaluation d'une expérimentation permet de contrôler des effets de court terme -ceux mesurables dans le temps de la phase expérimentation/évaluation -on peut s'interroger sur l'émergence d'effets de moyen terme car on fait comme si « la généralisation se déroulerait dans les conditions de l'expérimentation sans évolution du contexte, ni des normes, et représentations sociales » [START_REF] Beaupère | Expérimenter pour généraliser le Portefeuille d'Expériences et de Compétences à l'université : le sens de l'évaluation[END_REF]. Ces évolutions échappent de fait à une observation temporellement située. Ce questionnement est particulièrement prégnant au regard de la préconisation de pérenniser ou pas le dispositif au moment de son évaluation.

Pour finir, on peut rajouter que l'évaluation d'un dispositif tel qu'Ampiric et en son sein le CréativLab, parmi d'autres actions et projets, engendre un bouquet de difficultés supplémentaires liée sa complexité. En effet, le caractère emboité et multiniveau des projets et des expérimentations dans l'expérimentation suppose d'adopter une démarche évaluative elle aussi multiniveau, touchant à des domaines éducatifs divers, des populations scolarisées hétérogènes (élèves, étudiant•es, enseignant•es) tant en formation initiale que continue, des territoires différenciés et des problématiques nombreuses. En évaluer la possibilité de pérennisation et plus encore de généralisation représente un challenge évaluatif de premier ordre.

Si la question de la pérennisation / généralisation des dispositifs évalués se pose pour les raisons évoquées plus tôt, celle des limites des prescriptions lors de la confrontation au terrain se pose également.

Le passage à l'échelle : les limites des prescriptions

L'innovation ne se décrète pas. Pas plus en pédagogie qu'ailleurs. Pour advenir elle suppose de faire différemment dans un but d'amélioration des méthodes d'enseignement, des ressources pédagogiques, des apprentissages … La question de la généralisation de l'innovation dans la classe, du changement là où les résultats de la recherche les plus probants doivent arriver, concerne in fine celle ou celui qui en a la responsabilité : l'enseignante ou l'enseignant. Or, il peut s'avérer qu'arrivée en bout de chaine, la verticalité de prescriptions trouve parfois des obstacles dans la confrontation au réel. En France, les programmes d'enseignement et leurs documents d'accompagnement ne manquent pas de détails. Pour autant, certains aspects du programme peuvent être plus ou moins traités, tout comme certaines pratiques, qu'ils ne préconisent pas particulièrement, peuvent largement se répandre. Cette distinction entre prescrit et réel s'inscrit dans l'analyse de l'activité enseignante qui intéresse particulièrement la formation professionnelle des enseignants. À un niveau de master universitaire, celle-ci s'inscrit en faux avec la diffusion de méthodes pédagogiques, voire de recettes, peu étayées sur le plan scientifique qui renverraient l'exercice de la profession d'enseignant à un métier d'exécution loin d'être à la hauteur des enjeux de société en matière d'éducation. L'adossement de cette formation aux savoirs produits par la recherche est donc un enjeu majeur du travail de l'enseignant pour lequel les processus d'enseignement-apprentissage occupent une place centrale. L'ancrage relatif aux savoirs à transmettre et à leur didactique disciplinaire conditionne l'organisation de l'enseignement et induit des processus de transmission-appropriation de savoirs. La discipline joue un rôle majeur qui situe l'enseignement dans un champ épistémologique et dans un format scolaire précis (programmes, niveaux, enseignants…).

Toutefois, bien que lié au travail et à la professionnalité enseignante, cet ancrage disciplinaire ne suffit pas à totalement caractériser le travail de l'enseignant et les processus d'enseignement-apprentissage pour lesquels l'activité de l'enseignant, à l'origine de celle de l'élève, est déterminante. Les ressources, les matériels et les dispositifs pédagogiques sont des médiateurs instruments [START_REF] Vérillon | Cognition and artifacts -a contribution to the study of though in relation to instrumented activity[END_REF][START_REF] Engeström | Studies of expansive learning: Foundations, findings and future challenges[END_REF] de l'activité du professeur, activité dont l'efficacité se mesure au fait que les élèves ont appris. En d'autres termes, c'est ce que l'enseignant demande de réaliser qui est porteur de l'activité de l'élève. L'élaboration et le choix des tâches est donc capital [START_REF] Brandt-Pomares | Searching for information on the internet about the link between task and activity[END_REF]. Aussi, réunir les conditions pour que les enseignants développent leur activité pour favoriser l'apprentissages des élèves, interroge la question de l'articulation entre le monde de la recherche en éducation et celui des pratiques enseignantes. Elle bute aujourd'hui sur la difficulté à répartir le travail d'ingénierie, de co-construction entre chercheurs et enseignants. Le CréativLab apporte une solution en amont de ce qui peut devenir une innovation pédagogique efficace par un travail d'articulation entre le monde de la R&D et celui de son application.

Sans exclure que, pour leur généralisation, la mise en oeuvre des ingénieries développées dans le cadre du CréativLab fasse l'objet d'analyse en contexte écologique, le processus proposé par le CréativLab tient compte de la professionnalité des enseignants et de la complexité de leur tâche. Ce type d'élaboration qui intègre cette dimension professionnelle dès la conception des dispositifs favorise le processus d'appropriation des innovations par les enseignants et leur pilotage de l'enseignement par les apprentissages.

Conclusion

Développer, expérimenter et évaluer des dispositifs pédagogiques innovants est un processus long et complexe. Le CréativLab d'Ampiric en est un exemple particulièrement illustratif et des précautions d'évaluation sont prises pour donner aux projets retenus les meilleures chances de succès, en appui sur une collaboration étroite entre entreprises, chercheurs et enseignants. Mais le développement, l'expérimentation et l'évaluation des projets dans le cadre du CréativLab posent aussi la question du passage à l'échelle, qui est transversale à tous les dispositifs innovants. Ce passage à l'échelle est un enjeu, notamment dans le contexte de l'éducation, mais certaines précautions doivent être prises, tout comme les limites doivent être connues. Lors de l'évaluation de dispositifs innovants, il s'agit d'être vigilant pour placer le curseur de l'évaluation au bon niveau, permettant de trouver un équilibre entre rigueur de la méthodologie scientifique, échelle envisagée et finalité du dispositif.

  Comme le soulignent[START_REF] Dehaene | La recherche translationnelle en éducation. Synthèse de la recherche et recommandations[END_REF] dans la synthèse du CSEN, « En éducation comme en médecine, il n'est raisonnable de tester une nouvelle intervention que lorsque des recherches préalables indiquent qu'elle a de bonnes chances d'être plus efficace que les meilleures pratiques éducatives actuellement disponibles (présomption d'efficacité). La pré-identification des interventions potentiellement efficaces est indispensable pour éviter les coûts inutiles, aussi bien en termes de temps et d'argent que d'effets indésirables ». Le speed dating d'Ampiric est un bon exemple où les idées des partenaires économiques se confrontent aux regards des scientifiques.

mise en réseau des acteurs, entre terrain, formation, recherche et entrepreneuriat

  • Coproduire des outils et des applications au service des apprentissages fondamentaux au sein d'un CréativLab ; • Diffuser et valoriser les ressources pédagogiques sur les apprentissages fondamentaux. Dans le cadre de ce chapitre, nous nous centrerons plus spécifiquement sur le quatrième objectif stratégique afin d'investiguer l'évaluation des dispositifs pédagogiques innovants dans le cadre du CréativLab d'Ampiric. Le CréativLab est un espace de coopération de recherche et d'action dédié aux enseignants, chercheurs et entreprises. Coordonné par l'ANRT, et à travers elle, son groupe de travail sur la « Pédagogie par le jeu », il bénéficie du soutien et de l'accompagnement de tous les partenaires d'Ampiric. En appui sur la recherche, l'objectif principal du CréativLab est de coproduire, expérimenter et labelliser des ressources pédagogiques permettant d'améliorer les apprentissages fondamentaux. Le fonctionnement du CréativLab est articulé autour des actions suivantes :

	Le CréativLab d'Ampiric

 L'initiation et l'accompagnement de projets collaboratifs. Chaque année, des projets portés conjointement par des responsables d'entreprise, des chercheurs et des enseignants sont sélectionnés, au service de l'amélioration de l'apprentissage des savoirs fondamentaux.  La . Diverses manifestations sont organisées pour opérationnaliser cette mise en réseau.  Une

évaluation des ressources produites ou perfectionnées. Les

  'ambition de ce chapitre est donc double : d'une part présenter les modalités d'évaluation des projets mises en oeuvre dans le CréativLab d'Ampiric et d'autre part identifier dans quelle mesure cette évaluation spécifique interroge de façon plus transversale toutes les modalités d'évaluation des dispositifs pédagogiques innovants.

outils pédagogiques développés ont vocation à être évalués auprès de classes partenaires au sein du plateau expérimental « Jacques Ginestié » d'Ampiric ou directement dans les établissements scolaires. L

Ses travaux portent en particulier sur les rôles et fonctions du numérique dans l'activité enseignante. Elle est co-responsable du programme de


Raoudha Gaha
email: raoudha.gaha@utc.fr

Pierre-Marie Nicolet

Matthieu Bricogne
email: matthieu.bricogne@utc.fr

Benoit Eyanrd
email: benoit.eynard@utc.fr

Evaluation of Cloud-based CAD software in teaching experiments for engineering education: 3D Experience

Keywords: Computer Aided Design (CAD), Education, Design engineering, 3D Experience

Today Industry 4.0 mark the fourth industrial revolution. That's why, engineering Schools currently face the challenge to train their students for the forthcoming this new industry, which is based on the use of the internet technology. The Software-as-a-Service (SaaS) mode, a form of cloud computing, become widely used by industrials. New developed CAD solutions which are distributed as (SaaS), present a part of the evolution new generation software. Concerned about the quality of its engineering students training, Université de Technologie de Compiègne (UTC) aims to implement 3DEXPERIENCE the "Business Experience Platform» which is one of the proposed solutions in the market, instead of Catia, in order to prepare future engineers integrating indus-try4.0. Hence, in this paper we present a study aiming at identifying, analyzing and evaluating the capacities of Cloud-based CAD software, with an especial focus on 3D Experience. From literature review, presented in the second section, we extract criteria considered for the evaluation. After the presentation of 3DEXPERIENCE, in the third section, we experiment it in the fourth section, on the basis of extracted criteria, and we discuss the evaluation results that allow us to compare 3DEXPERIENCE to OnShape and Fusion360 already evaluated in our previous work.

Introduction

In the context of the industry4.0, the mechanical computer-aided design (CAD) software keeps growing. The use of cloud-based CAD software offers a solution Gaha, R., Nicolet, PM., Bricogne, M., Eyanrd, B. (2023). Evaluation of Cloud-Based CAD Software in Teaching Experiments for Engineering Education: 3D Experience. In: , et al. Design and Modeling of Mechanical Systems -V. CMSM 2021. Lecture Notes in Mechanical Engineering. Springer, Cham. https://doi.org/10.1007/ 978-3-031-14615-2_36 to its users, a service that requires no software installation, no conflict in versions and license because they are used as Software-as-a-Service (SAAS). The SAAS mode consists of installing the software on remote servers. The software in SAAS mode therefore requires a good internet connection, but, since the operating "efforts" are made on the cloud, the user does not need to have a computer with very high specifications for the software to work. Thus, the publisher offers a service with very little (if at all) maintenance, a short deployment time if the software corresponds to the customer's request. The software in SAAS mode may have certain drawbacks on the data since it is stored on the servers of the provider offering the solution. In order to get an overview of what CAD software in SAAS mode can offer, we realized a comparison of two software in SAAS mode, Fusion 360 (published by Autodesk), and Onshape (published by PTC) (Gaha el al.,2021). In this paper we are focused on 3DExperience, which is launched in 2012 by Dassault Systems. It is described as a "Business Experience Platform" and can be "available on premise and in public or private cloud" (DS, 2021).

For the software analysis we consider functionalities founded in the literature review as well as those transmitted in the geometric modelling value unit (TN20, 2021). Hence, we start by presenting the platform 3D experience, then we conduct a literature review to extract some criteria taken into consideration in our analysis. Then, an UTC pedagogical experimentation is applied on 3D experience based on extracted criteria. A discussion of the obtained results with comparison to our previous work is realized in the fourth section.

Literature review and evaluation criteria

Experimenting scientifically, a cloud-based software was an important step for implementing these technologies in several engineering universities [START_REF] Maranzana | Collaborative design tools: a comparison between free software and PLM solutions in engineering education[END_REF], [START_REF] Fielding | Product lifecycle management in design and engineering education: International perspectives[END_REF], [START_REF] Bedolla | PLM in Engineering Education: A Pilot Study for Insights on Actual and Future Trends[END_REF], [START_REF] Eiden | Crowd Engineering-Bringing Full Cloud CAD into the Lab[END_REF] and [START_REF] Barrie | Applications for cloud-based CAD in design education and collaboration[END_REF]). From literature review we have identified some relevant criteria considered to evaluate this type of software. [START_REF] Junk | Review of open source and freeware CAD systems for use with 3D-printing[END_REF], consider in their literature review work the criteria "ease of use" and "scope of functions" where a weighting factor is additionally implemented to compare between existing open source and freeware CAD systems.

The criterion "Software familiarisation", is considered by Also, [START_REF] Le | Product Design with Cloud Based and Desktop CAD software: A comparison between SolidWorks and Onshape[END_REF] to examine Solid-Works and Onshape based on SWOT analysis and AHP model in order to have a rational comparison.

The comparison, realized by [START_REF] Rassovytska | Mechanical engineers training in using cloud and mobile services in professional activity[END_REF], on various cloudbased CAD software (e.g. Onshape, Fusion 360, etc.), services and mobile applications, is based the main following criteria: functionality, availability, easy access from different devices, ability to integrate with other software, support for Evaluation of Cloud-based CAD software in teaching experiments for engineering education: 3D Experience 3 collaboration. The collaboration is an important criterion required for students when realizing a common project. [START_REF] Barrie | Applications for cloud-based CAD in design education and collaboration[END_REF] and [START_REF] Wu | Cloud-based CAD software in teaching experiments for engineering education: 3D Experience 11[END_REF], confirmed this importance in their works. Today, facing the use of numerous CAD software, the conversion ability presents an important criterion considered in TN20 as well as the criteria of the design modelling and some additional functionalities considered also by [START_REF] Junk | Use of cloud-based computer aided design software in design education[END_REF] in their technical comparison realized between Onshape and Fusion 360.

Based on the literature review from one side and the TN20 from the other side, we extract the following criteria (Table 1) to consider for the evaluation of 3D experience, in order to consider it or not for the mechanical engineering training at UTC. In order to have concrete results, we attributed marks based on the importance of the functionalities required in TN20 (table 1). Intuitive Interface [START_REF] Junk | Review of open source and freeware CAD systems for use with 3D-printing[END_REF]) 6

Accessibility (TN20, [START_REF] Rassovytska | Mechanical engineers training in using cloud and mobile services in professional activity[END_REF]) 9

Design Shape, Volume, Assembly (Skeleton method) (TN20, Junk and Spannbauer ( 2018) )

10

Software familiarization [START_REF] Junk | Review of open source and freeware CAD systems for use with 3D-printing[END_REF], [START_REF] Le | Product Design with Cloud Based and Desktop CAD software: A comparison between SolidWorks and Onshape[END_REF] ) 7

Collaboration (Tn20, [START_REF] Rassovytska | Mechanical engineers training in using cloud and mobile services in professional activity[END_REF], [START_REF] Barrie | Applications for cloud-based CAD in design education and collaboration[END_REF], [START_REF] Wu | Cloud-based CAD software in teaching experiments for engineering education: 3D Experience 11[END_REF]))

8

Conversion (TN20) 8

Additional functionalities (TN20, [START_REF] Junk | Use of cloud-based computer aided design software in design education[END_REF]) 3

Presentation of 3D Experience

3DEXPERIENCE is a commercial platform that hosts applications relevant to 3D modelling, simulation, collaboration and information intelligence, as seen in Figure 1. The software can be launched on a web page of a browser and includes a multitude of apps, which can be Web apps (work directly on the web browser) or native apps (require heavy installation on the computer). In the future, Dassault Systems wishes to integrate all of its apps (native and web) into the browser. 3DEXPERIENCE.

Fig. 1 3D EXPERIENCE compass tool for navigating the interface 4 Experimentation, results and discussion

Experimentation and results

Based on the aims of TN20, a student in fifth year under the supervision of three teacher-researchers, a Professor and two lecturers, who teach TN20, with collaboration of three teachers, tested the 3D experience functionalities extracted above on a project semester have been already done on Catia, Creo in TN20 and on Onshape and fusion360 in our previous work [START_REF] Gaha | TEACHING EXPERIMENTS FOR ENGINEERING EDUCATION BASED ON CLOUD CAD SOFTWARE[END_REF]. The case study considered is an automotive spring damper (Figure 2). Each extracted criterion is scored when using 3D experience to attempt the final design of the considered case study by comparing it to its design on Catia V5 and Creo Each experiment team member mentioned above give a score for each criterion. The final attributed score for this criterion is the average.

Fig.2 Product case study (Spring Damper)

The marks, shown in Table 1 for the evaluation of the functionalities of 3D Experience, were given keeping in view the fact that the software would be used by novice.

For the first criterion "the intuitiveness" we find that the first use is tricky. Indeed, in order to use Catia via the 3D Experience, it is necessary to install Catia workshops on the computer, via "apps". These are cumbersome installations, and the point of cloud-based software is lost, so it will require a student to have a computer with high specifications. Installation is done workshop by workshop, which can take time. In addition, the installation settings of the apps are not clear: a simple window opens with very few options for installation. Other features are harder to use. Indeed, the general ergonomics of the platform is quite difficult to understand at first, if the user wants to launch Catia for example, it will take some time to understand where to find the launcher app. Hence, despite the easy use of Catia once it is operational in the 3D Experience, where we find the same workshops (Part design, volume, Generative Shape Design, or even Assembly Design) and navigating through these workshops is rather easy, we attribute the score 4/10 because it is not intuitive for a novice user.

The conditions of use of the software has an impact on its accessibility. 3D Experience requires the installation of on-premises apps, and the use of software in the cloud. Installing on-premises software requires a personal computer certified and compatible with good performances. It is also necessary to have a good internet connection since the installation of the various apps is done by download. It is functional on many browsers such as Google Chrome, Mozilla Firefox, and Opera. The ease accessibility to a software, for a student from his personal computer, is an important criterion. Which seems not to be the case of 3D experience, especially when updates are done. Moreover, the most encountered problem is the lost of some data when DS make updates and it is necessary to wait minutes to re-access, sometimes we are able to reconnect on our account if it was not disconnected from another computer. As a result, 3D Experience is rated 3/10. This criterion is important from the point of view of time between collaborative groups working on a common project in TN20.

Once previous problems are overcome, the classic functionalities required for the UTC mechanical engineering training are affordable. Indeed, solid modeling is affordable for a CAD novice because the user is not overwhelmed with features on the screen (figure 3). The feature drawings are more visible and it is therefore easier to find the desired features. The modeling is done in the part design workshop, which is the same as on Catia V5. The main difference is on the organization of the features. Where Catia features in the 3D Experience are classified and it is not the case on Catia V5. However, this classification is not very useful. Indeed, the features are not necessarily arranged in a logical way, we can find the fillet and chamfer features in the "refine" sub-section while the "basic function" sub-section would lend itself better. You can also find the revolution feature in the "model" sub-part and in the "basic functions" sub-part, which may raise questions about what "model" really is, because most of the features of this sub-part are also present in the "transform" sub-part.

Fig. 3 Solid modeling of some components of the Spring Damper

The shape design is done in the Generative Shape design workshop. Figure 4 present the shape design of a car shock cap. In order to design it, we integrate an image as a sketch support for the cap profiles. Like any CAD software allowing to work in surface, the curves guides made it possible to make a sweep, then the surfaces were thickened.

Fig. 4 A shape design case study ( Spring damper cap)

A product assembly takes place in the Assembly Design workshop (figure 5). We can note some differences, in particular at the level of the connections between the various parts, which are made by mechanical connections (spherical, cylindrical, pivot, ect.).

Fig. 5 The assembly operation of the spring damper components

Evaluation of Cloud-based CAD software in teaching experiments for engineering education: 3D Experience 7

A feature specific to the assembly of parts has therefore been added, which greatly facilitates assemblies between parts. The operation of the workshop remains the same as on Catia V5 (product, component, publications, ...). The rating given to 3D experience for the "design" criterion after experimentation, is 8.3/10. The criteria "software familiarisation" considers the required time for a novice user to adapt to the software. In 3D Experience, the multidisciplinary makes the platform difficult to learn. Thus, the adaptation time is rather long. Indeed, understanding the search for apps or for shared content (or even our own content) takes long time. In addition, some features are difficult to learn, such as upgrading. However, due to its similarity to Catia V5, users will not be lost, although the interface changes a bit. This version of Catia is more accessible than the old one for a CAD novice due to the more intuitive ergonomics. However, it will still require some adaptation time, especially for the launch of Catia. For this criterion the platform received a score of 7/10. 3D Experience collaborative system is not very intuitive, compared to traditional CAD software. It can be explained by its multi-domain side. There is a system of directories, in which we can save our various contents. These directories are called "Collaboration Space" and are accessible via the 3D Space. Due to issues with the 3D Experience, UTC has few collaboration spaces, and students using the 3D Experience must save their content in the same space. A collaboration space can be private, protected or public. The user in a collaboration space can have different roles. He is able to be a contributor, author, or leader. These notions are theoretical and could not be used in this study due to the problems associated with creating collaboration space on UTC's 3D Experience. Hence, where the criterion of collaboration is important in TN20, leads us to rate the platform 5/10 for the collaboration criterion.

The conversion refers to the possible export and import formats. These formats allow interoperability between different software. In addition, in the context of an evolving digitization in an industry 4.0, it seems to be a fairly important criterion as well as collaboration. In 3D Experience, the parts can be exported in numerous standard format (3DXML, STEP, STEPZ, 3MF, AMF, XCGM, ICEM, IFC, IGS, MODEL, STL, VRML) and, also, the various extensions specific to Catia (SMG, SMGXML, SMGPROJ).

By default, the STEP file is STEP AP242 edition 1. The definition drawings (drafting) can be exported with different extensions (3DXML, DWG, DXF, IG2, CGM, GL2, JPG, PDF, PS, SVG, TIF) and the various extensions specific to Catia (SMG, SMGXML, SMGPROJ). The assemblies can be exported in the following extensions (ICEM, IFC, IGES3D, STEP, STEPZ, STL, WRL, CGM, AMF, 3MF, 3DXML) and the various extensions specific to Catia (SMG, SMGXML, SMGPROJ). Due to these large lists of formats we attribute the rate of 8/10.

The additional functionalities, for students in TN20, are just a plus. As it is a multidisciplinary platform, 3D Experience offers many features. We can list a some apps. It should be noted that the 3D Experience aims to take into account the Gaha et al. entire product life cycle. We will therefore find CAD software (Catia, Solidworks, or even XDesign), CAM (Prismatic Machining), or even simulation (apps linked to Simulia, Abaqus CAE is not integrated into platform, you can use it via a converter integrated into the 3D Experience only). You can add apps linked to the entire production process (apps integrated into Delmia, the production management software), or apps allowing you to manage projects (in Enovia). This list is not exhaustive and many possibilities are offered by the platform. It is constantly evolving platform. That's why we attribute the rate of 8/10 for added functionalities criterion.

Table 2 summarize the criteria rating of 3D experience, where the calculated average is 5.7 according to criteria coefficient importance related to the functionalities required in TN20 (table 1). The Average is calculated based on equation 1.

Average=  (criterion score * criterion Coeficient) /  coefficient (eq.1)

Results discussion

The criteria used above to evaluate 3D Experience were used also to evaluate and compare between Onshape and Fusion360. Based on the results extracted from [START_REF] Gaha | TEACHING EXPERIMENTS FOR ENGINEERING EDUCATION BASED ON CLOUD CAD SOFTWARE[END_REF], we established the comparison graph presented in figure 4. We note that the ratings of the 3D Experience are relatively low compared to those of Fusion 360 and OnShape (which scored 7.5 and 7.2 respectively). It should be kept in mind that, despite the efforts made to maintain a certain objectivity, the marks awarded may contain an element of subjectivity. In addition, the marks awarded are oriented in the case of educational use, directed towards learning CAD. However, it offers features that we might find in a PLM, such as check-in / check-out, versioning, tracea-bility and part maturity they are not very intuitive. While the version upgrades of parts are automatically taken into account in an assembly on Onshape and Fusion 360 (just go and update the assembly). Those of the 3D Experience require a certain number of manipulations that call into question the traceability within the platform. Also, the export is more complicated than on Fusion 360 and OnShape. The integration of Catia into the 3D Experience is rather well done. Catia's interface in the 3D Experience is more intuitive for a CAD novice than Catia V5, but some features are poorly organized.

Conclusion

To be coherent with the advanced technological evolution, we are trying at UTC to follow the industry demand. More precisely TN20 teaching unit. The widely spread using of 3D experience leads us to perform a technical experimentation on the platform in order to integrate it at the mechanical engineering training. The study object is to evaluate its capacities to be used by students in a design project. The following criteria (intuitiveness, handling, accessibility, collaboration, design and conversion) are considered in the experimentation process. These criteria are essentially extracted from the literature review as well as the aims of TN20 unit, in the first section. This study showed that 3D Experience is less attractive than Fusion 360 and Onshape. The software is low-rated on the criteria of intuitive interface, accessibility and collaboration, especially when internet connection is unstable. Like all CAD software in SAAS mode, 3D Experience is not a subject to Gaha et al. heavy maintenance, because software updates in SAAS mode are done directly from the software publisher's servers. It requires a heavy installation on the local performant which can potentially present a problem for students. However, it has various advantages, starting with storage. The amount of storage will depend on an agreement between a software publisher and the institution.

The result of the comparison allows us to approve the use of Fusion 360 which obtained the highest average among Onshape and 3D Experience from one hand, and considering the condition of connection stability from the other hand. TN 20 session can be ensured without worry by using Fusion 360.

Fig. 4 A

 4 Fig. 4 A SAAS based-TN20 criteria comparison

Table 1 . Comparison criteria extracted from literature review Criteria Coefficient / 10

 1

Table 2 Technical Evaluation of 3D Experience

 2

	Criteria	Software	3D Experience mark	Coeffi-cient (/10)
	Intuitive Interface		4	6
	Accessibility		3	9
	Design Shape, Volume, Assembly (Skele-ton method)	8.3	10
	Software familiarization		7	7
	Collaboration		5	8
	Conversion		8	8
	Additional functionalities		8	3
	Average		5.7