Paul Lerner
email: lerner@isir.upmc.fr

Olivier Ferret
email: olivier.ferret@cea.fr

Camille Guinaudeau
email: camille.guinaudeau@lisn.upsaclay.fr

Cross-modal Retrieval for Knowledge-based Visual Question Answering

Keywords: Visual Question Answering, Multimodal, Cross-modal Retrieval, Named Entities

Visual Question Answering about Named Entities is a challenging task that requires retrieving information from a multimodal Knowledge Base. Named entities have diverse visual representations and are therefore difficult to recognize. We argue that crossmodal retrieval may help bridge the semantic gap between an entity and its depictions, and is foremost complementary with mono-modal retrieval. We provide empirical evidence through experiments with a multimodal dual encoder, namely CLIP, on the recent ViQuAE, InfoSeek, and Encyclopedic-VQA datasets. Additionally, we study three different strategies to fine-tune such a model: mono-modal, cross-modal, or joint training. Our method, which combines mono-and cross-modal retrieval, is competitive with billion-parameter models on the three datasets, while being conceptually simpler and computationally cheaper.

Introduction

The work we present in this article takes place in the context of Multimodal Information Retrieval, a field at the intersection between Information Retrieval (IR), Computer Vision, and Machine Learning. More precisely, we focus on Knowledge-based Visual Question Answering about named Entities (KVQAE), which has two specificities in regards to multimodal modeling [START_REF] Bokhari | Multimodal information retrieval: Challenges and future trends[END_REF][START_REF] Zhang | Information fusion in visual question answering: A survey[END_REF][START_REF] Baltrušaitis | ranx: A Blazing-Fast Python Library for Ranking Evaluation and Comparison[END_REF][START_REF] Guo | Deep Multimodal Representation Learning: A Survey[END_REF]: (i) images represent named entities; (ii) multimodal interactions are complex and may be combined as both questions and retrieved passages are (text, image) pairs. Indeed, KVQAE consists in answering questions about named entities grounded in a visual context [START_REF] Shah | KVQA: Knowledge-Aware Visual Question Answering[END_REF][START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF]. We focus here on Entity Retrieval based on this visual context, similarly to Visual Named Entity Linking [START_REF] Sun | Visual named entity linking: A new dataset and a baseline[END_REF]. Figure 1 shows two examples of visual questions along with corresponding relevant visual passages from the ViQuAE dataset [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF] and its multimodal Knowledge Base (KB), i.e. the set of multimedia documents in which the answers to the questions are searched.

The first example shows how heterogeneous depictions of named entities can be: Winston Churchill is depicted through a statue in the visual question and by a standard photograph in the KB. This heterogeneity makes mono-modal image retrieval difficult. On the other hand, cross-modal retrieval may bridge the semantic gap between the two representations by using a more abstract representation of the entity, e.g. its name, here Winston Churchill.

We formalize these different multimodal interactions in the framework exemplified in Figure 1. The cross-modal interaction between the image of the question and the text of the passage is noted IqTp, while the mono-modal interaction between the two images is noted IqIp. This work is inspired by [START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF] who studied early multimodal fusion methods, also modeling the TqIq (resp. TpIp) interaction within the visual question (resp. passage), but found that IqTp was the most important multimodal interaction. KVQAE differs from standard Visual Question Answering (VQA [3]), which targets the content of the image (e.g., "What color is the car? "), and therefore does not require IR. Commonsense VQA [START_REF] Marino | OK-VQA: A visual question answering benchmark requiring external knowledge[END_REF][START_REF] Schwenk | A-okvqa: A benchmark for visual question answering using world knowledge[END_REF] falls in between standard VQA and KVQAE but (i) focuses on Commonsense Knowledge; (ii) is limited to coarse-grained object categories, e.g., person and building, instead of Winston Churchill and Arc de Triomphe, which makes image retrieval straightforward using an object detector [START_REF] Gardères | ConceptBert: Concept-Aware Representation for Visual Question Answering[END_REF]. KVQAE was introduced in [START_REF] Shah | KVQA: Knowledge-Aware Visual Question Answering[END_REF] and received an increased interest recently, with a shift towards unstructured KBs [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF] and later Large Language Models (LLMs), which do not use an explicit KB but rather generate an answer from the knowledge implicitly stored in their parameters [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF][START_REF] Hu | AVIS: Autonomous Visual Information Seeking with Large Language Models[END_REF][START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF][START_REF] Li | M 3 IT: A Large-Scale Dataset towards Multi-Modal Multilingual Instruction Tuning[END_REF]. Given the results of [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF][START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF] and the various caveats of LLMs for factual information generation (hallucinations, lack of generalization and updatability [START_REF] Ji | Survey of Hallucination in Natural Language Generation[END_REF][START_REF] Zamani | Retrieval-Enhanced Machine Learning[END_REF]), our work adopts a more classical Question Answering architecture, also exploited by [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF], in which a first IR step is followed by an answer extraction step.

More precisely, we focus on Entity Retrieval and propose to use a multimodal dual encoder [START_REF] Gan | Vision-language pre-training: Basics, recent advances, and future trends[END_REF], namely CLIP [START_REF] Radford | Learning transferable visual models from natural language supervision[END_REF], for both mono-and cross-modal retrieval, i.e. modeling IqIp and IqTp, respectively. Multimodal dual encoders like CLIP are used as foundation models for a set of diverse tasks such as multimodal analogy [START_REF] Couairon | Embedding arithmetic of multimodal queries for image retrieval[END_REF], Visual Named Entity Linking [START_REF] Sun | Visual named entity linking: A new dataset and a baseline[END_REF], Cross-modal Question Answering [START_REF] Liu | Universal vision-language dense retrieval: Learning a unified representation space for multi-modal retrieval[END_REF], and Commonsense VQA [START_REF] Gui | KAT: A Knowledge Augmented Transformer for Vision-and-Language[END_REF]. We show that both mono-and cross-modal retrieval are complementary and can be simply yet effectively combined. We provide empirical evidence through experiments on the ViQuAE, InfoSeek, and Encyclopedic-VQA datasets, being as such the first comparative study of these recently introduced datasets. Furthermore, we study three different strategies to fine-tune such a model, which has been pre-trained in a cross-modal fashion, in this context: mono-modal, cross-modal, or joint training.

Related Work

In this section, we present a review of datasets and methods for KVQAE.

Datasets KVQA was the first KVQAE dataset proposed in [START_REF] Shah | KVQA: Knowledge-Aware Visual Question Answering[END_REF]. Despite its apparent large size, it has several limitations as pointed out by [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF]: (i) only one entity type is considered, namely person; (ii) it is generated automatically, and thus, has a limited diversity of topics, lexicon, and syntax. Another key difference with the other datasets is that KVQA was designed for structured KBs, in particular Wikidata, from which it was generated, and not an unstructured KB like the following works. To address the limitations of KVQA, ViQuAE was introduced in [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF]. It has fewer visual questions but they are manually annotated and it covers a broad range of topics, lexicon, and syntax, as showed in Table 1. Above all, ViQuAE comprises a large number of different entity types, including for example landmarks and organizations in addition to persons. Recently, two other datasets were proposed, aiming at larger size than ViQuAE and with fewer textual bias: InfoSeek [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF] and Encyclopedic-VQA (EVQA [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF]). InfoSeek is split into two subsets according to the annotation method: manual (ISM) or automatic (ISA). Unfortunately, since neither ISM nor the test set of ISA is available at the time of writing, we can evaluate our model only on the validation set of ISA. As its annotation is automatic, it shares part of the caveats of KVQA but covers more diverse entity types. EVQA alleviates these by using more sophisticated question generation techniques than templates. However, it is sometimes biased towards text, with questions such as "Which republic celebrated the vendémiaire Table 1. Key features of different KVQAE datasets: ViQuAE [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF], InfoSeek [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF], Encyclopedic-VQA (EVQA [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF]), and KVQA [START_REF] Shah | KVQA: Knowledge-Aware Visual Question Answering[END_REF]. InfoSeek is split into two subsets according to the annotation method: manual (ISM) or automatic (ISA). *Computed on a subset of 500 questions by [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF]. in the month that the growing season ends for this tree? ", a type of overspecified questions that were typically filtered by the manual annotation in ViQuAE [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF]. Some key features of these datasets are summarized in Table 1. Question length is expressed in number of words provided by spaCy's English tokenizer. Answer prior is computed as the most likely answer in the training set, independently of the question. All datasets are limited to the English language.

ViQuAE
Methods Because the KVQA dataset is limited to person-named entities, it was addressed through face recognition in [START_REF] Shah | KVQA: Knowledge-Aware Visual Question Answering[END_REF]: a Wikidata subgraph is constructed from the recognized entities and processed by a memory network to output an answer [START_REF] Weston | Memory networks[END_REF]. A few other studies were carried out on KVQA but the comparison with the rest of the state of the art is made difficult as their systems take the image caption as input, making the image itself redundant [START_REF] Vickers | In Factuality: Efficient Integration of Relevant Facts for Visual Question Answering[END_REF][START_REF] Garcia-Olano | Improving and diagnosing knowledge-based visual question answering via entity enhanced knowledge injection[END_REF][START_REF] Heo | Hypergraph Transformer: Weaklysupervised multi-hop reasoning for knowledge-based visual question answering[END_REF]. Our work is closer to [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF], which uses an unstructured KB, a collection of visual passages (as in Figure 1). The authors tackle the task in two steps, where Reading Comprehension follows IR. Their retrieval is a combination of two mono-modal retrievals: textual with DPR [START_REF] Karpukhin | Dense passage retrieval for open-domain question answering[END_REF] and visual with a combination of CLIP, ArcFace [START_REF] Deng | Arcface: Additive angular margin loss for deep face recognition[END_REF], and a ResNet model trained on ImageNet [START_REF] He | Deep residual learning for image recognition[END_REF][START_REF] Deng | ImageNet: A large-scale hierarchical image database[END_REF]. We aim at simplifying this system by (i) removing the dependency on ArcFace and ImageNet, two supervised models that provide a priori less generic representations than CLIP; (ii) taking full advantage of CLIP by combining mono-modal and cross-modal retrieval. After the IR step, answers are extracted using Multi-passage BERT [START_REF] Wang | Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering[END_REF]. This work was then extended in [START_REF] Adjali | Explicit knowledge integration for knowledge-aware visual question answering about named entities[END_REF], by combining the text retrieval of DPR with Wikidata embeddings, but in doing so, it sets aside multimodal interactions and the image of the visual question. For their part, [START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF] have, like us, focused on IR. In order to model cross-modal interactions, they jointly represent text and image using a multimodal Transformer [START_REF] Khan | Transformers in vision: A survey[END_REF][START_REF] Gan | Vision-language pre-training: Basics, recent advances, and future trends[END_REF]. However, this model requires an expensive pre-training and the authors ultimately suggest that it mostly leverages the IqTp interaction. Our conclusions converge because our model outperforms theirs -without additional pre-training -by explicitly modeling IqTp via CLIP, as described in the next section.

Very recently, following the overall trend in our domains, there has been a handful of works aiming to tackle KVQAE with (multimodal) LLMs, directly generating an answer from the visual question, without IR [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF][START_REF] Hu | AVIS: Autonomous Visual Information Seeking with Large Language Models[END_REF][START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF][START_REF] Li | M 3 IT: A Large-Scale Dataset towards Multi-Modal Multilingual Instruction Tuning[END_REF]. The same conclusions are reached in [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF] and [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF]: multimodal LLMs suffer from the same caveats as text-only LLMs and underperform compared to retrievalaugmented models. As a consequence, a sophisticated planning method using a tool-augmented LLM as agent was proposed in [START_REF] Hu | AVIS: Autonomous Visual Information Seeking with Large Language Models[END_REF]. However, [START_REF] Hu | AVIS: Autonomous Visual Information Seeking with Large Language Models[END_REF] and [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF] share the same experimental protocol problem: they query the whole Web for image or text retrieval through Google APIs, although the images of the visual questions are public and indexed by Google, which leads to overoptimistic and non-reproducible results. On the contrary, we follow the methodology of [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF][START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF], using a controlled, publicly available KB. As for [START_REF] Li | M 3 IT: A Large-Scale Dataset towards Multi-Modal Multilingual Instruction Tuning[END_REF], they tackle KVQAE with a multimodal LLM, which is only able to generate long explanatory answers. Therefore, [START_REF] Li | M 3 IT: A Large-Scale Dataset towards Multi-Modal Multilingual Instruction Tuning[END_REF] evaluate it on ViQuAE using ROUGE-L [START_REF] Lin | Rouge: A package for automatic evaluation of summaries[END_REF], after paraphrasing the ground-truth answers with ChatGPT. For that reason, their results are unfortunately not comparable with the rest of the state of the art.

Entity Retrieval from Visual Context

Method

Before being able to extract the answer to the question from a visual passage, or even retrieve such a passage, we focus here on Entity Retrieval, given the image of the question i q and a collection of entities (t p , i p ), where t p denotes the name of the entity and i p its reference image. To do so, we define the following similarity function, which combines mono-and cross-modal similarities:

s(i q , t p , i p ) = α I s I (i q , i p ) + α C s C (i q , t p ) (1)
where the parameters α {I,C} weigh each similarity. We focus on CLIP, a multimodal dual encoder, to implement s I (i q , i p ) and s C (i q , t p ), which models the IqIp and IqTp interactions, respectively (see Figure 1). The objective is thus to bring the image of the question closer to the image of this entity in the KB (mono-modal training), or to its name (cross-modal training), or both jointly. More formally, the objective underlying our IR model is to maximize s(i q , t p , i p ) if the two images i q and i p (+) depict the same entity, named with the textual form t p (+) , and to minimize it otherwise. In such a contrastive approach, the other entities of a batch, for which the textual and visual representations are respectively noted t p (j) and i p (j) , are used as negatives. To implement this approach, we jointly train s I (i q , i p ) and s C (i q , t p ) for each i q image of the batch by minimizing the following objective, given the temperature τ : -log exp s(i q , t p (+) , i p (+) )e τ exp s(i q , t p (+) , i p (+) )e τ + j exp s(i q , t p (j) , i p

(j) )e τ (2)
Since we implement s C (i q , t p ) with CLIP, we have:

s C (i q , t p ) = cos (CLIP V (i q ), CLIP T (t p )) (3)
If α I = 0 and α C = 1 (cross-modal training only), the objective is equivalent to the one used during the pre-training of CLIP, except that it is asymmetric (the softmax function expresses the probabilities according to i q and not according to t p ). Since i q , t p , and i p are encoded independently, this objective leverages all the other images and texts of the batch in a highly efficient way (we only need a matrix product to compute the denominator of Equation 2). We implement s I (i q , i p ) in a similar way: s I (i q i p ) = cos (CLIP V (i q ), CLIP V (i p )). The same method could be applied to any multimodal dual encoder [START_REF] Gan | Vision-language pre-training: Basics, recent advances, and future trends[END_REF].

Data

As mentioned in the introduction, our evaluations are performed on the ViQuAE, ISA, and EVQA datasets. For ViQuAE and ISA, we use the KB proposed in [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF], which consists of 1.5 million Wikipedia articles and images of corresponding Wikidata entities. Unfortunately, the KB proposed by [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF] has yet to be made available; so our results on ISA will not be directly comparable to theirs. Indeed, 11.5% of ISA entities are missing from our KB, which filters down the training set by 28%. On the contrary, only a few entities from ViQuAE are missing from the KB. For EVQA, we use the corresponding KB of [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF], which consists of 2 million Wikipedia articles and corresponding images in WIT [START_REF] Srinivasan | Wit: Wikipediabased image text dataset for multimodal multilingual machine learning[END_REF]. ViQuAE contains 3,700 visual questions about 2,400 different entities, randomly divided into equal-sized sets for training, validation, and testing, with no overlap between images. As a result, the overlap between entities in the training and test sets is quite small, only 18%. Likewise, the entity overlap in ISA is of 20%. Our models must therefore learn to generalize not only to new images but also to new entities. On the contrary, the entity overlap of EVQA is of 82%.

Hyperparameters

We use the ViT-B/32 version of CLIP unless otherwise mentioned. To take full advantage of the entities associated with the other images in the batch t p (j) and i p (j) , we use a batch of the largest possible size, here 3,072 (i q , t p (+) , i p (+) ) triples, i.e., more than the whole training set of ViQuAE. We use a single NVIDIA V100 GPU with 32 GB of RAM. The large batch size is partly enabled by gradient checkpointing.

Because the training set of ViQuAE is so small, training is very cheap: our best model converges, i.e., starts to overfit, after 11 steps/epochs, in less than 15 minutes, which is negligible compared to the pre-training of 8,000 steps in three days of [START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF] with the same hardware ( [START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF] reports a carbon footprint of 1.7 kgCO2e for 3 days of GPU power consumption). On the larger ISA and EVQA datasets, our models converge roughly after 500 steps in 5 hours.

We use a very small learning rate of 2 × 10 -6 , increasing linearly for 4 steps and then decreasing for 50 steps on ViQuAE (or 1,000 on ISA and EVQA) if training is not interrupted before. We use the AdamW optimizer [START_REF] Loshchilov | Decoupled weight decay regularization[END_REF], with a weight decay of 0.1. For joint training, we initialize α I = α C = 0.5 and assign them a learning rate of 0.02, much larger than the rest of the model. Like [START_REF] Radford | Learning transferable visual models from natural language supervision[END_REF], the temperature τ remains trainable but, given the small learning rate, it remains close to its initial value, 4.6. 4 These hyperparameters were set manually through experiments on the validation set of ViQuAE.

Early stopping is done according to the in-batch mean reciprocal rank on the validation set, i.e., by reranking the images or texts of the batch according to the similarity score s, to avoid computing the representations of the whole KB at each epoch.

Our implementation is based on Lightning,5 PyTorch [START_REF] Paszke | PyTorch: An Imperative Style, High-Performance Deep Learning Library[END_REF], and Transformers [START_REF] Wolf | HuggingFace's Transformers: State-of-the-art Natural Language Processing[END_REF] for training, and Datasets [START_REF] Lhoest | Datasets: A Community Library for Natural Language Processing[END_REF], Faiss [START_REF] Johnson | Billion-scale similarity search with GPUs[END_REF], and Ranx [5] for IR, based on the codebase of [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF]. Our code is freely available at https://github.com/ PaulLerner/ViQuAE to ensure the reproducibility of our results.

Results

We evaluate Entity Retrieval according to the relevance of the Wikipedia article associated with the target entity, which is determined automatically according to the presence of the answer after standard preprocessing (lowercasing, stripping articles, and punctuation). Additionally, because ISA contains a large portion of numerical answers, we follow the same soft matching method as [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF] for ISA (years can be off by one and there is a 10% tolerance for measures and various numerical answers). We focus on the single-hop questions of EVQA, following [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF]. The metrics used are Precision at 1 (P@1) and Mean Reciprocal Rank (MRR). 6 We first explore in Table 2 three training strategies and three ways of using a multimodal dual encoder through experiments conducted on the validation set. These three strategies can be defined from Equation 1:

-Mono-modal (image-image) retrieval/training, i.e., α I = 1, α C = 0; -Cross-modal (image-text) retrieval/training, i.e., α I = 0, α C = 1; -Hybrid retrieval or joint training, i.e., α I > 0, α C > 0.

For hybrid retrieval, the weights α {I,C} are set through a grid search over the validation set to maximize the mean reciprocal rank while constraining their sum to 1, so as to fairly compare joint training with mono-and cross-modal training. Note that the retrieval is independent from the training strategy, as shown in Table 2. Recall that CLIP's pre-training is only cross-modal [START_REF] Radford | Learning transferable visual models from natural language supervision[END_REF], as most multimodal dual encoders [START_REF] Gan | Vision-language pre-training: Basics, recent advances, and future trends[END_REF].

Mono-or Cross-modal Retrieval? Before comparing the different training methods, we can first notice that cross-modal IR outperforms 7 mono-modal IR on both ViQuAE and ISA, 8 especially without fine-tuning (first lines of each block in Table 2), which may seem curious since proper nouns are not a priori very meaningful. Therefore, it is surprising that CLIP generalizes 9 to new entity names. Nevertheless, some names carry meaning. For example, a name can indicate the gender of a person or suggest their nationality. 10 Moreover, we are working here with titles of Wikipedia articles, which are also likely to contain the nature of the entity (e.g., the profession of a person or the type of a monument). These features can thus be mapped to visual attributes.

Foremost, we mainly attribute the success of cross-modal IR to its adequacy with the pre-training of CLIP: the representation space of CLIP is organized to bring together similar texts and images, which the mono-modal proximity of images is only an indirect consequence of. We show examples of successes and failures in Figure 2. In line with the results of [START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF], we observe that mono-modal retrieval may be more sensitive to superficial image details (color vs. black-and- 7 Significantly according to Fisher's randomization test [START_REF] Fisher | The design of experiments[END_REF][START_REF] Smucker | A comparison of statistical significance tests for information retrieval evaluation[END_REF] with p ≤ 0.01. 8 An exception is EVQA, for which mono-modal retrieval outperforms cross-modal retrieval. This is surprising as both EVQA and ISA stem from the iNaturalist [START_REF] Van Horn | The iNaturalist Species Classification and Detection Dataset[END_REF] and Google Landmarks [START_REF] Weyand | Google Landmarks Dataset v2 -A Large-Scale Benchmark for Instance-Level Recognition and Retrieval[END_REF] datasets. Further investigations are required. 9 Unless its pre-training dataset contains enough entities from ViQuAE and ISA so that it circumvents generalization. We develop this discussion in Section 5. 10 An interactive visualization is provided at https://paullerner.github.io/ViQuAE/ #text-embedding-cross-modal. white photography, subject pose. . . ). Here, the two photographs at the top of two mountains, showing the horizon, are judged to be similar even though they are different mountains. In contrast, the mono-modal retrieval is more effective in the second example, where the two photographs of the Jeddah Tower are taken from similar vantage points. These qualitative results support our hypothesis that cross-modal retrieval might help addressing the heterogeneity of visual representations of named entities.

Why choose? We show that mono-and cross-modal retrievals are complementary: their results can be simply combined at the score level (as in Equation 1). Thus, without fine-tuning (first lines of each block in Table 2), fusing the two retrievals brings a relative improvement of 32% in P@1 for ViQuAE (and 15% for ISA, 23% for EVQA) compared to the best single retrieval (significant with Fisher's p ≤ 0.01). It would be interesting to study whether these results generalize to other tasks. For example, this method could benefit Content-based Image Retrieval in a Web browsing context. Overall, hybrid retrieval gives the best performance, on all three datasets.

How to fine-tune multimodal dual encoders? We see that fine-tuning with a given strategy (e.g. mono-modal) always enhances the performance of retrieval with the same strategy. However, it also sometimes decreases retrieval with another strategy (e.g. cross-modal). Therefore, we find it best to combine models trained disjointly: a mono-modal trained mono-modal retrieval and a cross-modal trained cross-modal retrieval.

4 Retrieving Passages and Extracting Answers

Methods

While we have focused on Entity Retrieval through cross-modal retrieval, we are ultimately interested in answering questions about these entities. To do so, we follow the same framework as [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF], where Entity Retrieval results are mapped to the corresponding passages to enable fusion with a text passage retrieval method, such as DPR. This implies redefining s as follows:

s(t q , i q , t p , i p ) = α T s T (t q , t p ) + α I s I (i q , i p ) + α C s C (i q , t p ) (4)
where s T (t q , t p ) models the TqTp interaction between the text of the question and of the passage and is implemented with DPR. We note this model DPR V +T as it combines DPR, CLIP V , and CLIP T , or DPR V+T (in bold font) when CLIP is fine-tuned. 11 The weights α {T,I,C} are set through a grid search on the validation set like in the previous section (see Figure 3 for an illustration of the impact of these hyperparameters on MRR). DPR is a dual encoder model that combines two BERT encoders, one for the question and one for the passage [START_REF] Karpukhin | Dense passage retrieval for open-domain question answering[END_REF]. Answers are then extracted from these passages using Multi-passage BERT [START_REF] Wang | Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering[END_REF], which also models the TqTp interaction.

Data and implementation

The 1.5 (resp. 2) million articles of the KB of ViQuAE [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF] (resp. EVQA [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF]) are divided into 12 (resp. 27) million 100-word passages, while preserving sentence boundaries, as in [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF].

Both DPR and Multi-passage BERT are pre-trained on TriviaQA, filtered out of all questions used in [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF] to generate ViQuAE, 12 before being fine-tuned on the downstream KVQAE dataset, following [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF]. Both models are built upon the uncased version of BERT-base [START_REF] Devlin | BERT: Pre-training of deep bidirectional transformers for language understanding[END_REF]. We refer the reader to [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF] for further implementation details.

Baselines

We compare our approach to the DPR V +R+A model of [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF], which combines DPR, CLIP V , ArcFace, and an ImageNet-trained ResNet model. The results of the four models are combined in the same way as in Equation 4, where DPR implements s T (t q , t p ), CLIP V , ArcFace, and ImageNet compose s I (i q , i p ), and there is no cross-modal similarity, i.e., s C (i q , t p ) = 0.

We also compare our methods to the ECA V and ILF V models of [START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF]. ECA (Early Cross-Attention) early-fuses modalities through an attention mechanism. The similarity is computed as s(t q , i q , t p , i p ) = ECA(t q , i q )•ECA(t p , i p ) and thus combines all the multimodal interactions shown in Figure 1. ILF (Intermediate Linear Fusion) fuses modalities with a simple linear projection and thus has, like our method, neither TqIq nor TpIp interactions since the similarity can be reduced to: s(t q , i q , t p , i p ) = s T (t q , t p ) + s C (t q , i p ) + s I (i q , i p ) + s C (i q , t p )

(5)

Note that [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF] use CLIP V with the ResNet architecture while we use ViT [START_REF] Dosovitskiy | An image is worth 16x16 words: Transformers for image recognition at scale[END_REF] in most of our experiments (but compare the two in the next section and find no significant difference).

Moving away from the Retrieval+Extraction framework of [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF], we compare our results to [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF][START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF], who both use the PaLM LLM [START_REF] Chowdhery | Palm: Scaling language modeling with pathways[END_REF], either as is or augmented with the image caption and in-context learning examples (denoted PromptCap [START_REF] Hu | Promptcap: Prompt-guided task-aware image captioning[END_REF]). [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF] also experiment with FiD [START_REF] Izacard | Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering[END_REF], augmented with CLIP retrieval results.

Results

Metrics Extracted answers are evaluated using Exact Match (EM) and tokenlevel F1 score on ViQuAE following [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF], using the soft matching score defined by [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF] on ISA (see Section 3.4), and using both F1 and BEM [START_REF] Bulian | Tomayto, tomahto. beyond token-level answer equivalence for question answering evaluation[END_REF] on EVQA. The results for these three benchmarks are reported in Table 3.

Hybrid retrieval effectiveness When comparing the DPR V and DPR V+T models, we see that the effectiveness of combining mono-and cross-modal retrieval observed earlier indeed translates to more accurate answers, on all three datasets. Therefore, our model also outperforms the previously proposed models of [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF] Table 3. Reading Comprehension results on the test set of ViQuAE, the validation set of ISA, and the test single-hop questions of EVQA. As in [START_REF] Karpukhin | Dense passage retrieval for open-domain question answering[END_REF], the reader takes as input the top-24 of different IR systems listed in the "Method" column (except for the methods of [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF][START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF]). The results of [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF], in gray, are provided as reference but use a different, yet unavailable, smaller KB, which perfectly covers ISA. *CLIP is based on ViT's architecture instead of ResNet. †Our re-implementation of the reader, which fixes the loss function. on ViQuAE, while being conceptually simpler and computationally cheaper (emitting hundred times less CO2 than [START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF]). Furthermore, we found a bug in the implementation of the reader's loss provided by [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF]. Fixing it consistently improved results, for both DPR V and DPR V+T . Our model is also competitive with the method of [START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF] on EVQA, while using 1,000 times less parameters. 13Knowledge base incompleteness The results of [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF] are provided as reference but are hardly comparable to the others. Apart from PaLM being three order of magnitude greater than the other models and partly trained on ViQuAE's test set,14 they use a different KB. This KB, yet unavailable, is fifteen times smaller than ours, so contains less distractors, and covers 100% of the entities and questions of ISA. In contrast, our KB lacks 11.5% of ISA entities and is not guaranteed to contain the answers for the 88.5% remaining, because of differences between the Wikipedia versions.

Method

Oracle retrieval We conduct additional experiments in an "oracle retrieval" setting, where the reader only takes relevant passages as input, similarly to the oracle experiments of [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF]. In agreement with their results, we find a large gap between our best retrieval model and the oracle, showing that IR is still the main bottleneck of KVQAE. Compared to the FiD model of [START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF], with 770M parameters, we approach its performance, although Multi-passage BERT is seven times smaller and our KB does not fully cover ISA.

Conclusion

This paper studies cross-modal retrieval and its combination with mono-modal retrieval for Knowledge-based Visual Question Answering about named Entities (KVQAE). Retrieval is carried out with a multimodal dual encoder, namely CLIP.

Our results demonstrate the superiority of cross-modal retrieval over mono-modal retrieval, but also the complementarity of the two, which can be easily combined. We argue that cross-modal retrieval may help addressing the heterogeneity of visual representations of named entities, consistently with prior work. It would be interesting to study whether these results generalize to other tasks. For example, this method could benefit Content-based Image Retrieval, in a Web browsing context.

Although it was the abundance of cross-modal data that enabled CLIP's training in the first place, which would have been difficult with a mono-modal annotation, this limits our results because it is difficult to control such a large amount of data and thus to estimate CLIP's generalization capabilities. We hypothesize that mono-modal retrieval is better suited to generalize to new entities.

We show that the effectiveness of cross-modal retrieval leads to more accurate answers, on all three studied datasets. Therefore, our method outperforms our baseline (mono-modal retrieval) but also the methods of [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Lerner | Multimodal inverse cloze task for knowledgebased visual question answering[END_REF], while being conceptually simpler and computationally cheaper. Furthermore, it is competitive with billion-scale parameters models on ISA and EVQA. As such, this is the first comparative study of the recently introduced ViQuAE, ISA, and EVQA datasets. We find that ISA is more challenging as it is less biased towards text, but advocate for further studies on all three datasets -which all have their pros and cons -with diverse methods.

Consistently with [START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF][START_REF] Chen | Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?[END_REF], we find a large gap between our best retrieval model and oracle retrieval, showing that entity retrieval is the main bottleneck of KVQAE. For future work, we plan to combine our unstructured KB with a structured one, such as Wikidata, to enable the modeling of links between the entities [START_REF] Xie | Image-embodied knowledge representation learning[END_REF][START_REF] Pezeshkpour | Embedding Multimodal Relational Data for Knowledge Base Completion[END_REF][START_REF] Wilcke | Endto-End Entity Classification on Multimodal Knowledge Graphs[END_REF][START_REF] Alberts | VisualSem: a high-quality knowledge graph for vision and language[END_REF], which would further address the heterogeneity of their visual representations. A more IR perspective on the matter could cast KVQAE as a query expansion problem, with an initial ambiguous textual query which would benefit from pseudo-relevant feedback [START_REF] Xu | Query expansion using local and global document analysis[END_REF].

Fig. 1 .

 1 Fig. 1. Two visual questions from the ViQuAE dataset along with relevant visual passages from its Knowledge Base. The different types of mono-and cross-modal interactions studied are also shown for the second question. The acronyms of the interactions are composed of the letters T (Text), I (Image), q (question) and p (passage).

Fig. 2 .

 2 Fig. 2. Strengths and weaknesses of mono-and cross-modal retrieval exemplified through CLIP results (not fine-tuned) on ViQuAE's validation set.

Fig. 3 .

 3 Fig. 3. Passage-level MRR on the validation set of ViQuAE depending on the α {T,I,C} hyperparameters.

Visual Question Cross-modal CLIP top-1 Mono-modal CLIP top-1

	"This mountain is part of	Cairn Gorm is a mountain in the	Pilot Rock (Oregon)
	which European mountain	Scottish Highlands. It is part of the
	range?"	Cairngorms Grampian Mountains. range	and	wider
	"In what				Jeddah Tower is a skyscraper
	country is	Nakheel			construction project
	this skyscraper?"	Tower			which is currently on hold. Located on the north side of Jeddah,
					Saudi Arabia [...]

Table 2 .

 2 Entity Retrieval with a multimodal dual encoder, CLIP, on the validation subsets of ViQuAE, InfoSeek-Automatic (ISA), and EVQA (single-hop). Mono-and cross-modal retrieval model the IqIp and IqTp interactions, respectively. The best results are marked in bold for each type of retrieval. Hybrid retrieval of disjoint training combines mono-modal trained mono-modal retrieval and cross-modal trained cross-modal retrieval.

	Retrieval	Training	ViQuAE	ISA	EVQA
			MRR P@1 MRR P@1 MRR P@1
		-	29.4	21.8 28.3	18.1 26.1	15.2
	Mono-modal	Mono-modal 30.0 Cross-modal 29.8	21.8 31.4 21.4 29.0	20.5 32.6 18.3 29.7	21.7 18.9
		Joint	30.4	22.0 30.5	19.9 30.7	19.6
		-	32.7	23.1 32.8	22.4 20.9	12.2
	Cross-modal	Mono-modal 31.6 Cross-modal 37.1	21.9 33.0 26.9 34.7	22.0 20.5 23.8 23.2	12.0 13.8
		Joint	30.8	21.3 31.1	20.3 22.4	12.9
		-	39.6	30.6 36.2	25.8 28.7	18.7
		Mono-modal 40.1	31.8 38.2	27.4 33.8	22.9
	Hybrid	Cross-modal 44.1	34.9 38.5	27.8 33.8	23.3
		Joint	41.0	32.6 37.6	26.9 34.0	23.3
		Disjoint	43.7	34.5 40.0	29.6 37.4	27.8

We kept the formulation of[START_REF] Radford | Learning transferable visual models from natural language supervision[END_REF] but the temperature is usually expressed as 1 τ and not e τ , which would be equivalent to τ = 1 100 here.

https://www.pytorchlightning.ai/

The results are consistent with precision and recall at higher cutoffs, which we omit for the sake of space.

DPR is always fine-tuned as described in the next section.

We focus on the single-hop subset of EVQA following[START_REF] Mensink | Encyclopedic vqa: Visual questions about detailed properties of fine-grained categories[END_REF]. On the two-hop questions, the model using DPR V+T achieves 31.1 BEM and 25.6 F1, and 9.8 BEM/3.8 F1 on the multi-answer questions.

According to[START_REF] Chowdhery | Palm: Scaling language modeling with pathways[END_REF], around 20% of TriviaQA is contained in PaLM's pre-training dataset. ViQuAE was derived from TriviaQA[START_REF] Lerner | ViQuAE, a dataset for knowledge-based visual question answering about named entities[END_REF].

, as well as Antoine Chaffin for fruitful discussions about CLIP and cross-modal retrieval. Paul Lerner did this work during his PhD at LISN. This work was supported by the ANR-19-CE23-0028 MEERQAT project. This work was granted access to the HPC resources of IDRIS under the allocation 2021-AD011012846 made by GENCI. P. Lerner et al.


Niculai Droniuc

Emmanuel Bourgeois

David Remaud

Didier Jean Geisler

Raulin Piled

Didier Raulin

Piled raft foundation : finite element analysis with creep soil emphasis

de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Introduction

Le terme de fondation mixte s'applique d'une façon générale à l'association rigide d'une fondation superficielle avec des fondations profondes. L'ensemble ainsi constitué a pour principal rôle la mobilisation simultanée des efforts de ces deux modes de fondation. De nombreux exemples des fondations radier-pieux montrent que celles-ci sont utilisées, la plupart du temps, pour éviter des tassements excessifs, et des méthodes de calculs, souvent empiriques, existent depuis des dizaines d'années [START_REF] Borel | Comportement et dimensionnement des fondations mixtes, Etudes et Recherches des Laboratoires des Ponts et Chaussées[END_REF][START_REF] Poulos | Piled raft foundations: Design and applications[END_REF].

Par ailleurs, la méthode des éléments finis a déjà été appliquée pour calculer ce type de fondations, souvent en considérant un comportement élastoplastique du sol, et permettant d'analyser la contribution du radier et des pieux au comportement global d'une fondation mixte [START_REF] Poulos | Piled Raft Foundations for Tall Buildings[END_REF].

Cependant, quand il s'agit de fondations mixtes sur sols compressibles avec des tassements importants dans le temps (consolidation primaire et consolidation secondaire), plusieurs facteurs rendent la modélisation par éléments finis extrêmement complexe : l'effet du temps dans la loi de comportement des sols, la géométrie tridimensionnelle, la complexité des chargements, le comportement des interfaces pieux-sols et radier-sol, etc.

Cette communication présente l'analyse du comportement des fondations mixtes sur sols compressibles, par la méthode des éléments finis, et s'intéresse particulièrement à la prise en compte du fluage dans la modélisation. L'étude du tassement primaire et secondaire des sols est faite sur un cas réel pour une longue période de temps (depuis les années 1970 et prévisions jusqu'en 2030). Une fois le modèle numérique validé sur les mesures acquises jusqu'à présent, l'analyse tridimensionnelle par éléments finis, au moyen du logiciel CESAR-LCPC, permet d'estimer le tassement sur la période de vie de l'ouvrage.

L'étude numérique présentée dans cet article, met en évidence le rôle du radier sur le comportement des fondations mixtes et montre l'importance des résultats de mesure sur site pour le calage des modèles numériques complexes et la validation des résultats obtenus.

Fondation mixtes pieux-radier

La Figure 1 illustre, de façon schématique, la répartition des efforts pour une fondation superficielle, une fondation sur pieux et une fondation mixte (radier au contact du sol) sous des sollicitations verticales (V) et latérales (H), avec les notations suivantes :

-(Q r ) réaction du sol sous le radier ; -(Q s , Q p ) réactions latérales et en pointe sur les pieux ; -les indices (V) et (H) font références respectivement aux composantes verticale et horizontale de la charge appliquée sur la fondation. Ce principe de fondation n'a d'intérêt que dans les cas où le sol présent sous la semelle permet une mobilisation significative des efforts [START_REF] Borel | Comportement et dimensionnement des fondations mixtes, Etudes et Recherches des Laboratoires des Ponts et Chaussées[END_REF].

Les fondations mixtes peuvent être abordées selon deux logiques qui influencent de manière significative le mode de dimensionnement. Dans un premier temps, elles sont considérées comme des fondations superficielles auxquelles les pieux sont ajoutés pour limiter les tassements absolus ou différentiels. Dans un second temps, elles sont considérées comme des fondations profondes où la prise en compte de la part de charge supportée sous la semelle permet de réduire la longueur et/ou le nombre de pieux.

On peut noter que c'est à partir des années 1960-1970 que les ingénieurs se sont intéressés au dimensionnement des fondations mixtes. [START_REF] Combarieu | [END_REF] démarre les premières études en France sur le dimensionnements des fondations mixtes, et les travaux de recherche menés par les Laboratoires des Ponts et Chaussées font état d'un grand nombre d'études expérimentales et théoriques [START_REF] Combarieu | Calcul d'une fondation mixte semelle-pieu sous charge verticale centrée[END_REF]Combarieu et Evrard, 1977 ;Combarieu et Evrard, 1979 ;[START_REF] Borel | Comportement et dimensionnement des fondations mixtes, Etudes et Recherches des Laboratoires des Ponts et Chaussées[END_REF].

Dans la même période (années 1960-1970), des bâtiments construits en Angleterre sur des sols compressibles ont nécessité des dispositions particulières pour la reprise des charges par les fondations : les radiers ont été conçus et dimensionnés afin de réduire les tassements. Les travaux des ingénieurs du BRE (Building Research Establishment) et du CIRIA (Construction Industry Research and Information Association) ont mis en oeuvre un programme d'instrumentation d'ouvrages dès la fin des années 1960, avec pour objectif de rassembler un certain nombre de cas bien documentés et instrumentés pour pouvoir établir ensuite une méthode de calcul. [START_REF] Burland | The value of field measurement in the design and construction[END_REF] propose un principe de dimensionnement des fondations mixtes, basé sur l'approche suivante :

-représentation de la courbe de chargement du radier isolé et détermination des tassements admissibles par la structure ; -ensuite, le nombre et le type de pieux sont choisis de façon à reprendre la charge en excès, par exemple, celle qui dépasserait une charge de service (état limite de service). Un autre aspect du comportement des fondations mixtes sur sols compressibles est la forte mobilisation du frottement latéral, qui conduit [START_REF] Burland | The value of field measurement in the design and construction[END_REF] à proposer de négliger la résistance en pointe tout en calculant le frottement latéral limite des pieux sans aucun facteur de sécurité.

Dans les années 1990-2000, la méthode des éléments finis (calculs élastoplastiques) est de plus en plus appliquée au calcul des fondations mixtes [START_REF] Katzenbach | A numerical study on pile foundation of the 300 m high Commerzbank tower in Frankfurt am Main[END_REF][START_REF] Katzenbach | Soil structure interaction of the 300 m high Commerzbank tower in Frankfurt am Main -Measurements and numerical studies[END_REF]1998) ; [START_REF] Lee | Three-dimensional analysis of bearing behavior of piled raft on soft clay[END_REF] ; [START_REF] Nguyen | Design method of piled-raft foundations under vertical load considering interaction effects[END_REF].

Si de nombreuses publications traitent du dimensionnement des fondations mixtes dans des configurations complexes tridimensionnelles, sous charges combinées verticales et horizontales, très peu de modèles numériques s'intéressent aux problèmes de consolidation des sols (couplage hydro-mécanique), et encore moins à la prise en compte du fluage, notamment à cause de la difficulté de disposer des mesures pour valider les modèles numériques.

Prise en compte du fluage des sols dans le modèle numérique proposé

La modélisation du phénomène de fluage, ou consolidation secondaire est un sujet d'étude depuis plus d'une cinquantaine d'années. Les études unidimensionnelles ont démarré par les travaux de [START_REF] Bjerrum | Engineering geology of Norwegian normally consolidated marine clays as related to settlements of buildings[END_REF], Janbu (1970), [START_REF] Garlanger | The consolidation of soils exhibiting creep under constant effective stress[END_REF]) et Leroueil (1977) et ont conduit à différentes approches s'appuyant sur des travaux expérimentaux. D'autres travaux ont proposé la formulation de lois visco-plastiques faisant suite aux premières études de Perzyna (1963), par exemple ceux de Sekiguchi et Ohta (1977), [START_REF] Adachi | Constitutive equation for normally consolidated clays based on elasto-viscoplasticity[END_REF], Borja et Kavaznijan (1985), Yin et Graham (1989), [START_REF] Rowe | The significance of rate effects in modelling the Sackville test embankment[END_REF].

La loi Soft Soil Creep Model (SSCM) développée par Vermeer et Neher (1998) reste la seule loi détaillée dans la littérature, pouvant être introduite dans les modèles en éléments finis, et validée par de nombreuses études : nous privilégions une approche simple d'utilisation pour l'ingénieur, en ce sens que nous utilisons la loi de type SSCM, prenant en compte, dans en premier temps, un comportement isotrope, avec un faible nombre de paramètres à déterminer (la méthodologie de prise en compte du fluage étendue aux calculs tridimensionnels a été étudiée dans la thèse de [START_REF] Kattan | Fluage et consolidation des sols saturés et quasi-saturés[END_REF]).

L'hypothèse principale consiste à décomposer la déformation totale en trois parties :

-une composante élastique e e ; -une composante liée au comportement plastique du matériau e p ; -et une composante de fluage e c . Dans un calcul de consolidation mené au moyen du module CSNL de CESAR-LCPC, deux phases sont distinguées lorsque survient un nouveau chargement :

-une première phase de consolidation, du temps initial au temps t c avec inactivation de la déformation due au fluage, -la consolidation secondaire à partir de t c , avec une correction supplémentaire dite de déformation de fluage ajoutée au second membre de la formulation en éléments finis (comme un chargement). Dans le contexte de l'essai oedométrique, la direction de la déformation de fluage est implicitement dirigée dans le sens vertical. Dans l'espace tridimensionnel, son orientation reste à définir : nous faisons l'hypothèse qu'un point matériel où règne un état de contraintes s rentre en fluage lorsque cet état de contrainte passe une certaine surface dite de fluage décrite par la fonction de charge F(s). Nous formulons une hypothèse de normalité pour définir la direction de fluage. Si G(s) est le potentiel définissant la direction de fluage et l un scalaire réel qu'on appellera « multiplicateur de fluage », la loi d'écoulement pour le fluage est :

! " # = $ %& %'

(1)

On retient ici une loi associée et la surface de limite de fluage définie par la fonction F(s). Les deux paramètres du modèle sont donc C ae et a : à chaque pas de temps, la déformation de fluage et sa vitesse sont liées par le pas de temps ! " = ?t+! " # . La surface de limite de fluage proposée a une forme elliptique dans le plan (p',q) (modèle de Cam Clay) :

-surface de fluage : F(p @ 7 q* = + q A B + M A +pD+(p " B pD* (5) -dérivées partielles :

%E %H@ = M A (Ip @ B p " *7+++++++ %E %J = Iq! (6) %E %' KL = M A (Ip @ B p " *+NB O KL P Q < RS) TU < p @ V TU WX+ (7)
L'ellipse peut être décrite par deux paramètres M (pente d'état critique) et p c (contrainte de préconsolidation) : tout point (p' 0 , q 0 ) extérieur à la surface de fluage a une déformation de fluage perpendiculaire à une surface passant par ce point et délimitée par une équation du type F(p',q) -k = G(p',q) = 0. La variable k est donnée par la relation :

k(p > @ 7 q > * = q > A B + M A +pD+(p " B p > @ * (8)

La normale à cette surface au point (p' 0 , q 0 ) donne la direction de fluage et découle de la dérivée partielle de G.

Application de la méthode des éléments finis au dimensionnement d'une fondation mixte : exemple

Sur un site industriel de stockage des produits chimiques, un ensemble des bacs (allant jusqu'à 36m de diamètre) sont reliés par une dalle de rétention en béton. Les structures sont posées sur des pieux, le site étant constitué de sols compressibles (Figure 3). Le problème posé était celui de la justification de l'ensemble pieux radier, comme une fondation mixte, en justifiant par calculs le fait que le radier puisse rester en contact avec le sol de fondation au cours du temps. La particularité du site fait que des remblaiements successifs depuis le milieu des années 1970 ont donné lieu à différentes étapes de consolidation avec ou sans fluage au cours des décennies.

L'étude en éléments finis (prenant en compte la consolidation primaire et secondaire) a été faite en suivant les étapes ci-après :

-initialisation des contraintes et calculs en « champ libre » ; -études numériques sur des géométries simples (modèle unitaire un pieu avec radier, par exemple) et comparaisons avec les mesures ; -modèle global pieux-radier, avec ou sans la prise en compte du frottement pieuxsol, radier-sol et avec différentes interactions structurelles, avec les phases de chargement suivantes : On notera qu'en 1975, ces courbes débutent avec un tassement de l'ordre de 1 à 1,5 m représentatif de la déformation instantanée (valeurs issues des calculs de callage des paramètres). Les valeurs de tassement sont moins dispersées, d'un sondage à l'autre, dans le calcul tridimensionnel, que dans le calcul bidimensionnel.

Conclusions

Les résultats présentés dans cet article montrent la capacité des modélisations numériques par éléments finis à prédire le comportement à long terme des fondations mixtes posées sur sols compressibles : il est possible d'estimer le tassement de la consolidation primaire et du fluage, en utilisant un critère de fluage de type Cam Clay.

Cette étude montre que l'histoire de chargement est très importante : la très bonne connaissance de l'histoire du site et la validation du modèle numérique avec des comparaisons systématiques avec les mesures de tassements permettent de donner des prévisions fiables sur le comportement à long terme.

Figure 1 -

 1 Figure 1 -Schéma d'une fondation mixte pieux-radier et répartition des efforts, sous l'action d'une charge verticale et d'une charge horizontale.

  Le vecteur unitaire définissant la direction de déformation de fluage est : G()* = ++ (,F()*/ ,)* -. ,F()*/ ,).+ (2) La valeur du multiplicateur l dans la loi d'accélération du fluage est donnée par la relation suivante : de fluage initiale et prise égale au coefficient de compression secondaire : C 69 = C 6: /(; < e > +* (4) au temps de déclenchement du fluage t = t c (Figure 2).

Figure 2 -

 2 Figure 2 -Déformation de fluage en fonction du temps (gauche) et vitesse de déformation du fluage (droite).

  Nous présentons dans cet article l'exemple de modélisation du bac 13.02 (en rouge sur la Figure 4), avec des paramètres de consolidation primaire et fluage suivants : La figure 3 montre la variation du tassement en fonction du temps, au toit des alluvions fluviomarines, entre 1975 et 2030 : on remarque sur ces courbes que les périodes

Fluage

  du tassement correspondent aux périodes de consolidation primaire, puis le fluage apparait comme le phénomène qui « pilote » les tassements.

Figure 3 -Figure 4 -

 34 Figure 3 -Calculs CESAR-LCPC : variation du tassement en fonction du temps au toit des alluvions fluviomarines, de 1975 à 2030.

Figure 5 -

 5 Figure 5 -calculs en éléments finis (2006 -2030) et mesures de tassement (2006 -2014).


Cédric Hounyevou-Klotoe

Emmanuel Bourgeois

INFLUENCE DE LA GEOMETRIE DU FRONT DE TAILLE D'UN TUNNEL SUR SA STABILITE INFLUENCE OF THE GEOMETRY OF A TUNNEL FACE ON ITS STABILITY

Cette communication présente des études tridimensionnelles par éléments finis visant à comparer la stabilité d'un front de taille vertical, incliné ou courbe. L'influence de différents paramètres est étudiée : le type de matériau (cohérent ou frottant), la profondeur du tunnel, la finesse du maillage.

ABSTRACT -This communication presents three dimensional finite element simulations aiming at discussing the stability of a tunnel face, in the case of a vertical, inclined or curved tunnel face. The influence of several parameters is investigated: the material behavior (frictional or cohesive), the depth of the tunnel, the coarseness of the mesh

Introduction

La stabilité du front de taille d'un tunnel est un problème tridimensionnel par nature, qui a fait l'objet de nombreuses études analytiques ou numériques. Les études analytiques reposent sur l'analyse limite ou le calcul à la rupture [START_REF] Davis | The stability of shallow tunnels and underground openings in cohesive material[END_REF][START_REF] Leca | Application du Calcul à la Rupture à la stabilité du front de taille d'un tunnel[END_REF][START_REF] Leca | Upper and lower bound solutions for the face stability of shallow circular tunnels in frictional material[END_REF]. Des développements récents ont conduit à définir des mécanismes de rupture complexes qui affinent les résultats [START_REF] Wong | Stabilité frontale d'un tunnel: mécanisme 3D en forme de corne de rhinocéros et influence de la profondeur[END_REF], Mollon et al, 2010[START_REF] Mollon | Rotational failure mechanisms for the face stability analysis of tunnels driven by a pressurized shield[END_REF]. Les calculs numériques permettent de prendre en compte des stratigraphies complexes ou des paramètres géométriques variés (voir par exemple [START_REF] Dias | Modélisation numérique de l'apport du renforcement par boulonnage du front de taille des tunnels[END_REF], et d'étudier par exemple l'influence de la forme de la section. Dans ces études, le front de taille est généralement considéré comme vertical. Cependant, pour un tunnel construit de manière conventionnelle (c'est-à-dire sans utiliser un tunnelier), il est possible de réaliser, au cours du creusement, un front de taille de géométrie différente, ce qui représente potentiellement un moyen d'améliorer la stabilité du front.

Dans cette communication, nous présentons des études tridimensionnelles par éléments finis pour étudier la stabilité d'un front de taille incliné ou courbe. Après avoir défini le problème et présenté l'approche adoptée pour les simulations numériques, nous discutons l'influence de la géométrie du front de taille sur sa stabilité, pour un matériau frottant et pour un matériau purement cohérent, et pour deux profondeurs relatives. Nous discutons également l'influence de la finesse du maillage sur les résultats.

Position du problème

Géométrie

On considère un tunnel de diamètre extérieur D = 4 m, excavé dans une couche de sol horizontale et homogène. La couverture au-dessus de la clé du tunnel est notée C. L'épaisseur de terrain au-dessous du tunnel est égale à B = 3 m. La stabilité du front de taille est discutée pour une géométrie fixe, c'est-à-dire que l'avancement du creusement n'est pas prise en compte dans l'analyse. L'axe du tunnel est parallèle à la direction y.

Dans ce qui suit, le point le plus haut du front de taille se trouve dans le plan y=0. Compte tenu des symétries du problème, le domaine maillé utilisé dans les simulations ne comprend que la moitié de l'ouvrage. D'autre part, dans la mesure où le but du calcul est d'estimer un facteur de sécurité du front de taille et de se faire une idée du mécanisme de rupture, il n'est pas nécessaire de prendre en compte dans le domaine maillé une zone très étendue : le maillage se limite à 21 m dans la direction de l'axe (15 m en avant du front de taille, 6 m en arrière, et à une distance d = 8 m dans la direction horizontale perpendiculaire à l'axe (Figure 1).

Profondeur du tunnel

L'influence de la profondeur du tunnel est étudiée en considérant deux valeurs de la couverture C au-dessus de la clé de voûte du tunnel. La valeur de référence correspond à un tunnel peu profond : C = 3 m. On compare les résultats obtenus pour un tunnel plus profond, correspondant à une couverture C égale à 7 m.

Influence de la densité du maillage

Pour chaque profondeur de tunnel, deux maillages ont été réalisés : un maillage de référence, pour lequel la taille des éléments au voisinage du front de taille est de l'ordre de D/10. Un maillage plus fin a été constitué avec des éléments dont la taille est proche de D/15. Le nombre total de noeuds et d'éléments pour chaque maillage et chaque profondeur est donné dans le tableau 1.

Influence de la géométrie du front de taille

Le cas de référence est celui du front de taille vertical. Partant du constat que le facteur de stabilité d'un talus décroît si la pente augmente, on peut imaginer qu'il en va de même du facteur de stabilité du front de taille d'un tunnel, et qu'on peut améliorer sa stabilité en modifiant sa géométrie (dans le cas d'un tunnel creusé par la méthode traditionnelle, sans tunnelier). Dans ce qui suit, on considère un front de taille incliné, avec une pente fixée arbitrairement à 4/1 (figure 2a), et le cas où l'excavatrice permet de réaliser un front de taille courbe (figure 2b). On fait l'hypothèse que le centre du front est situé au point B et que le rayon R est choisi de telle sorte que la distance entre les points A et F soit égale à D/4.

Analyse numérique de la stabilité du front de taille

Dans le cas de référence, le maillage est obtenu en translatant un maillage plan de la section du tunnel dans la direction de l'axe du tunnel (figure 1). La taille des éléments est plus faible au voisinage du front de taille de manière à s'assurer que l'on reproduit correctement le mécanisme de rupture dans la simulation numérique. Les éléments sont des pentaèdres pour le sol et des hexaèdres pour le soutènement, avec des interpolations d'ordre 2. Le code utilisé pour cette étude est le logiciel CESAR-LCPC [START_REF] Humbert | CESAR-LCPC: A computation software package dedicated to civil engineering uses[END_REF], qui combine une interface graphique et un solveur qui communiquent par l'intermédiaire de fichier au format texte. L'interface graphique a été utilisée pour constituer le maillage dans le cas de référence. On a ensuite récupéré les coordonnées des noeuds, et on les a modifiées au moyen de script Python pour obtenir deux nouveaux maillages correspondant au front de taille incliné et au front de taille courbe. Le traitement consiste à modifier la coordonnée des noeuds dans la direction de l'axe, pour obtenir le profil voulu au niveau du front, en gardant les limites du maillage verticales. La modification ne modifie pas le nombre de noeuds et d'éléments. Le résultat est illustré par la figure 3. Les seuls chargements appliqués sont le poids propre du terrain et du soutènement.

Pour ce qui concerne l'évaluation du facteur de sécurité, deux approches sont possibles. La première consiste à le définir par rapport aux charges appliquées, c'est-àdire à rechercher la plus grande valeur par laquelle on peut multiplier les chargements sans provoquer la rupture. Alternativement, on peut rechercher la plus grande valeur par laquelle on peut diviser les caractéristiques de résistance c et tan , en utilisant une procédure dite de « c-phi réduction ». Les deux approches conduisent à des valeurs différentes du facteur de sécurité, qu'on notera ici F char et F res respectivement.

Dans les deux cas, le calcul numérique repose sur une succession de simulations élastoplastiques, l'ouvrage étant stable si le calcul converge au bout d'un nombre d'itérations inférieur à une valeur donnée (par exemple 500) pour une tolérance donnée, qui limite par exemple la norme du résidu du calcul élastoplastique à 0,1% de la norme des forces nodales correspondant aux efforts extérieurs.

Résultats

Cas d'un matériau cohérent

Les résultats obtenus pour un matériau cohérent sont donnés dans le tableau 2. Les facteurs de sécurité donnés par les deux approches sont identiques : cela résulte du modèle utilisé pour représenter les caractéristiques de résistance du sol, pour lequel la stabilité est contrôlée par le rapport sans dimension H/c, où H est la profondeur de l'axe du tunnel H = C +D/2. L'augmentation du chargement d'un facteur donné est équivalente à la réduction de la valeur de la cohésion par le même facteur.

Les résultats montrent que les facteurs de sécurité sont plus grands pour le tunnel superficiel que pour le tunnel profond, ce qui est cohérent avec les analyses classiques basées sur la valeur du rapport H/c. De manière plus précise, [START_REF] Mollon | Analyse de la stabilité d'un front de taille pressurisé par deux nouveaux mécanismes rotationnels d'effondrement[END_REF] propose un abaque permettant de calculer la valeur limite du rapport H/c en fonction de C/D.

Pour le tunnel peu profond, on a C = 3 m, D= 4 m et H = 5 m ; pour C/D =0,75, la valeur limite lue sur l'abaque est de 7, et le facteur de sécurité vaut 7/(H/c)=3,5.

Pour le tunnel profond, on a C = 7 m, D = 4 m , H = 9 m ; pour C/D = 1,75, la valeur limite lue sur l'abaque est proche de 9,2, ce qui conduit à un facteur de sécurité de 2,55.

Les calculs numériques présentés ici donnent, pour le front vertical, un facteur de stabilité de 3,5 pour le tunnel superficiel et de 2,3 pour le tunnel profond, en bon accord avec celles déduites de l'abaque de Mollon (2010).

Les résultats montrent aussi que la densité du maillage n'a pratiquement pas d'impact sur les résultats, et qu'il y a, qualitativement, une amélioration de la stabilité du front de taille pour une géométrie non verticale, mais la différence relative sur les facteurs de sécurité est négligeable, en particulier pour le tunnel profond.

Cas d'un matériau cohérent et frottant

Les résultats obtenus pour le matériau cohérent et frottant sont donnés dans le tableau 3 pour le facteur de sécurité défini par rapport aux chargements appliqués, et dans le tableau 4 pour le facteur de sécurité basé sur la réduction des caractéristiques de résistance.

Comme pour le matériau purement cohérent les facteurs de sécurité sont plus grands pour le tunnel peu profond. L'influence de la densité du maillage est plus significative que dans le cas du matériau cohérent, et les résultats indiquent qu'il est nécessaire d'utiliser des maillages plus fins pour les matériaux frottants. En particulier, la densité du maillage ne modifie pas seulement les valeurs absolues des facteurs de sécurité calculés, mais aussi les variations relatives entre le cas du front de taille vertical et les autres géométries.

Les deux définitions du facteur de sécurité donnent des résultats cohérents, en cela qu'ils montrent une influence claire de la géométrie du front de taille sur sa stabilité, contrairement au cas du matériau cohérent. On notera aussi que les deux géométries non verticales donnent des facteurs de sécurité voisins, et que les simulations ne donnent pas systématiquement un facteur de sécurité plus grand pour le front courbe que pour le front incliné. Dans le cas du matériau frottant, l'augmentation du facteur de sécurité (sur les chargements) est de l'ordre 30 à 40 % pour le tunnel peu profond, et de 25 % pour le tunnel plus profond.

Par contraste, les augmentations du facteur de sécurité calculé sur les caractéristiques de résistance, obtenu par la procédure de c-phi réduction, sont moins spectaculaires, et pourraient conduire à conclure que l'apport en termes de stabilité n'est pas significatif. Les résultats donnés par les deux approches sont cohérents, mais leur interprétation demande un jugement d'ingénieur : la même valeur du facteur de sécurité traduit une augmentation de stabilité plus ou moins significative selon la définition adoptée.

En dernier lieu, la figure 4 montre les zones du maillage pour lesquelles la norme des déformations plastiques dépasse 1% de la déformation plastique maximale, pour le maillage le plus fin, dans le cas du tunnel peu profond, et pour le matériau cohérent et frottant. Bien que ce genre de représentation puisse être difficile à interpréter, il semble que, dans le cas vertical, le mécanisme fait apparaitre une lentille de terrain dans le front de taille qui s'effondre dans le tunnel sans se déformer, donc sans que sa résistance soit mobilisée. Dans le cas du front courbe, la zone non déformée semble plus réduite. On peut donc estimer que la résistance est mieux mobilisée, ce qui se traduit par un facteur de sécurité plus grand.

Conclusion

Les simulations par éléments finis en condition tridimensionnelle permettent d'aborder relativement simplement des problèmes qui ne peuvent pas être traités par les méthodes traditionnelles (analytiques ou semi-analytiques). L'étude de la stabilité du front de taille d'un tunnel est un problème fortement tridimensionnel, qui illustre l'intérêt des approches numériques.

Les résultats présentés ici montrent que le facteur de sécurité est pratiquement insensible à la géométrie du front de taille du tunnel, pour les gammes de géométrie envisagées ici, dans le cas d'un matériau purement cohérent. La conclusion est différente dans le cas d'un matériau cohérent et frottant : le facteur de sécurité est largement amélioré pour un front de taille incliné ou courbe, la différence étant plus nette pour un tunnel peu profond.

En conclusion, la forme du front de taille d'un tunnel a une influence significative sur sa géométrie. Si les méthodes de construction permettent de réaliser des formes plus complexes qu'un front de taille vertical dans des conditions de coût et de sécurité acceptables, on peut imaginer d'optimiser cette forme : on peut envisager de rechercher la meilleure valeur du rapport L/D, introduire une courbure dans l'autre direction, pour se rapprocher d'une forme sphérique par exemple. Du point de vue du concepteur, il est intéressant de retenir que l'analyse de stabilité sur la base d'un front vertical représente une approche conservative.

Cette petite discussion pourrait être prolongée dans deux directions : on pourrait, d'une part, chercher à évaluer l'influence de la géométrie du front sur les tassements provoqués en surface par le creusement. D'autre part, il serait intéressant de comparer le gain de stabilité procuré par le changement de géométrie avec celui obtenu en renforçant le front par des boulons en fibre de verre, mais cette comparaison n'a pas été entreprise ici en raison du fait qu'il n'y a pas vraiment de méthode robuste et largement partagée concernant la modélisation du rôle des boulons, en dépit des très nombreuses références sur le sujet.

Figure 1 .

 1 Figure 1. Maillage tridimensionnel pour le cas du front de taille vertical Le soutènement fait 20 cm d'épaisseur. Il est considéré comme élastique linéaire, avec les caractéristiques suivantes : poids volumique  c = 20 kN/m 3 , module de Young E c = 30000 MPa, coefficient de Poisson  c = 0,2. Pour le terrain encaissant, on considère deux cas : celui d'un matériau purement cohérent et celui d'un matériau frottant. Dans le cas du matériau cohérent, les simulations sont conduites avec le modèle de Tresca, avec une élasticité linéaire isotrope, sans écrouissage et les propriétés mécaniques prennent les valeurs suivantes :  = 20 kN/m 3 , E = 150 MPa,  = 0,3 , c = 50 kPa Dans le cas du matériau frottant, on utilise le modèle de Mohr Coulomb (avec une élasticité linéaire isotrope, sans écrouissage), avec les paramètres suivants :  = 20 kN/m 3 , E = 150 MPa,  = 0,3 , c = 20 kPa,  = 30 degrés Comme il est habituel de le faire dans le contexte de l'analyse limite, on considère une loi d'écoulement associée, et l'angle de dilatance est donc égal à l'angle de frottement.

Figure 2 .

 2 Figure 2. Géométrie du front de taille (a) incliné et (b) du front de taille courbe

Figure 3 .

 3 Figure 3. Maillages obtenus pour (a) le front de taille incliné et (b) pour le front de taille courbe

  Figure 5. Zones où la norme de la déformation plastique dépasse 1% de la valeur maximale.

  Tableau 1. Nombre de noeuds et d'éléments pour les différents maillages

	Couverture C (m)	Densité du maillage	Nombre de noeuds	Nombre d'éléments
	3	Fin grossier	40493 17082	13543 5729
	7	Fin grossier	51916 16189	17867 5468