Valentin Vielzeuf

Alexis Lechervy

Stéphane Pateux
email: stephane.pateux@orange.comalexis.lechervy

Frédéric Jurie
email: frederic.jurie@unicaen.fr

CentralNet: a Multilayer Approach for Multimodal Fusion

Keywords: Multimodal Fusion, Neural Networks, Representation Learning, Multi-task Learning

published or not. The documents may come   L'archive ouverte pluridisciplinaire

Introduction and Related Work

Multimodal approaches are key elements for many computer vision applications, from video analysis to medical imaging, through natural language processing and image analysis. The main motivation for such approaches is to extract and combine relevant information from the different modalities and hence take better decisions than using only one. The recent literature abounds with examples in different domains such as video classification [START_REF] Abu-El-Haija | Youtube-8m: A large-scale video classification benchmark[END_REF][START_REF] Wang | Truly multi-modal youtube-8m video classification with video, audio[END_REF], emotion recognition [START_REF] Dhall | Collecting large, richly annotated facial-expression databases from movies[END_REF][START_REF] Ringeval | Summary for avec 2017: Real-life depression and affect challenge and workshop[END_REF][START_REF] Hu | Learning supervised scoring ensemble for emotion recognition in the wild[END_REF], human activity recognition [START_REF] Simonyan | Two-stream convolutional networks for action recognition in videos[END_REF], or more recently food classification from pictures and recipes [START_REF] Kiela | Efficient large-scale multi-modal classification[END_REF].

The literature on multimodal fusion [START_REF] Atrey | Multimodal fusion for multimedia analysis: a survey[END_REF][START_REF] Andrew | Deep canonical correlation analysis[END_REF][START_REF] Lahat | Multimodal data fusion: an overview of methods, challenges, and prospects[END_REF] usually distinguishes the methods accordingly with the level at which the fusion is done (typically early vs late fusion). There is no consensus on which level is the best, as it is task dependent. For instance, Simonyan et al. [START_REF] Simonyan | Two-stream convolutional networks for action recognition in videos[END_REF] propose a two stream convolutional neural network for human activity recognition, fusing the modalities at prediction level. Similarly, for audiovisual emotion recognition, several authors report better performance with late fusion approaches [START_REF] Kim | Multi-modal emotion recognition using semi-supervised learning and multiple neural networks in the wild[END_REF][START_REF] Vielzeuf | Temporal multimodal fusion for video emotion classification in the wild[END_REF]. In contrast, Arevalo et al. [START_REF] Arevalo | Gated multimodal units for information fusion[END_REF] propose an original Gated Multimodal Unit to weight the modalities depending on the input and achieve state of the art results on a textual-visual dataset, while Chen et al. [START_REF] Chen | Multimodal sentiment analysis with word-level fusion and reinforcement learning[END_REF] follow an early fusion hard-gated approach for textual-visual sentiment analysis.

Opposing early and late fusion is certainly too limited a view on the problem. As an illustration, Neverova et al. [START_REF] Neverova | Multi-scale deep learning for gesture detection and localization[END_REF] applies a heuristic consisting in fusing similar modalities earlier than the others. Several hybrid or multilayer approaches have also been proposed, such as the approach of Yang et al. [START_REF] Yang | Multilayer and multimodal fusion of deep neural networks for video classification[END_REF] doing fusion by boosting across all layers on human activity videos. Cȃtȃlina Cangea et al. [START_REF] Cangea | Xflow: 1d-2d cross-modal deep neural networks for audiovisual classification[END_REF] propose a multilayer cross connection from 2D to 1D to share information between modalities of different dimensions. A multilayer method is also applied on text and image multimodal datasets in the paper of Gu et al. [START_REF] Gu | Learning joint multimodal representation based on multi-fusion deep neural networks[END_REF]. Kang et al. [START_REF] Kang | Contextual region-based convolutional neural network with multilayer fusion for sar ship detection[END_REF] use a multilayer approach, aggregating several layers of representation into a contextual representation. These hybrid methods can be viewed as learning a joint representation, following the classification made by Baltruvsaitis et al. [START_REF] Baltrušaitis | Multimodal machine learning: A survey and taxonomy[END_REF]. With this type of approach the different modalities are projected into the same multimodal space, e.g. using concatenation, element-wise products, etc.

Baltruvsaitis et al. [START_REF] Baltrušaitis | Multimodal machine learning: A survey and taxonomy[END_REF] oppose joint representations with coordinated representations where some constraints between the modalities force the representations to be more complementary. These constraints can aim at maximizing the correlation between the multimodal representations, as in Andrew et al. [START_REF] Andrew | Deep canonical correlation analysis[END_REF] who propose a deep Canonical Correlation Analysis method. On their side, Chandar et al. [START_REF] Chandar | Correlational neural networks[END_REF] propose CorrNet using autoencoders. Neverova et al. [START_REF] Neverova | Moddrop: adaptive multi-modal gesture recognition[END_REF][START_REF] Li | Modout: Learning to fuse modalities via stochastic regularization[END_REF] propose modDrop and modout regularization, consisting in dropping modalities during the training phase. Finally, Hu et al. [START_REF] Hu | Learning supervised scoring ensemble for emotion recognition in the wild[END_REF] applies an ensemble-like method to solve the problem of multimodal fusion for emotion classification.

This paper borrows from both visions, namely the joint representations and the coordinated representations. Our fusion method builds on existing deep convolutional neural networks designed to process each modality independently. We suggest to connect these networks using an additional central network dedicated to the projection of the features coming from different modalities into the same common space. In addition, the global loss allows to back propagate some global constraints on each modality, coordinating their representations. As an interesting property, the proposed approach automatically identifies which are the best levels for fusing the information and how these levels should be combined. The approach is multitask in the sense that it simultaneously tries to satisfy per modality losses as well as the global loss defined on the joint space.

The rest of the paper is organized as follows: the next section presents our contribution while Section 3 gives an experimental validation of the approach.

CentralNet

We refer to multimodal fusion as the combination of information provided by different media, under the form of their associated features or the intermediate

M 1 M 2 M 1 0 M 2 0 M 1,2 D 1,2

Features extraction Fusion Classification/Regression

Model1

Model2

Fusion method Classifier 1 Fig. 1. Generic representation of a multimodal fusion model. M 1 and M 2 respectively denote modality 1 and modality 2, M 1 0 and M 2 0 are the modality features fed to the fusion method, M 1,2 is the joint representation produced by the fusion method, and D 1,2 the decision obtained from the joint representation.

decisions. More formally, if M 1 and M 2 denote the two media and D 1 and D 2 the decisions inferred respectively by M 1 and M 2 , the goal is to make a better prediction D 1,2 using both M 1 and M 2 . More than 2 modalities can be used. This paper addresses the case of classification tasks, but any other task, e.g. regression, can be addressed in the same way.

This paper focuses on the case of neural nets, for which the data are sequentially processed by a succession of layers. We assume having one neural net per modality, capable of inferring a decision from each modality taken in isolation, and want to combine them. One recurrent question with multimodal fusion is where the fusion has to be done: close to the data (early fusion), at the decision level (late fusion) or in between. In case of neural networks, the fusion can be done at any level between the input and the output of the different unimodal networks. For the sake of presentation, let us consider that the neural networks are split into 3 parts: the layers before the fusion (considered as being the feature generation part of the networks), the layers used for the fusion and finally the classification parts of the networks. This is illustrated by Figure 1.

For simplicity, we assume that the extracted features (at the input of the fusion layers) have the same dimensionality. If it is not the case, the features can be projected, e.g. with 1x1 convolutional layers or zero padded to give them the same size. In practice, the last convolution layers or the first dense layers of separately trained unimodal networks can be used as features.

CentralNet Architecture

The CentralNet architecture is a neural network which combines the features issued from different modalities, by taking, as input of each one of its layers, a weighted sum of the layers of the corresponding unimodal networks and of its own previous layers. This is illustrated in Figure 2

(b). Such fusion layers can be

h M 1 h M 2 D 1,2 Fusion loss Classifier 1,2 1,2 (a) h M 1 h C h M 2 D 1,2 wsum loss 0 0 0 h M 1 h M 2 wsum 1 1 1 h M 1 h C h M 2 wsum h M 1 h M 2 wsum 2 2 2 h M 1 h C h M 2 wsum D 1 1 M C D 2 loss loss 2 Classifier 1,2 Classifier 1 Classifier 2 M (b)
Fig. 2. (a) Basic fusion method, fusing the hidden representations of the modalities at a given layer and then using only joint representation. Fusing at a low-level layer is called early fusion while fusing at the last layer is called late fusion. (b) Our Cen-tralNet fusion model, using both unimodal hidden representations and a central joint representation at each layer. The fusion of the unimodal representations is done here using a learned weighted sum. For the sake of simplicity, only the overall synoptic views of the architectures are represented. More details are provided in Section 2.

defined by the following equation:

h Ci+1 = α Ci h Ci + n k=1 α M k i h M k i ( 1
)
where n is the number of modalities, α are scalar trainable weights, h M k i is the hidden representation of each modality at layer i, and h Ci is the central hidden representation. The resulting representation h Ci+1 is then fed to an operating layer cell (which can be a convolutional or a dense layer followed by an activation function).

Regarding the first layer of the central network (i = 0), as we do not have any previous central hidden representation, we only weight and sum the representations of M 1 and M 2 , issued from unimodal networks. At the output level, the last weighted sum is done between the unimodal predictions and the central prediction. Then, the output of the central net (classification layer) is used as the final prediction.

Learning the CentralNet model

All trainable weights of the unimodal networks, the ones of the CentralNet and the fusion parameters α M k i , are optimized together by applying a stochastic gradient descent using the Adam approach. The global loss is defined as:

loss = loss C + k β k loss M k (2)
where loss C is the (classification) loss computed from the output of the central model and loss M k the (classification) loss when using only modality k. The weights β k are cross validated (in practice, β k = 1 in all of our experiments).

As already observed by Neverova et al. [START_REF] Neverova | Moddrop: adaptive multi-modal gesture recognition[END_REF], when dealing with multimodal fusion it is crucial to maintain the performance of the unimodal neural networks. It is the reason why the global loss includes the unimodal losses. It helps generalizations by acting as a multitask regularization. We name this method "Multi-Task" in the rest of the paper.

Implementation details

The α Ci weights are initialized following a uniform probability distribution. Before training, the weighted sum is therefore equivalent to a simple average.

During our experiments, we also found out that rewriting Eq. ( 1) as:

h Ci+1 = α Ci h Ci + α modalities n k=1 α M k i h M k i (3)
leads to better and stable performance. On overall, CentralNet is easy to implement and can build on the top of existing architectures already known to be efficient for each modality. The number of trainable parameters dedicated to the fusion is less important than in other previous multilayer attempts such as [START_REF] Gu | Learning joint multimodal representation based on multi-fusion deep neural networks[END_REF], which may help to prevent overfitting. And even if the weighted sum is a simple linear operation, the network has the ability to learn complex joint representation, because of the non-linearity introduced by the central network.

Finally, the resulting values of the α allow some interesting interpretations on where the modalities are combined. For instance, getting α M k i values close to 0 for k > 0 is equivalent to early fusion, while having all the α Ci close to 0 up to the last weighted sum would be equivalent to late fusion.

Experiments

The proposed method is experimentally validated on 4 different multimodal datasets, namely Multimodal MNIST (a toy dataset), Audiovisual MNIST, Montalbano [START_REF] Escalera | Chalearn looking at people challenge 2014: Dataset and results[END_REF] and MM-IMDb [START_REF] Arevalo | Gated multimodal units for information fusion[END_REF], receiving each a separate section in the following. Each dataset is processed with a dedicated features extractor on which we plug our fusion method. Regarding the fusion networks, they are made of convo-lution+pooling or dense layers, with ReLU and batch normalization. The kernel size of the convolution is always 5x5 and the pooling stride is 2.

The performance of the proposed method is compared to 5 different fusion approaches, ranging from the simplest baseline to recent state-of-the-art approaches. (a) 'Weighted mean' is the weighted average of single modality scores. The weights are considered as some parameters of the model, learnt with the rest of the model. (b) 'Concat' consists in concatenating the unimodal scores and inferring the final score with a single-layer linear perceptron. (c) 'Concat+Multi-Task' is the same as 'Concat' but uses the same Multi-Task loss as with the CentralNet. (d) 'Moddrop' is implemented following Neverova et al. [START_REF] Neverova | Moddrop: adaptive multi-modal gesture recognition[END_REF]. (e) The 'Gated Multimodal Unit' (GMU) is implemented following Arevalo et al. [START_REF] Arevalo | Gated multimodal units for information fusion[END_REF].

In the following, to assess the statistical significance of our results, the performance is averaged over 64 runs. The confidence interval at 99% is computed using the estimate of the standard deviation and the Student's law.

Multimodal MNIST

The 'Multimodal MNIST' dataset is a toy dataset made of pairs of images (A,B), computed from the MNIST dataset. A and B are supposed to be 2 views of the same MNIST image but from different (artificially generated) modalities. We produce them by computing a Principal Component Analysis of the original MNIST dataset. Each one of the 2 (artificial) modalities is created by associating with it a set of singular vectors. This allows to control the amount of energy provided to each modality, which is the sum of the energy contained in the chosen vectors, and the share ratio, defined here as the percentage of the singular vectors shared between modalities. Figure 5 shows some of these generated image pairs. The original MNIST contains 55000 training samples and 10000 test samples. We transformed all of these images into pairs of 28x28 images, following the process explained above. Several authors, e.g., [START_REF] Andrew | Deep canonical correlation analysis[END_REF][START_REF] Neverova | Moddrop: adaptive multi-modal gesture recognition[END_REF][START_REF] Chandar | Correlational neural networks[END_REF][START_REF] Li | Modout: Learning to fuse modalities via stochastic regularization[END_REF], generate a multimodal version of MNIST by dividing MNIST images into several smaller images (typically quarter of images) which are each considered as modalities. In contrast, our approach has the advantage of allowing to control two important factors: the amount of information per modality and the dependence between modalities.

The unimodal neural network architecture used with this dataset is the LeNet5 neural network [START_REF] Lecun | Gradient-based learning applied to document recognition[END_REF]. It achieves 95 errors on the MNIST test set [START_REF] Lecun | Gradient-based learning applied to document recognition[END_REF]. The architecture is composed of two convolutional layers, followed by two fully connected layers. In our version, batch normalization and dropout are added to further improve its performance. We measure the performance by counting how many of the 10000 images of the MNIST test set are misclassified. The Central-Net architecture in this case is therefore composed of three LeNet5, as described in Table1. The "Ensemble 3 classifiers" method also uses three LeNet5, while other methods are using two LeNet5, one for each modality. We use dropout (50% Table 1. The architecture of the CentralNet for the mMNIST dataset."Dense" layers are fully-connected layers followed by a ReLU activation, while "Pred" layers are fullyconnected layers followed by softmax activation.

Fig. 5. MM-MNIST: some examples generated with half of the energy per modality and no sharing. dropping) on the fully connected layers and batch normalization. The learning rate is 0.01, the batch size is 128 and the model is trained on 100 epochs for all experiments, except for Moddrop and Gated Multimodal Units, where hyperparameters are found by a random grid search. Thus for Moddrop, the learning rate is changed into 0.05 and the modality drop probability is of 0.2. For Gated Multimodal Units, the dropout is changed into 25% dropping. First, we evaluate different alternatives for fusion (see Figure 2(b)) using element-wise sum, subtract and product, for several configurations of our toy dataset. The energy is in {0.1, 0.25, 0.5} and share ratio in {0, 0.1, 0.5, 0.9}, allowing to assess the improvement given by fusion on each configuration. We also evaluate the Fusion+Ensemble method, i.e., an ensemble of classifiers build on the top of the outputs of the fusion method (each modality make a prediction, as well as the fusion method, giving an ensemble of 3 classifiers). Finally, we also report the results of our CentralNet approach. We numbered the layers of LeNet5 from 0 (input level) to 4 (prediction level) and evaluate the methods for the 5 different fusion depth, in order to find out which one yields is the best. Figure 4 reports the performance of the different methods. The performance of the Fusion and Fusion+Ensemble methods are given in the case of their best fusion depth.

Method

These results first underline the proportionality relation between the energy per modality and the error rate. It is also worth noting that not sharing enough or too much information between the modalities lowers the accuracy and the interest of a fusion approach. This observation is in line with [START_REF] Baltrušaitis | Multimodal machine learning: A survey and taxonomy[END_REF][START_REF] Atrey | Multimodal fusion for multimedia analysis: a survey[END_REF].

As shown in Table 2 the optimal fusion layer obtained for each method differs but is early. Other properties are highlighted: A complementarity between Fusion and Ensemble exists, as shown by the improvement brought by the Fu-sion+Ensemble method. Nevertheless, as soon as the modalities share a large amount of information, the Ensemble method outperforms the Fusion method. It implies that the benefit of the fusion depends on the nature of the dataset and can be null.

Independently to the chosen configuration, our CentralNet approach achieves the best results, except in the case of a null share ratio (first point of the righthand side of the Figure 4). In this case, the modalities are not sharing information, so the better performance of the Fusion+Ensemble (fusing at layer 0) compared to CentralNet might be explained by the difficulty to find relation between independent modalities and thus constructing a stable joint representation from the learned weighted sum. A comparison with an Ensemble of 3 models applied on original images suggests that this performance does not come only from a larger number of parameters.

Table 3 shows that in the lowest layers of CentralNet, the modalities are taken into account, while on last layers the weight of central previous hidden layer dominates. This is in line with our observations on the Fusion+Ensemble results.

Audiovisual MNIST

Audiovisual MNIST is a novel dataset we created by assembling visual and audio features. The first modality, disturbed image, is made of the 28x28 PCAprojected MNIST images, generated as explained in the previous section, with only 25% of the energy, to better assess the benefits of the fusion method. The second modality, audio, is made of audio samples on which we have computed 112x112 spectrograms. The audio samples are the pronounced digits of the Free Spoken Digits Database [START_REF] Jackson | free-spoken-digit-dataset[END_REF] augmented by adding randomly chosen 'noise' samples from the ESC-50 dataset [START_REF] Piczak | Esc: Dataset for environmental sound classification[END_REF], to reach the same number of examples as in MNIST (55000 training examples, 10000 testing examples).

For processing the image modality, we use the LeNet5 architecture [START_REF] Lecun | Gradient-based learning applied to document recognition[END_REF], as in the previous section. For the audio modality, we use a 6-layer CNN, adding two convolution-pooling blocks. The whole architecture is detailed on Table 3.

We use dropout (50% dropping) on the fully connected layers and batch normalization. The learning rate is 0.001, the batch size is 128 and the model is trained on 100 epochs for all experiments, except Moddrop and Gated Multimodal Units, where hyper-parameters are found by a random grid search. Thus for Moddrop, the learning rate is changed into 0.005 and the modality drop probability is of 0.32. For Gated Multimodal Units, the dropout is changed into 35% dropping.

The performance is measured as the per sample accuracy on the 10000 test samples. We observe from Table 4, that the fusion methods are all performing better than unimodal ones. Both ensembles, Moddrop and simple weighted mean yield good performance but CentralNet performs best. Figure 3 shows that all the modalities are used at each layer, meaning that they all bring information.

Montalbano

The Montalbano dataset [START_REF] Escalera | Chalearn looking at people challenge 2014: Dataset and results[END_REF] gathers more than 14000 samples of 20 Italian sign gesture categories. These videos were recorded with a Kinect, capturing audio, skeleton joints, RGB and depth. The task is to recognize the gestures from the video data. The performance is measured as the macro accuracy, which is the average of the per class accuracy.

The features used in these experiments are those provided by Neverova et al. [START_REF] Neverova | Moddrop: adaptive multi-modal gesture recognition[END_REF]: audio features (size 350), motion capture of the skeleton (size 350), RGB+depth left/right hands features (size 400). Features are zero-padded (if needed) to give vectors of size 400. The fusion architecture includes one multilayer perceptron per modality, each having 3 layers of size: 400 × 128, 128 × 42, Table 5. Accuracy on the Montalbano validation set (same protocol as [START_REF] Neverova | Moddrop: adaptive multi-modal gesture recognition[END_REF]).

42 × 21. CentralNet architecture connects the 3 layers of the different modalities into a central network.

We use dropout (50% dropping) and batch normalization. The learning rate is 0.05 (we multiply the learning rate by 0.96 at each epoch), the batch size is 42 containing two samples of each class and the model is trained on 100 epochs for all experiments. For Moddrop, the modality drop probability is of 0.5.

Table 5 shows that the performance obtained with each modality varies from 46% (left hand) to 88% (mocap). Basic late fusion gives significant improvement, suggesting complementarity between modalities. CentralNet outperforms all other approaches. Figure 3 shows the weights of the different modalities at each level. At the first layer (layer 0), the weights reflect the dimensionality of the layers. At the next layer, almost no information is taken from the modalities, while at layers 2 and 3, the weight given to each modality and to the central representation are relatively similar. This may be interpreted as an hybrid fusion strategy, mixing "early" and "late" fusions.

MM-IMDb

The MM-IMDb dataset [START_REF] Arevalo | Gated multimodal units for information fusion[END_REF] comprises respectively 15552, 2608 and 7799 training, validation and test movies, along with their plot, poster, genres and other 50 additional metadata fields such as year, language, writer, director, aspect ratio, etc.. The task is to predict a movie genre based on its plot and on its poster (cf.

Based on the fairy tale: Cinderella is mistreated by her stepmother and stepsisters, and is forced to live as their servant. One day, the Fairy Godmother appears to the family disguised as an elderly, destitute woman. The others treat her harshly, but Cinderella is kind to her and feeds her. The Fairy Godmother invisibly helps Cinderella, helping her when she goes to gather wood, and enabling her to meet Prince Charming as he travels through the forest. Soon afterward, the king plans a great ball so that the prince can meet all the women and choose one for his bride. Cinderella must help her family prepare for the ball, while she stays at home. But the Fairy Godmother appears again, and miraculously enables Cinderella to go after all, with dramatic consequences.

Fantasy, Drama Horror, Mystery

In Santa Monica, California, Mia and John Gordon are happily married and Mia is pregnant. John is concluding the medical school and does not have much time to give attention to his beloved wife, so he buys an ancient and rare doll named Annabelle for her collection. But soon their next door neighbors are attacked by two members of a satanic cult that break in their house and attack them after killing the neighbors. Mia and John are saved by the police officers and Mia needs to rest until the delivery. But there is a fire in their house and Mia early delivers a baby girl, Leah. The family moves to an apartment in Pasadena but first Mia throws the doll Annabelle away in the garbage. However she finds the doll in a box while unpacking things in her new home. Weird things happen to Mia and she befriends Evelyn, who works in a bookstore, and she learns about an evil cult that wants Leah's soul. When John and Mia summons Father Perez to help them with Annabelle, evil is stronger than the priest and he is sent injured to the hospital. Who may save Leah's soul now? Figure 7). One movie can belong to more than one of the 23 possible genres. The task hence has to be evaluated as a multilabel classification task. As in [START_REF] Arevalo | Gated multimodal units for information fusion[END_REF][START_REF] Kiela | Efficient large-scale multi-modal classification[END_REF], we measure the performance with the micro, macro, weighted and per sample F1 scores. For these experiments, we use the features kindly provided by the authors [START_REF] Arevalo | Gated multimodal units for information fusion[END_REF]. The visual feature of size 4096 is extracted from the posters using the VGG-16 [START_REF] Simonyan | Very deep convolutional networks for large-scale image recognition[END_REF] network pretrained on Imagenet. The 300-d textual one are computed with a fine-tuned word2vec [START_REF] Mikolov | Distributed representations of words and phrases and their compositionality[END_REF] encoder.

We build a multilayer perceptron on the top of the features of each modality. For both modalities, the network has 3 layers of size input size×4096, 4096×512 and 512×23. The CentralNet architecture (see Table 6 is the same, taking 4096-d vectors as inputs, zero-padding the textual features to reach the visual features size.

We use dropout (50% dropping) and batch normalization. The learning rate is 0.01 and the batch size is 128. For Moddrop, the modality drop probability is of 0.25. The loss of the models is a cross entropy, but we put a weight of 2.0 on the positives terms to balance precision and recall. More formally, the loss is:

loss = -log(2σ(pred))y -(1 -y)log(1 -σ(pred)) (4)
with σ(pred) the sigmoid activation of the last output of the network and y the multiclass label. As recommended by Arevalo et al. [START_REF] Arevalo | Gated multimodal units for information fusion[END_REF], we also use early stopping on the validation set. Table 7 reports the performance measured during the different experiments. First of all, the worst confidence interval we observe is very small, of the order of ±0.001. For making the table more readable, we do not include it. Second, one can observe that the textual modality clearly outperforms the visual one. Third, we note that even the basic fusion methods, such as the concatenation of the features, improve the score. Finally, the Concat+Multi-Task and Concat+ModDrop methods are outperformed by a significant margin by Gated Multimodal Unit and CentralNet, which is giving the best performance. Figure 3 shows that Cen-tralNet gives more weight to the first layers, indicating that an "early fusion" strategy is privileged in this case, even if the two modalities contribute significantly at all levels.

Conclusions

This paper introduced a novel approach for the fusion of multimedia information. It consists in a joint representation having the form of a central network connecting the different layers of modality specific neural networks. The loss of this central network not only allows to learn how to combine the different modalities but also adds some constraints on the modality specific networks, enforcing their complementary aspects. This novel model achieves state-of-the-art results on several different multimodal problems. It also addresses elegantly the late versus early fusion paradigm.

1 Fig. 3 .

 13 Fig.3. Visualization of the αi weights after training. They are displayed as the percentage given to each modality and to the central hidden representations across layers and datasets. We observe that the learned fusion strategy is different for each dataset.

1 Fig. 4 .

 14 Fig.4. Errors as a function of the energy per modality (left-hand side, share ratio=0.5) and of the share ratio (right-hand side, energy=0.5), for different fusion methods. Better viewed in color.

Fig. 6 .

 6 Fig. 6. The different raw visual modalities provided by the organizers of the ChaLearn challenge on Montalbano dataset. Neverova et al. [15] propose to focus on right and left hands, skeleton and audio.Method Accuracy Left 46.0 ±0.7 Audio 59.3 ±0.3 Right 79.0 ±0.3 Mocap 88.0 ±0.3 Weighted mean 97.54 ±0.02 Concat 97.76 ±0.05 Concat + Multi-Task 98.02 ±0.04 Moddrop 98.19 ±0.03 Gated Multimodal Unit 97.98 ±0.04 CentralNet 98.27 ±0.03

Fig. 7 . 23 Table 6 .

 7236 Fig. 7. Two movie samples extracted from the mm-IMDB dataset. For each, we can see the poster and the associated plot. The genres to predict are displayed on the top of the figure. Text Central Visual Type Size Type Size Type Size Dense 2048 Dense 2048 Dense 2048 Dense 512 Dense 512 Dense 512 Pred 23 Pred 23 Pred 23Table 6. Architecture of the CentralNet on the MM-IMDb dataset.

Table 2 .

 2 Number

		Errors	Fusion Layer
	Baseline	66 ±1.5
	Ensemble 2 classifiers	64 ±1.3
	Ensemble 3 classifiers	60 ±1.0
	Fusion Subtract	64 ±1.8 2
	Fusion Sum	68 ±2.1 2
	Fusion Prod	71 ±2.1 2
	Fusion+Ensemble Subtract 63 ±1.5 1
	Fusion+Ensemble Sum 56 ±2.1 0
	Fusion+Ensemble Prod	63 ±1.5 2
	Baseline on one modality 230 ±2.7
	Concat + Multi-Task	62 ±1.2
	Moddrop[22]	60 ±1.5
	Gated Multimodal Unit[13] 68 ±1.8
	CentralNet	53 ±1.2

of errors on the MM-MNIST test set for different methods, using 50% energy per modality and 50% of shared vectors.

Table 3 .

 3 The architecture of the CentralNet model on the avMNIST dataset.

		Image	Central	Audio
	Part	Type Output size Type Output size Type Output size
	Features Extraction	Conv1 14 x 14 x 32		Conv1 56 x 56 x 8 Conv2 28 x 28 x 16 Conv3 14 x14 x 32
		Conv 7 x 7 x 64 Conv 7 x 7 x 64 Conv 7 x 7 x 64
	Fusion	Dense 1024	Dense 1024	Dense 1024
		Pred 10	Pred 10	Pred 10

Table 4 .

 4 Accuracy on the audiovisual MNIST dataset.

	Method	Accuracy
	Disturbed image	72.8 ±0.3
	Audio	86.1 ±0.15
	Weighted mean	94.7 ±0.12
	Concat	93.7 ±0.17
	Concat + Multi-Task	94.8 ±0.11
	Moddrop[22]	94.8 ±0.10
	Gated Multimodal Unit[13] 94.1 ±0.14
	CentralNet	95.0 ±0.12

Table 7 .

 7 F1 scores of the different methods on the MM-IMDb test set.

	Method	Micro Macro Weighted Samples
	Text (alone)	0.602 0.489 0.585	0.606
	Image (alone)	0.478 0.256 0.421	0.484
	Weighted mean	0.635 0.550 0.626	0.634
	Concat	0.611 0.506 0.599	0.614
	Concat + Multi-Task	0.623 0.528 0.613	0.622
	Moddrop[22]	0.624 0.526 0.614	0.625
	Gated Multimodal Unit [13] 0.630 0.541 0.617	0.630
	CentralNet	0.639 0.561 0.631	0.639


Thomas Huraux

Nicolas Sabouret

Yvon Haradji

Un modèle multi-niveau pour simuler l'activité humaine dans le contexte de la consommation énergétique résidentielle

Keywords: Modélisation multi-niveau, Systèmes multi-agents, Simulation Multi-level Modeling, Multiagent Systems, Simulation

come

Introduction

La simulation de l'activité humaine, aussi bien pour des besoins d'analyse que pour la prédiction ou le contrôle, peut nécessiter de considérer des entités de différents niveaux. Par exemple, on peut vouloir s'intéresser à la fois à l'activité des individus dans le foyer qu'à des groupes sociaux et à l'impact des uns sur les autres. C'est pourquoi il est utile de considérer une modélisation multi-niveau de l'activité humaine, qui consiste à utiliser à la fois des représentations microscopiques et macroscopiques dans une même 1. http://www.youtube.com/watch?v=DViBg3-crxM simulation [START_REF] Nguyen | An hybrid equation-based and agent-based modeling of crowd evacuation on road network[END_REF]. Une des méthodes pour aborder ces questions est le paradigme des systèmes multi-agents (SMA) basés sur l'utilisation de processus autonomes interagissant et échangeant des informations. L'approche la plus répandue en SMA consiste à considérer le niveau macro comme un phénomène émergent, résultant de la somme des représentations individu-centrées. Le modélisateur se contente alors de définir les comportements micro. Ce faisant, il perd le contrôle sur les dynamiques au niveau macroscopique, qui ne sont plus contrôlables directement. Cette question est soulevée par R. Keith Sawyer dans [START_REF] Conte | Sociology and social theory in agent based social simulation : A symposium[END_REF] : il souligne que l'hypothèse d'individualisme méthodologique est acceptée implicitement en SMA. Pourtant, les connaissances macro sont disponibles dans de nombreux domaines dont l'implémentation des concepts serait facilitée par une représentation explicite des entités macro. C'est pourquoi, dans cet article, nous nous intéressons à un modèle SMA qui fait co-exister des modélisations explicites de niveaux micro et macro.

Le contexte applicatif de nos travaux est celui de la consommation énergétique résidentielle qui est un phénomène micro/macro caractéristique : micro car la consommation des foyers résulte des activités des individus qui les composent ; macro car la synchronisation et l'agrégation de la demande impactent fortement le système énergétique global. En effet, l'une des principales difficultés auxquelles doivent faire face les fournisseurs d'énergie comme EDF est l'adaptation de la production aux pics de consommation, qui sont un phénomène macro résultant des comportements micro. Ces pics requièrent souvent l'utilisation de centrales à flamme, sources de gaz à effet de serre. Pour cette raison, c'est un réel défi de proposer un système qui puisse être utilisé pour évaluer de possibles mesures pour diminuer les pics de demandes.

Ces dernières années, nous avons développé la plate-forme SMACH [START_REF] Haradji | L'activité humaine et la conception d'une plate-forme de simulation sociale[END_REF][START_REF] Amouroux | Simulating Human Activities to Investigate Household Energy Consumption[END_REF]. L'idée de cet outil est de permettre aux experts du domaine de simuler l'activité quotidienne des foyers. En particulier, comment l'organisation des activités est adaptée à de nouvelles contraintes (prix de l'électricité, nouveaux systèmes techniques, événements inattendus, etc). Nous nous intéressons aujourd'hui à l'ajout dans la plate-forme de dynamiques micro/macro pour l'étude de l'activité humaine à large échelle, par exemples les liens entre individus et groupes sociaux, entre la consommation d'un appareil et la consommation d'un secteur résidentiel. Dans ces travaux, 3 aspects du problème sont considérées : la temporalité de l'activité humaine (de l'action aux habitudes), la diversité des populations (des individus aux groupes sociaux) et la complexité de l'environnement (d'un appareil électrique à une zone résidentielle). Dans la section suivante, nous présentons les travaux qui se sont intéressés à la modélisation multi-niveau et à la simulation de l'activité humaine. La section 3 introduit SIMLAB, notre modèle multi-niveau à base d'agents, qui s'appuie entre autres sur un mécanisme d'influence interniveau et sur la capacité de réification dynamique d'agents. La section 4 montre comment sont représentés les trois dimensions considérées dans ce modèle pour la simulation de l'activité des foyers et de la consommation énergétique. Enfin, la section 5 propose des éléments d'évaluation des mécanismes des influences et de réification dynamique.

Travaux connexes

Les recherches en intelligence artificielle autour des questions énergétiques peuvent être groupées en 4 catégories principales. Premièrement, les smart-grids cherchent à optimiser la production et la distribution au niveau du réseau [START_REF] Massoud | Toward a smart grid : power delivery for the 21st century[END_REF]. Deuxièmement, d'autres travaux se concentrent sur la spécification de bâtiment basse consommation et de gestionnaire énergétique intelligent [START_REF] Freire | Predictive controllers for thermal comfort optimization and energy savings[END_REF]. Troisièmement, beaucoup de travaux, spécialement en systèmes multi-agents, se concentrent sur la prédiction de la demande en électricité [START_REF] Kashif | Agent based framework to simulate inhabitants' behaviour in domestic settings for energy management[END_REF][START_REF] Mahdavi | Toward empiricallybased models of people's presence and actions in buildings[END_REF]. Enfin, quelques-uns proposent de fournir aux clients des feed-backs en temps réel pour qu'ils puissent mieux gérer leur consommation [START_REF] Rogers | Adaptive home heating control through gaussian process prediction and mathematical programming[END_REF]. En fait, peu de travaux se concentrent sur l'étude de l'activité humaine pour mieux comprendre le phénomène macroscopique de la consommation. L'étude des phénomènes macro en SMA peut se faire à l'aide de modélisations multi-niveaux [START_REF] Morvan | Multi-level agent-based modelingbibliography[END_REF] mais la plupart des modèles ne considèrent pas la coexistence des niveaux pendant la simulation. Par exemple, dans le modèle multi-niveau hiérarchique SWARM [START_REF] Minar | The swarm simulation system : a toolkit for building multi-agent simulations[END_REF], les niveaux macro prennent le contrôle des niveaux micro. Dans d'autres modèles, les entités macro sont uniquement des agrégations utilisées pour accélérer les simulations et les niveaux micro sont alors désactivés, comme par exemple dans [START_REF] Nguyen | An hybrid equation-based and agent-based modeling of crowd evacuation on road network[END_REF] où les agents sont agrégés sous forme d'équations dans le contexte de la simulation de foule, ou dans [START_REF] Navarro | Dynamic level of detail for large scale agent-based urban simulations[END_REF] qui propose un modèle à plusieurs niveaux de détail pour des simulations urbaines à grande échelle. Dans ces approches, le système sélectionne automatiquement, pour chaque agent, le niveau de représentation approprié pour permettre un gain significatif en calcul. Un seul niveau est activé à la fois et les différents niveaux ne coexistent pas vraiment. Au contraire, certains modèles ne sont pas conçus pour diminuer les coûts en calcul mais pour faciliter les études. Par exemple, le modèle RIVAGE présenté dans [START_REF] Servat | When agents emerge from agents : Introducing multiscale viewpoints in multi-agent simulations[END_REF] consi-dère l'eau comme un ensemble multi-niveau d'agents pour modéliser l'écoulement, l'érosion et l'infiltration sur des sols hétérogènes. Un autre exemple avec [START_REF] Tranouez | Contribution à la modélisation et à la prise en compte informatique de niveaux de description multiples[END_REF] où les auteurs simulent l'écoulement des fluides en utilisant un modèle de vortex et de vortex macroscopiques. Ces exemples sont malheureusement des modèles spécifiques et ne peuvent être réutilisés dans un contexte différent. Dans nos travaux, nous partageons cette idée qu'une approche plus systémique (dans le sens de la co-existence des niveaux) peut enrichir notre modèle en l'étendant avec des entités macro, ce que ne permettent pas les approches reposant sur l'utilisation d'agrégations avec un comportements moyen. Nous cherchons à montrer que l'introduction directe dans le modèle de niveaux qui coexistent pendant la simulation, non pas comme différentes visualisations d'un même phénomène mais pour connecter les connaissances expertes au sein d'un même modèle pour l'améliorer, nous permettra d'étudier les phénomènes de grande échelle.

Le modèle multi-niveau

Le modèle SIMLAB 2 [START_REF] Huraux | A Multi-Level Model for Multi-Agent Based Simulation[END_REF] repose sur les concepts suivants. Premièrement, les caractéristiques des entités modélisées sont partagées par des agents de différents niveaux. Pour ce faire, nous introduisons la notion d'axe de modélisation qui capture la représentation de composantes transverses aux différents niveaux. Deuxièmement, nous faisons la distinction entre les interactions des agents (i.e. l'échange d'informations ou requêtes) et les influences intra-axes des propriétés, capturant les dynamiques multi-niveaux. Enfin, pour avoir une organisation dynamique dans le SMA, nous proposons l'utilisation d'observations pour détecter et réifier les macro-entités qui ont du sens pour le modélisateur.

Caractéristiques des agents

Tous les agents disposent des éléments suivants : Super et sous-agents. Ces notions sont rattachées au multi-niveau. Un agent a accès uniquement à ses superagents et sous-agents directs. Nous supposons que la relation inter-niveau est non-transitive et acyclique, mais aucune autre restriction n'est spécifiée dans notre modèle. En particulier, un agent peut avoir plusieurs super-agents.

Propriétés. Les variables manipulées par les agents sont appelées propriétés. Elles capturent les notions caractéristiques de l'entité modélisée. Une propriété peut être atomique (réel, booléen, ...) ou plus complexe (liste, ensemble, fonction, ou même un autre agent).

Actions. Chaque agent possède un ensemble d'actions internes pour modifier ses propriétés. On associe une précondition à chaque action et, à chaque pas d'exécution, un agent réalise toutes les actions dont les pré-conditions sont satisfaites.

Interactions. Le mécanisme d'interaction des agents est une version simplifiée du modèle de communication intentionnelle proposé par FIPA [START_REF]FIPA Communicative Act Library Specification and FIPA ACL Message Structure Specification[END_REF]. Chaque agent est muni 2. SIMLAB Is Multi-Level Agent Based d'un ensemble de réactions, i.e. des actions déclenchées uniquement par des interactions. Comme les actions, les réactions agissent sur les propriétés et sont associées à des pré-conditions.

Axes de modélisation

Observations et transformations

Pour détecter et réifier des entités macro, chaque agent peut être associé à une ou plusieurs observations. Une observation est caractérisée par un ensemble d'agents mesurés. Chaque mesure est comparée à un seuil d'activation pour déclencher une transformation modifiant l'organisation du système. Une transformation est caractérisée par un ensemble de modifications sur la structure du SMA. Les agents disposent des 5 transformations suivantes :

(1) Create Un nouvel agent x est ajouté dans le système.

(2) Join Un agent y est ajouté à l'ensemble des superagents de x et x est ajouté à l'ensemble des sousagents de y. (3) Merge Deux agents x et y se rassemblent pour former un nouveau super-agent z (Create puis 2×Join).

(4) Leave L'agent y est enlevé de l'ensemble des superagents de x et l'agent x est enlevé de l'ensemble des sous-agent de y.

(5) Delete L'agent x est supprimé du système.

Nous avons choisi ces 5 transformations mais d'autres peuvent être spécifiées en fonction du domaine applicatif.

FIGURE 1 -Vue d'ensemble des 3 axes

En appliquant le modèle présenté précédemment, nous définissons respectivement 3 axes de modélisation (voir Fig. 1) présentés ci-après.

Axe des populations

Axe de l'environnement

Cet axe représente les entités liées à la consommation énergétique. Un agent appartenant à cet axe est caractérisé par une puissance électrique, une fonction de consommation et un état d'activation (off, standby ou on). La fonction de consommation est une propriété récursive.

Appareil. Les appareils électriques sont les éléments microscopiques de l'axe. Certains appareils disposent de profils de consommation provenant de la base de données RE-MODECE 3 . Les appareils peuvent avoir une puissance en veille (comme la télévision, l'ordinateur, ...) et un thermostat (chauffage). Les chauffages peuvent interagir avec leur pièce pour obtenir la température courante. Tous les appareils influencent la température de la pièce avec leur propriété de chaleur dégagée, caractéristique des appareils électriques en fonctionnement.

Pièce. Une pièce est composée d'appareils et est caractérisée par un nombre d'individus présents dans la pièce, une température courante (mise à jour par un modèle thermique) et une température de consigne.

Logement. Un logement est composé de pièces. Il est caractérisé par un indicateur de présence qui perçoit si au moins un individu est présent dans le logement. Le logement peut, s'il bénéficie par exemple d'un gestionnaire d'énergie, interagir avec les pièces pour changer leurs températures de consigne.

Expérimentations

Cette section décrit deux expérimentations que nous avons réalisées pour valider les éléments caractéristiques de notre modèle dans le contexte de la simulation de la consommation énergétique de foyers. Notre première étude se concentre sur la fonction d'influence reliant un groupe social et les individus, et son effet sur la consommation. Notre seconde étude illustre le rôle des observations dans le processus organisationnel.

Implémentation

Nous avons réalisé en Java une implémentation du modèle SIMLAB et un prototype de simulateur de l'activité humaine reprenant les axes et les agents présentés dans la section précédente. Dans notre étude, seulement 20% des foyers sont en dessous du seuil de revenu et appartiennent donc à G eco , ce qui explique la faible valeur de M. Nous remarquons que la mesure décroît en fonction de la force de l'influence et tend à converger car elle est en fait limitée par les tâches utilisant des appareils à faible consommation qui ne sont pas affectés par l'influence.

Extraction de motifs d'activités

La seconde expérimentation illustre l'utilisation des observations dans le modèle SIMLAB pour faire ressortir des motifs d'activités, donc des habitudes, à partir des activités micro. Il s'agit surtout de montrer que le modèle a la capacité de rendre visible pour l'expert des entités de niveau macro. Pour cela, nous ajoutons une observation aux tâches des individus pour détecter et réifier les motifs d'activité qui émergent pendant la simulation. Cette observation est caractérisée par O, la fonction de mesure correspondant à la probabilité de transition entre les tâches, i.e. la probabilité pour un individu d'abandonner la tâche courante pour en commencer une autre :

O a (b ∈ T ) = n a,

  Un axe de modélisation permet de représenter la consistance entre les super et sous-agents. Il consiste en un ensemble d'agents qui correspondent à un même concept. En d'autres termes, il regroupe tous les niveaux d'abstraction d'un même aspect du phénomène étudié. Par exemple, les appareils électriques, le bâtiment et le groupement résidentiel sont les éléments d'un même axe figurant l'environnement de la consommation énergétique. Dans notre modèle, un axe de modélisation est aussi caractérisé par un ensemble de propriétés partagées. Ces propriétés particulières facilitent la tâche de modélisation en encourageant la réflexion autour de ce qui est commun à tous les niveaux. Par exemple, la consommation énergétique est une propriété partagée de l'axe regroupant les appareils et les bâtiments. Comme les propriétés partagées sont définies pour l'axe, il n'y a pas besoin de définir ces propriétés pour chaque agent. Influences. Les niveaux sont liés par une fonction d'influence modifiant la valeur d'une propriété des super ou sous-agents, en se basant sur certaines propriétés de l'agent influant. Ces influences sont définies au niveau des propriétés des agents, non aux instances de ces propriétés. Par exemple, si une propriété d'un individu influence un groupe, tous les individus de ce groupe bénéficient de cette influence. Propriétés récursives. Une propriété récursive est une propriété définie pour tous les agents d'un axe (N.B. les propriétés récursives sont donc des propriétés partagées) et qui est influencée par les valeurs des propriétés sources des agents de plus bas niveau. L'influence d'une propriété récursive est toujours orientée du sous-agent vers le superagent. Un changement de valeur sur une propriété récursive se propage sous la forme d'une fonction récursive dont le calcul se fait de l'agent vers les sous-agents.

  rences pour les tâches sont choisies aléatoirement, suivant une distribution linéaire. Ce modèle de population n'est évidemment pas réaliste mais suffit pour nos besoins expérimentaux.5.2 Ajout de groupes sociaux dans le SMANous voulons étudier l'impact sur la consommation, via les actions individuelles, des motivations économiques et écologiques des logiques d'actions, définies au niveau du groupe social. Dans cette évaluation préliminaire, nous ne considérons qu'une seule logique d'action possible : la logique d'économie (qui pousse les individus à moins utiliser les appareils très énergivores). Pour cela, nous considérons que chaque foyer a un revenu moyen r m , obtenu aléatoirement suivant une courbe gaussienne entre 800 et 10 000 e/mois, et nous définissons un groupe social de foyers à faible revenu noté G eco (avec arbitrairement r m < 960 e/mois).

		préparer repas -utiliser ordinateur
		préparer repas -utiliser ordinateur -regarder TV -manger
		utiliser ordinateur -regarder TV
		faire devoirs -manger -regarder TV
	Ce groupe est alors caractérisé par une fonction
	d'influence sur la priorité des tâches des individus qui le
	compose, de manière à réduire la priorité des tâches néces-
	sitant un appareil très consommateur (la liste des appareils
	consommateurs, comme le four ou la machine à laver, a été
	définie arbitrairement pour les besoins de notre étude).
	La priorité de ces tâches consommatrices est réduite par un
	facteur f que l'on nomme force de l'influence. Notre ob-
	jectif est alors d'étudier l'impact de cette force sur la réduc-
	tion de la consommation. Nous mesurons pour une semaine
	simulée le ratio M entre la consommation du groupe social
	étudié G eco et la consommation totale.
	Il faut noter que l'influence du groupe social change les
	priorités des individus dans l'axe des populations, la prio-	Dans cette version simplifiée, la fonc-
	rité entraine le déclenchement des activités dans l'axe des	tion de décision pour les individus n'utilise pas le modèle
	activités et la consommation correspond à une propriété de	de décision de SMACH, mais une version simplifiée. Pour
	l'axe de l'environnement. Ainsi, les conséquences de cette	nos expérimentations, nous avons généré aléatoirement 50
	influence émergent pendant la simulation et traversent les	foyers avec deux adultes et entre un et trois enfants (sui-
	3 axes de modélisation introduit dans notre modèle. Les	vant une distribution linéaire). Tous les individus ont un en-
	conséquences sur la consommation sont difficiles à prédire,	semble de tâches communes qu'ils peuvent réaliser comme
	même pour les experts du domaine. En effet, les priorités	manger, dormir, regarder la TV, etc. Les adultes vont tra-
	des individus dépendent des rythmes et des priorités des	vailler et ont des tâches ménagères (préparer le repas, laver
	tâches pré-conditionnelles. De plus, les appareils peuvent	le linge). Les enfants vont à l'école, jouent et font leurs
	être utilisés par les tâches des autres individus.
	Résultats. Comme le montre la figure 2, l'influence du
	groupe social a un impact sur la consommation globale, et
	en particulier sur la part de cette consommation qui pro-

devoirs. Chaque foyer dispose du même ensemble d'appareils électriques (e.g. TV, aspirateur, four, ...). Les préfé-FIGURE 2 -Evolution de M

TABLE 1 -

 1 Exemples d'habitudes réifiées vient des foyers à faible revenu.

  Ainsi, le niveau macro permet de valider la modélisation faite au niveau micro, et surtout de comprendre les sources des incohérences dans les comportements.Nous avons présenté le modèle multi-niveau SIMLAB, basé sur l'utilisation d'interactions et d'influences pour capturer les dynamiques inter-niveaux. L'intérêt principal de notre approche est la définition d'axes de modélisation pour l'analyse des systèmes complexes, faisant ressortir des propriétés partagées. De plus, les agents peuvent modifier l'organisation du SMA avec leurs observations pour détecter et réifier les entités macro. Nous avons appliqué ce modèle à une représentation en 3 axes de l'activité humaine dans le contexte de la consommation énergétique résidentielle. Nous avons présenté deux expérimentations qui offrent des éléments de validation des influences interniveaux et de la capacité de réification dynamique d'entités macro. Nous avons illustré comment ces deux mécanismes peuvent fournir aux experts de nouveaux outils pour l'étude d'un système complexe. Nous travaillons actuellement à l'intégration de ce modèle dans la plate-forme SMACH[START_REF] Amouroux | Simulating Human Activities to Investigate Household Energy Consumption[END_REF], ce qui nous permettra de bénéficier du modèle décisionnel, validé expérimentalement, d'un modèle de thermique du bâtiment et de confort thermique pour les occupants, d'un modèle de consommation des appareils issu de mesures réelles et enfin d'un modèle de génération de population réaliste, basé sur des données statistiques et socio-économiques INSEE et EURO-STAT. Nous pensons que notre approche multi-niveau sera en mesure de reproduire des phénomènes micro et macro intéressants pour les experts énergéticiens, nous permettant d'envisager des mesures possibles pour diminuer les pics de demande en électricité. Au delà de ces résultats applicatifs, notre première perspective de recherche est d'explorer les principes sous-jacents des axes de modélisation comme méthodologie systémique pour les simulations multi-niveaux de l'activité humaine. Il serait aussi intéressant d'étudier plus en détail la caractérisation des phénomènes émergents pour affiner la manière dont sont conçus nos observations, améliorant leur capacité à détecter et réifier des entités macro intéressantes.

	Quelques exemples d'habitudes réifiées pendant l'expé-
	rience sont présentés dans la table 1. Ces habitudes font
	sens dans le contexte de l'étude de la consommation éner-
	gétique. Par exemple, le groupe [utiliser ordinateur -regar-
	der TV] correspond à des activités de loisirs. Le but n'est
	pas seulement de les mettre en relation avec la consomma-
	tion (quel est l'impact des activités de loisirs sur la consom-
	mation au niveau des individus, logements et groupes so-
	ciaux). Mais l'identification de ces groupes permet aussi au
	modélisateur de détecter de trop grandes régularités dans
	les comportements (pouvant correspondre à des erreurs de
	modélisation, ou simplement des paramètres qui n'étaient
	pas correctement fixés).

b x∈T n a,x avec T l'ensemble des tâches observées par la tâche a et n i,j ∈ N le nombre de transitions de i à j. À chaque étape, l'observation vérifie ses mesures. Lorsqu'elles dépassent un certain seuil (fixé arbitrairement à 0,6 dans notre étude), une transformation est déclenchée (merge ou join selon l'existence de l'agent macro correspondant). Nous définissons le super-agent ainsi créé comme une Habitude.

Simuler l'activité humaineLa plate-forme SMACH permet aux experts de l'énergie de décrire, simuler et étudier l'activité des foyers en rapport avec leur consommation énergétique. Le modèle est basé sur 3 concepts : les populations, l'activité humaine et l'environnement de consommation.

REMODECE : European database on residential consumptionhttp ://remodece.isr.uc.pt