Liu Yang

Catherine Achard

Catherine Pelachaud

Multimodal classification of interruptions in humans' interaction

Keywords: CCS Concepts:, Human-centered computing → Human agent interaction (HAI) Nonverbal Behaviour, Interruption Classification, multimodality, Socially Interactive Agent

come   L'archive ouverte pluridisciplinaire

INTRODUCTION

Speaking turn exchange is very well organized. People exchange speaking turns smoothly and cooperate to avoid overlaps since it's difficult to speak and listen at the same time. One of the early conversation analysis studies suggested that overlaps rarely occur during turn exchanges [START_REF] Sacks | A simplest systematics for the organization of turn taking for conversation[END_REF]. Interlocutors do not interrupt each other; the listener waits for the turn or sends signals to indicate the intention to take the turn. However, recent researches show that overlaps and interruptions are common phenomena in conversation. Helder et al. [START_REF] Heldner | Pauses, gaps and overlaps in conversations[END_REF] stated that in dyadic conversations, over 40% of all turn shifts contain overlaps, and Shriberget al. [START_REF] Shriberg | Observations on overlap: Findings and implications for automatic processing of multi-party conversation[END_REF] observed that over 30% of turn exchanges contain overlaps in multi-party conversations. Before talking about interruption, we must distinguish the difference between interruption and overlap. During interruptions, the listener intends to take the floor of the speaker when the current utterance is not finished, against the speaker's will [START_REF] Emanuel | Opening up closings[END_REF]. While overlap corresponds to the period when both interlocutors talk at the same time. Not all overlaps correspond to interruptions; they may correspond to the production of a slight overlay at the end of an utterance. Some of the overlaps can be identified as interruptions, which, play an important role during the conversation. For example, over 300 interruptions are identified during conversations of a total duration of about Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. Copyrights for components of this work owned by others than ACM must be honored. Abstracting with credit is permitted. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. Request permissions from permissions@acm.org.

4 hours [START_REF] Li | Cooperative and Intrusive Interruptions in Inter-and Intracultural Dyadic Discourse[END_REF]. Interruptions can be interpreted as evidence of power and dominance as they disrupt the speech flow [START_REF] Ferguson | Simultaneous speech, interruptions and dominance[END_REF][START_REF] French | Turn-competitive incomings[END_REF][START_REF] Wells | Prosody as an interactional resource: Turn-projection and overlap[END_REF], and might be used to change the topic of conversation or to indicate the interlocutor knows already what the speaker is going to say. Such interruptions are referred as competitive interruptions [START_REF] Han | Cooperative and intrusive interruptions in inter-and intracultural dyadic discourse[END_REF]. However, depending on the conversation context, interruptions may also be cooperative, for example by providing support to the speaker to maintain the conversation [START_REF] Yang | Visualizing spoken discourse: Prosodic form and discourse functions of interruptions[END_REF], by completing the words the speaker does not recall, etc. Interruptions have therefore diverse functions and carry the underlying communicative intention, attitude and motivation of the interrupter [START_REF] Shammur Absar Chowdhury | Predicting User Satisfaction from Turn-Taking in Spoken Conversations[END_REF][START_REF] West | Against our will: Male interruptions of females in cross-sex conversation[END_REF].

Therefore, to ensure simulating natural interaction between human and virtual agent, interruptions should be taken care of. Human user may interrupt the virtual agent during the interaction. The agent dialog system should be able to respond when human user interrupts to take the turn. To maintain the conversation, it should know whether to yield or keep the speaking turn, and how to do so. In order to plan an appropriate reaction, Reidsma et al. [START_REF] Reidsma | Continuous interaction with a virtual human[END_REF] argued that it is important to distinguish between competitive and cooperative interruptions, and thus to have a so-called "continuous conversation" during the human-agent interaction.

Conversely, interruptions can grab the interlocuter's attention and show a willingness to communicate, thus maintaining engagement in the interaction [START_REF] William G Lycan | Conversation, politeness, and interruption[END_REF]. To have the human user engaged during the interaction, the dialog system should also be able to generate interruptions in a timely manner [START_REF] Gravano | Turn-taking cues in task-oriented dialogue[END_REF]. An agent that never interrupts may be perceived as less interactive, while interrupting too often may be perceived as much too aggressive [START_REF] Parasuraman | Trust and etiquette in high-criticality automated systems[END_REF].

In this paper, we focus on classifying interruption types. We consider only the interruption initiated by others and not self-interruption (which is initiated by the speaker-self). We present a new automatical classification approach based on multimodal features of both interrupter and interruptee. We also compare the performance of different classification models using different combinations of modalities. Finally, as we want to classify interruption types in real-time during human-agent interaction, we conduct classification performance tests by changing the time window length in which the classification happens after the beginning of an interruption. Only overlapped interruptions are considered in this work.

An overview of previous research on interruption is given in Section 2. Sections 3 and 4 describe respectively the corpus we used for this work and the feature we consider. We present different classification models in Section 5 and their results and comparison in Section 6. Finally, Section 7 concludes this work.

RELATED WORKS

Existing works on interruption have addressed the issue of detecting when an interruption occurs and recognizing its type.

Lee et al. [START_REF] Lee | Predicting interruptions in dyadic spoken interactions[END_REF] suggested that the presence of interruptions is not random, they follow certain rules and their occurrence can be predicted using contextual cues. This is also supported by the research of Shriberg et al. [START_REF] Shriberg | Can Prosody Aid the Automatic Processing of Multi-Party Meetings? Evidence from Predicting Punctuation, Dis uencies, and Overlapping Speech[END_REF] that used prosodic features to predict overlap start point. Previously, Goldberg and colleagues [START_REF] Goldberg | Interrupting the discourse on interruptions: An analysis in terms of relationally neutral, power-and rapport-oriented acts[END_REF] found that the location of an interruption may provide information to differentiate interruption type. Apart from the start point location, the duration of overlaps plays an important role in differentiating between cooperative and competitive overlaps or interruptions. The results in [START_REF] Jefferson | A sketch of some orderly aspects of overlap in natural conversation[END_REF][START_REF] Kurtic | Resources for turn competition in overlap in multi-party conversations: speech rate, pausing and duration[END_REF] indicate that competitive overlaps last longer than cooperative ones.

Besides, more and more researches show evidence that cooperative and competitive interruptions also show differences in prosodic features. From the analysis results, Yang [START_REF] Yang | Visualizing spoken discourse: Prosodic form and discourse functions of interruptions[END_REF] argued that competitive interruptions have higher pitch and intensity than cooperative interruptions. Shriberg [START_REF] Shriberg | Can Prosody Aid the Automatic Processing of Multi-Party Meetings? Evidence from Predicting Punctuation, Dis uencies, and Overlapping Speech[END_REF] and Hammarberg et al. [START_REF] Hammarberg | Perceptual and acoustic correlates of abnormal voice qualities[END_REF] found that people raise their voice energy and pitch to interrupt the current speaker. Schegloff et al. [START_REF] Emanuel | Overlapping talk and the organization of turn-taking for conversation[END_REF] argued that the speaker uses prosodic variation and repetition to indicate strong turn competitiveness.

Several works have proposed models to automatically classify interruption types using multimodal features. Lee et al. [START_REF] Lee | An analysis of multimodal cues of interruption in dyadic spoken interactions[END_REF] analysed hand motion activity, speech intensity and disfluency for competitive/cooperative interruption in spoken dyadic conversations. Hand motion activity and speech intensity are reported as reliable features differentiating interruption types. Compared to the multimodal classification model, of which the accuracy achieved 71.2%, using only one modality leads to significant lower classification performance.

Truong et al. [START_REF] Khiet | Classification of cooperative and competitive overlaps in speech using cues from the context, overlapper, and overlappee[END_REF] proposed to classify overlaps using a SVM model. As input, the authors used low-level signals such as acoustic features (F0, intensity and voice quality), combined with high-level annotations, namely focus of attention (gaze direction) and communicative function of head movements. With a sequence length of 0.6s after the overlap onset point, the SVM model achieved good performance with an EER of 32.1%. The authors also mentioned that gaze information slightly improves the accuracy, while adding acoustic information from the overlappee didn't. Chowdhury et al. [START_REF] Shammur Absar Chowdhury | Annotating and categorizing competition in overlap speech[END_REF] proposed a Sequential Minimal Optimization (SMO) model for competitive/cooperative overlaps classification.

Prosody, voice quality, MFCC, energy and spectral features are used as inputs. With an optimal subset of selected features, the model achieved an F1-score of 0.69. Later on, the authors [START_REF] Shammur | A Deep Learning approach to modeling competitiveness in spoken conversations[END_REF][START_REF] Shammur Absar Chowdhury | Automatic classification of speech overlaps: feature representation and algorithms[END_REF] presented to classify cooperative/competitive overlaps with acoustic (prosodic, spectral, voice quality, MFCC and energy) and lexical features. Different models with feature combinations were tested during the experiment, the best performance (F1-score of 0.70) is achieved with a feed-forward neural network (FFNN), using both acoustic and lexical features. Combined with acoustic features, Egorow et al. [START_REF] Egorow | On Emotions as Features for Speech Overlaps Classification[END_REF] then took two emotion dimensions (control and valence) into account to classify overlaps on a telephone-based human conversation corpus. The SVM model's best performance was reported with an F1-score of 0.74.

From previous research, although hand activity, body motion, gaze and head gesture improve the classification accuracy, acoustic features have been found to be the key features in classifying interruptions and overlaps. However, previous studies do not take facial expressions into account. According to the experiment results of [START_REF] Michael | Facial affect and verbal context in conversation: Facial expression as interjection[END_REF], conversational facial expression is associated with the dialog context and operates as nonverbal interjections, which should be able to provide additional information for the interruption classification model.

The importance of sequential information during interruptions and overlaps is also ignored in previous works and only statistical projections are provided as input to classification models. However, the analysis result of [START_REF] Khiet | Classification of cooperative and competitive overlaps in speech using cues from the context, overlapper, and overlappee[END_REF] shows the difference between two types in the temporal curve of acoustic features, that have been used to classify the overlap type. We thus propose a new method to classify the interruptions with acoustic profile, head activity, gaze behaviour, and facial expression. We also take the sequential information into account. As our goal is to implement an online model that classifies the interruption type as fast as possible during human-agent interaction, we also investigate how classification performance varies with the length of the time window used after the point of interruption.

CORPUS

For this work, we use two different corpora that are freely available: the AMI corpus [START_REF] Carletta | Unleashing the killer corpus: experiences in creating the multi-everything AMI Meeting Corpus[END_REF] and the NoXi corpus [START_REF] Cafaro | The NoXi database: multimodal recordings of mediated novice-expert interactions[END_REF]. Both corpora differ in their setting (group of four interlocutors vs dyads), conversation context (task focus vs more social focus), and language (English vs French). Using different corpora allows us to test the genericity of our approach.

The AMI Meeting Corpus

AMI [START_REF] Carletta | Unleashing the killer corpus: experiences in creating the multi-everything AMI Meeting Corpus[END_REF] is a multimodal database that contains 100h free multi-party English meetings. In the AMI corpus, 4 participants are asked to discuss the given topic. Each interaction lasts about 25mn. The video of the participants shows their upper body. For our work, we focus on 9 meetings (for about 4h in total) of as they have been annotated for (head function and focus of attention).

Following the schema described in [START_REF] Liu | Annotating Interruption in Dyadic Human Interaction[END_REF], we annotate the interruptions in these meetings into different types. The schema also presents the definition of successful interruption (if the interruptee's flow was disrupted) and failed interruption (if the interruption was rejected). We don't distinguish the interruption's accomplishment for this model, but only the types below:

Cooperative interruptions: include agreement, assistance and clarification, for both successful and failed interruptions.

Competitive interruptions: include disagreement, topic change, floor taking and tangentialization, for both successful and failed interruptions.

Not identified type includes short failed interruptions with not enough information to determine its type.

The annotation is performed twice by the same annotator according to the approach presented in [START_REF] Chollet | A Methodology for the Automatic Extraction and Generation of Non-Verbal Signals Sequences Conveying Interpersonal Attitudes[END_REF]. There is a one-month interval between the two rounds of annotation. Cohen's Kappa measures were computed across the two annotations and were found to be mostly satisfactory (𝑘 = 0.821). Finally, 508 interruptions were annotated in the AMI corpus (230 cooperatives, 278 competitives).

The NoXi Corpus

NoXi is a multimodal corpus that contains free dyadic conversations. We also use the French part of the NoXi corpus to evaluate our model [START_REF] Cafaro | The NoXi database: multimodal recordings of mediated novice-expert interactions[END_REF], including 21 conversations, for about 7h in total. Each conversation lasts around 20mn and both interactants are recorded separately. The video shows almost their full body except for the feet. All videos are synchronized and transcribed. We use the same annotation schema and double annotation method to annotate interruptions as for the AMI corpus. 929 interruptions are annotated (505 cooperative, 348 competitive) with 𝑘 = 0.84.

FEATURE EXTRACTION

We propose a new approach to classify interruption using multimodal signal. To measure the shortest delay needed for classification, we first define a time window around the interruption onset point and then extract the multimodal features in this time window. We use acoustic features as well as the visual features of facial expression (eyebrow movement), head motion activity and gaze direction. Each modality consists of two types of features, local and global.

The local features are the values extracted on every frame of the selected time window (15 frames per second). The global features are the statistical projection of each local feature over the defined time window. For the AMI corpus, we use two more provided features: the annotation of communicative functions of head movements and the occurrence of mutual gaze, which do not exist in NoXi.

Segmentation

To determine the interruption window, we analyze the interruption overlap duration for the annotated interruptions of both corpora. The statistical analysis result is shown in Figure 1. The average duration of cooperative interruption is 1.11s and of competitive interruption 1.49s.

For each interruption instance, as shown in Figure 2, most interruption overlaps last longer than 0.6s. We note its starting point as 𝑡 0 , in order to classify the interruption before the end of overlap, we should choose a window size less than 0.6s. Truong and colleagues [START_REF] Khiet | Classification of cooperative and competitive overlaps in speech using cues from the context, overlapper, and overlappee[END_REF] suggest an interruption window length of 0.6s. We choose to use the same window size and then study the temporal segment between 𝑡 0 -0.6s and 𝑡 0 + 0.6s that we called interruption windows in the following. This choice is also driven by our main aim which is to endow a virtual agent with the capacity to (0-250Hz, 0-650Hz, 250-650Hz, 1-4kHz), roll-off points (25%, 50%, 70%, 90%), centroid, flux, max-position and min-position as proposed in [START_REF] Shammur Absar Chowdhury | Automatic classification of speech overlaps: feature representation and algorithms[END_REF]. These features are extracted with openSMILE [START_REF] Eyben | Recent developments in opensmile, the munich open-source multimedia feature extractor[END_REF] with a frequency of 100 frames per second. The extracted audio features are then resampled into 15 frames per second to fit the frequency of visual features (eyebrow movement, head motion activity and gaze direction.).

All the extracted features are normalized by z-scores, using the mean and standard deviation of the interruption windows around all the interruptions. We obtain values for the acoustic features for each time window for both, the interrupter and the interruptee, and store them in a vector. We refer to this vector as the local acoustic features vector for a given time window around an interruption. The dimension of the local acoustic features vector 𝐴 𝑙 is then (33 * 2) * 18 (33 features for each interlocutor over 1.2s that lasts 18 frames).

When the interlocuter is not speaking, all her/his acoustic features are set to zero to avoid the impact of noises.

Global acoustic features.

For each feature mentioned previously, we extract their statistical projection over the interruption windows as proposed by [START_REF] Shammur Absar Chowdhury | Automatic classification of speech overlaps: feature representation and algorithms[END_REF]. They are composed of values such as min and max position, range, linear and quadratic regression coefficients and approximation errors, variance, standard deviation, skewness, peaks, mean peak distance and mean peak.

These statistical projections are normalized by z-scores, using the mean and standard deviation of all windows. They composed the global acoustic features vector 𝐴 𝑔 of size 792 (33*2*12, the value of the 12 statistical projections for the 33 features for each interlocutor). Openface at the frequency of 15 frames per second. To avoid the bias caused by the interactant's initial position, we do not use absolute position but the head motion activity using the following equation:

Eyebrow

𝑣 𝐻𝑒𝑎𝑑 (𝑖) = √ (𝑥 𝑖 -𝑥 𝑖 -1 ) 2 + (𝑦 𝑖 -𝑦 𝑖 -1 ) 2 + (𝑧 𝑖 -𝑧 𝑖 -1 ) 2 (1)
These features are normalized by z-scores. For the AMI corpus, we also use the head functions annotations that are provided: concord, discord, deixis, emphasis, negative, turn, and all other communicative head gestures. This annotation gives the communicative function of the head movements with timestamps of start and end timing. They are encoded using a one-hot encoding, binary values indicating the absence or presence of each event.

The final vector 𝐻 𝑙 is of size (10 * 2) * 18 (head activity + head function one-hot encoding for both interlocutors over 1.2 sec (18 frames)).

Global head movement features.

The statistical projections of head activity are calculated and Z-score normalized on the interruption window. For the head function annotation mentioned above, we use a one-hot encoding by setting the value 1 if the event is present at least at one-time step of the interruption window.

The Global head movement vector is of size 34 (the value of the 8 statistical projections for 1 feature + the vectors one-hot encoding for each interlocutor). We also use the focus of attention annotations provided in the AMI corpus. A binary value is computed to indicate the presence of mutual attention (when the interrupter and interruptee are looking at each other) or its absence (when the interrupter or interruptee is looking somewhere else).

The final vector 𝐺 𝑙 is of size (4 * 2) * 18 (4 gaze features for both interlocutors over 1.2 sec (18frames)).

Global gaze features.

Statistical projections of gaze direction are estimated as done for acoustic features. They are also normalized by z-scores. For the focus of attention annotation we use a binary value for mutual attention as presented in the local gaze features. The Global gaze vector is of size 34 (the value of the 8 statistical projections for 2 gaze direction features+ the vectors one-hot encoding for each interlocutor).

THE PROPOSED MODEL

Contrary to previous approaches [START_REF] Shammur | A Deep Learning approach to modeling competitiveness in spoken conversations[END_REF][START_REF] Shammur Absar Chowdhury | Automatic classification of speech overlaps: feature representation and algorithms[END_REF][START_REF] Khiet | Classification of cooperative and competitive overlaps in speech using cues from the context, overlapper, and overlappee[END_REF], we do not extract manually global features but leave this task to a neural network which is more adapted to the problem. Moreover, using temporal series allows us to consider the real-time application as shown in the evaluation section.

Different from standard feed-forward neural networks, LSTM has connections that allow us to process not only single data points but also data sequences. An LSTM unit is composed of a cell, an input gate, an output gate and a forget gate. The three gates regulate the flow of information in and out of the cell. The long short-term memory (LSTM) architecture we used is depicted in Figure 3. The input at each time step 𝑥 𝑡 is composed by the concatenation of all local features. We only output the hidden state of the last time step, it is then passed to a dense layer that predicts the final classification. Although this model is very simple, it leads to the best results. Adding more complex architecture leads to an important over-fitting.

RESULT & DISCUSSION

In this section, we present the experimental classification results we obtained using different modalities and compare them to the state of the art. Then, we introduce the study we conducted on the time window length to be considered.

Results

Training Procedure: The method has been implemented and tested with TensorFlow, we split the data into train (70%), validation (10%) and test (20%) datasets. The input of LSTM layer (with a dropout of 0.2) is composed of the concatenation of all local features mentioned above over the interruption window of 1.2s (18 frames), making a vector of size 100*18.

The latent vector, of dimension 10, is passed to a dense layer of dimension 8, before the output layer of dimension 1 that has a sigmoid as an activation function. In all our experiments, the model is trained with mini-batches of 64 interruptions using an Adam optimizer and a learning rate fixed to 1e-5.

Results are presented in Table 1 for the AMI corpus. As in previous studies, acoustic features alone lead to good results. Adding Facial expressions, head movement and gaze improve the performances by reaching an accuracy of 81%

and an F1-score of 0.80. Compared to facial expression, gaze and head activity, it is clear that acoustic features provide the main information for classification. Ablation studies are presented in Table 2. In these experiments, in order to study the contribution of each modality to the classification accuracy, we remove all features related to one modality at a time. We also perform ablation experiments for each feature, but the influence of a single feature on the results is too small. We do not present the results here. According to the results of the three models, after removing gaze-related features, the accuracy is significantly lower than that of all modalities, and the decrease is even larger than when the other two modalities are removed. We compare our result with random accuracy, which is calculated with the equation [START_REF] Tharwat | Classification assessment methods[END_REF]:

𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑃 (𝑐𝑙𝑎𝑠𝑠 = 0) * 𝑃 (𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑖𝑜𝑛 = 0) + 𝑃 (𝑐𝑙𝑎𝑠𝑠 = 1) * 𝑃 (𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑖𝑜𝑛 = 1) = (348/(505 + 348)) 2 + (505/(505 + 348)) 2 = 0.5162 ≈ 0.52
Where, in our case, class 0 represents competitive interruption and 1 represents cooperative, therefore 𝑃 (𝑐𝑙𝑎𝑠𝑠 = 0) = 𝑃 (𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑖𝑜𝑛 = 0) = 348/(505 + 348) = 0.41, and 𝑃 (𝑐𝑙𝑎𝑠𝑠 = 1) = 𝑃 (𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑖𝑜𝑛 = 1) = 505/(505 + 348) = 0.59.

Results of our models are presented in Table 3 for the NoXi Corpus. The best results are also obtained with the multimodal features, but are only slightly above random (0.52). Compared to facial expression, gaze and head activity, acoustic features provide the main information for classification. Ablation studies are presented in Table 4. Same as for the AMI corpus, we remove all features related to one modality at a time. From the results, we do not observe significant differences for all three modalities. Except for language differences (French for NoXi and English for AMI), NoXi is composed of dyadic screen-mediated conversations while AMI is composed of four-parties face-to-face conversations.

Even if multi-party interruptions are not considered, dyadic interruptions occur more frequently in the AMI than in the NoXi databases. The AMI scenario involves 4 interlocutors brainstorming to design a product. The design task may imply trying to impose one's ideas on others giving rise to more competitive interruptions. Being more participants could also explain the increase in the number and frequency of interruptions. In the NoXi database, interlocutors are asked to play either the role of an expert that shares information and knowledge on a given topic, or of a novice that is interested in learning about a given topic. The expert tends to talk much more than the novice during the interaction, most interruptions are initiated by the novice to express their opinion or to ask for information, which is not so competitive. These two scenarios are different and lead to more or less dynamic interactions, involving interruptions with different degrees of competitiveness. The differences in settings and scenarios could explain the differences in the results we obtain for both corpora. Missing several high-level annotation features for the NoXi corpus could also be another reason.

Comparative study

We compare our method with previous ones that have been implemented to classify interruptions. Truong's SVM model is trained using the same features as presented in [START_REF] Khiet | Classification of cooperative and competitive overlaps in speech using cues from the context, overlapper, and overlappee[END_REF] and using our features. Chowdhury's FFNN model is trained with the acoustic features mentioned in [START_REF] Shammur Absar Chowdhury | Automatic classification of speech overlaps: feature representation and algorithms[END_REF] and using our global multimodal features that have been automatically extracted from the local ones as presented in Section 4 for a fair comparison. Both methods are based on a global features vector that is manually designed, contrary to our method where a neural network learns the more adapted features.

Results presented in Table 1 for the AMI database and in Table 3 for the NoXi database, show that, for all models, acoustic features provide more information for the classification task compared to facial, head and gaze features.

Actually, the accuracy obtained with all models is not so good when classifying only with facial expression, head activity and gaze direction. The proposed multimodal features could improve the results for all models (5% for FFNN model, 6% for LSTM model and 3% for SVM model). We can thus conclude that important information is also carried by facial expressions and head activities to classify interruptions. Our multimodal LSTM classification model leads to the best results, which proves the importance of sequential information from the time series and the model is able to extract more relevant features and thus to recognize interruption in real-time as presented in section 6.4, since no ending information is requested.

Interruption Window length

In order to study the influence of the interruption window length on the classification accuracy, we fix the window length before the onset point of interruption (0.6s) and vary the window length after the onset point from 0s to 1s for every 0.2s. We conduct such a study to endow a virtual agent with the capacity to react as quickly as possible and in a more appropriate manner. It requires the agent to know the interruption's type in the shortest delay when it occurs.

Results presented in Figure 4 show that the accuracy increases with the length of the interruption window using our LSTM model. However, some cooperative interruptions present a small overlap duration as illustrated in Figure 1, and longer interruption window length implies the virtual agent's reaction will come later. To compromise between accuracy and reaction time, the a priory choice of 0.6s after the onset point of interruption seems to be a good choice.

Another idea, possibly using temporal series as proposed with the LSTM model, is to adapt this temporal length during real-time application as proposed just below.

Adaptation of the temporal length during real-time application

The ultimate goal of our model is to classify interruptions in real-time in human-agent interaction, the agent responding to the interruptions of human users. Thus, as soon as an interruption is detected (beginning of the overlap), we start the inference using the multimodal signals in the temporal window {𝑡 0 -0.6s, 𝑡 0 s}. Running our LSTM model on this temporal window allows us to initialize the latent vector introduced in the architecture as presented in Figure 3. An advantage of LSTM is that we can update this latent vector frame by frame, starting from 𝑡 0 , and predict at each time the cooperative or competitive interruption probabilities (the result of the sigmoid layer is considered as probabilities in this part, even if it is not theoretically founded). A threshold can then be settled to perform or not the classification at each frame. As some samples of interruptions are easier to classify than others and as the overlap length can last more or less time, using LSTM allows us to make the classification more or less quickly, according to the studied sample and thus, to adapt the reaction time. To study the feasibility of this idea, for each interruption, we study the classification results starting from 𝑡 0 and adding new incoming data, time step by time step until 1.2s (18 frames) after 𝑡 0 . Let us note We plot in Figure 5 the percentage of interruptions classified according to the number of frames after 𝑡 0 for different thresholds. As expected, using a threshold of 0.5 leads to classifying all interruptions at 𝑡0. Increasing the threshold makes the classification time, and therefore the reaction time, longer. Fewer interruptions can be classified if the threshold is too high since it is hard to reach such a classification score: only about 50% of interruptions are classified after 𝑡 0 +14 frames (around 1s) when the threshold is settled to 0.9. On the opposite, over 95% of interruptions are classified after 0.4s (6 frames) when the threshold id settled to 0.6 while the 5% of remaining ones will take a longer time. Independently of the threshold, LSTM allows us to adapt the reaction time according to the classification difficulty.

But proceeding quickly with poor classification results is not acceptable as well. We thus present in Table 5 the mean accuracy and the mean reaction time according to the threshold values. As expected, the higher the threshold, the better the accuracy and the longer the response time. As our objective is to classify interruptions in real-time interaction to generate an appropriate response, the model is requested to classify the interruption as soon as possible with acceptable accuracy. We find from Figure 5 and Table5 that a threshold of 0.8 seems to be a good choice.

CONCLUSION

In this study, we proposed to classify cooperative and competitive interruptions in conversation with an LSTM model and evaluated different existing models. We experimented with different combinations of modalities and achieved our best performance using the acoustic profiles, facial expression, head movement and gaze features from both interrupter and interruptee. The experiments indicate that our LSTM model is able to learn accurate information from sequential series and improves classification performance. Tested with different interruption window lengths, the designed LSTM model is able to classify the interruption 0.6s after its start point with an accuracy of 81%.

Another advantage of LSTM is to make the classification more or less faster, according to the difficulty of the interruption. Using a classification threshold fixed to 0.8 allows us to classify interruption within 0.53s on average, with an accuracy of 83%. 40% of interruptions will be classified in less than 0.26s while the 30% of the most difficult examples will take more than 0.8s to be classified. In future work, we are going to explore more non-verbal behaviours to improve our LSTM model and implement our classification model in a virtual agent dialog system to classify interruptions in real-time with video and audio pre-processing. Then we will develop a non-verbal agent behaviour generation model to respond to the human user's interruption.

Fig. 1 .

 1 Fig. 1. Interruption overlap duration.

  handle interruptions and respond to them as quickly as possible. It is important the agent classifies it before the overlap ends. During the first period, before the interruption occurs, from 𝑡 0 -0.6s to 𝑡 0 , only the overlappee is speaking while in the second period, both interlocutors are speaking, at least partly.The classification of interruptions is based on the multimodal features that are extracted for both interrupter and interruptee over the interruption window. Depending on the method we employ for the classification model (Section 6.2), we extract global features over the interruption window, or, local features estimated at each time step of the window.

Fig. 2 .

 2 Fig. 2. Segmentation of features.

4. 2

 2 Audio4.2.1 Local acoustic features. The 33 acoustic features we considered are composed of pitch (Fundamental frequency F0, F0-envelope), loudness, voice-probability, jitter, shimmer, logarithmic harmonics-to-noise ratio (logHNR), Melfrequency cepstral coefficients (MFCC 0-12), Logarithmic signal energy from pcm frames, Energy in spectral bands

4. 3 . 1

 31 Local eyebrow features. The facial expressions are extracted with Openface[START_REF] Baltrusaitis | Openface 2.0: Facial behavior analysis toolkit[END_REF] and are encoded into Action Units from the Facial Action Coding System (FACS). We focus on the three action units AU01, AU02 and AU04 representing eyebrow movements to avoid the impact of mouth movement caused by the speech content. Eyebrow features are extracted with a frequency of 15 frames per second and are z-scores normalized on all the interruption windows to compose a feature vector 𝐸 𝑙 of size (3 * 2) * 18 (3 AUs for both interlocutors over 1.2 sec (18 frames)).

4. 3 . 2

 32 Global eyebrow features. Statistical projections of each eyebrow feature are estimated as done for the acoustic features. They are normalized by z-scores. They composed a vector 𝐸 𝑔 of size 48 (The value of the 8 statistical projections for the 3 features for each interlocutor) 4.4 Head activity 4.4.1 Local head activity features. For head movement features, we use the head position (in x-y-z axis) extracted by

4. 5 Gaze 4 . 5 . 1

 5451 Local gaze features. The gaze direction (in x-y axes) is extracted by Openface with a frequency of 15 frames per second. Then they are z-scores normalized over all the interruption windows.

Fig. 3 .

 3 Fig. 3. The long short term memory (LSTM) architecture.

Fig. 4 .

 4 Fig. 4. Accuracy & Macro F1-score with different interruption window lengths.

Fig. 5 .

 5 Fig. 5. Percentage of classified interruptions according to the number of frames after the beginning of the overlap, for different thresholds.

Table 1 .

 1 Accuracy and F1 measure for FFNN, SVM and LSTM model with different combinations of modalities for the AMI corpus.

		Audio		Facial, head, gaze	All modalities
		Accuracy F1-score Accuracy F1-score Accuracy F1-score
	FFNN with modalities of [7]	0.74	0.73	-	-	-	-
	FFNN with our modalities	0.74	0.73	0.69	0.67	0.79	0.78
	SVM with modalities of [33]	0.69	0.66	0.65	0.61	0.72	0.72
	SVM with our modalities	0.72	0.72	0.68	0.67	0.77	0.76
	LSTM with our modalities	0.75	0.73	0.69	0.68	0.81	0.80

Table 2 .

 2 Ablation study of FFNN, SVM and LSTM model for the AMI corpus with our modalities.

		All modalities	Audio, Facial, Head	Audio, Facial, Gaze	Audio, Head, Gaze
		Accuracy F1-score Accuracy F1-score Accuracy F1-score Accuracy F1-score
	FFNN	0.79	0.78	0.75	0.75	0.77	0.77	0.77	0.76
	SVM	0.77	0.76	0.74	0.73	0.75	0.74	0.75	0.75
	LSTM	0.81	0.80	0.76	0.76	0.79	0.78	0.79	0.79

Table 3 .

 3 Accuracy and F1 measure for FFNN, SVM and LSTM model with different combinations of modalities for the NoXi corpus.

		Audio		Facial, head, gaze	All modalities
		Accuracy F1-score Accuracy F1-score Accuracy F1-score
	FFNN with modalities of [7]	0.63	0.61	-	-	-	-
	FFNN with our modalities	0.63	0.61	0.61	0.60	0.66	0.64
	SVM with modalities of [33]	0.57	0.52	-	-	-	-
	SVM with our modalities	0.61	0.57	0.59	0.57	0.62	0.60
	LSTM with our modalities	0.65	0.62	0.62	0.60	0.69	0.65

Table 4 .

 4 Ablation study of FFNN, SVM and LSTM model for the NoXi corpus with our modalities.

		All modalities	Audio, Facial, Head	Audio, Facial, Gaze	Audio, Head, Gaze
		Accuracy F1-score Accuracy F1-score Accuracy F1-score Accuracy F1-score
	FFNN	0.66	0.64	0.65	0,65	0.65	0.64	0.64	0.63
	SVM	0.62	0.60	0.61	0.60	0.60	0.58	0.61	0.61
	LSTM	0.69	0.65	0.68	0,66	0.66	0.65	0.68	0.67

Table 5 .

 5 Mean accuracy & mean reaction time with different thresholds

	0.5	0.66	0 frame (0s)
	0.6	0.72	1 frame (0.07s)
	0.7	0.76	4 frames (0.27s)
	0.8	0.83	8 frames (0.53s)
	0.9	0.87	12 frames (0.8s)

Threshold Mean accuracy Mean reaction time length (frame and second)

𝑦, the output of the sigmoid at the studied frame. The classification is performed at this frame if 𝑚𝑎𝑥 (𝑦, 1 -𝑦) reaches the threshold. If not, the following frame is considered. Naturally, the classification is also done, independently of the threshold, if the overlap stops or if the maximal interruption window length of 1.2s after 𝑡 0 is reached. Using a smaller threshold should thus lead to a smaller reaction time but perhaps to lower accuracy.

ACKNOWLEDGMENTS

This work was performed as a part of IA ANR-DFG-JST Panorama and ANR-JST-CREST TAPAS (19-JSTS-0001-01) project.


Alice Mornet

Vers un droit commun de la preuve numérique ?

Keywords: « preuve », « preuve numérique », «

Dans un monde exponentiellement numérisé, il est en effet impérieux de lutter contre les infractions commises sur ou au moyen des réseaux 8 , qu'il s'agisse d'incriminer de nouveaux comportements 9 ou d'adapter les techniques permettant de les déceler. Aussi, depuis la loi du 10 juillet 1991 relative aux écoutes téléphoniques 10 jusqu'à celle du 24 janvier 2022 autorisant l'usage des drones à des fins de police judiciaire 11 , le législateur n'a cessé de créer ou d'étendre les mesures d'enquête numériques 12 . S'il est plus que nécessaire d'appréhender la preuve numérique13 -le Web ne devant pas être un sanctuaire pour les délinquants -la technique impressionniste du législateur interroge quant à l'existence d'une cohérence d'ensemble. En effet, au-delà de leur dispersion au sein du Code de procédure pénale, les mesures d'enquête numériques connaissent un encadrement variable et les différences existantes ne sont pas toujours évidentes. Regrettable, ce désordre l'est surtout en ce que ces méthodes d'investigation sont susceptibles de fragiliser les droits à la vie privée et à la protection des données à caractère personnel14 , évidemment, mais également le droit à un procès équitable. Ainsi, toute variation de garanties devrait être justifiée par la nature de l'ingérence portée à ces derniers. À cet égard, la proposition de règlement relatif aux injonctions de production et de conservation de preuves électroniques en matière pénale15 laisse à penser, au regard de son titre, qu'il existerait, ou devrait exister, un droit commun de la preuve numérique. Or, à l'évidence, un tel droit est, pour l'heure, introuvable. Une telle absence pourrait trouver sa cause dans le manque d'égards concédé à l'objet, autrement dit à la preuve numérique. Faute d'acception précise de ce qu'elle recouvre, élaborer un régime cohérent semble, en effet, impossible 16 . Partant, la précision de la notion de preuve numérique (I) constitue la première pierre à l'édification d'un droit commun des techniques d'enquête numériques (II).

I.

La révélation de la nature plurielle de la preuve numérique

Si la preuve numérique est évanescente au sein des réseaux, sa définition l'est tout autant et son acception ne fait l'objet d'aucun consensus, qu'il soit légal ou doctrinal (A). Pour autant, cette carence sémantique semble pouvoir être corrigée en recourant à une notion qui lui est proche, peut-être même identique : la donnée numérique (B).

A : L'absence de définition de la preuve numérique

La preuve numérique, ou preuve électronique la vérité ou la réalité 33 ». Elle renvoie donc, alternativement, à l'objet probant ou au moyen mis en oeuvre pour le recueillir. Quant à l'adjectif « numérique », il correspond à ce « qui concerne des nombres, qui se présente sous la forme de nombres ou de chiffres, ou qui concerne des opérations sur des nombres 34 » ou encore à « la représentation de l'information ou de grandeurs physiques (images, sons) par un nombre fini de valeurs discrètes, le plus souvent représentées de manière binaire par une suite de 0 et de 1 35 ». À la lecture de ces définitions, il est donc possible d'avoir deux approches de la « preuve numérique » : l'une consistant à soutenir qu'il s'agit de la preuve qui se présente sous la forme de nombres ou de chiffres ; l'autre tendant davantage à qualifier la technique probatoire ayant permis de rendre lisible, pour tout un chacun, cette suite de chiffres.

En réalité, quelle que soit la définition privilégiée, la preuve numérique apparaît toujours, initialement, comme une suite de chiffres ou de nombres ce qui la rapproche d'une notion dont l'acception semble bien plus claire : la donnée.

B : La synonymie de la donnée et de la preuve numérique

La donnée peut se définir comme « la représentation de l'information ou de grandeurs physiques (par ex. images, sons) par un nombre fini de valeurs discrètes, le plus souvent représentées de manière binaire par une suite de 0 et de 1 36 » 37 et constitue alors une « information "valorisée" dont le traitement est facilité du fait de sa forme 38 ». À l'instar de la preuve, la donnée est donc, initialement, une simple information qui, comme la première, tire sa spécificité de sa forme reconstruit autour de la notion de donnée, pour laisser entrevoir un droit commun de la preuve numérique (B).

II. La construction d'un régime unifié de la preuve numérique

A : L'éclatement regrettable du régime de la preuve numérique

En portant sur le même objet -la donnée -, toutes les techniques d'enquête numériques devraient être soumises aux mêmes garanties légales. Pourtant, nombreux sont les auteurs à avoir souligné une absence de cohérence [START_REF] Saint-Pau | Les investigations numériques et le droit au respect de la vie privée[END_REF] , relevant même l'existence d'« un encadrement à géométrie variable 68 ». Pour se convaincre de ces disparités, il convient de s'intéresser plus avant au régime de ces mesures. Traditionnellement, en droit interne, elles sont soumises à trois conditions dont l'objectif est de garantir la protection des droits des personnes mises en cause et qui tiennent à la gravité de l'infraction concernée, à la durée de la mesure ainsi qu'à l'organe chargé de l'autoriser.

La condition tenant à la gravité de l'infraction concernée, d'abord, permet de s'assurer

  17 , résiste à toute tentative de définition, qu'elle soit d'origine légale, jurisprudentielle ou doctrinale 18 . En droit interne, elle est seulement envisagée en droit civil, dans le cadre de la signature électronique 19 . Arlésienne pénale, elle demeure absente des dispositions du code pénal ou de procédure pénale, mais apparaît ici et là dans certains travaux du législateur, qu'il s'agisse de souligner son utilité en matière de répression 20 ou de préciser les modalités de sa collecte 21 . Le droit européen lato sensu utilise en revanche plus volontiers l'appellation de « preuve La définition jurisprudentielle de la preuve numérique -ou preuve électronique -n'est pas plus élaborée, loin de là. En effet, la Cour de justice de l'Union européenne n'utilise jamais ces expressions, lesquelles se font également très rares au sein des arrêts de son homologue strasbourgeoise 26 . S'agissant des juridictions françaises, seul le Conseil d'État évoque, parfois, la « preuve électronique » en matière pénale 27 lorsqu'il aborde les dispositions de la Convention de Budapest 28 .

	La doctrine pourrait combler cette imprécision notionnelle, mais, alors que de nombreux
	auteurs mentionnent la « preuve numérique » 29 , peu d'entre eux se prêtent à l'exercice de
	définition. Soulignant l'hétérogénéité de la catégorie, certains estiment qu'il s'agit de la preuve
	recueillie au moyen des techniques d'enquête numériques 30 , quand d'autres insistent davantage
	sur sa physionomie en énonçant qu'il s'agit « de toute information contenue dans un objet que
	l'homme n'est pas en mesure d'examiner par l'usage direct de ses sens 31 ». Faute de consensus
	doctrinal, il est difficile de cerner l'essence de cette preuve aux contours si particuliers, sauf à
	revenir aux fondamentaux c'est-à-dire aux définitions de ses composantes : la preuve, d'une
	part ; le numérique, d'autre part.
	La preuve recouvre « Tout moyen permettant d'affirmer l'existence ou la non-existence
	d'un fait 32 » ou le « fait, témoignage, raisonnement susceptible d'établir de manière irréfutable
	26 La Cour européenne des droits de l'homme utilise l'expression « preuve électronique » dans un seul arrêt, pour
	désigner le contenu d'une messagerie électronique utilisée par une organisation criminelle : CEDH, 2 ème sec., 22
	nov. 2021, Akgün c/ Turquie, req. n°19699/18, §67.
	27 Les juridictions civiles l'emploient, quant à elles, pour désigner l'écrit électronique de l'article 1366 du Code
	civil : CA, Versailles, 30 oct. 2014, n°13/00220. Quant à la Commission Nationale Informatique et Libertés
	(CNIL), elle utilise l'expression « preuve numérique » pour désigner les QR Codes Covid (CNIL, Délibération
	n°2021-067 du 7 juin 2021 portant avis sur le projet de décret portant application du II de l'article 1er de la loi n°
	2021-689 du 31 mai 2021 relative à la gestion de la sortie de crise sanitaire) et le terme « preuve électronique » en
	matière civile (CNIL, Délibération relative au projet de décret modifiant le Titre II du décret n° 98-247 du 2 avril
	1998 relatif à la qualification artisanale et au répertoire des métiers).
	28 CE, Ass., 21 avril 2021, n°393099.
	29 M. QUÉMÉNER, « Les spécificités juridiques de la preuve numérique », AJ Pénal, 2014, p. 63 ; C.
	MICHALSKI, « La recherche et la saisie des preuves électroniques », Gaz. Pal., 2014, n°42 ; C. CASTETS-
	RENARD, « Quelles nouveautés en matière de preuve numérique ? », Justice et Cassation, 2017, p. 23 ; M.
	QUÉMÉNER, F. DALLE, « L'accès à la preuve numérique, enjeu majeur de toute enquête pénale : pratique et
	perspectives », op. cit., p. 418.
	30 Ainsi, selon Mélanie Clément-Fontaine : « La preuve numérique est une modalité particulière d'établissement
	de la vérité qui consiste à avoir recours à des moyens numériques variés qui vont de l'étude des contenus dans la
	mémoire d'un disque dur, aux messages électroniques, en passant par l'enregistrement numérique » : « Définition

électronique » 22 , laquelle figure dans les intitulés du protocole additionnel à la Convention de Budapest relatif « au renforcement de la coopération et de la divulgation des preuves électroniques 23 » et de la proposition de règlement de l'Union européenne relatif « aux injonctions européennes de production et de conservation de preuves électroniques en matière pénale 24 ». Tandis que le premier texte se garde bien de définir ce que cette preuve recouvre, le second s'essaye à l'exercice en indiquant qu'il s'agit de la « preuve stockée sous forme électronique par un fournisseur de services ou en son nom au moment de la réception d'un certificat d'injonction de production ou de conservation, consistant en données stockées relatives aux abonnés, à l'accès, aux transactions et au contenu 25 ». Bienvenue, cette définition demeure cependant purement contextuelle, en étant seulement envisagée en référence aux fournisseurs de services de communication en ligne. et cadre juridique de la preuve numérique », in La preuve numérique à l'épreuve du litige, Actes de colloque du CNEJITA, 13 avril 2010, p. 11. V. également, E. VERGÈS, « La preuve numérique, entre continuité et changement de paradigme

», op. cit., pp. 16-17. 31

D. BENICHOU, « Le juge pénal, ses attentes, une preuve sûre et intelligible », in La preuve numérique à l'épreuve du litige, Actes de colloque du CNEJITA, 13 avril 2010, p. 58. 32 R. MERLE, A. VITU, Traité de droit criminel,

Cujas, 1979, p. 151.

  , en réalité, sur des données. Ainsi, pour qualifier leurs objets, le législateur utilise les termes de « données intéressant l'enquête[START_REF]S'agissant des perquisitions et saisies informatiques : Art. 57-1 et 76[END_REF] », « données saisies ou obtenues au cours de l'enquête[START_REF]S'agissant de l'accès aux données chiffrées : Art. 230-1 et s[END_REF] », « données de localisation[START_REF]S'agissant de la géolocalisation : Art. 230-8[END_REF] », « données de connexion[START_REF]S'agissant des réquisitions : Art. 60-1-1 et 77-1-1[END_REF] », « données informatiques[START_REF]S'agissant de la captation de données informatiques : Art[END_REF] », « données techniques de connexion[START_REF]S'agissant des IMSI-Catcher : Art[END_REF] » ou, plus directement, de « données[START_REF]S'agissant des interceptions et transcriptions de correspondances stockées : Art. 706-95-1 et -2, Code de procédure pénale[END_REF] » 47 . Les décisions de justice adoptées sur la base de ces dispositions légales confirment l'assimilation de la preuve numérique et de la donnée, quelle que soit la mesure d'enquête étudiée[START_REF]Tous les arrêts ou décisions relatifs aux techniques d'enquête numériques utilisent, en effet, l'expression de[END_REF] .Initialement, la preuve numérique est donc toujours une donnée. Or, contrairement à la première, la seconde voit son régime progressivement dessiné, notamment lorsque se posent Plusieurs catégories de données ont, en effet, été identifiées, bien que celles-ci diffèrent selon la juridiction ou le texte étudié. Tout d'abord, la Convention de Budapest distingue les données de contenu, les données de trafic et, enfin, les données relatives aux abonnés 49 . Quant au droit de l'Union européenne, ensuite, la proposition de révision de la directive commerce électronique 50 différencie les données de contenu des métadonnées de communications 51 . La proposition de règlement e-evidence, plus précise, identifie quatre catégories de données : celles La directive commerce électronique distingue, quant à elle, les données de trafic et les données de localisation. Une telle division est en voie d'être abandonnée car elle n'a pas de conséquences pratiques, ces deux catégories de données présentant le même degré de sensibilité : Art. 2, b) et c), Directive 2002/58/CE du Parlement européen et du Conseil du 12 juillet 2002 concernant le traitement des données à caractère personnel et la protection de la vie privée dans le secteur des communications électroniques (directive vie privée et communications électroniques), JO L 201 du 31 juillet 2002, p. 37.51 Les premières correspondent au « contenu échangé au moyen de services de communications électroniques, notamment sous forme de texte, de voix, de documents vidéo, d'images et de son » tandis que les secondes recouvrent « les données traitées dans un réseau de communications électroniques aux fins de la transmission, la distribution ou l'échange de contenu de communications électroniques, y compris les données permettant de aux abonnés[START_REF]données identifiant les mesures techniques liées ou les interfaces utilisées ou fournies par l'abonné ou le client, et les données relatives à la validation de l'utilisation du service, à l'exclusion des mots de passe ou autres moyens d'authentification utilisés à la place d'un mot de passe fournis par un utilisateur ou créés à la demande d'un utilisateur[END_REF] , celles relatives à l'accès[START_REF]données relatives au début et à la fin d'une session d'accès utilisateur à un service, strictement nécessaires aux seules fins d'identification de l'utilisateur du service, telles que la date et l'heure d'utilisation[END_REF] , celles relatives aux transactions 54 et, enfin, celles relatives aux contenus[START_REF]Il s'agit de « toutes les données stockées dans un format numérique tel que du texte, de la voix, des vidéos, des images et du son autres que les données relatives aux abonnés, les données relatives à l'accès ou les données relatives aux transactions[END_REF] . Alors que les deux premières catégories sont jugées peu intrusives, les deux dernières font l'objet d'une protection accrue, s'agissant notamment de l'organe compétent pour émettre une injonction européenne de production les concernant[START_REF]En effet, pour ces deux catégories de données, l'injonction ne peut être émise que par un juge, une juridiction ou un juge d'instruction[END_REF] .Ministerio Fiscal, elle affirma que les données relatives aux abonnés 57 ne permettaient pas d'obtenir des informations intrusives et, qu'ainsi, l'ingérence n'avait pas à se limiter aux infractions graves 58 . En outre, elle opère une distinction entre les données de trafic et de localisation et les données de contenu et, si elle considère que l'ingérence est plus importante lorsque les secondes sont concernées 59 , elle souligne tout de même la sensibilité des premières en ce qu'elles « sont susceptibles de révéler des informations sur un nombre important d'aspects de la vie privée des personnes concernées, y compris des informations sensibles 60 » 61 . Enfin, parmi les données de trafic et de localisation, elle isole l'adresse IP qu'elle rapproche des données relatives à l'identité civile en ce qu'elle sert principalement à identifier la personne concernée[START_REF] Cjue | c/ Commissioner of An Garda Síochána e[END_REF] . À la lecture des arrêts de la juridiction de Luxembourg, il est donc possible de distinguer les données d'identité, comprenant l'adresse IP, les données de trafic et de localisation et, enfin, les données de contenu.L'autorité de la Cour de justice a conduit le législateur français à modifier l'article L.34-1 du Code des postes et des communications relatif aux obligations de conservation de données s'imposant aux opérateurs de communications électroniques[START_REF]À la faveur de l'arrêt rendu par le Conseil d'État dans l'affaire La Quadrature du Net : CE[END_REF] . Sont désormais distinguées les informations relatives à l'identité civile, les informations relatives à la souscription d'un contrat et au paiement, les données techniques permettant d'identifier la source de la connexion ou relatives aux équipements terminaux utilisés, les autres données de trafic et, enfin, celles relatives aux communications électroniques. À y regarder de plus près, le législateur s'est fortement inspiré de la classification élaborée par la Cour de justice, les trois premières catégories pouvant être regroupées sous l'appellation « données d'identité », jugées peu sensibles 64 . Finalement, la « preuve numérique » semble englober trois catégories de données qui, au regard de leur sensibilité, méritent d'être distinguées 65 : les données relatives à l'état civil, au contrat, à la facturation, ainsi que l'adresse IP (données d'identité) ; les données de trafic et de localisation 66 et, enfin, les données de contenu, recoupant celles qui concernent les échanges écrits ou oraux tenus entre plusieurs protagonistes, mais également l'image de ces derniers ou le simple son de leurs voix. La classification proposée ressemble à celle retenue par la Cour de justice, au terme d'une jurisprudence riche et dense, ou encore à celle arrêtée par le législateur au sein de l'article L.34-1 du Code des postes et des communications. Cependant, si elle semble, de prime abord, n'avoir d'intérêt que dans le cadre du contentieux relatif aux obligations de conservation et de communication des données de connexion, elle pourrait, en réalité, permettre l'édification d'un droit commun de la preuve numérique.

	Une telle catégorisation se retrouve, peu ou prou, au sein de la jurisprudence de la Cour de
	justice de l'Union européenne. En effet, celle-ci n'apprécie pas la proportionnalité de
	l'ingérence de la même manière selon la nature des données concernées. Ainsi, dans l'arrêt

39

. L'étude des textes relatifs aux techniques d'enquête numériques ne fait que confirmer l'intuition selon laquelle toute preuve numérique est, fondamentalement, une donnée. En effet, si elles sont destinées à recueillir la preuve numérique, ces techniques portent 33 V. « Preuve » : TLFi : Trésor de la langue Française informatisé, http://www.atilf.fr/tlfi, ATILF -CNRS & Université de Lorraine. 34 V. « Numérique » : TLFi : Trésor de la langue Française informatisé, http://www.atilf.fr/tlfi, ATILF -CNRS & Université de Lorraine.

35

Conseil d'État, Le numérique et les droits fondamentaux, La documentation française, 2014, p. 9. 36 Ibid., p. 17. 37 La Convention de Budapest utilise, quant à elle, l'expression « donnée informatique » qu'elle définit comme « toute représentation de faits, d'informations ou de concepts sous une forme qui se prête à un traitement informatique, y compris un programme de nature à faire en sorte qu'un système informatique exécute une fonction » : Art. 1, b), Convention sur la cybercriminalité, op. cit. 38 A. DEBET, J. MASSOT, N. METALLINOS, Informatique et libertés. La protection des données à caractère personnel en droit français et européen, L.G.D.J., coll. « Les intégrales », 2015, n°483. En italique dans le texte. 39 L'article 60-1 du Code de procédure pénale confirme cette analyse en évoquant les « informations intéressant l'enquête » disponibles « sous forme numérique ».

toujoursdes questions relatives à sa conservation ou à sa communication à des fins pénales. En effet, dans ces derniers cas, les garanties juridiques fluctuent selon la sensibilité de l'information en cause. Partant, le recours à la notion de données -qui n'est pas unitaire -pourrait, éventuellement, expliquer les variations de garanties entourant l'ensemble des techniques d'enquête numériques.

49 Les données de trafic sont « toutes données ayant trait à une communication passant par un système informatique, produites par ce dernier en tant qu'élément de la chaîne de communication, indiquant l'origine, la destination, l'itinéraire, l'heure, la date, la taille et la durée de la communication ou le type de service sousjacent » : Art. 1, d), Convention sur la cybercriminalité, op. cit. Quant aux données relatives aux abonnés, il s'agit de « toute information, sous forme de données informatiques ou sous toute autre forme, détenue par un fournisseur de services et se rapportant aux abonnés de ses services, autres que des données relatives au trafic ou au contenu, et permettant d'établir: a) le type de service de communication utilisé, les dispositions techniques prises à cet égard et la période de service; b) l'identité, l'adresse postale ou géographique et le numéro de téléphone de l'abonné, et tout autre numéro d'accès, les données concernant la facturation et le paiement, disponibles sur la base d'un contrat ou d'un arrangement de services; c) toute autre information relative à l'endroit où se trouvent les équipements de communication, disponible sur la base d'un contrat ou d'un arrangement de services » : Art. 18 §3, Convention sur la cybercriminalité, op. cit. 50 retracer une communication et d'en déterminer l'origine et la destination ainsi que les données relatives à la localisation de l'appareil produites dans le cadre de la fourniture de services de communications électroniques, et la date, l'heure, la durée et le type de communication » : Art. 4 §3, l) et m), Proposition de règlement du parlement européen et du Conseil concernant le respect de la vie privée et la protection des données à caractère personnel dans les communications électroniques et abrogeant la directive 2002/58/CE (règlement «vie privée et communications électroniques»), COM(2017) 10 final, Bruxelles, 10 juill. 2017. relatives

  De telles catégories se retrouvent désormais au sein des arrêts de la Chambre criminelle de la Cour de cassation :Cass. crim., 12 juill. 2022, n°21-83.820, bull. crim. n°771, n°21-84.096, bull. crim. n°772, n°21-83.729, Inédit. De même, le Conseil constitutionnel isole la catégorie des données de connexion, en raison de leur sensibilité :

	Cons. const., 3 déc. 2021, M. Omar Y., n°2021-952 QPC, §11 ; Cons. const., 20 mai 2022, M. Lofti H., n°2022-
	993 QPC, §10 ; Cons. const., 17 juin 2022, M. Ibrahim K., n°2022-1000 QPC, §11 ; Cons. const., 25 févr. 2022,
	M. Habib A. et autres, n°2021-976/977 QPC, §11.
	65 V. pour une catégorisation proche, J. BOSSAN, « Les réquisitions judiciaires relatives aux données de connexion
	: suite... et fin ? », Droit pénal, n°7-8, 2022, 17. L'auteur distingue, en effet, les données administratives, qui
	correspondent à l'identité de l'utilisateur ainsi qu'aux informations relatives au paiement, des données techniques,

Les techniques d'enquête numériques se sont développées au fil des interventions impressionnistes du législateur. En apparence, elles semblent identiques, tant du point de vue de l'atteinte portée aux droits à la vie privée et à la protection des données à caractère personnel que de celui de leur objet, la preuve numérique. Pourtant, à y regarder de plus près, les garanties entourant la mise en oeuvre de ces techniques diffèrent amplement selon la mesure d'investigation étudiée (A). Regrettable, cet encadrement anarchique semble pouvoir être 64 plus sensibles. Certains auteurs ont proposé d'autres catégories : G. HAAS, A. DUBARY, « Cybercriminalité : mais que fait la justice ? », Lamy Droit des affaires, n°168, 2021 ; M. BOUCHET, « Conservation et accès aux données de connexion dans le cadre des enquêtes pénales : mode d'emploi »,

Gaz. Pal., n°31, 2022. 66

Les deux premières catégories recouvrent, en réalité, celle, plus large, des données de connexion. V. également en ce sens, M. AUDIBERT, « L'accès aux données de trafic et de localisation dans le cadre d'une enquête judiciaire », Lexbase, Procédure pénale, 2022.

élaboration progressive du régime de la preuve numérique À

  de la proportionnalité du recours aux techniques d'enquête numériques et devrait, dès lors, s'imposer pour chacune d'elles. Pourtant, elle est absente s'agissant des perquisitions informatiques 69 et des mises au clair de données chiffrées[START_REF]Il faut noter que l'article 230-1 in fine permet de recourir aux moyens de l'État soumis au secret de la défense nationale afin d'obtenir les données en clair, mais, cette fois, seulement lorsque la peine encourue est égale ou supérieure à deux ans d'emprisonnement. 71 Art. 230[END_REF] . En revanche, la peine encourue doit être d'au moins trois ans d'emprisonnement lorsqu'il s'agit de recourir aux drones 71 ou à une géolocalisation 72 et, s'agissant des opérations de cyberpatrouilles, elles sont limitées aux crimes et délits punis d'une peine d'emprisonnement commis par la voie des communications électroniques 73 . Les techniques d'enquête numériques prévues aux articles 706-95 et suivants du code de procédure pénale[START_REF]80 sont limités à un mois, renouvelable une fois. Les opérations de géolocalisation, quant à elles, ne peuvent excéder huit jours ou, dans le cas où l'infraction concernée relèverait de la criminalité organisée, quinze jours. À l'issue de ces délais[END_REF] , quant à elles, ne concernent que les infractions relevant de la correspondances stockées 86 et les réquisitions 87 sauf, pour ces dernières, s'il s'agit de requérir des opérateurs de télécommunications qu'ils conservent le contenu des informations consultées[START_REF]En ce cas, les données ne peuvent être conservées qu'un an : 60-2, al. 2 et 77-1-2, al. 2[END_REF] .Enfin, quant à l'organe compétent pour autoriser la mesure, le procureur de la République intervient s'agissant de la mise au clair de données chiffrées 89 , de l'usage des drones 90 et des cyberpatrouilles[START_REF]Mais cette autorisation n'est requise que lorsque les enquêteurs recueillent, à cette occasion, des données : Art. 230-46[END_REF] . Il laisse sa place au juge des libertés et de la détention lorsqu'il s'agit d'accéder à des correspondances 92 , de procéder à une sonorisation, à une captation d'images 93 ou de données informatiques 94 ou, enfin, d'intercepter des communications 95 , y compris lorsque cette interception résulte de l'utilisation d'un IMSI-Catcher 96 . Concernant les géolocalisations, les deux autorités se partagent la compétence, selon le lieu où le dispositif est installé et/ou la durée de la mesure[START_REF] Effet | le procureur de la République est compétent pour autoriser la mesure pour une durée maximale de quinze jours consécutifs lorsque l'enquête porte sur un crime ou une infraction mentionnée aux articles 706-73 ou 706-73-1 ou pour une durée de huit jours dans les autres cas : Art[END_REF] . Il en va de même pour les réquisitions où, malgré les critiques 98 , le juge des libertés et de la détention n'intervient que si celles-ci portent sur les données de connexion émises par un avocat ou si elles tendent à conserver des données de contenu 99 . Enfin, les perquisitions informatiques font, quant à elles, l'objet d'un régime particulier au sein duquel aucune autorisation n'est requise si les enquêteurs agissent en flagrance et, en enquête préliminaire, s'ils disposent de l'assentiment de l'intéressé.À défaut d'un tel consentement, le juge des libertés et de la détention peut tout de même autoriser la mesure si l'enquête est relative à une infraction punie d'une peine d'emprisonnement d'une durée égale ou supérieure à trois ans 100 . À l'évidence, de profondes différences se font jour sans qu'il soit possible de comprendre, immédiatement, leur raison d'être. Effectivement, toutes les mesures d'enquête numériques portent atteinte aux droits à la vie privée et à la protection des données ce qui, l'image des réquisitions 101 , les garanties entourant les techniques d'enquête numériques pourraient fluctuer selon la sensibilité de la preuve qu'elle vise à recueillir, donc selon la nature de la donnée en cause. Pour s'en convaincre, il convient d'étudier, précisément, La nature de la donnée semble donc déjà jouer un rôle dans la détermination du régime des techniques numériques d'enquête, bien que celui-ci ne soit pas systématique. Si ce critère ne suffit pas, à lui seul, à justifier l'oscillation des garanties légales, en existe-t-il un autre susceptible, en s'y additionnant, de l'expliquer ? Celui-ci pourrait trouver son origine dans la jurisprudence de la Cour européenne des droits de l'homme opérant une distinction selon que l'intrusion dans le droit à la vie privée s'opère en temps réel ou en temps , considérant la mesure plus attentatoire dans le premier cas 104 . Il s'agit, pour le dire autrement, de distinguer les recueils de données déjà disponibles des interceptions de flux actifs de données qui seraient plus intrusives, l'individu, véritablement surveillé, n'ayant aucune possibilité de les supprimer 105 . Préconisé par la juridiction de Strasbourg, et repris par la Cour de justice de l'Union européenne 106 , ce critère a-t-il une incidence dans l'encadrement interne des techniques d'enquête numériques ? La condition tenant à la gravité, d'abord, est imposée pour toutes les mesures consistant à intercepter un flux actif de données. À l'inverse, elle est absente s'agissant des perquisitions informatiques, de la mise au clair des données chiffrées et des réquisitions, lesquelles sont bien des techniques de recueil. Toutefois, lorsque les réquisitions concernent des données de connexion, l'exigence de gravité réapparaît. Il en va de même pour l'accès aux correspondances stockées qui, s'il ne permet qu'un recueil, est, en portant sur des données de contenu, soumis à une exigence de gravité. Partant, le critère lié à la nature de la donnée vient se cumuler au premier et justifier l'accroissement des garanties. La condition tenant à la durée, ensuite, s'impose dans la majorité des cas impliquant une interception de données, à l'exception notable des cyberpatrouilles. À l'inverse, elle s'applique s'agissant de l'accès aux correspondances stockées qui ne permet pourtant qu'un simple recueil.Si le cas des cyberpatrouilles ne trouve, a priori, aucune explication, il semble que, dans le second cas, la condition de durée soit, une nouvelle fois, justifiée par la nature des données concernées. Le régime des IMSI-Catcher illustre cette affirmation, la mesure n'étant limitée que lorsqu'elle porte sur des données de contenu. Enfin, concernant la condition tenant à la qualité de l'organe compétent, il est très difficile de déceler une quelconque logique. En effet, si les techniques d'enquête impliquant une interception supposent parfois l'intervention du juge des libertés et de la détention 107 , celle-ci est souvent subordonnée à la durée de la mesure ou à la nature des données concernées 108 . En outre, dans d'autres cas, le procureur de la République demeure compétent, en dépit de la sensibilité de ces dernières 109 . Parallèlement, les simples

	théoriquement, devrait justifier l'édiction de garanties analogues, sinon identiques. Toutefois,
	ce désordre pourrait, en réalité, n'être qu'apparent, car, en y regardant de plus près, certains
	éléments, dont la nature de la donnée fait partie, pourraient justifier une variation des garanties
	encadrant les techniques d'enquête numériques.

B : L'l'objet des mesures d'enquête numériques. À l'analyse, elles portent, à la fois, sur des données d'identité, des données de trafic et de localisation ainsi que sur des données de contenu, à l'exception des réquisitions et de la géolocalisation qui ne concernent pas ces dernières. Partant, ces mesures d'enquêtes devraient connaître un encadrement moins exigeant que celui dévolu, par exemple, aux mises au clair de données chiffrées qui, elles, peuvent également porter sur des données de contenu, ce qui n'est pourtant pas le cas 102 . En revanche, la nature de la preuve a eu une incidence dans le cadre des réquisitions où les données de connexion réclament une exigence de gravité accrue 103 . De surcroît, ce critère vient, ici et là, justifier des aménagements au sein du régime d'une même technique d'enquête. Ainsi, le recours aux IMSI-Catcher se trouve, lorsque des données de contenu sont en cause, subordonné à l'autorisation de juge des libertés et de la détention. 101 V. supra. 102 V. supra. 103 V. supra.

différé

Décret n°2017-614 du 24 avril 2017 portant création d'un service à compétence nationale dénommé « Agence nationale des techniques d'enquêtes numériques judiciaires » et d'un comité d'orientation des techniques d'enquêtes numériques judiciaires, JORF n°97 du 25 avril 2017.

Art. 2, Ibid.

Conformément à la définition de la cybercriminalité proposée par le Sénat selon laquelle celle-ci peut se concevoir comme « toute action illégale dont l'objet est de perpétrer des infractions sur ou au moyen d'un système informatique interconnecté à un réseau de télécommunications » : Sénat, Rapport d'information sur la lutte contre la cybercriminalité, n°613,

juill. 2020, p. 6. 9 V. not. B. PEREIRA, « La lutte contre la cybercriminalité : de l'abondance de la norme à sa perfectibilité », RIDE, n°3, 2016, pp. 387-409 ; M. QUÉMÉNER, « Pour une lutte plus efficace contre la cybercriminalité »,Sécurité globale, n°15, 2018, pp. 5-16.

Loi n°91-646 du 10 juillet 1991 relative au secret des correspondances émises par la voie des télécommunications, JORF n°162 du 13 juill. 1991.

Loi n°2022-52 du 24 janvier 2022 relative à la responsabilité pénale et à la sécurité intérieure, JORF n°20 du 25 janv. 2022.

Il en va ainsi, par exemple, de la loi n°2004-204 du 9 mars 2004 portant adaptation de la justice aux évolutions de la criminalité qui a permis les sonorisations et les fixations d'images ou encore de la loi n°2016-731 du 3 juin 2016 renforçant la lutte contre le crime organisé, le terrorisme et leur financement, et améliorant l'efficacité et les garanties de la procédure pénale ayant étendu ces mesures à l'enquête, ayant créé l'accès aux correspondances stockées et permis le recours aux IMSI-Catcher.

M. QUÉMÉNER, F. DALLE, « L'accès à la preuve numérique, enjeu majeur de toute enquête pénale : pratique et perspectives », Dalloz IP/IT, 2018, p. 418.

Sur la différence entre ces deux droits fondamentaux : A. MORNET, Les fichiers pénaux de l'Union européenne. Contribution à l'étude de la protection des données à caractère personnel, thèse dactylographiée, Université Toulouse I, 2020, n°17.

Proposition de règlement relatif aux injonctions européennes de production et de conservation de preuves électroniques en matière pénale, op. cit.

J.-L. BERGEL, « Différence de nature (égale) différence de régime »,RTD Civ., 1984, pp. 255-272.

En effet, les deux termes sont employés indifféremment par la doctrine.

V. également en ce sens, E. VERGÈS, « La preuve numérique, entre continuité et changement de paradigme », in Le traitement de la preuve numérique par les magistrats dans les procédures judiciaires civiles et pénales,RJA, n°21, 2019, p. 16.

Instruction de la Direction générale des systèmes d'information et de communication n°2003/DEF/DGSIC portant code de bon usage des systèmes d'information et de communication du ministère de la défense,

nov. 2008, p. 16. 20 Le Sénat emploie effectivement l'expression « preuve numérique » en insistant sur son importance dans le cadre de la lutte contre la cybercriminalité : Sénat, Résolution européenne sur la lutte contre la cybercriminalité, JORF n°207 du 25 août 2020.

En effet, la circulaire de présentation des dispositions de la loi n°2016-731 du 3 juin 2016 contient une fiche technique consacrée au « recueil de la preuve numérique » : Circulaire du Ministre de la justice du 2 décembre 2016 de présentation des dispositions de la loi n°2016-731 du 3 juin 2016 renforçant la lutte contre le crime organisé, le terrorisme et leur financement, et améliorant l'efficacité et les garanties de la procédure pénale, relative au renforcement du dispositif en matière de lutte contre la délinquance et la criminalité organisée, pp. 12 et s.

En droit de l'Union européenne, le terme a été employé pour la première fois en matière de délinquance financière : Communication de la Commission au Conseil et au Parlement européen, Prévenir et combattre les malversations financières et pratiques irrégulières des sociétés, COM(2004) 611 final, Bruxelles, p. 13.

Deuxième protocole additionnel à la Convention sur la cybercriminalité relatif au renforcement de la coopération et de la divulgation de preuves électroniques, op. cit.

Proposition de règlement relatif aux injonctions européennes de production et de conservation de preuves électroniques en matière pénale, op. cit.

Art. 2, 6), Ibid.

Art. 706-95-1 et 706-95-2, Code de procédure pénale.

Art. 60-1, 60-2, 77-1-1 et 77-1-2, Code de procédure pénale.