My deepest gratitude to my family who has been supporting me emotionally and financially when I needed the most. Special thanks to my supervisors, Prof Frederic Merienne, AP Dr Christophe Guillet, AP Dr Naufal Saad and AP Dr Aamir Saeed Malik for the continuous support during my Ph.D. study, for their patience, motivation and immense knowledge. And thanks to Fred and Christophe for always making sure that I am comfortable and safe during my stay in France. Thank you for believing in me when I do not believe in myself.

It is a great pleasure to acknowledge my gratitude to my colleagues, fellow engineers, research scholars, lecturers, masters and undergraduate students at both LE2i laboratoire, Institut Image and CISIR, UTP. Their support, encouragement and credible ideas have been great contributors in the completion of the thesis. The first experiment with 10 participants aims at evaluating the effects of distraction and synchronising EEG signals. For statistical analysis, Shapiro Wilk test and twoway ANOVA have been used. The results state that the two visual cognitive distraction tasks are performed sequentially and reaction time is affected by the switch. For the second experiment with 8 participants, an integrated system has been created in C++, which involves a 4-wall CAVE system, a driving simulator using SCANeR simulation software, a simple EEG headset with 20 channels (Enobio 20), SMI Eye tracker, BeGaze software. As qualitative methods, SSQ and NASA TLX have been used to evaluate user feedback. As quantitative methods, maths equations, eye movements, EEG signals, and driving performance have been used. For data analysis, Matlab and SPSS and for statistical analysis, Shapiro Wilk test and one-way ANOVA have been used. The results indicate that experiment demands mental capacity, rather than physical capacity. Delta band frequencies in frontal lobe of EEG signals do not have a significant impact on discriminating between driving and distraction, but delta and theta band at central and parietal do. The results also revealed that theta and alpha band frequencies are indeed an important features in both experiments. In a task where subject can control when they are engaging towards the secondary task, beta band showed its statistical importance being the only one able to discriminate up to different level of cognitive tasks. The most striking similarity between both experiments were, some of the statistically significant features are overlapped between brain regions. A comparative analysis of machine learning techniques (SVMs vs Random Forests) in selecting relevant features of EEG signals, referring to the coherence values, has also been conducted. Results indicate that although in general random forests perform better than SVM classifier, F1-score for SVM demonstrates the highest scores (0.90). v ABSTRAK Pengalihan perhatian visual kognitif merupakan satu jenis pengalihan perhatian yang biasa dalam sebarang pemanduan. Dengan kepesatan kemajuan teknologi, ia mungkin membenarkan normalisasi dan adaptasi pengalihan perhatian kognitif visual semasa memandu. Untuk mengkaji kesan pengalihan perhatian, satu kaedah yang komprehensif sangat diperlukan untuk memahami mekanisme asas dan kesan pengalihan perhatian jenis-jenis ini untuk menganggar risiko. Kami mengusulkan bahawa pengalihan perhatian kognitif visual melibatkan paradigma pertukaran tugas, disamping paradigma dwitugas yang telah terkenal menjadi teori panduan dalam subjek ini. Ini kerana keupayaan visual perlu dikongsi antara tugas sekunder dan memandu, maka pertukaran tugas berlaku semasa pengalihan perhatian kognitif visual. Mengambil kira perkara ini, ciri-ciri EEG yang boleh digunakan untuk mengesan pengalihan perhatian kognitif visual, adalah mungkin lebih dari ciri-ciri teta, beta dan alfa dalam lobus frontal yang telah menjadi rujukan ciri di dalam paradigma dwitugas. Oleh itu, kami menguji teori ini melalui dua eksperimen. Dengan menggunakan ketumpatan spektral kuasa, dihitung menggunakan jelmaan gelombang kecil dan FFT, kami memperhatikan bahawa terdapat pertindihan jalur frekuensi yang signifikan dengan bahagian otak yang lain. Penemuan ini mencadangkan potensi menggunakan ciri-ciri EEG lebih dari lobus frontal serta jalur frekuensi delta dan gamma, kerana terdapat lebih dari satu teori beban kerja kognitif yang melibatkan pengalihan perhatian kognitif visual. Kami mengusulkan untuk menggunakan kaedah pemilihan ciri-ciri berdasarkan pembelajaran mesin bagi menyelidik ciri-ciri yang berkaitan untuk digunakan bagi klasifikasi. Selain dari ERSP, kami juga menggunakan nilai kekoherenan kerana ukuran ini mewakili ketersambungan rangkaian otak. Kami mendapati bahawa terdapat lebih banyak kawasan dan jalur frekuensi yang boleh digunakan untuk membezakan tugas tersebut. Skor F1 dari klasifikasi SVM dengan menggunakan ciri-ciri terpilih adalah 90% berbanding 52% apabila menggunakan ciriciri prapilihan seperti yang dilaporkan dalam literatur. Sebagai konklusi, EEG boleh digunakan untuk mengesan pengalihan perhatian kognitif visual yang mana klasifikasi prestasi boleh ditambah baik dengan memilih ciri-ciri yang berkaitan dengan tugas tersebut. vi RESUME Le principe de la distraction au volant est de détourner l'attention du conducteur en phase de conduite en toute sécurité au profit d'une tâche concurrentielle. Le paradigme de la double tâche repose sur l'hypothèse que la distraction se traduit par une charge cognitive excessive et des ressources restreintes en termes d'attention. Pour combler les lacunes des travaux de recherche portant sur l'étude de la sécurité des conducteurs, cette thèse vise à découvrir les mécanismes de détection de la distraction cognitive visuelle à l'aide de signaux physiologiques. A cette fin, deux séries d'expérimentations ont été menées avec 18 participants. La première expérimentation avec 10 participants vise à évaluer les effets de la distraction et de la synchronisation des signaux de l'EEG. Pour l'analyse statistique, le test de Shapiro-Wilk et l'analyse 5.10 One-way repeated measure ANOVA for ERSP EEG features (part 1). Table 5.11 One-way repeated measure ANOVA for ERSP EEG features (part 2). Table 5.12 Post-hoc analysis for significant interaction of ERSP (part 1). ............. Table 5. [START_REF] Wang | EEG-Based Attention Tracking During Distracted Driving[END_REF] Post-hoc analysis for significant interaction of ERSP (part 2). .............

INTRODUCTION

Driving is a complex activity and distraction is an event that affects driving performance. This chapter presents the research context and its problems. Research questions raised and hypotheses are proposed. The scope of the work is described and finally, the manuscript structure is provided.

Research Context

Driving distraction is known to be one of the leading factors of accidents [1]. Along with its increasing by alarming rate, the emergence of new technology is inevitable.

Namely autonomous car, in-vehicle entertainment system and advanced driverassistance systems (ADAS), leave more unanswered questions within the safety spectrum. Precisely, how much a driver can be allowed to be distracted (or disengage) while driving and still maintain a safe driving environment? Challenges faced by the researchers in the safety domain are amplified by the complexity of the possible scenarios and at the same time, restricted by the limitation of the state-of-the-art technology, methodology and literature in answering these questions.

Driving distraction is defined as shifting the attention away from safe driving towards a competing task [2]. Naturally, this scenario is treated as a dual task paradigm that defines distraction in terms of excessive workload and limited attentional resources [3][START_REF] Duncan | Restricted attentional capacity within but not between sensory modalities[END_REF][START_REF] Gazes | Performance degradation and altered cerebral activation during dual performance: Evidence for a bottom-up attentional system[END_REF]. However, this largely ignores how drivers come to engage and disengage in distracting activities [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF].

Considering the process of engaging and disengaging on secondary task during driving, drivers perform task switching when attending to secondary task. This remains true if the driver is using the same perceptual modalities (i.e. visual) to engage in the secondary task because task switching focuses on multitasking with sequentially processed component tasks [START_REF] Strobach | Editorial: Multitasking: Executive Functioning in Dual-Task and Task Switching Situations[END_REF]. Ettwing and Bronkhorst [START_REF] Ettwig | Attentional Switches and Dual-Task Interference[END_REF] have reported that performance deficit in dual task experiment may not only be influenced by resource competition, but also difficulties in disengaging attention from a stimulus can be substantial. If consideration were made that driving distraction is influenced by two paradigms; limited attentional resources and task switching, would it change what have we known so far?

A review [START_REF] Yusoff | Selection of Measurement Method for Detection of Driver Visual Cognitive Distraction: A Review[END_REF] on driving distraction detection methods has revealed that a hybrid method is recommended in order to fathom the underlying process that influence distraction. This is because each detection method can compensate the limitation of the other method. For instance, a physical measurement such as eye-movements might be able to detect visual distraction, but not cognitive distraction because variation in cognitive eye movements across drivers is great, especially at low levels of cognitive distraction. This could lead to false negative results in which the features selected might resemble safe driving if they are not defined accurately. However, biological measurements such as electroencephalography (EEG) can recognize cognitive distraction through brain features of synchronization but are not sensitive to visual distraction as this type of distraction mainly involves movement of the eyes towards a specific location.

It was also emphasized that a typical driving distraction is less likely to be represented by a single distraction type (i.e. : visual, cognitive, auditory and physical). Rather a combination of two or more distraction types will depict a more realistic scenario [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF]. Despite realizing this fact, very limited literature report on a combined types of distraction and the measurements used in those reports [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF][START_REF] Kaber | Driver performance effects of simultaneous visual and cognitive distraction and adaptation behavior[END_REF].

These are limited to driving performance (lateral control, braking etc) and drivers physical measures (eye movements) only.

In the quest to fill in the research gap in safety research, this thesis aims to uncover the mechanics of detecting visual cognitive distraction by using physiological signals.

This is encouraged by the fact that most of driving distraction involves both visual and cognitive modalities [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF]. In addition to that, physiological signals namely eye movement and EEG that were suggested to be more successful in distinguishing these types of distraction [START_REF] Yusoff | Selection of Measurement Method for Detection of Driver Visual Cognitive Distraction: A Review[END_REF], require an in-depth study incorporating the element of task switching on top of the notion of dual-task paradigm.

Research Problem

There are fundamental problems for each measurement method (EEG and eye tracking) that needed to be addressed and explored before adopting them in detecting visual cognitive distraction. The main challenge in adopting these measurements are listed below:

(a) EEG analysis: relating the relevant features with task switching in a dual task paradigm.

• Most driving distraction research that uses EEG, reported to opt for synchronization at theta, alpha and beta frequency band as detecting features [START_REF] Wang | EEG-Based Attention Tracking During Distracted Driving[END_REF][START_REF] Sonnleitner | EEG alpha spindles and prolonged brake reaction times during auditory distraction in an on-road driving study[END_REF][START_REF] Dahal | TVAR modeling of EEG to detect audio distraction during simulated driving[END_REF][START_REF] Almahasneh | Deep in thought while driving: An EEG study on drivers' cognitive distraction[END_REF][START_REF] Lin | Spatial and temporal EEG dynamics of dual-task driving performance[END_REF][START_REF] Wali | Subtractive Fuzzy Classifier Based Driver Distraction Levels Classification Using EEG[END_REF].

o This is driven by the concept of cognitive load and limited attentional resources; thus, the designed experimental protocol was focusing on cognitive distraction in which the secondary task induced were via auditory capacity.

• However, some oscillatory EEG activities especially delta band activities, have been shown to correlate with perceptual switching [19][START_REF] Nakatani | Transient synchrony of distant brain areas and perceptual switching in ambiguous figures[END_REF][START_REF] Shimaoka | Transient process of cortical activity during Necker cube perception: from local clusters to global synchrony[END_REF][START_REF] Nakatani | Precisely timed oculomotor and parietal EEG activity in perceptual switching[END_REF][23][24].

o Therefore, a basic study is needed to identify the features related to both limited attentional resources and task switching specifically the process of engaging and disengaging.

(b) Eye movement analysis in a dynamic scenario.

• Driving is a task performed in a constantly changing environment. Most of the state-of-the-art eye movement analysis are designed to work with a static image or by a pre-set location such as area of interest (AOI), scan path representation and dwell/glance or gaze.

o These methods would not be able to characterize the process of engaging and disengaging of a visual cognitive distraction while driving.

o A new method is required to model this representation.

Research Question

Considering all the issues discussed, the main research questions to be addressed in this thesis are as follows:

1. Does task switching influence dual task paradigm in visual cognitive driving distraction?

Which features should be used to detect visual cognitive driving distraction?

It is hypothesized that task switching is involved in visual cognitive driving distraction as drivers had to share visual capacity between driving and distraction task.

This proposition and its effect can be measured and proved empirically.

The second hypothesis is that the fact that task switching is involved, the features commonly used to detect distraction may not be enough to depict the actual situation.

In this thesis, we proposed to perform feature selection technique to investigate the relevant features and thereby improves the classification accuracy.

Research Scope

Due to the complexity of the problems in both measurement methods (EEG and eye movements), investigation and analysis towards answering the research questions in this thesis will be confined to EEG. Other measurements such as driving performance, eye movements, questionnaires, reaction time and etc., will be used as a validation or supporting measures.

The scope of the research revolves within three axes; Detailed, Deploy and Detect. The third chapter is dedicated to justifying the scientific approach for experiments carried out in chapter 4 to chapter 6. It begins with the research question raised and how does it translate to the designed experiment. Justification on adopted methodology for feature extraction, validation method, statistical analysis approach was discussed in this chapter.

The title for chapter four is "Task switching, dual task or both?". As we are proposing that visual cognitive distraction involves task switching, this chapter describes an experiment, distracted Stroop Test, in order to investigate this theory. By extracting estimated oscillatory power using wavelet transform, the significant frequency was examined by using bootstrapping method. The behavioural and EEG statistical result were discussed and compared at the end of the chapter.

The fifth chapter puts the theory into a driving scenario in an experimental setting.

It begins with the description of the experimental setup, followed by the analysis approach of multiple measurement methods. Data acquired was analysed and compared.

The sixth chapter propose and compare, machine learning based feature selection method, to determine the most relevant EEG features for detection of visual cognitive driving distraction. The classification performance of the selected features was computed and discussed.

The final chapter concludes the finding of this thesis, contribution of the thesis work, limitation and future work.

Chapter 2

LITERATURE REVIEW

Driving distraction is defined as a shift in attention away from safe driving towards a competing task [2]. By referring to the definition, task switching is more likely to be the executive function involved in this process. However, this activity involves two tasks; driving and competing task, thus, most research studies approach this issue by dual task paradigm.

In this section, a review of the relationships between attentional bottleneck, taskswitching paradigm, dual-task paradigm, distraction type & sources and situation awareness are discussed with respect to driving distraction and the inherent factors.

After a common understanding on the causes is made, a critical review on measurement methods is summarized. A review on electroencephalography (EEG)

were made at the end of this chapter, comprising the brain functions, brain dynamics, feature extraction and the challenges faced by driving distraction research in using EEG.

Overview

A study conducted by the AAA Foundation for Traffic Safety revealed that young drivers were distracted in 58% of the analysed crashes [START_REF] Carney | Using naturalistic driving data to assess the prevalence of environmental factors and driver behaviors in teen driver crashes[END_REF] while the NHTSA reported only 13% to 14% of all drivers were distracted in 2014 [START_REF]Distracted Driving 2014[END_REF], 2013 [START_REF] Administration | Distracted Driving 2013[END_REF] and 2012 [START_REF] Administration | Distracted Driving 2012[END_REF].

The disparity between these two reports is the method of analysis. The data analysis used by the AAA Foundation for Traffic Safety was based on six-seconds video clips that were captured just before the crashes occurred. In contrast, the NHTSA focused on crash data that were subjectively reported. The large percentage differences in these reports may indicate that the number of accidents resulting from distraction is probably greater than what we previously thought. However, lack of common measurements makes interpretations and conclusions difficult. Thus, an objective and reliable measurement of distraction is required before proposing any appropriate mitigation action.

Among the 40% of intersection-related crashes in the USA that occurred in 2008, recognition error (56.7%), and detection error (29.2%) were reported as the most critical factors that contributed to the crashes [START_REF] Choi | Crash Factors in Intersection-Related Crashes: An On-Scene Perspective[END_REF]. These statistics indicate that human factors such as driver awareness are the main cause for these kinds of accidents. A more recent study of young drivers revealed that passengers are the main reason for driver distraction (40%), followed by cell phones (12%), and unknown people/objects outside the vehicle [START_REF] Carney | Using naturalistic driving data to assess the prevalence of environmental factors and driver behaviors in teen driver crashes[END_REF]. Based on this evidence, driver experience level might influence the ability to stay aware.

In addition to these issues related to distraction-which are not yet fully understood-the emergence of autonomous car technology is another factor that will affect driver awareness. According to NHTSA's Federal Automated Vehicle Policy [START_REF][END_REF], there are six levels of vehicle automation that have been defined to facilitate discussions between different agencies and stakeholders. The levels range from level 0 (no automation) to 5 (fully automated). Levels 2 to 4 allow drivers to give driving authority to the automated system, and consequently permit drivers to reduce how much attention they give to driving and the road. Thus, in automated driving, the driver is allowed to be distracted as they are encouraged to disengage from driving [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF].

Although the guidelines clearly state that human drivers must continue to monitor the driving environment at these levels, questions remain. In particular, how much a driver can be distracted or disengaged and still maintain a safe driving environment remains unclear. Further, we do not know which are the reliable and suitable measurements that can help in investigating and eventually proposing mitigation actions for safety reasons.

Attention

Attention is the core property of all perceptual and cognitive operations, and its basic characteristic is its limited capacity [START_REF] Miller | Cortical circuits for the control of attention[END_REF][START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF]. Because of this characteristic, people need to select the focus of attention, either towards driving or towards the distraction. The source of distraction/competing task could originate from the external environment [2] as a salient stimulus that captures attention in a bottom-up fashion [START_REF] Miller | Cortical circuits for the control of attention[END_REF]. The distraction could also originate internally, a phenomenon known as cognitive distraction [2], which utilizes internal attention [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF].

The first stage of attentional mechanisms as described by Chun et al. [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF] is selection from multiple sources, either internal or external, which are driven by bottom-up or top-down forces, respectively. Once a focus has been set, the captured information is modulated in the second stage. During this stage, the information is interpreted at either fast or slow processing speeds, and a decision is made as to whether it will be remembered, forgotten, or executed. The third stage of the attentional mechanism is the state of vigilance, also known as sustained attention, which represents a consistent focus on the subject of interest.

Figure 2.2 The Visual Pathways

The attentional bottleneck caused by the selection stage can be understood well by observing visual attention [START_REF] Miller | Cortical circuits for the control of attention[END_REF]. Therefore, when we compare this attentional mechanism [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF] with the perceptual process described by Goldstein [START_REF] Goldstein | Sensation and Perception[END_REF], we can see that they fit well together (Fig. 2.2, red circles 1 and 2). This represents the selection stage of the attentional mechanism. The light reflected from the stimulus reaches photoreceptors in the eye and is transduced into an electrical signal that then travels to the occipital region of the brain through the optic tract. Different information embedded in the stimulus then travels to the dorsal (parietal region) and ventral (temporal region) streams where it is perceived and recognized [START_REF] Hebart | What visual information is processed in the human dorsal stream?[END_REF]. The brain then decides on the course of action in the frontal region. The processes denoted by red circle 5 in Figure 2.2, represent the modulation stage within the attentional process. As the perceptual process is repeated, the state of vigilance is strengthened.

In spite of the attentional bottleneck, driving distraction is also influenced by strategic workload management that heavily depends on the driver managing interruptions that direct attention toward distractions. This is extensively discussed by Lee [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF] as the process of engaging and disengaging during driving. A failure in interruption management occurs when drivers disengage from driving and spend more time attending to the distractor [START_REF] Lee | Scrolling and driving: how an MP3 player and its aftermarket controller affect driving performance and visual behavior[END_REF], a phenomenon that is a type of task preservation.

Factors that influence task preservation are proximity, goal emergence, and goal valence, which are similar in concept to goal activation [START_REF] Fox | Escalation Behavior as a Specific Case of Goal-Directed Activity: A Persistence Paradigm[END_REF].

These attentional traps are mostly driven by volitional top down attentional control because drivers are willingly shifting attention to the distractor [START_REF] Baluch | Mechanisms of top-down attention[END_REF]. This is a similar concept to internal attention as described by Chun et al. [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF]. Therefore, we can conclude that even though we shift our attention based on the origins of the distractor, consistent disengagement from driving to attend to distractions is mostly driven by internal attention. Internal attention involves cognitive control processes and operates over representations in working memory, long-term memory, task rules, decisions, and responses. Thus, detecting a single type of distraction does not trigger the complete distraction process. However, engaging in and disengaging from the driving distraction during driving does involve cognitive control.

Task Switching Paradigm

Task switching refers to change of task that requires one to switch frequently among small set of simple tasks [38]. This term is used interchangeably with the term 'multitasking' that refers to engaging multiple forms of media simultaneously [START_REF] Alzahabi | The association between media multitasking, taskswitching, and dual-task performance[END_REF].

Research has shown that task switching would affect subject response by comparing reaction time between switch and non-switch trial [40]. The difference of reaction time is called 'switch cost' [START_REF] Wylie | Task switching and the measurement of "switch costs[END_REF].

The current opinion in neurobiology [START_REF] Miller | Cortical circuits for the control of attention[END_REF] is that focusing on attention arises from the interaction between widespread cortical and subcortical networks that may be regulated via their rhythmic synchronization. Neural signals reflecting the bottom-up control of attention are thought to originate in the parietal cortex. In contrast, network interaction for top-down control of attention seems to originate from the frontal cortex [START_REF] Buschman | Top-Down Versus Bottom-Up Control of Attention in the Prefrontal and Posterior Parietal Cortices[END_REF]. Given that the definition of distraction relates to the shifting of attention away from safe driving and towards some competing task [2], drivers may be performing task switching (the selection stage of the attentional mechanism) when distracted.

Table 2.1 summarizes the findings related to brain activity during task switching.

It has been observed that compared with other frequency-band oscillations, task switching involves synchronization of low frequency brain activity [19][START_REF] Nakatani | Transient synchrony of distant brain areas and perceptual switching in ambiguous figures[END_REF][START_REF] Shimaoka | Transient process of cortical activity during Necker cube perception: from local clusters to global synchrony[END_REF][START_REF] Nakatani | Precisely timed oculomotor and parietal EEG activity in perceptual switching[END_REF][23][24] that occur in the frontal, central, and parietal regions of the brain. We speculate that low frequency oscillations will be synchronized during distracted driving as well. This is because most sources of distraction comprise two or more types of distraction [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF].

Table 2.1 Summary of brain activity during task switching.

References Remarks [19][START_REF] Nakatani | Transient synchrony of distant brain areas and perceptual switching in ambiguous figures[END_REF][START_REF] Shimaoka | Transient process of cortical activity during Necker cube perception: from local clusters to global synchrony[END_REF][START_REF] Nakatani | Precisely timed oculomotor and parietal EEG activity in perceptual switching[END_REF] Some oscillatory EEG activity, especially delta band (around 4 Hz) activity, has been shown to correlate with perceptual switching.

[23]

The fronto-parietal delta-band oscillatory EEG coherence was suggested as an important component for general attentiondemanding cognition.

[24]

3-4 Hz spectral EEG power was modulated at fronto-central, parietal, and centro-parietal electrode sites during perceptual switching. (Dorsal Attention Network -DAN)

Dual Task Paradigm

In driving distraction research, dual-task paradigm is commonly used to approach the studies because this situation deals with two different activities. Dual task is a procedure in experimental (neuro)psychology that requires one to perform two tasks simultaneously, by comparing the performance with single-task conditions. This definition stems from the single-channel theory proposed by Welford [43] that suggests interference occurred in dual task paradigm when two task compete for the control of response-selection stage. This is due to the bottleneck that only allows one response process at a time, which is referred to restricted attentional capacity.

However, we must keep in mind that the concept of restricted attentional capacity occurs within the same sensory modalities, not between different sensory modalities [START_REF] Duncan | Restricted attentional capacity within but not between sensory modalities[END_REF]. For instance, driving which constantly requires sense of vision, needed to share its capacity with a secondary task that is visually demanding. As discussed in this section, this situation involves task switching process, a consistent engagement and disengagement from both activities. Walking with cognitive and motor interference task.

Alpha and beta significantly modulated in frontal and central region, indicate increase of cognitive workload.

[45]

Postural performance and visual working memory task.

Reduction in amplitude of ERP evoked by the postural perturbation.

[46]

Driving and distracted driving.

Power increases in theta and beta frequency band at frontal region. Suppression of alpha and beta power in motor area.

The following section discusses in detail the type of driving distraction and the sources based on the commonly performed driving distraction.

Definition of Visual Cognitive Distraction

Studies of driving distraction typically assess the effect of distraction that results from a single type of distraction. As classified by the NHTSA, these types of distraction include visual, cognitive, auditory, and physical/biomechanical distractions [START_REF] Thomas | NHTSA Driver Distraction Research: Past Present and Future[END_REF].

Visual distraction is defined as taking the eyes off the road, cognitive distraction as taking one's mind off the task of driving [START_REF] Engström | Effects of visual and cognitive distraction on lane change test performance[END_REF], auditory distraction as taking one's ears off of auditory driving cues, and physical distraction as taking one's hands off the wheel [1]. However, most defined source of secondary task induced by more than one type of distraction especially visual and cognitive. In this section, we discuss the connection of type and sources of distraction as well as defining the term "visual cognitive distraction" which will be used henceforth.

Several other common secondary tasks that drivers tend to perform are also considered to be sources of distraction. A review by Young and colleagues [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF] has classified sources of distraction into three categories: (1) technology-based, (2) nontechnology based, and (3) external-to-vehicle. Technology based distraction includes the usage of in-vehicle communication systems such as talking on mobile phones (hands free or not), texting, emailing, or searching for an address using the GPS. Using mobile phones requires attention to visual, cognitive, and physical functional processes. Because of its complexity and importance, many researchers are focusing on this issue from different perspectives [START_REF] Márquez | Mobile phone use while driving: A hybrid modeling approach[END_REF]. Non-technology-based distractions include, but are not limited to, talking to passengers, eating, drinking, smoking, or trying to become unlost, which actually causes more than one type of distraction. For instance, trying to determine where one is looking for important cues (e.g., street signs, landmarks, etc.), they might take their eyes off the road to examine the surrounding area (visual distraction). At the same time, cognitive skills are required to compare this to any remembered information related to the desired location and then plan the next action (cognitive distraction). This increases the load on the main cognitive task: driving.

External-to-vehicle distraction involves visual and cognitive capacity during driving. Looking at events, people, billboards, or car crashes while driving are classified in this category. Attending to salient stimuli such as pedestrians crossing the road is important; however, even this could be a distraction if the driver is not aware of that the car in front of him has put on an emergency brake. Another example that fall into this category comes from a study on distraction caused by commercial electronic variable message signs (CEVMS). The study concludes that these signs attract more and longer glances than regular traffic signs [START_REF] Dukic | Effects of electronic billboards on driver distraction[END_REF]. This attracts visual attention and may use cognitive resources in order to understand the message being displayed.

Thus, the sources of driving distraction are less likely to be best represented by a single distraction type. Rather, a combination of two or more distraction types or phenomena can capture a more realistic situation. Most technology-based tasks commonly require both visual and cognitive effort [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF]. This is also the case for the other categories of distraction source; non-technological based and external from vehicle. Therefore, in this thesis visual cognitive distraction is defined as a secondary task that requires both visual and cognitive capacity as illustrated in

Situation Awareness

The commonly acceptable cause of driving distraction was due to the limited capacity of attention. In a case where there is a commonality on the sensory modality used for both driving and secondary task, i.e. visual, a driver needs to engage in frequent perceptual switching when distracted. This limitation directly affects the driver's situational awareness. Perceptual switching (i.e., the selection stage of the attentional mechanism) makes it possible for drivers to perceive their surroundings, even though attention itself allows them to focus on something else at the same time [START_REF] Mack | Inattentional blindness[END_REF]. Because environmental stimuli and task state changes constantly, drivers are required to continuously make decisions. Considering this fact, situational awareness can be severely affected when distraction by a competing task leads to the failure to notice important stimuli.

Endsley [START_REF] Endsley | Toward a Theory of Situation Awareness in Dynamic Systems[END_REF] introduced a model of situational awareness in a dynamic system that can ideally describe the effect of failing to notice an important stimulus because of the limited capacity for attention. According to the model, there are three levels of situational awareness.

• The first: "the perception of the elements in the environment within a volume of time and space",

• The second: "the comprehension of their meaning" and,

• The third: "the projection of their status in future."

Decisions can be made and actions can be performed once each of these levels has been achieved. However, failure to notice an important stimulus at the first level will certainly affect correct comprehension of the current situation and projection into the future, leading to errors in decision-making, and eventually causing an accident.

Although driving can be considered part of procedural memory to an experienced driver, being aware of the current situation is always necessary so that one can adapt to a changing environment. Procedural memory is a type of memory that becomes more efficient as practice of skills continues and actions can be performed automatically with little conscious thought or recall [START_REF] Sousa | How the brain learns[END_REF]. Studies [START_REF] Lee | Detection of Road Hazards by Novice Teen and Experienced Adult Drivers[END_REF][START_REF] Klauer | Distracted driving and risk of road crashes among novice and experienced drivers[END_REF] have shown that experienced drivers observe hazards and demonstrate overt recognition of hazards more frequently than teen drivers. Additionally, a large portion of teen drivers fail to disengage from competing tasks in the presence of hazards. However, this efficiency does not apply to all ages of experienced drivers. Age-related declines in cognition may have detrimental effects on the ability of older adults to complete everyday tasks.

Consequently, their situational awareness is lower when compared with that of younger and middle-aged adults [START_REF] Bolstad | Situation awareness: does it change with age?[END_REF][START_REF] Caserta | The relevance of situation awareness in older adults' cognitive functioning: a review[END_REF]. Therefore, we can infer that situational awareness and driving experience are the primary two elements that influence distraction levels when driving.

Distraction Measurement Methods

There is a limitation to how well we can perform multiple tasks simultaneously [START_REF] Kahneman | Attention and effort[END_REF],

without performance on all tasks being degraded [START_REF] Gazes | Performance degradation and altered cerebral activation during dual performance: Evidence for a bottom-up attentional system[END_REF][START_REF] Miller | Bimanual response grouping in dual-task paradigms[END_REF][START_REF] Strayer | Driven to distraction: dual-Task studies of simulated driving and conversing on a cellular telephone[END_REF][START_REF] Herath | Neural correlates of dual task interference can be dissociated from those of divided attention: an fMRI study[END_REF][START_REF] Brown | Attentional resources in timing: interference effects in concurrent temporal and nontemporal working memory tasks[END_REF][START_REF] Karlin | Effects of number of alternatives on the psychological refractory period[END_REF]. Therefore, attending to a competing task while driving is a distraction that degrades one's driving performance and affects one's safe driving behaviour. This section discusses five methods for measuring visual and cognitive driving distraction, and how they can contribute towards detecting distractions. The five common measurements of driving distraction are: (a) driving performance measures, (b) physical measures of the driver, (c) biological measures of the driver, (d) subjective reports, and (d) hybrid measures [START_REF] Yanchao | Driver Inattention Monitoring System for Intelligent Vehicles: A Review[END_REF].

Driving Performance Measures

Measures of driving performance quantitatively measure driving behaviour and are mostly used to investigate the effects of distraction. Common measures of driving performance for this purpose are speed, lateral control, and reaction time.

i. Visual Distraction a) Speed: Drivers generally slow down when distracted by a visual stimulus [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF][START_REF] Horberry | Driver distraction: The effects of concurrent in-vehicle tasks, road environment complexity and age on driving performance[END_REF][START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF]. This can be explained as a compensatory mechanism for the perceived risk, which can be lessened through reduced speed. However, findings by Young [START_REF] Young | Distraction-induced driving error: An on-road examination of the errors made by distracted and undistracted drivers[END_REF] contradict those from previous research. In her study, increased speed was not only evident in the higher mean speed, but also in the significant number of speed violations made when distracted. She speculated that the inconsistencies were because the noise in the vehicle was very low and drivers tended to monitor the speedometer less than usual. b) Lateral Control: Generally, visual distraction impairs lateral control because the driver needs to compensate for errors made when taking the eyes off the road, which leads to larger deviations in lane positioning. This has been proven in several studies that reported increased lane-position variability [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF][START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF]. Steering control is also reported to be less smooth than in normal driving [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF]. However, Young [START_REF] Young | Distraction-induced driving error: An on-road examination of the errors made by distracted and undistracted drivers[END_REF] [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF] and Caird et al. [START_REF] Caird | A meta-analysis of the effects of cell phones on driver performance[END_REF] reported that cognitive distraction did not have any effect on speed. However, Rakauskas et al. [START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF] showed a decreased mean speed because of high-level workloads. In contrast, Tornros and Bolling [START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF] and Recarte and Nunes [START_REF] Recarte | Effects of verbal and spatial-imagery tasks on eye fixations while driving[END_REF] found that cognitive distraction leads to increased speed because attention is required to maintain a constant speed. They argued that distraction prevents drivers from regularly checking the speedometer, which raises the tendency to increase or decreased speed. Evidently, these responses depend on one's driving habit [START_REF] Pohl | A driver-distraction-based lane-keeping assistance system[END_REF]. b) Lateral Control: Studies have shown that cognitive distraction has a very small effect and no significant influence on lane deviation [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF][START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF][START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF]. c) Reaction Time: Studies on reaction time during cognitive distraction unanimously report that reaction time increases during distraction [START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF][START_REF] Strayer | Measuring cognitive distraction in the automobile[END_REF][START_REF] Patten | Using mobile telephones: cognitive workload and attention resource allocation[END_REF][START_REF] Chan | The emotional side of cognitive distraction: Implications for road safety[END_REF]. Some studies have also shown that miss rates increase [START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF][START_REF] Patten | Using mobile telephones: cognitive workload and attention resource allocation[END_REF].

Table 2.3 Summary of the effects that visual and cognitive distraction have on driving performance.

Type of Distraction / Performance Measure

Visual Distraction Cognitive Distraction Remarks

Speed

• Reduce speed [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF][START_REF] Horberry | Driver distraction: The effects of concurrent in-vehicle tasks, road environment complexity and age on driving performance[END_REF][START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF]. • Increased speed [START_REF] Young | Distraction-induced driving error: An on-road examination of the errors made by distracted and undistracted drivers[END_REF].

• Reduce speed [START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF].

• No effect on speed [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF][START_REF] Caird | A meta-analysis of the effects of cell phones on driver performance[END_REF]. • Increased speed [START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF][START_REF] Recarte | Effects of verbal and spatial-imagery tasks on eye fixations while driving[END_REF].

Mixed responses

Lateral Control

• Increased lane position variability [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF][START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF]. • *No significant differences [START_REF] Young | Distraction-induced driving error: An on-road examination of the errors made by distracted and undistracted drivers[END_REF].

Very small deviation to no significant influence of lane deviation [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF][START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF][START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF].

Distinctive response between distraction type (excluding the biased response*)

Reaction Time

There is no current report that relate visual distraction with reaction time.

• Increased during distraction [START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF][START_REF] Strayer | Measuring cognitive distraction in the automobile[END_REF][START_REF] Patten | Using mobile telephones: cognitive workload and attention resource allocation[END_REF][START_REF] Chan | The emotional side of cognitive distraction: Implications for road safety[END_REF]. • Increased miss rate [START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF][START_REF] Patten | Using mobile telephones: cognitive workload and attention resource allocation[END_REF] Table 2.2 summarizes the effects of visual and cognitive distraction as described above. The advantages of using driving-performance measures to compare the effects of visual and cognitive distraction is that the two distraction types induce different responses except for speed, which shows mixed responses. However, inferential detection is not an effective technique for detecting distraction because other factors such as bad driving habits could affect the responses, and lead to false-positive detection.

A study by Liang and colleague [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF] observed that combined visual and cognitive distraction resulted in fewer performance errors than did visual or cognitive distraction alone. For example, visual distraction resulted in the highest lane deviation error, followed by visual cognitive distraction and then cognitive distraction. This result indicates the possibility of false-negative detection for both visual cognitive and cognitive distraction. Thus, measures of driving performance do not detect cognitive or visual cognitive distraction very well, despite being excellent tools for investigating the effect of distractions.

Physical Measures

Physical measures of the driver are also commonly used for distraction detection. Pohl and colleagues [START_REF] Pohl | A driver-distraction-based lane-keeping assistance system[END_REF] have used head-position and head-pose (the main direction of driver's head) information to model and detect visual distraction. However, they reported that this method has a high potential for false positives. This is because, even if a driver's head is tilted to the side, his eyes could still be looking on the road. The authors acknowledged the importance of eye movements for detecting distraction, and the need for a higher performance eye-tracking device.

An improvement was adopted by Kircher and colleagues [START_REF] Kircher | Comparison of two eye-gaze based realtime driver distraction detection algorithms in a small-scale field operational test[END_REF] by using the "percent road center (PRC)" of gaze direction, which was analysed over a 1-min epoch. They classified a cognitive distraction as having a PRC larger than 92%, while visual distraction results in a PRC below 58%. Although their method is suitable for offline processing, a 1-min time delay is too long for real-time detection.

Hirayama and colleagues [START_REF] Hirayama | Analysis of Temporal Relationships between Eye Gaze and Peripheral Vehicle Behavior for Detecting Driver Distraction[END_REF] have adopted gaze duration as a detection feature and have reported a correlation between visual distraction and driving performance.

This observation is further confirmed by a study [START_REF] Yang | Driver Workload Detection in On-Road Driving Environment Using Machine Learning[END_REF] reporting that accuracy of detection using eye-movement data alone is almost identical to that using both driving performance and eye-movement data.

Based on the latest findings, we can conclude that eye-movement features give a good indication of visual and cognitive distraction. Drivers can be said to be distracted when they exhibit frequent fixation and/or longer fixation durations towards a competing task, commonly known as visual distraction. In contrast, longer fixation duration at the same location (either towards a competing task, in the view of the road or in the peripheral field of view) indicates cognitive distraction. Although distraction detection has been shown to correlate with driving performance, a combined effect of visual cognitive distraction has only been reported once in a similar study using driving performance [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF]. The results indicated that fixation frequency and duration during visual cognitive distraction were lower than under visual distraction alone, and higher than under cognitive distraction alone.

However, for driving to be considered safe, an optimal fixation frequency and duration is required for adequate situational awareness. Therefore, visual and cognitive distraction can be discriminated using eye-movement features if and only if the optimal fixation frequency pattern is identified for each driver.

Biological Measures

Biological measures such as heart rate information, skin conductance, and electroencephalogram (EEG) have also been used to detect driving distraction.

However, studies testing skin conductance and heart rate information showed only a weak relationship between these measures and distraction. Indeed, no significant relationship was found between skin conductance [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF] or heart rate [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF][START_REF] Gabaude | Human Factors: a view from an integrative perspective[END_REF] and driver distraction. Although one study [START_REF] Healey | Detecting stress during real-world driving tasks using physiological sensors[END_REF] has reported a potential correlation, that experiment was designed to determine the relationship between stress and distraction.

As we have defined distraction as related to shifting attention (not stress level), further discussion in this section will focus on EEG. Table 2.3 summarizes findings in the literature regarding how EEG functions in detecting driving distraction.

Generally, EEG is used to measure frontal cortex workload [START_REF] Wang | EEG-Based Attention Tracking During Distracted Driving[END_REF][START_REF] Sonnleitner | EEG alpha spindles and prolonged brake reaction times during auditory distraction in an on-road driving study[END_REF][START_REF] Dahal | TVAR modeling of EEG to detect audio distraction during simulated driving[END_REF][START_REF] Almahasneh | Deep in thought while driving: An EEG study on drivers' cognitive distraction[END_REF][START_REF] Lin | Spatial and temporal EEG dynamics of dual-task driving performance[END_REF][START_REF] Wali | Wavelet Packet Transform Based Driver Distraction Level Classification Using EEG[END_REF]. For this reason, most distractor stimuli used in the literature are in the form of cognitive distraction such as mathematical equations or auditory tasks. Driving performance measures (lateral control and reaction time) were also used in some studies to validate the EEG findings. The most common pre-processing method was independent component analysis (ICA) and feature-extraction methods were a mixture of spectral features, time-frequency analysis, and event related potential (ERP). as the indicator, theta and alpha power increase [START_REF] Almahasneh | Deep in thought while driving: An EEG study on drivers' cognitive distraction[END_REF] and theta and beta power [START_REF] Lin | Spatial and temporal EEG dynamics of dual-task driving performance[END_REF] increases were reported in separate studies. EEG was not reported to detect visual distraction. However, we hypothesize that visual cognitive distraction may be detectable if we use perceptual switching as the indicator.

Subjective Performance Measures

Subjective measurement is typically used to obtain participant feedback regarding experience or mental workload when driving. The result of this feedback can then be compared to the driving-performance measures. Researchers have found that participants score highly on driving-performance measures despite giving themselves a low subjective evaluation [START_REF] Recarte | Effects of verbal and spatial-imagery tasks on eye fixations while driving[END_REF][START_REF] Cuenen | Does attention capacity moderate the effect of driver distraction in older drivers?[END_REF]. Their awareness of the risks of performing secondary tasks might have influenced their willingness to engage in the distracting tasks [START_REF] Cuenen | Does attention capacity moderate the effect of driver distraction in older drivers?[END_REF] or otherwise compensated for their driving behaviour. For instance, while there are drivers who tended to reduce the speed of their vehicle while performing secondary tasks [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF][START_REF] Horberry | Driver distraction: The effects of concurrent in-vehicle tasks, road environment complexity and age on driving performance[END_REF][START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF], other studies have reported increased vehicle speed during distraction due to lack of attention to the speedometer [START_REF] Young | Distraction-induced driving error: An on-road examination of the errors made by distracted and undistracted drivers[END_REF][START_REF] Recarte | Effects of verbal and spatial-imagery tasks on eye fixations while driving[END_REF]. Combining performance data and subjective measures might succeed in determining the effects of between-subject variability.

Subjective measures also give an overview of the driver's perspective regarding their strategic control as discussed in Regan et al. [2]. The authors state that the strategic decision to engage in a distracting situation depends on the driving culture and associated social perspective concerning acceptable driving behaviour.

Consequently, realizing the potential risk of distraction is not itself sufficient in preventing accidents due to distraction. Educating drivers on their capability, as well as the potential risks associated with it, might impress drivers to behave more responsibly with respect to safe driving.

There are several ways adopted by researchers to obtain subjective measures. The NASA Task Load Index (TLX) [START_REF] Hart | Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research[END_REF][START_REF] Hart | Nasa-Task Load Index (NASA-TLX); 20 Years Later[END_REF] is a standard subjective measure of workload which is commonly used in driving distraction studies [START_REF] Young | Distraction-induced driving error: An on-road examination of the errors made by distracted and undistracted drivers[END_REF][START_REF] Strayer | Measuring cognitive distraction in the automobile[END_REF][START_REF] Cuenen | Does attention capacity moderate the effect of driver distraction in older drivers?[END_REF][START_REF] Alm | The effects of a mobile telephone task on driver behaviour in a car following situation[END_REF]. It consists of six standard questions on a 10-point Likert-like scale ranging from 'very good' [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF] to The Rating Scale of Mental Effort (RSME) is another method used to capture selfreported perceptions of mental workload [START_REF] Törnros | Mobile phone use-Effects of handheld and handsfree phones on driving performance[END_REF][START_REF] Rakauskas | Effects of naturalistic cell phone conversations on driving performance[END_REF]. Similar to NASA-TLX, the responses can be captured only at the end of the experiment. In contrast, the Driver Verbal Protocol is a method that engages the subject while they are carrying out a task [START_REF] Young | Distraction-induced driving error: An on-road examination of the errors made by distracted and undistracted drivers[END_REF][START_REF] Young | Missing links? The effects of distraction on driver situation awareness[END_REF][START_REF] Young | Drivers' visual scanning and head check behavior on approach to urban rail level crossings[END_REF]. This way, researchers are able to identify the underlying physiological mechanism related to the event as they collect and analyse verbal data about cognitive processing.

Other studies have obtained subjective report measures tailored to their experiment. For instance, in one experiment [START_REF] Swedler | Understanding commercial truck drivers' decision-makin process concerning distracted driving[END_REF], authors administered interviews to elicit more details about how the driver would react to and interact with various potential distractions, which were later compared with quantitative performance measures. In general, subjective report measures are typically used to complement the objective measures of driving performance in order to get coherent relationships between experimental measurements and causal factors associated with participant behaviour.

Hybrid Measures

Realizing that each of the methods mentioned above has a drawback with respect to certain types of distraction, researchers have begun fusing the methods to create hybrid measures. Most studies listed here utilized hybrid measures with driving performance and physical measures by fusing the responses using machine-learning methods.

Liang and Lee [START_REF] Liang | A hybrid Bayesian Network approach to detect driver cognitive distraction[END_REF] used a Bayesian network to detect distraction based on driving performance (lateral control and the steering wheel) and physical measures (eyefixation duration, location, and blink frequency). In another study, Weller and Schlag [START_REF] Weller | A robust method to detect driver distraction[END_REF] used longitudinal deceleration, lateral acceleration, and speed as driving performance measures, and the same physical measures as Liang and Lee [START_REF] Liang | A hybrid Bayesian Network approach to detect driver cognitive distraction[END_REF]. A support vector machine with an accuracy of 81.1% was used by Liang and colleagues to detect distraction using information from the steering wheel, lateral control, eye fixations, and saccades [START_REF] Liang | Real-time detection of driver cognitive distraction using support vector machines[END_REF].

A study by Miyaji et al. [START_REF] Miyaji | Driver's cognitive distraction detection using physiological features by the adaboost[END_REF] was the only study that used biological measures such as heart rate, and physical measures such as eye gaze, head orientation, and pupil diameter. The study compared detection technique between two machine learning algorithms: a support vector machine and adaptive boosting (Adaboost). They reported an accuracy of 91.7% and 93%, respectively. Even so, both methods were reported as more accurate than other driving-performance measures. Table 2.4 summarizes the hybrid measures for detecting driver distraction.

Based on our knowledge of the limitations inherent in the measures mentioned above, hybrid measures may indeed increase the robustness and accuracy of detection algorithms.

Summary of Driving Distraction Measures

We have discussed each of the five types of measures and recognized its strengths and limitations. Each distraction source can be detected by one or more methods. A potential limitation of these measures is the difficulty to synchronize the data from multiple sources to be used for analysis. This challenge must be addressed and verified at the data acquisition and pre-processing stage before decision are made based on any detection methods.

Most research in distraction detection focuses on the discrimination between distracted and normal driving. However, sources of distraction can be introduced at varying levels of complexity. For instance, deciphering a GPS map is likely to be more confusing than reading a simple signboard despite both activities being regarded as competing tasks. Some distractions, such as reading signboard and looking at the GPS, are necessary for driving. However, the distraction level will vary in accordance with the source complexity. Because of distraction levels vary, their effects are predicted to be varied as well. Thus, there is a need to investigate and be mindful of the effects that different levels of distraction have on driving performance to achieve a robust detection method. where the recording electrode are placed [START_REF] Nunez | Electric fields of the brain: the neurophysics of EEG[END_REF]. Each electrode collects at a minimum, an estimated 6cm 2 synchronous cortical activity. The majority of the electrical activity collected in the EEG is generated by groups of pyramidal neurons [START_REF] Britton | Electroencephalography (EEG): An introductory text and atlas of normal and abnormal findings in adults, children, and infants[END_REF].

Brain function and dynamics

As illustrated in figure 2.5, the human cerebral cortex is divided into left and right hemispheres. Both hemispheres consist of distinct fissures, which divides the brain into four main lobes namely, frontal, parietal, occipital and temporal which serves very specific function. Nonetheless, there are very complex relationship between these regions, and it is important to note that they do not function in-silo. Frontal lobes that encompasses two-third of the brain, are involved in problem solving, impulse control, executive function (capacity to plan, organise, initiate and response control) [START_REF] Miyake | The unity and diversity of executive functions and their contributions to complex "frontal lobe" tasks: A latent variable analysis[END_REF][START_REF] Stuss | Executive functions and the frontal lobes: a conceptual view[END_REF][START_REF] Stuss | Functions of the frontal lobes: relation to executive functions[END_REF] and motor function (mostly at central sulcus) [START_REF] Salenius | Synchronous cortical oscillatory activity during motor action[END_REF]. There is no other parts of the brain where lesions can cause such a wide variety of symptoms like the frontal lobe [START_REF] Kolb | Fundamentals of human neuropsychology[END_REF]. Parietal lobe involves with sensation, perception and integration of sensory input, primarily with the visual system [START_REF] Kandel | Principles of neural science[END_REF]. Occipital lobe functionally dedicated to visual processing [START_REF] Galetta | Occipital Lobe☆[END_REF] while temporal lobe involves in perceptual processing of auditory signals, visual information processing, memory and retrieval of the semantic knowledge of objects [START_REF] Tanaka | Temporal Lobe[END_REF]. Due to the vast function of the brain, a 10-20 system [START_REF] Homan | Cerebral location of international 10-20 system electrode placement[END_REF], an internationally recognized method to describe and apply the location of scalp EEG electrode, is adopted in EEG research in order to standardize EEG interpretation. Each electrode is labelled with a letter and a number as illustrated in figure 2.6. The letters C, F, P, T and O represents central sulcus, frontal, parietal, temporal and occipital lobe. The even number denotes right hemisphere, odd number denotes left hemisphere and 'z' denotes electrodes at the midline of the scalp.

EEG is known for its high temporal resolution [START_REF] Burle | Spatial and temporal resolutions of EEG: Is it really black and white? A scalp current density view[END_REF] that incite the exploration of brain dynamics. Apart from the study of epilepsy, the study on alteration of dynamical pattern of electrical activity, such as the changes occurs during sleep [START_REF] Feinberg | EEG sleep patterns as a function of normal and pathological aging in man[END_REF][START_REF] Cicchetti | A new procedure for assessing reliability of scoring EEG sleep recordings[END_REF],

performing a task, addiction [START_REF] De Ridder | The brain, obesity and addiction: an EEG neuroimaging study[END_REF][START_REF] -H. Ieong | Resting-State Neuroimaging and Neuropsychological Findings in Opioid Use Disorder during Abstinence: A Review[END_REF][START_REF] Tófoli | Chapter Seven -Treating Addiction: Perspectives from EEG and Imaging Studies on Psychedelics[END_REF] and etc., unravel the mysteries of underlying mechanism of subjective awareness [START_REF] Mitra | Observed brain dynamics[END_REF]. [START_REF] Subha | EEG signal analysis: a survey[END_REF]. In general, the techniques can be defined in 3 categories; time domain, frequency domain, time-frequency domain. Figure below listed some of the technique used to study EEG [START_REF] Motamedi-Fakhr | Signal processing techniques applied to human sleep EEG signals-A review[END_REF][START_REF] Al-Fahoum | Methods of EEG Signal Features Extraction Using Linear Analysis in Frequency and Time-Frequency Domains[END_REF]. We selected and discuss some of the common approach of EEG feature extraction.

Event Related Potential (ERP)

ERP is also known as time-locked EEG activity where multiple EEG trials were averaged, typically between 100 milliseconds before an evoked stimulus and 500 milliseconds after the evoked stimulus. The summation will yield very small voltages generated in the brain structures in response to the stimuli [START_REF] Blackwood | Cognitive brain potentials and their application[END_REF] while the random brain activity or otherwise known as noise will be averaged out. Figure 2.9 illustrates a typical ERP waveform. The waveforms are described according to latency and amplitude of the identified peak. Review on the connotation of each identified peak can be found in these paper [START_REF] Sur | Event-related potential: An overview[END_REF][START_REF] Beres | Time is of the Essence: A Review of Electroencephalography (EEG) and Event-Related Brain Potentials (ERPs) in Language Research[END_REF]. Despite being the mostly used method in a controlled-experimental study of EEG, the interpretation of ERPs is less clear and requires much more inferences [START_REF] Beres | Time is of the Essence: A Review of Electroencephalography (EEG) and Event-Related Brain Potentials (ERPs) in Language Research[END_REF]. In most cases, we do not know the specific biophysical events that underlie the production of a given ERP response or the consequences of those events for information processing [START_REF] Luck | An introduction to the event-related potential technique[END_REF].

Sample Entropy (SampEn)

SampEn is a statistics introduced by Richman and Moorman to reduce the bias of Approximate Entropy (ApEn) [START_REF] Richman | Physiological time-series analysis using approximate entropy and sample entropy[END_REF]. It is the negative natural logarithm of the conditional probability that two sequences similar for m points remain similar at the next points. Self-matching is not included in calculation of the probability, thus, reducing the bias of ApEn with justification that entropy is conceived as a measure of rate of information production, therefore comparing data with themselves is Therefore, a lower SampEn indicates that the data is more self-similar or less complex while a higher value indicates otherwise. SampEn has shown to be able to estimate the depth of anaesthesia during surgeries [START_REF] Liu | Sample entropy analysis for the estimating depth of anaesthesia through human EEG signal at different levels of unconsciousness during surgeries[END_REF][START_REF] Jiang | Sample Entropy Analysis of EEG Signals via Artificial Neural Networks to Model Patients' Consciousness Level Based on Anesthesiologists Experience[END_REF], discrimination of epileptic and alcoholic dataset with control dataset [START_REF] Kumar | Features extraction of EEG signals using approximate and sample entropy[END_REF].

Fast Fourier Transform (FFT)

FFT is an efficient algorithm for computation of Discrete Fourier Transform (DFT) introduced by Cooley and Tukey [START_REF] Cooley | An algorithm for the machine calculation of complex Fourier series[END_REF]. It reduces the number of computations needed for N points from 2N 2 to 2N log2 N.

DFT can be computed using the 'fft' function in MATLAB. The DFT of a sequence

{x[0] , x[1] , … , x[N-1]
} is based on the following equation [START_REF] Bailey | A fast method for the numerical evaluation of continuous Fourier and Laplace transforms[END_REF]:

𝐷𝐷𝐷𝐷𝐷𝐷(𝑓𝑓 𝑘𝑘 ) = �� 𝑥𝑥[𝑆𝑆] 𝑒𝑒 (-𝑗𝑗2𝜋𝜋𝑘𝑘/𝑁𝑁) 𝑁𝑁-1 𝑛𝑛=0 �
where 𝑓𝑓 𝑘𝑘 = 𝑘𝑘/𝑁𝑁 and k = 0,1,2, …, N-1.

For a stochastic signal, FFT can be a good tool for application with stationary signal.

However, once time became the factor of investigation, FFT could not reveal the localized spikes and complexes for a non-stationary signal, thus, would not be a suitable tool in this case.

EEG signal is typically being characterized by using frequency band such as delta (0.1-4 Hz), theta (4 -8 Hz), alpha (8-13 Hz), beta (13-30 Hz) and gamma (30 Hz and above). These signals are the summations of activities that happens at the neurons levels which is acquired at the scalp as illustrated in figure 2.4. Therefore, each frequency band signify the neuronal activity as the result of cortical oscillations.

𝑃𝑃𝑆𝑆𝐷𝐷(𝑓𝑓 𝑘𝑘 ) = 1 𝑁𝑁 �� 𝑥𝑥[𝑆𝑆] 𝑒𝑒 (-𝑗𝑗2𝜋𝜋𝑓𝑓 𝑘𝑘 ) 𝑁𝑁-1 𝑛𝑛=0 � 2
This method has been widely used due to its direct correlation with the neuronal activities in the brain [START_REF] Tudor | Hans berger (1873-1941) -The history of electroencephalography[END_REF].

Event

Coherence

Coherence is a measure of degree of similarity recorded at two signal sources. EEG coherence value describes the connectivity of brain network. The value ranges from 0 (out-of-phase) to 1 (in-phase) that indicates the strength of connectivity of specific locations in the brain that are networked together [START_REF] Srinivasan | EEG and MEG coherence: measures of functional connectivity at distinct spatial scales of neocortical dynamics[END_REF][START_REF] Bowyer | Coherence a measure of the brain networks: past and present[END_REF]. Figure below illustrates one of the applications of coherence. This is the regional characteristics of significant coherences changes in patients with traumatic brain injury before and after rehabilitation compared with healthy subject. In general , event related potential (ERP) [START_REF] Sur | Event-related potential: An overview[END_REF], event related spectral perturbation (ERSP) [START_REF] Pfurtscheller | Event-related EEG/MEG synchronization and desynchronization: basic principles[END_REF][START_REF] Makeig | Auditory event-related dynamics of the EEG spectrum and effects of exposure to tones[END_REF], power spectral density (PSD) and coherence are among the commonly used method to extract features in EEG research. Other methods such as largest Lyapunov exponent (LLE), Hurst exponent, fractal dimension, singular value decomposition (SVD) are also explored in multiple EEG applications [START_REF] Subha | EEG signal analysis: a survey[END_REF][START_REF] Li | Exploring EEG Features in Cross-Subject Emotion Recognition[END_REF]. In driving distraction detection research, the method reported is used to extract features are ERSP [START_REF] Lin | Spatial and temporal EEG dynamics of dual-task driving performance[END_REF], PSD [START_REF] Wang | EEG-Based Attention Tracking During Distracted Driving[END_REF][START_REF] Wali | Wavelet Packet Transform Based Driver Distraction Level Classification Using EEG[END_REF], SVD [START_REF] Almahasneh | Deep in thought while driving: An EEG study on drivers' cognitive distraction[END_REF] and coherence [START_REF] Almahasneh | EEG-based brain functional connectivity during distracted driving[END_REF].

Challenges in driving distraction research

EEG measurement involves multiple channels that could range from 8 up to 128 channels. In frequency domain analysis for instance, typically, five frequency bands (delta, theta, alpha, beta and gamma) were used for analysis. Therefore, EEG feature extraction will yield high-dimensional data.

However, as each brain region has its specialized function, only a subset of the features extracted are relevant to the investigated task [START_REF] Wang | Online prediction of driver distraction based on brain activity patterns[END_REF]. Thus, most researcher would pre-select the region or electrodes to be examined based on the principle that governs the task paradigm. Driving distraction has always been tied with the notion of cognitive workload that narrows the important scalp region to frontal lobe. These preselections are conforming to cognitive distraction. Table 2.7 summarizes the driving distraction detection reports which pre-select the region or channels as well as frequency band to be analysed in their study.

In the earlier section, we have reviewed that the sources of distraction constitute by more than one type of distraction. We hypothesize that a visual cognitive distraction would involve task switching paradigm on top of dual task paradigm, thus, involving brain region beyond frontal lobe. The challenge in detecting visual cognitive distraction using EEG measurement is selecting the appropriate region or channel that is related to the investigating secondary task in order to get a good classification performance because not all extracted features are informative. This is especially a crucial step in an online learning task for application that occurs instantaneously such as driving distraction in which it is extremely difficult to capture predictive pattern in a short period of time [START_REF] Wang | Online prediction of driver distraction based on brain activity patterns[END_REF]. a bias [START_REF] Duda | Pattern classification and scene analysis[END_REF]:

𝐷𝐷(𝑥𝑥) = 𝑤𝑤 • 𝑥𝑥 + 𝑐𝑐
where w is the weight vector, and c is a bias value.

RFE [START_REF] Kohavi | Wrappers for feature subset selection[END_REF] is an iterative procedure of backward feature elimination where features are removed one (or a few) at a time based on the feature ranking computed by the base classifier until a desired number of features to select is eventually reached. Finally, it selects the predicted output based on the most votes from the decision trees [START_REF] Breiman | Random forests[END_REF]. Figure 6.3 shows the working principle of Random Forest. The feature importance or feature ranking is computed by the proportion of samples reaching that node averaged over all trees of the ensemble, which is called "gini importance" or "mean decrease impurity" [START_REF] Breiman | Classification and regression trees. Brooks[END_REF].

Chapter Summary

This chapter begins with a discussion on the concept that governs driving distraction; attention, task-switching and dual task. The definition of visual cognitive driving distraction was highlighted in contrast to the taxonomy of driving distraction which were then explained from the perspective of situation awareness. Once the understanding of visual cognitive driving distraction was established, a review of stateof-the-art measurement and detection method were discussed, and its limitation and advantages were highlighted.

An introduction of EEG was briefly discussed followed by the description of commonly used feature extraction method and its application. After that, we discussed about the challenges on utilizing EEG for safety research. High-dimensional data of EEG is useful to certain extend, however, requires longer implementation time practically and the nature of how the brain works is that only a subset of those data is useful for detection of certain task. Therefore, it is imperative to adopt feature selection technique as part of visual cognitive driving distraction detection system. Finally, a review on feature selection method is discussed. In the first experiment, we measure the response from a modified controlled task; Distracted Stroop Test. Subjects are required to respond to multiple stimuli while their reaction time and EEG signal are measured. We make comparison between three sessions that differs by the way the stimuli are being represented. These differences are important for signifying the effects of different levels of cognitive load. In the distracted session, subject is required to do two task that is being introduced sequentially, therefore they are not be able to control switching process. Each stimuli represents a single instance of distraction that comprises of both dual task and task switching element.

Driving distraction happens in a split second, it is not a persisting condition such as stress or seizure. The stimuli evoked in this experiment, mimics the instantaneous distraction perfectly. Therefore, we approach the EEG analysis from time-frequency domain which allows us to examine the significant frequencies at a higher temporal resolution of that single distraction instance. We extract ERSP from PSD of CWT.

CWT is preferred for the analysis because STFT's fixed time resolution makes it unsuitable for non-stationary waveforms with both high and low frequency component [START_REF] Rodrigues | A survey of techniques applied to non-stationary waveforms in electrical power systems[END_REF]. We need to use two steps for statistical analysis because CWT yield a large amount of data from a single time point. In these cases, possible deviations from the assumptions on which the features extraction procedure relies may lead to severely biased results and, consequently, to incorrect functional inferences [START_REF] Di Nocera | Resampling approach to statistical inference: Bootstrapping from event-related potentials data[END_REF]. The two statistical analysis steps are; (a) bootstrapping with multiple comparison correction and (b) ANOVA (parametric) or Friedman Test (non-parametric) for the significant features obtained from step (a). The idea of bootstrapping is to make inferences using the data at hand, avoiding making assumptions about the underlying distribution, observations are coming from by sampling with replacement of the data. The details of the experimental protocol and analysis are explained in detail in chapter 4.

Experiment 2: Distracted Driving Test

In the second experiment, subject's response was measured during driving and while performing a modified GPS task. The task consists of two levels, easy and hard.

The validation measurement adopted are reaction time on single task (mathematical equation), driving performance, eye tracking, NASA-TLX and SSQ. The reaction time on a single task were used for validation to ensure that these questions inflict different levels of cognitive workload. The time taken to complete the task during driving were not taken as validation measurement because time depends on the vehicle speed which is fully controlled by the driver. In order to ensure that the experiment remains ecological (as close to real driving), we did not make any restriction on the maximum speed on the driving simulator system, however, speed limit road signs were placed at appropriate location within the scenario. Therefore, the variability on the time taken to complete the task in the experiment is highly influenced by subject's driving habit which makes it unsuitable to make a direct inference to cognitive workload. Thus, NASA-TLX were used to gauge participant's perception of the task workload. NASA-TLX is preferable in this experiment compared to RSME, Drivers Verbal Protocol or any other tailored questionnaire because the questions covers specifically mental workload that has been validated and widely used in research.

In this experiment, we define the distraction state from the beginning of the stimuli until the end of the stimuli. Within this period, we assume that subject had to constantly switch between distracted task and driving, as they are required to complete the task in order to know the next course of action. This is the period in which the process of engaging and disengaging occurs as described by Lee [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF] as it contains multiple instances of switching between two task; driving and modified GPS task. We used driver performance and eye tracking as a validation measure for this period. distracted with easy question and (d) distracted with hard question, therefore, we are fixing the observation period, hence assume these epochs to be stationary. FFT is selected as the feature extraction method because it is a good tool for stationary signal [START_REF] Al-Fahoum | Methods of EEG Signal Features Extraction Using Linear Analysis in Frequency and Time-Frequency Domains[END_REF] and most literature on task switching, dual task paradigm and driving distraction are discussing the outcome in frequency domain parameter, for example, delta (0.1-4 Hz), theta (4 -8 Hz), alpha (8-13 Hz), beta (13-30 Hz) and gamma (30 Hz and above).

By using similar observation parameter (frequency domain), reference made to the previous literature will be consistent. The statistical analysis approach adopted for each measurement (both validation and investigation method) are explained in detail in chapter 5. Table 3.1 listed the summary of important information regarding experiment 1 and 2.

The second research question is raised based on the implementation issue of designing a classification system to detect visual cognitive driving distraction. As mentioned in chapter 2, EEG feature extraction yield a large amount of data, however, the nature of how the brain works is that only a subset of those data is useful for detection of certain task. The subset of data could varies depending on the underlying mechanism that governs the detecting task. For this thesis we focus on visual cognitive distraction task and the question raised is, which of the EEG features should be used for classification? In order to answer this research question, we design a classification system that incorporates feature selection method within the algorithm. In this experiment, we compare the classification performance between dataset that comprises of all features, pre-select features, SVM-RFE selected features and Random Forest selected features. SVM-RFE and Random Forest was chosen as the machine learning feature selection method is because of its ability to rank the important features, thereby, obtain the optimal subset of features for the best accuracy.

As we learned from experiment 1 and experiment 2, the same frequency band are significant at two different regions. This suggest that the neuronal activity at both locations is functionally related. Therefore, we propose the feature extracted from EEG signal are ERSP of PSD of FFT and coherence value. These measures will cover both local oscillation and brain connectivity.

There are two steps of evaluation in this experiment. First, we measure the similarity of the features in the 4 groups. We used Jaccard Index as this a classical similarity measure between two subsets. This way we could examine how many features are critical for classification and which features commonly selected by all groups. The second evaluation is the performance of the classifier. Typically, measure of accuracy is the most intuitive performance measure because it is simply a ratio of correctly predicted observation to the total observations. However, the dataset used in this experiment is imbalance in which one class has more observation than the other.

Therefore, F1-score were used as the evaluation of classification performance because it considers the false positive and false negatives. We also evaluate the time taken for the classifier to train and predict the classification because as the dataset grows, it will severely affect the desired performance. The Stroop task [START_REF] Stroop | Studies of interference in serial verbal reactions[END_REF] is among the most frequently used conflict control tasks in cognitive psychology, clinical neuropsychology, and cognitive neuroscience to study the interference [START_REF] Schack | Instantaneous EEG coherence analysis during the Stroop task[END_REF][START_REF] Nombela | Alpha-Theta Effects Associated with Ageing during the Stroop Test[END_REF][START_REF] Macleod | Interdimensional interference in the Stroop effect: uncovering the cognitive and neural anatomy of attention[END_REF][START_REF] Levin | Conflict components of the Stroop effect and their "control[END_REF][START_REF] Dalrymple-Alford | Examination of some aspects of the Stroop color-word test[END_REF]. In the Stroop task, naming the colors of the word that was written in different color (RED printed in green; say green) is called incongruent condition, delayed the subject response. Compared to naming the colors of the word that was written with the same color (RED printed in red; say red) which being called as congruent, the delay in responding is an evidence of interference in automaticity [START_REF] Macleod | Interdimensional interference in the Stroop effect: uncovering the cognitive and neural anatomy of attention[END_REF].

In this study, Stroop Test was adopted as the cognitive demanding task as this test will allow us to identify the effects of task complexity(distraction) on the reaction time.

Experimental Design

A. Participants

A total of 14 subjects (13 male and 1 female, all righthanded; mean age 24.43 ± 3.52 years, had normal or corrected-to-normal vision) participated in this study. For EEG data, 4 subjects were excluded from the analysis due to noisy data. The recruitment process involved inclusion and exclusion criteria. Subjects were excluded from the study if they had a history of any head injury or trauma, suffered from frequent headaches, or on any medication. They were also tested for colour blind; all the selected participants reported that they can clearly differentiate colours. Hence, all efforts were made to select healthy individuals for participation in this study and participants gave their consent to be involved in this study in accordance to the Helsinki Declaration.

B. Experimental Protocol

Subjects were given the description of the study a day earlier to read on the purpose and procedure of the experiment. Once agreed, a briefing was performed to ensure clarity of the task and the subject was asked to perform an online eye color test. Only subjects with normal vision could continue with the experiment. The experiment required subjects to perform four Stroop test sessions; (i) a repeated congruent trial, (ii) a repeated incongruent trial, (iii) a randomized mix of congruent and incongruent trial and (iv) a replication of session (iii) with the fixation being replaced with a secondary task, a word search puzzle. In this study, the definition of "complexity" is the way the stimuli are being introduced in each session (i.e.: repeated, randomized and randomized & distracted) while "type" is being used to define the congruent and incongruent stimuli. The sequence of the sessions was randomized for each subject. Subjects were required to respond the colour of the word to the corresponding keyboard key that was labelled with colour sticker (Figure 4.2). The colours involved in this test were green, black, blue, red and yellow. Each stimuli was introduced after 2 seconds of fixation or word search puzzle.

Figure 4.2 The colour labelling on the keyboard

All words and search puzzles were designed based on the native language of the subjects (Spanish and French). There were two types of word puzzle (animals and fruits) for both languages which appear at random. This will prevent the subject from memorizing the puzzle. No feedback on test results were provided to the subjects. The participants could try out the Stroop test and familiarize with user interface and response mechanism. However, only 30 seconds was allowed for practice session to avoid learning factor that could interfere with the experiment result. Appendix B is the briefing pack and consent form provided to the participants and appendix C is the checklist to be used as guideline to the researcher during the experiment.

C. Experimental Setup

The subjects were asked to sit comfortably to perform the test on a DELL Inspiron™ 14R laptop with 15.5cm x 30.5cm screen display.

Analysis Approach

The objective of this study is to evaluate the effect of distraction on a cognitive task, Stroop Test and identify the corresponding EEG synchronization. There were two types of data recorded, behavioural data and EEG data. The data collected were dissected, labelled and analysed by the following convention: The time-frequency region of interest (TFROI) were selected based on the steps taken as listed below, adapted from the method adopted by Wu et al [START_REF] Wu | The neural dynamic mechanisms of asymmetric switch costs in a combined Stroop-task-switching paradigm[END_REF]:

(a) The differences of ERSP magnitude were obtained based on the formula [(RdI -RdC) -( RaI -RaC)] from the defined SROIs in order to evaluate the interaction due to distraction.

(b) For each obtained time-frequency representation of the ERSP magnitude difference, whether and when the resulting ERSP magnitudes in the poststimulus interval were significantly different from the ERSP magnitudes in the pre-stimulus interval were tested using a bootstrapping method [START_REF] Delorme | EEGLAB: an open source toolbox for analysis of singletrial EEG dynamics including independent component analysis[END_REF][START_REF] Durka | On the statistical significance of event-related EEG desynchronization and synchronization in the time-frequency plane[END_REF]. At each time-frequency point in the post-stimulus interval, investigated populations and reference populations were collected from the participants.

The null hypothesis was that there was no mean difference between the two populations. The pseudo-t statistic between the two populations was calculated, and the probability distribution of the pseudo t-statistic were estimated by sampling with two replacement populations of the same size from the reference population. The permutation was executed 5000 times.

The distributions of the pseudo-t statistics from the reference population and the bootstrap p value for the null hypothesis were generated.

(c) This procedure revealed time-frequency distributions in which the brain responses within post-stimuli were significantly different from the responses in the reference interval. To address the problem of multiple comparisons, the significance level (p value) was corrected using false discovery rate (FDR) procedure [START_REF] Durka | On the statistical significance of event-related EEG desynchronization and synchronization in the time-frequency plane[END_REF]. In addition, to control for false-positive observations [START_REF] Maris | Nonparametric statistical testing of EEG-and MEGdata[END_REF], significantly different TFROIs were defined based on the following two criteria; (i) the time-frequency pixels were significantly different from the pre-stimulus at p<0.05; and (ii) the time-frequency pixels had to include more than 125 consecutive significant time points (0.25s) [START_REF] Hu | A time-varying source connectivity approach to reveal human somatosensory information processing[END_REF].

The mean magnitude within the identified TFROIs at the corresponding SROIs for each experimental condition was calculated. A normality test was performed, and a

Friedman Test was conducted to determine if there were differences in ER magnitude of complexity sessions at each type trials.

Results

Reaction Time

A two-way repeated measures ANOVA were run to determine the effect of Stroop test complexity over task type on reaction time. Analysis of the studentized residuals showed that there was normality, as assessed by the Shapiro-Wilk test of normality and no outliers, as assessed by no studentized residuals greater than ± 3 standard deviations. Mauchly's test of sphericity indicated that the assumption of sphericity was met for the two-way interaction (complexity x type), χ2(2) = 2.696, p = 0.260. Data mention below are mean ± standard deviation, unless otherwise stated. Analysis of the studentized residuals showed that there was no normality, as assessed by the Shapiro-Wilk test of normality, and no outliers, as assessed by no studentized residuals greater than ± 3 standard deviations. Due to the non-normality of the data, Friedman test were run to determine if there were differences in ER magnitude between repeated (Re), randomized (Ra) and randomized & distracted (Rd) of congruent (C) and incongruent(I) condition, respectively, at each defined TFROIs and SROIs. Pairwise comparisons were performed with a Bonferroni correction for multiple comparisons. Table 4.3 records the median of ER magnitude for each experiment condition.

Among the congruent trials, ER magnitude of distracted Stroop test session (RdC Mdn = -0.5857) is statistically significantly desynchronized compared to randomized (RaC Mdn = 0.3276, p = 0.001) sessions at frontal region within the delta-theta-alpha frequency band (2 to 9 Hz), χ 2 (2) = 12.800, p = 0.002. While at the central region, delta frequency band (2 -4 Hz) elicit statistically significant ER magnitude desynchronization on distracted session (RdC Mdn = -0.4290) against randomized session (RaC Mdn = 0.3612) at 0ms to 0.5ms, χ 2 (2) =11.400, p = .003. There is also a statistically significant desynchronization of ER magnitude in delta frequency band of 1 to 1.7 Hz, from 0 to 0.8ms of distracted session (RdC Mdn = -0.4297) with repeated (ReC Mdn = -0.0492, p = 0.022) and randomized (RaC Mdn = 0.0992, p = 0.002) session, χ 2 (2) =12.600, p = 0.002. The differences of ER magnitude for all the other selected TFROIs and SROIs

were not statistically significant. Table 4.4 and 4.5 listed the result of Friedman test and its corresponding post-hoc analysis for every condition. A study [START_REF] Ettwig | Attentional Switches and Dual-Task Interference[END_REF] has reported that there is an interference that may be due to difficulty of disengaging attention, therefore, task switching attentional effects may play a major role in dual task execution and can easily obscure interference due to other factors such as resource competition.

These findings prove that as two visual cognitive demanding tasks were performed sequentially, reaction time is greatly affected. Studies in driving distraction that reported visual distraction is more dangerous than other type of distraction [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF],

congruous to our findings as participants were required to switch between the same sensory modality, following a delay in responding, due to the attentional interference.

Nonetheless, the main agenda in this study is to observe the EEG synchronization due to distraction. Bootstrapping analysis were adopted as part of data driven exploratory to identify the most significant time-frequency region. In this step, the focus was on the interaction between randomized and distracted session in comparison to its pre-stimulus interval. Consequently, there were no statistically significant difference ER magnitude between repeated and randomized session reported by

Friedman test. This is a good indication that the selected TFROIs were indeed related to distraction.

Frontal and central was observed to elicit statistically significant time-frequency region between randomized and distracted session in congruent trial (p < 0.005). At frontal, the frequency band involved spans at the frequency range of 2 to 9 Hz, signifies involvement of delta, theta and alpha oscillations with a desynchronized value of median ER magnitude in distraction session (Mdn = -0.5857) and a synchronized ER magnitude in randomized session (Mdn = 0.3276). This is a typical oscillation reported in time-frequency analysis of Stroop test [START_REF] Ergen | Time-frequency analysis of the event-related potentials associated with the Stroop test[END_REF].

The evoked delta response is suggested to be related with stimulus evaluation and decision making [START_REF] Güntekin | Review of evoked and event-related delta responses in the human brain[END_REF] while event-related oscillations in the theta frequency range (4 to 7 Hz) have been shown to be related to central executive and working memory processes [START_REF] Sauseng | Fronto-parietal EEG coherence in theta and upper alpha reflect central executive functions of working memory[END_REF]. According to several studies, increased theta amplitude with increased task demand is typically observed over fronto-central site [START_REF] Itthipuripat | Frontal theta is a signature of successful working memory manipulation[END_REF][START_REF] Jensen | Frontal theta activity in humans increases with memory load in a working memory task[END_REF].

Desynchronization in alpha band reflects attentional processes, processing of sensorysemantic information and the difficulty of the task [START_REF] Klimesch | Event-related desynchronization in the alpha band and the processing of semantic information[END_REF]. In this experiment, participant switch from a word search puzzle to a Stroop test and the desynchronized ER magnitude suggest disparity in task difficulty between both tasks.

Delta oscillation is found to be pronounced at the central region which elicit statistically significant difference (p < 0.005) in ER magnitude between randomized (Mdn = -0.3612) and distracted session (Mdn = -0.4290) in congruent trials. A study [START_REF] Babiloni | Frontal Functional Connectivity of Electrocorticographic Delta and Theta Rhythms during Action Execution Versus Action Observation in Humans[END_REF] reported that delta-theta (< 8Hz) lagged linear connectivity was higher during action execution. Delta frequencies during mental tasks are associated with functional cortical deafferentation, or inhibition of the sensory afferences that interfere with internal concentration. These inhibitory oscillations would modulate the activity of those networks that should be inactive to accomplish the task [START_REF] Harmony | The functional significance of delta oscillations in cognitive processing[END_REF]. This is a very important cue to distinguish the process of engaging and disengaging during distraction as drivers need to consistently inhibit task performed at hand in order to attend to driving. Result showed that delta, theta and alpha oscillation at frontal and delta oscillation at central can be used as feature to detect the process of engaging and disengaging distraction during driving. Therefore, as the conclusion, in the event of utilizing similar neural sensory, engaging with dual task activities would utilize a form of task switching process.

Limitation of the study

There are several limitations that are worth to be discussed. Small sample size is one of the weakness in this study. Although data on reaction time are normally distributed and warranted a parametric statistical analysis, EEG data are on the contrary. A larger sample size is recommended for future study. The second limitation is the small number of EEG electrodes that reduces the spatial resolution of the acquired data.

Therefore, a more general brain region was chosen as SROIs in the analysis. The third limitation is that the designed experimental stimuli eliminates the participant's voluntary task switching. A future study is recommended by incorporating the improvement of limitation in this study.

Chapter 5

VISUAL COGNITIVE DRIVING DISTRACTION

Overview

We hypothesize that visual cognitive distraction involves task switching paradigm.

Chapter 4 have showed that reaction time was affected in a sequentially switch cognitive task. Apart from synchronization/desynchronization of theta and alpha at frontal and central region, we found that delta is indeed involved in the process. Beta

were not found to be significant in the experiment. However, the previous investigation was lack of self-control on switching the task.

Therefore, in this chapter, we are deploying the theory in action by emulating a visual cognitive driving distraction via a mathematical GPS task. The objective of this experiment is to evaluate the effect of visual cognitive driving distraction and identify the corresponding EEG synchronization.

Methodology

Participants

A total of 8 subjects (7 male and 1 female, all righthanded; mean age 31.38 ± 6.02 years) participated in this study. The recruitment process involved inclusion and exclusion criteria. Subjects were excluded from the study if they had a history of any head injury or trauma, suffered from frequent headaches, or on any medication. Hence, all efforts were made to select healthy individuals for participation in this study and participants gave their consent to be involved in this study in accordance to the Declaration of Helsinki.

Hardware & Software

There is multiple measurement involved in this study such as driving performance measure, physical measures, biological measures and subjective measurement. Among these measurements, there are various hardware and software used in order to record the responses of the participants. These hardware and software were acquired from diverse manufacturer; therefore, data acquisition would need to be synchronized and consolidated, this requires communication between hardware and software. In this section, the preparation required involving hardware and software to support the experiment were described in detail. Figure 5.1 provides the overview for this section.

A. Medium Fidelity Driving Simulator in CAVE

A medium-fidelity driving simulator, SI²M (Simulation Interface Homme Machine & Interaction) [START_REF] Merienne | Institut Image -Le2i[END_REF], were adopted and adapted in a CAVE system. SI²M is an integrated Tracking GmbH, Germany) cameras. Figure 5.2 shows CAVE system, hardware organization and actual setup for the experiment.

driving

B. Enobio 20

Enobio 20® (Neuroelectrics, Spain) is a wireless EEG 20-channel system that was used for EEG data acquisition. This wireless system communicates to the acquisition laptop thru Bluetooth connection. Neuroelectrics® Instrument Controller (NIC2) software application were used to interact with Enobio 20® and record the acquired data. The acquired data were digitized using 24-bit ADC at 500 Hz sampling frequency.

A wearable Neoprene head cap was used on the participant's head to hold electrodes in a specific position. Twenty EEG dry electrodes were placed at 20 different position on the head based on 10-20 international system. Adjustment might be needed to ensure all the channels were having good signal quality before proceeding to experiment. Figure 5.3 shows the EEG system and type of electrode used. connections that correspond to the electrical reference, or "ground", of the system. The CMS is the reference channel, compared to which all the EEG signals are measured.

The DRL is responsible for bringing the potential of the subject as close as possible to the "zero" of the electrical system. They were placed on the mastoid and as close as possible to each other. In particular, the Sticktrode for CMS should be placed slightly superiorly to the DRL sticktrode. Therefore, the measured voltage was taken directly from the acquired data as it is not required to change the montage for re-referencing before further analysis.

C. SMI Eye Tracker

Eye movement of the participants were recorded by using SMI eye tracking glasses (SensoMotoric Instruments GmbH, Germany) at 60 Hz sampling rate and the video from the camera was recorded at 30 frames per second (fps).

D. Hardware & Software Diagram

In this section, the communication between hardware and software/application that are involved in this experiment are described. Generally, all these hardware and software can be divided into four groups; CAVE, SI2M, data acquisition and distraction stimuli.

The main function for CAVE group is to get the right visuals displayed on the walls.

In order to do this, SCANeR™studio needs to get the participant's spatial information and transmit the right images to projector via the quadruplex. Changes of the images on the walls also depends on participant's driving responses; steering wheel and brakes which are in the driving simulator group, SI2M. This group also consist of speaker that provides sound corresponding to the scenario such as the sound of engine, braking and other vehicles in the environment.

Data acquisition is the most critical group as this group is responsible to ensure that the data acquired are in sync for data analysis stage. This is because all equipment was working in different sampling frequency and recorded by different software; therefore, the only way to align the data recorded is by sending marker at same time.

Three C++ applications were written using Microsoft Visual Studio, to record the

Monitor

Monitor placed next to participant for distraction stimuli and display speed.

Scenario

The scenario was designed by using SCANeR™studio software (OKTAL, France) to emulate a one-way two-lane highway with a countryside environment. The interconnected path consists of 10 intersections comprising of 3 and 2-way junctions type of intersection. Trees, cars and speed limit signs were added in the scenario to improve the sense of presence and to an ensure ecological environment. Once participant reached a signboard, the screen monitor will change from displaying GPS straight sign to GPS sign with mathematical question (Figure 5.9, Top Images). At this moment, a marker is flagged to notify the data acquisition group that participant have entered distraction time frame. The GPS sign with mathematical question will only appear in between two signboards in which the second signboard is at the beginning of an intersection. Participants need to solve the question appeared on the screen monitor within the "Display period" (Figure 5.9, Bottom Image). The distance of "display period" is fixed at 160m prior reaching to an intersection. Another marker will be flagged again once the participant has passed the second signboard. In total, participants are required to drive across 10 intersections before the experiment is terminated.

Experimental Protocol

Participants were briefed on the purpose of the study and their involvement during the experiment, including the risk and affect that might occur. A consent form will be signed once the participant agreed to take part in the study. Each participant were assigned a subject ID number to ensure anonymity. Next, the participants were required to answers 2 questionnaires as follows:

Q1.A: Demographic information (i.e. age, experience, etc). Q1.B: Simulator Sickness Questionnaire (SSQ) -to assess the level of simulator sickness.

Participants were then asked to do a mathematical equation reaction test where they had to answer randomized 10 mathematical questions comprises of easy and hard level in a computer application (written in MATLAB software). The question is based on either addition or subtraction operation. Two numbers are used for easy level while Once done, participant would start to wear the neoprene cap for Enobio 20 EEG system with the electrodes and the combined glasses of Infitec and SMI eye tracker.

Participants were asked to sit at SI 2 M system and make themselves comfortable. A calibration process for eye tracker were done in which participant need to fixate their eyes to one position and the researcher will set the calibration parameter. This procedure is important in order to get a good eye movement data. After that, a 6 min eyes-closed and eyes-open procedure was conducted to acquire a baseline epoch for EEG data analysis, to ensure the EEG electrodes have a good contact with the scalp, the reference electrodes were placed well, the EEG signal acquired was good. This also gave some time to the participants to be acclimatized with the combined glasses Participant could practise on the driving simulator to familiarize with the system and distraction stimuli. The practise duration must not exceed 5 minutes to ensure motion sickness was not induced in the CAVE system before the experiment started.

During this session, researcher explained the distraction task that will be performed during the experiment. There were four important reminders verbalized to the participants for driving using SI2M-CAVE system to avoid system failure during experiment:

i. The maximum speed allowed in the experiment is 120km/h.

ii. Please respect the speed limit sign within the scenario.

iii. The clutch has no effect on the gear change, it is entirely up to you on the utilization. iv. Use lower speed at turns and junctions (approximately 50 km/h).

Once everything was in place and the participant indicated readiness, the experiment commenced. SCANeR software would notify that the experiment was completed as soon as the participant passed the 10 th intersection by displaying the following image on the monitor of distraction stimuli to replace the GPS sign: Friedman test to determine whether there are any statistically significant differences between the distributions of the 3 complexity levels (reference, easy and hard).

Features that satisfy the assumption of normality (p > 0.05) will undergo a Mauchly's test of sphericity to check the assumption of homogeneity of sphericity (p > 0.05). If both assumptions were met, a one-way repeated measures ANOVA will be conducted to determine whether there are any statistically significant differences between the means of the 3 complexity levels. If the assumption of sphericity were not met, result of the one-way repeated measure ANOVA will be interpreted where adjustments according to Greenhouse-Geisser [START_REF] Boik | A priori tests in repeated measures designs: Effects of nonsphericity[END_REF] have been made to the degrees of freedom for both complexity and error effect.

B. Physical Measures -Eye Movement

Overview of data acquired Among many eye features and eye movement features exported by BeGaze software, focus is made on information on saccade, fixation and blink. Saccades are rapid, ballistic movements of the eyes that abruptly change the point of fixation [START_REF]Types of Eye Movements and Their Functions[END_REF] as illustrated in figure 5.15. The three saccade features investigated in this experiment are mean and standard deviation of saccade amplitude (degree -⁰), peak velocity (⁰ /sec) and duration (ms). Figure 5.16 illustrates the definition of these features.

Limitation of mobile eye tracker

There are many advantages of a mobile eye tracker, however, there are few limitations that is required to be taken into consideration when making conclusion from analysis of its data. The SMI eye tracker used in this experiment is not taking head rotation into account since the device does not know its position in the environment. Therefore, the fixation location acquired from the system are related to the scene captured by the eye tracker camera. In short, a fixation location at time A is not necessarily the same location and direction in the real world with fixation location at time B, although they are both bearing same/near coordinates. Figure 5.18 illustrates this limitation with the corresponding image of the scene. Therefore, the analysis approach for the eye movement data are; (i) taking only the event data for further analysis to ensure that BeGaze software have classify the features based on its algorithm, (ii) any fixation points located outside of the image limit will still be considered unless if the outliers are extreme (assessed by inspection of a boxplot for values greater than 1.5 box-lengths from the edge of the box) and (iii) bear in mind that the fixation location is a relative location based on the tendency of eye movement (not a true location of the environment).

Statistical Analysis

Average of selected features for each complexity levels were computed, and outliers were assessed by inspection of a boxplot for values greater than 1. Friedman test to determine whether there are any statistically significant differences between the distributions of the 3 complexity levels (reference, easy and hard).

Features that satisfy the assumption of normality (p > 0.05) will undergo a Mauchly's test of sphericity to check the assumption of homogeneity of sphericity (p > 0.05). If both assumptions were met, a one-way repeated measures ANOVA will be conducted to determine whether there are any statistically significant differences between the means of the 3 complexity levels. If the assumption of sphericity were not met, result of the one-way repeated measure ANOVA will be interpreted where adjustments according to Greenhouse-Geisser [START_REF] Boik | A priori tests in repeated measures designs: Effects of nonsphericity[END_REF] have been made to the degrees of freedom for both complexity and error effect.

A post-hoc analysis of paired sample t-test were carried out for any features that showed a statistically significant result in comparing the 3 levels of complexity. Three pairs for each feature were tested; reference vs easy, reference vs hard and easy vs hard.

C. Biological Measures -EEG

The analysis of EEG was performed by using MATLAB® version R2018b (The MathWorks Inc., USA). The acquired EEG data were detrended to subtracts the linear trends and then bandpass filtered at 0.1Hz to 50Hz. Epochs of distraction period, reference driving period and eyes open period (for baseline) were extracted. Artefacts from muscle, movement and eye blinks were eye-balled and removed manually by using EEGLAB [176].

Feature extraction -Event Related Spectral Perturbation (ERSP)

Step 1(a): Discrete Fourier Transform (DFT) were computed to all epoch by using the

'fft' function in MATLAB. The DFT of a sequence (x[0] , x[1] , … , x[N-1]
) is based on the following equation [START_REF] Bailey | A fast method for the numerical evaluation of continuous Fourier and Laplace transforms[END_REF]:

𝐷𝐷𝐷𝐷𝐷𝐷(𝑓𝑓 𝑘𝑘 ) = �� 𝑥𝑥[𝑆𝑆] 𝑒𝑒 (-𝑗𝑗2𝜋𝜋𝑘𝑘/𝑁𝑁) 𝑁𝑁-1 𝑛𝑛=0 �
where 𝑓𝑓 𝑘𝑘 = 𝑘𝑘/𝑁𝑁 and k = 0,1,2, …, N-1.

Step 1(b): The power spectral density (PSD) of the signal was estimated by the squared magnitude of the epoch's DFT as follows:

𝑃𝑃𝑆𝑆𝐷𝐷(𝑓𝑓 𝑘𝑘 ) = 1 𝑁𝑁 �� 𝑥𝑥[𝑆𝑆] 𝑒𝑒 (-𝑗𝑗2𝜋𝜋𝑓𝑓 𝑘𝑘 ) 𝑁𝑁-1 𝑛𝑛=0 � 2
Step 2: For further statistical analysis, the PSDfk of each channel were averaged by frequency band. At this step, we will have 100 estimated PSD features (20 channels x 5 frequency band). The frequency bands are: Step 3: Then, event related spectral perturbation (ERSP) magnitude which represent the synchronization (positive value) and desynchronization (negative value) of an estimated PSD with respect to the PSD of eyes open epoch (Baseline) were computed by using the formula below [START_REF] Pfurtscheller | Event-related EEG/MEG synchronization and desynchronization: basic principles[END_REF]:

𝑆𝑆𝐸𝐸𝑆𝑆𝑃𝑃 𝐹𝐹 𝐵𝐵 = 𝑃𝑃𝑆𝑆𝐷𝐷 𝐹𝐹 𝐵𝐵 -𝐵𝐵𝑆𝑆𝐵𝐵𝑒𝑒𝑙𝑙𝐵𝐵𝑆𝑆𝑒𝑒 𝐹𝐹 𝐵𝐵 𝐵𝐵𝑆𝑆𝐵𝐵𝑒𝑒𝑙𝑙𝐵𝐵𝑆𝑆𝑒𝑒 𝐹𝐹 𝐵𝐵
Step 4: Finally, 𝑆𝑆𝐸𝐸𝑆𝑆𝑃𝑃 𝐹𝐹 𝐵𝐵 for each frequency band were averaged according to the brain region. This step will reduce the features to 15 ERSP features (3 brain region x 5 frequency band). The selected electrodes corresponding to the region is listed in the table below.

D. Measure of simulator sickness

The usage of driving simulator is known to induce simulator sickness [START_REF] Kolasinski | Simulator Sickness in Virtual Environments[END_REF] and might affect the performance of task being evaluated [START_REF] Lerman | Correlates of military tank simulator sickness[END_REF]. Therefore, the experiment was carefully designed to minimize any occurrence that might elevate the risk of simulator sickness. In order to ensure that the participants were not severely affected by simulator sickness, simulator sickness questionnaire (SSQ) [START_REF] Kennedy | Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness[END_REF] were administered to the participant at pre and post experiment. A paired-sample t-test was run on the total SSQ score to compare whether the differences were significant.

(4)

97

E. Measure of cognitive workload

The distraction stimuli were designed to elicit distraction involving visual and cognitive elements. Two difficulty levels of mathematical equations, easy and hard, were selected as the distraction stimuli. The difficulty levels were characterized by the time taken for the question to be answered. In order to confirmed that these mathematical equations were indeed instigating a distinct cognitive capacity, reaction time were recorded in a single task test at pre-experiment stage. A paired-samples ttest was used to determine whether there was a statistically significant mean difference between the time taken to answer the easy and hard question.

However, opting the time taken for participants to complete the distraction task as a measure to evaluate the cognitive workload during the experiment for comparison is quite inapt. The distraction stimuli were designed in such a way that participants hold full control on how they can manoeuvre the vehicle during distraction period, leading to complex confounding factors influencing the time taken to complete the task.

Therefore, we use a subjective workload measurement, National Aeronautics and Space Administration-Task Load Index (NASA-TLX), administered at postexperiment to gauge participant's perceived performance on workload of the distraction task as a whole [START_REF] Rubio | Evaluation of Subjective Mental Workload: A Comparison of SWAT, NASA-TLX, and Workload Profile Methods[END_REF]. NASA-TLX is a multi-dimensional scale designed to obtain workload estimates and has proven to be reliably sensitive to experimental manipulation [START_REF] Hart | Nasa-Task Load Index (NASA-TLX); 20 Years Later[END_REF].

NASA-TLX [83]

There are two sections of NASA-TLX assessment; (i) pair-wise comparisons of dimension and (ii) rating scales of each dimension. The dimensions are mental demand, physical demand, temporal demand, overall performance, frustration and effort. In the first section, participants are required to select the member of each dimension pair that provide the most significant source of workload variation during the distraction task. The summation of each time a dimension being selected will be used as weighted score in the second section of the assessment. At the second section, participants are required to mark on a scale that represents the magnitude of each dimension in the distraction task. The response that we collect from this scale is called raw rating. There are studies that uses responses directly from this scale to draw conclusion, but typically the researcher would compute the adjusted rating by multiplying the raw rating with weighted score for each dimension respectively. In a case where comparison of workload between two or more experimental condition is in concern, the researcher could compute the overall rating by dividing the sum of adjusted rating with 15 (sum of weighted score) to get a workload score from 0 to 100.

In this study, NASA-TLX were used to validate whether the distraction task induced were indeed utilizing participant's cognitive capacity, and if so, which dimension would be more significant. A 20-point Likert scale were used in second part of the assessment, therefore, raw rating needed to be multiplied with 5 to convert the score from 0 to 100 before multiplying them with its respective weighted average to compute the adjusted rating. In order to compare which dimension would impact the participants the most, a Friedman test was used to compare the adjusted rating between the 6 dimensions.

Results

Driving Performance Features

Eight features were selected as driving performance measure to be investigated in this study; precisely, which of the driving performance measure are significant in a different complexity level of distraction? Average value of the features for three levels (reference, easy and hard) were computed, and there were no outliers in the data, as assessed by inspection of a boxplot for values greater than 1.5 box-lengths from the edge of the box. Assumption of normality were tested using Shapiro-Wilk test revealed that mean speed, mean brake and mean road gap violates the normality test. Therefore, we opt for Friedman Test to evaluate whether there are any statistically significant differences between the distributions of each complexity levels of these features.

Result showed that the differences were not statistically significant for mean speed (p = 0.368), mean brake (p = 0.957) and mean road gap (p = 0.368).

The remaining features were tested with Mauchly's test of sphericity and only standard deviation of speed violates the sphericity assumption (p = 0.028). Therefore, a one-way repeated measure ANOVA with adjustments according to Greenhouse-Geisser were conducted for this feature and without adjustments to all other features; showed no differences that are statistically significant for all features. The summary of the statistical analysis is listed in the table 5.5 and 5.6. One-way repeated measure ANOVA or a Friedman test were used to determine whether there were any significant differences between three complexity levels (reference, easy and hard) for 12 selected eye movement features. Outliers were identified in mean and standard deviation of fixation location at y-axis and were excluded from the analysis. Shapiro-Wilk test were performed on those data to evaluate the assumption of normality (p > 0.05) and only the reference group of standard deviation of peak speed violates this assumption. Therefore, this feature will be tested using Friedman test.

The Friedman test on standard deviation of peak speed showed that there were no significant differences between the three complexity levels, χ 2 (2) = 2.00, p = .368.

Mauchly's test of sphericity were performed to the remaining features and all satisfy the assumptions (p > 0.05), hence, one-way repeated measure ANOVA were run.

Results showed that there were statistically significantly differences between the complexity levels of mean fixation location at x-axis (F (2, 12) = 5.258, p = .023) and y-axis (F (2, 12) = 13.860, p = .001) while other features showed no significant difference (p > 0.05). The summary of the statistical analysis can be found in table 5.7 and 5.8.

A post hoc analysis was performed to investigate which level that were statistically unique among the pairs by using paired-sample t-test. The differences of mean were computed between three pairs; reference vs easy, reference vs hard vs easy. Outliers identified in the 'reference vs hard' pair of mean fixation location of x-axis and 'reference vs easy' pair of mean fixation location of y-axis, in which they were excluded from further analysis. Shapiro-Wilk Test were run on the mean differences of the pairs and all have resulted in satisfying the assumption (p > 0.05). The pairedsample t-test performed on all pairs revealed that there were statistically significantly difference between reference and hard level (t (6) = 2.547, p < .044) as well as easy and hard level (t (6) = 2.632, p < .039) of mean fixation location in x-axis. Reference and easy pair of mean fixation location of y-axis also showed a significant difference, t (6) = 2.803, p < .031. Summary of the post-hoc analysis is listed in table 5.9 and boxplot of the pairs are illustrated in figure 5.21.

Event Related Spectral Perturbation

One-way repeated measure ANOVA or a Friedman test were used to determine the interaction between complexity levels for 15 ERSP features. Shapiro-Wilk test were performed on those data to evaluate the assumption of normality (p > 0.05) and three features violates this assumption and will be tested using Friedman Test. Those features are delta at parietal, theta at frontal and beta at frontal.

All features showed that there were interactions between complexity levels except for delta at frontal. A post-hoc analysis was performed to investigate at which complexity levels were the features were statistically significant different. The differences of mean were computed between three pairs; reference vs easy, reference vs hard vs easy. Shapiro-Wilk Test were run on the mean differences of the pairs. Pairs that violates the assumption (p < 0.05) were subsequently tested with sign rank test and those that have resulted in satisfying the assumption (p > 0.05) were tested by using paired t-test.

Among all features, only beta at frontal could discriminate between all three levels.

Delta at central & parietal and theta at frontal & central are only able to discriminate

the hard level to the reference level. There were no significant differences between easy and reference or easy and hard level for these two features. All the remaining features can discriminate the differences between reference and distracted driving, but not between easy and hard level of distraction. Figure 5.22 gives an easy visualization of the statistical result for EEG features. Table 5.10 to table 5.14 list the details of the statistical result.

Cognitive Workload Measures

A paired-samples t-test was used to determine whether there was a statistically significant mean difference between the time taken to answer the easy and hard question. Data are mean ± standard deviation, unless otherwise stated. There were no outliers in the data, as assessed by inspection of a boxplot for values greater than 1.5 box-lengths from the edge of the box. The difference scores for the easy and hard questions were normally distributed, as assessed by Shapiro-Wilk's test (p = .112).

Discussion

Apart from limited cognitive capacity to handle cognitive workload in distracted driving, task switching is proposed to be involved in visual cognitive distraction. This is because visual is a shared sensory between driving and visually distracted task. To the best of our knowledge, driving distraction research involving EEG have only been using EEG features that involves frontal and motor region, focusing at frequency band limited to theta, alpha and beta. In this study, we would like to explore the EEG features that are able to discriminate a visual cognitive distraction with driving. We hypothesize that delta band at frontal, central and parietal region which is related to task switching paradigm can discriminate these tasks.

A modified GPS task was embedded in a driving task where subjects had to calculate a simple mathematical question in order to choose the junction at an intersection. There are two difficulty levels for the mathematical question, in the sense that the subject would need to take longer time to calculate the harder level. A pre-test of equivalent questions was performed; showed that hard questions statistically took longer time to answer by 1.14 seconds. Therefore, these tasks are categorized as visual cognitive distraction. This is further confirmed by a statistically high rating in NASA-TLX questionnaire at the end of experiment. The result showed that the experiment demands mental capacity as opposed to physical capacity, even though participants feels confident with their performance.

The experiment was performed by using a medium fidelity driving simulator.

Virtual reality technology is well known to invoke motion sickness [START_REF] Helland | Driving simulator sickness: Impact on driving performance, influence of blood alcohol concentration, and effect of repeated simulator exposures[END_REF], and this is proven by a slight increase of mean SSQ total score at the end of experiment. However, the difference is not statistically significant, therefore, all data collected (driving performance measure, eye movement measure and EEG) were considered for further processing.

Driving performance and eye movement are two measures that were most studied in driving research. In this study we use both measures as a validation for the experiment. All of driving performance features were not able to discriminate between driving and distraction task. Although it is consistent with the review [START_REF] Yusoff | Selection of Measurement Method for Detection of Driver Visual Cognitive Distraction: A Review[END_REF] that suggested a heterogenous response on driving performance measures, we need to consider that the number of subjects in this study is small, which could introduce a huge variability into the result possibly due to driving habit.

While for eye movement measures, the fixation location could discriminate between driving and distraction task. However, the fixation location along the x-axis could only differentiate between the distraction of hard level, whereas, the driving task and easy distraction level showed no differences. This could be the result of strategic workload management described by Lee [6] that drivers manage the process of engaging and disengaging of the secondary task. In this case, as the mathematical question in the easy level were not too cognitively demanding, therefore drivers performed less fixation towards the GPS resulting in average fixation location during distraction to be statistically the same as normal driving. On the other hand, the fixation on y-axis showed there is a significant difference between driving and easy distraction, but the fixation location during driving is not statistically different than hard level of distraction. Consistent to that finding, a study reported that an inattentive driver concentrate on the roadway similarly to a highly demanding cognitive task [START_REF] He | Mind wandering behind the wheel: performance and oculomotor correlates[END_REF]. It is worth mentioning that the result of fixation location depends greatly on the location of the distractor which in this case on the right side of the driver. Nonetheless, based on eye movement x and y axis of fixation location, the distractions epoch was indeed the period of driver attending to the visual cognitive distracted secondary task.

Event related spectral perturbation is a measure that describe the neurons synchronization or desynchronization at the electrode site area on the scalp. Among all statistically significant comparison on ERSP features, the only features that could discriminate between easy and hard level of distraction is beta at frontal. Beta oscillation has been reported to have an important function in complex cognitive activity [START_REF] Güntekin | Beta oscillatory responses in healthy subjects and subjects with mild cognitive impairment[END_REF] and regulation of cognitive control [START_REF] Stoll | The Effects of Cognitive Control and Time on Frontal Beta Oscillations[END_REF].

Contradicting to our hypothesis, delta at frontal did not have a significant influence in discriminating between driving and distraction, however, delta and theta at central and parietal could discriminate between driving and hard level of distraction. Theta at frontal and delta at parietal region also could discriminate distraction and driving, however, only with the hard level. All the other features are statistically significant in discriminating driving with driving while performing distraction task. The most striking similarity between both experiments were, some of the statistically significant features are overlapped between brain regions. As discussed in chapter 2, a task, for example our visual system involves multiple brain region.

Therefore, in this experiment, coherence measure will be added as the EEG features to be investigated apart from ERSP. In this chapter, the objective is to evaluate the classification system that incorporates machine learning based feature selection technique to select relevant features; SVM-RFE and Random Forest. The classification performance using pre-selected features and machine learning based selected features will be discussed. Step 1: Compute coherence for an electrode pair in a region pair. For example, region frontal and parietal, electrode F4 and P8.

Step 2: Average the coherence value based on the frequency band.

Step 3: Repeat step 1 and 2 for all electrode pairs within frontal and parietal w.r.t their frequency bands.

Step 4: Average all values computed at step 3 w.r.t their frequency bands. Therefore, there should be 5 average coherence value at this step.

Step 5: Repeat step 1 to 4 for the other 24 region pair. At the end of this step, there should be 125 coherence value (25 region pairs x 5 frequency bands) Coherence is a measure of degree of similarity recorded at two signal sources. EEG coherence value describes the connectivity of brain network. The value ranges from 0 (out-of-phase) to 1 (in-phase) that indicates the strength of connectivity of specific locations in the brain that are networked together [START_REF] Srinivasan | EEG and MEG coherence: measures of functional connectivity at distinct spatial scales of neocortical dynamics[END_REF][START_REF] Bowyer | Coherence a measure of the brain networks: past and present[END_REF]. The coherence value was computed by using the function 'mscohere' in MATLAB with the following parameter; hanning window, 256 DFT points and 128 overlapped samples. In order to compute the average coherence value for each pair region, coherence of each pair electrode involved in the paired region were computed and averaged according to the frequency band listed in table 6.1. The involved region and electrode are as illustrated in Figure 6.2. Figure 6.1 illustrates the steps taken to extract features from this dataset.

These steps would yield a total feature of 125 coherence value (25 region pairs x 5 frequency bands).

In total, 150 features are used in the exploration of the relevant features to discriminate visual cognitive driving distraction with driving using anEEG signal.

Part 1: Features Selection

Feature selection method is one of the important tools in data mining which has shown its ability in many applications such as gene selection in cancer classification [START_REF] Guyon | Gene Selection for Cancer Classification using Support Vector Machines[END_REF][START_REF] Liu | Feature selection of gene expression data for Cancer classification using double RBF-kernels[END_REF], drug sensitivity prediction [START_REF] Shadbahr | Application of variations of non-linear CCA for feature selection in drug sensitivity prediction[END_REF], text mining [START_REF] Liu | An evaluation on feature selection for text clustering[END_REF][START_REF] Forman | An extensive empirical study of feature selection metrics for text classification[END_REF] and bioinformatics [START_REF] Dessì | A comparative analysis of biomarker selection techniques[END_REF][START_REF] Abusamra | A comparative study of feature selection and classification methods for gene expression data of glioma[END_REF].

A. Support Vector Machine based Recursive Feature Elimination (SVM-RFE)

SVM-RFE was first implemented by Guyon [START_REF] Guyon | Gene Selection for Cancer Classification using Support Vector Machines[END_REF] in the application of gene selection for cancer classification. In Guyon's paper, a linear SVM was used to produce a feature ranking by using its weight. The training data are used to build a discriminant function, D(x), in which x is the input vector and the predicted outcome are classified based on the learned decision boundary. In the notation used by Guyon, a linear discriminant function is a decision function that are simple weighted sums of training pattern plus a bias [START_REF] Duda | Pattern classification and scene analysis[END_REF]:

𝐷𝐷(𝑥𝑥) = 𝑤𝑤 • 𝑥𝑥 + 𝑐𝑐
where w is the weight vector, and c is a bias value.

RFE [START_REF] Kohavi | Wrappers for feature subset selection[END_REF] is an iterative procedure of backward feature elimination where features are removed one (or a few) at a time based on the feature ranking computed by the base classifier until a desired number of features to select is eventually reached.

In this experiment, we use SVM and RFE from scikit-learn v0.21.2 library [START_REF] Pedregosa | Scikit-learn: Machine learning in Python[END_REF] implemented in Python version 3.7. The SVM is based on LIBLINEAR library [START_REF] Fan | LIBLINEAR: A library for large linear classification[END_REF] that uses the default parameter of 'LinearSVC' function. Meanwhile, for the RFE, cross validation was implemented to obtain the optimal number of features. Therefore, function 'RFECV' was used to cross validate by 10-fold on a stratified input vector.

B. Random Forest

Random forest makes decision based on the voting of decisions from combination of multiple decision trees. Each decision tree was constructed by using a random subset of features. Every node in the decision trees is a condition on a single feature, designed to split the dataset into two so that similar response values end up in the same set.

Finally, it selects the predicted output based on the majority of votes from the decision trees [START_REF] Breiman | Random forests[END_REF]. Figure 6.3 shows the working principle of Random Forest.

(5) The feature importance or feature ranking is computed by the proportion of samples reaching that node averaged over all trees of the ensemble, which is called "gini importance" or "mean decrease impurity" [START_REF] Breiman | Classification and regression trees. Brooks[END_REF].

In this experiment, we use 'RandomForestClassifier' function provided by scikit-learn library using the default parameters except for the number of trees in the forest, which is set to 100. The feature selection was performed using the function 'SelectFromModel' in the same library by setting the threshold value as 1.25*median of the feature importance.

C. Evaluation Method -Jaccard Index

In this feature selection section, we are interested in evaluating which features to be used by the previously described method in comparison to the features typically reported in the literature.

Jaccard Index is a classical similarity measure between two subsets [START_REF] Kosub | A note on the triangle inequality for the Jaccard distance[END_REF]. It was first introduced by Paul Jaccard, whom initially called the method as coefficient de communauté in his research paper [START_REF] Jaccard | Distribution de la flore alpine dans le bassin des Dranses et dans quelques régions voisines[END_REF]. The Jaccard index, J, is defined as the value of intersection divided by the value of the union of two sample sets A and B:

𝐽𝐽(𝐴𝐴, 𝐵𝐵) = |𝐴𝐴 ∩ 𝐵𝐵| |𝐴𝐴 ∪ 𝐵𝐵| (6)
In this experiment we use Jaccard Index as a statistic to compare the similarity of features selected by SVM-RFECV, Random Forest as well as a pre-selected feature based on features reported in literature. The pre-selected features are, ERSP and coherence value related to frontal and central region of theta, alpha and beta frequency band. The time taken to make the selection as well as the number of features selected are also reported.

Part 2: Classification

Although the main objective of this experiment is to investigate the suitable features in discriminating visual cognitive distraction, comparing the classification performance would give an idea on how feature selection process and the selected features may improve in discriminating the visual cognitive distraction driving with normal driving.

In this experiment, we use LinearSVM and Random Forest to make the comparison between all features, pre-selected features, SVM-RFECV features and Random Forest features. We use two steps in evaluating the classification performance. In step (a), we i. F1-score F1-score is a measure of test's accuracy that considers both precision and recall. It gives the harmonic mean of precision and recall, where the best value is 1 (perfect precision and recall) and worst at 0. The F1-score equation is:

𝐷𝐷 1 = 2 • 𝑆𝑆𝑝𝑝𝑒𝑒𝑐𝑐𝐵𝐵𝐵𝐵𝐵𝐵𝑙𝑙𝑆𝑆 • 𝑝𝑝𝑒𝑒𝑐𝑐𝑆𝑆𝑙𝑙𝑙𝑙 𝑆𝑆𝑝𝑝𝑒𝑒𝑐𝑐𝐵𝐵𝐵𝐵𝐵𝐵𝑙𝑙𝑆𝑆 + 𝑝𝑝𝑒𝑒𝑐𝑐𝑆𝑆𝑙𝑙𝑙𝑙 where 𝑆𝑆𝑝𝑝𝑒𝑒𝑐𝑐𝐵𝐵𝐵𝐵𝐵𝐵𝑙𝑙𝑆𝑆 = 𝑇𝑇𝑇𝑇𝑇𝑇𝑇𝑇 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑡𝑡𝑝𝑝𝑝𝑝𝑇𝑇 𝑇𝑇𝑇𝑇𝑇𝑇𝑇𝑇 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑡𝑡𝑝𝑝𝑝𝑝𝑇𝑇+𝐹𝐹𝐹𝐹𝐹𝐹𝑝𝑝𝑇𝑇 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑡𝑡𝑝𝑝𝑝𝑝𝑇𝑇 𝑝𝑝𝑒𝑒𝑐𝑐𝑆𝑆𝑙𝑙𝑙𝑙 = 𝐷𝐷𝑝𝑝𝑇𝑇𝑒𝑒 𝑆𝑆𝑙𝑙𝐵𝐵𝐵𝐵𝑡𝑡𝐵𝐵𝑝𝑝𝑒𝑒 𝐷𝐷𝑝𝑝𝑇𝑇𝑒𝑒 𝑆𝑆𝑙𝑙𝐵𝐵𝐵𝐵𝑡𝑡𝐵𝐵𝑝𝑝𝑒𝑒 + 𝐷𝐷𝑆𝑆𝑙𝑙𝐵𝐵𝑒𝑒 𝑆𝑆𝑒𝑒𝑙𝑙𝑆𝑆𝑡𝑡𝐵𝐵𝑝𝑝𝑒𝑒 ii. Accuracy
The accuracy value is computed by using the following equation:

𝐴𝐴𝑐𝑐𝑐𝑐𝑇𝑇𝑝𝑝𝑆𝑆𝑐𝑐𝐴𝐴 = 𝐷𝐷𝑝𝑝𝑇𝑇𝑒𝑒 𝑆𝑆𝑙𝑙𝐵𝐵𝐵𝐵𝑡𝑡𝐵𝐵𝑝𝑝𝑒𝑒 + 𝐷𝐷𝑝𝑝𝑇𝑇𝑒𝑒 𝑆𝑆𝑒𝑒𝑙𝑙𝑆𝑆𝑡𝑡𝐵𝐵𝑝𝑝𝑒𝑒 𝐴𝐴𝑙𝑙𝑙𝑙 𝐵𝐵𝑆𝑆𝑆𝑆𝑆𝑆𝑙𝑙𝑒𝑒
iii. Time Taken

The time taken to perform the cross validation and testing the algorithm are recorded.

Results

Selected Features

An experiment was performed to select the relevant features in discriminating visual cognitive driving distraction with normal driving. Pre-selected features comprises of 15 features that is commonly used in detecting driving distraction using EEG. SVM-RFE method have selected 43 features in 18.34 seconds, while random forest chooses 56 features in 0.08s. The huge disparity in the time taken for both methods is due to cross validation method used in selecting the optimal features for SVM-RFE.

(

) (8) (9) 7
123 Among 150 features, there are only 9 features that are included in all three methods; ERSP of beta at frontal and central and coherence value of beta, theta and alpha within the frontal and central region, as well as beta in between frontal and central. The bar-stacked plot that showed features selected by the three methods can be found in Figure 6.5.

Classification Performance

Step (a): Once the features have been selected, we would like to evaluate its performance in classification using LinearSVM and Random Forest. Cross validation on training data showed that F1-score and accuracy for LinearSVM method is the highest when using the features selected by SVM-RFECV. Step (b): SVM and Random Forest classifier trained by using the 80% of training data of selected features, were used to test on the remaining 20% of data. Our result shows that although in general random forest is performing better than SVM classifier, the differences are not significant. The F1-score for SVM classifier using the feature selected by SVM-RFE showed a high score of 0.90.

Discussion

The aim for this experiment is to identify EEG features that are relevant to discriminate between visual cognitive distraction during driving with normal driving. The common features reported in literature are related to theta, alpha and beta frequency bands at the frontal and central region. This is proven empirically or governed by the concept of cognitive workload that narrows the exploration within frontal lobe. In this thesis, we hypothesize that task switching is involved in the situation where drivers are distracted by a visual cognitive task. This would suggest that EEG features from other frequency bands and region may also be an important feature to discriminate these tasks.

Therefore, ERSP and coherence value were extracted from EEG data and we propose to use SVM-RFE and Random Forest to select the relevant features and compare against pre-selected features based on literature. Comparison of selected features showed that less than 40% similarity between these methods. This is expected as both machine learning uses different strategy to rank the features. ERSP of beta at frontal and central were chosen by all three method. This result is consistent with our finding in chapter 3 where beta at frontal can discriminate between all levels of distraction. The similarity that is common in all three method in coherence value are the selection of beta, theta and alpha within its frontal and central region, respectively.

Coherence value of beta between frontal and central region were also among the features selected by all three method. This is an affirmation of the role of beta, theta and alpha in discriminating the two classes.

Other features selected by the machine learning methods, however, originate from diverse brain regions. Table 6.6 summarizes the selection. Although we could see coherence between frontal and central regions are selected as expected based on the dual task and task switching paradigm, theta between occipital and temporal regions were also selected. Parietal region is involved in delta and beta frequency bands.

These findings further confirm the need to be more inclusive of selected EEG features from other brain region and frequency to be used for detection. It will encapsulate more relevant brain activities related to the task in question. For discriminating visual cognitive distraction, delta and gamma also played its role apart from theta, alpha and beta bands. It is also evident that other brain regions are involved and played an important role to discriminate the two classes.

Table 6.6 Summary of coherence value selected by both machine learning method.

Delta

Theta Alpha Beta Gamma

• PC • CF • OO • TC • CT • CO • OC • FC • TC • PP • CF • CF • FC • FF • OF
In order to confirm this, classification was performed by using SVM and Random Forest on 4 different sets of features. The sets are all features, pre-selected features, SVM-RFE selected features and Random Forest selected features. Classification using SVM with features selected by SVM-RFE outperforms other combination up to 90% of F1-score. Nonetheless, F1-score of Random Forest is better than SVM when features selected by Random Forest were used for both cross validation and test. This suggest that as the selection strategy differs, the feature selected played an important role on classifier used. Therefore, similar machine learning method is proposed to be used for both feature selection and classification in order to get better performance.

However, the time taken for selection and classification is always longer for SVM compared to Random Forest especially when more features or data are involved. Our results showed that, SVM performs faster than Random Forest with smaller data, but will take longer time as the size of the data increases. On the other hand, Random

Forest took almost the same amount of time with more data. This suggest that, in a case where there is a trade-off between performance and computational cost, Random

Forest method could give an acceptable performance at lower computational cost.

The limitation of this study is that it uses small number of observations collected from small number of subjects. We used the default parameter of the classifier provided by the library, therefore there is room for improvement for optimization in getting better performance. The dataset used were limited to visual cognitive task, it would be interesting to have a multi-class dataset that induce different type of distraction to the drivers and examine the features involved. The findings could propose a smaller set of electrodes to be used in driving research since setup up time and difficulty to handle is always a hindrance factor in utilizing this measurement method despite its potential.

Chapter 7

CONCLUSION

Visual cognitive distraction is a common type of distraction in any driving. It may require normalization and adaptation of visual cognitive distraction during driving. In order to study the effect of distraction, a comprehensive method is in dire need to understand the underlying mechanisms and effects of these types of distractions to estimate the risk.

EEG signals and eye movements have been identified to be useful in studying this type of distraction. However, due to the complexity of the research problem, this thesis is only focusing on EEG signals. We proposed that visual cognitive distraction involves task switching paradigm on top of the well-known dual-task paradigm that have been the guiding theory in this subject. This is because visual capacity requires to be shared in between secondary task and driving, hence, this necessitates task switching. Considering this, EEG features could be used for detecting the visual cognitive distraction, perhaps more than just theta, beta and alpha within the frontal lobe.

Therefore, we tested this theory in two experiments. By using the power spectral density, computed using wavelet transform and FFT, we observed that there is an overlap of significant frequency bands with other brain regions. This finding suggests to use EEG features beyond frontal lobe as well as delta and gamma frequency bands.

We proposed to use a machine learning based feature selection method to investigate the relevant features to be used for classification. Apart from ERSP, we also used coherence values since this measure represents the connectivity of the brain network. We found that there are more regions and frequency bands that could be used to discriminate the task. F1-score of SVM and Random Forest classification by using selected features is 90% and 60% respectively, versus 52% when using a pre-selected feature as reported in the literature.

Figure 7.1 Conclusion

As the conclusion, EEG can be used to detect visual cognitive distraction where the classification performance can be improved by selecting the relevant features to the task in question. Figure 7.1 concludes the findings of this thesis.

Research Contribution

There are 3 main research contribution for this work:

• In-depth analysis of importance of features By using the method used in this thesis, it allows an in-depth analysis of the importance of features. SVM-RFE and Random Forest ranks the features based on its importance. Other method such as PCA, transforms the features into new feature representation, thus unable to reveal the importance of each individual features. Revealing the importance of features would allow a thorough investigation of task in question, hence increasing the confidence of users in utilizing this system.

• Simplify the utilization of EEG Analysis of EEG yields high-dimensional data, however, only a subset of those data is relevant for a specific task. Investigation on several type of distraction task might reveal a uniform pattern on which features are critical for detection.

Thus, simplifying the utilization of EEG towards a reduced feature set. In consequence, it will reduce the number of electrodes which will eventually be optimal for real time application such as brain computer interface. The findings will also reduce the time taken for preparation of EEG acquisition which has been the hindrance factor of utilizing EEG.

• Encourage application with complex multi-dimensional parameter

There is a lot of applications that involves many sensors. could help to make decisions if intervention in plant care should be made. This approach could also be applied in other sector that involves high-dimensional parameter such as patients care in medicine, manufacturing or business decisions.

Limitation and future work

The current system could only accept numerical data as features. This is because the implementation of SVM-RFE requires numerical value in order to compute the features weight based on the maximal margin. Some features may be in a form of nominal data that is extracted from questionnaires. This is especially important for application that requires hybrid method for an inference being made for the test.

Therefore, future work on this system is to incorporate an improvement to accept nominal input into the system.

The task used in this study is specifically related to visual cognitive distraction.

However, driving distraction could originates from other types such as auditory and physical. In order to get a comprehensive overview of the most critical features to include for detection of distraction, more studies that induce different type of distraction should be investigated. This system could help to make conclusion on the most important features and reveal the critical pattern related to detection of distraction using EEG.

Another future work that could be considered is development of a real time detection system. This will allow an on-site implementation and immediate decision on certain application such as business decision.

Résumé Long en langue française de la thèse de doctorat de

Norhasliza MOHAMAD YUSOFF Détection visuelle et cognitive de la distraction en situation de conduite par signal EEG

RESUME

Le principe de la distraction au volant est de détourner l'attention du conducteur en phase de conduite en toute sécurité au profit d'une tâche concurrentielle. Le paradigme de la double tâche repose sur l'hypothèse que la distraction se traduit par une charge cognitive excessive et des ressources restreintes en termes d'attention. Pour combler les lacunes des travaux de recherche portant sur l'étude de la sécurité des conducteurs, cette thèse vise à découvrir les mécanismes de détection de la distraction cognitive visuelle à l'aide de signaux physiologiques. A cette fin, deux séries d'expérimentations ont été menées avec 18 participants. La première expérimentation avec 10 participants vise à évaluer les effets de la distraction et de la synchronisation des signaux de l'EEG. Pour l'analyse statistique, le test de Shapiro-Wilk et l'analyse de variance à deux facteurs ANOVA ont été utilisés. Les résultats indiquent que les deux tâches de distraction cognitive visuelle sont exécutées de façon séquentielle et que le temps de réaction est affecté par le passage d'une tâche à l'autre. Pour la deuxième expérimentation avec 8 participants, un système intégré a été créé en C++, qui implique un système CAVE à 4 parois, un simulateur de conduite utilisant le logiciel de simulation SCANeR, un simple casque EEG à 20 canaux (Enobio 20), un SMI de suivi oculaire et un logiciel BeGaze. Comme paramètres qualitatifs, les réponses aux questionnaires SSQ et NASA-TLX ont été utilisés pour évaluer les commentaires des utilisateurs. Comme paramètres quantitatifs, des solutions d'équations mathématiques, des mesures de mouvements oculaires, de signaux EEG et de performances de conduite ont été utilisées. Pour l'analyse des données, les logiciels Matlab et SPSS ont été utilisés et pour l'analyse statistique, le test Shapiro-Wilk et ANOVA à un facteur. Les résultats indiquent que l'expérience exige une capacité mentale plutôt qu'une capacité physique. Les fréquences de la bande delta dans le lobe frontal des signaux EEG n'ont pas d'impact significatif sur la différentiation entre conduite et distraction, mais les bandes delta et thêta au centre et au pariétal en ont. Les résultats ont également révélé que les fréquences des bandes thêta et alpha sont effectivement des caractéristiques importantes dans les deux expérimentations. Dans une tâche où le sujet peut contrôler quand il s'engage dans la tâche secondaire, la bande bêta a montré son importance d'un point de vue statistique, étant la seule capable de faire la distinction entre différents niveaux des tâches cognitives. La similitude la plus frappante entre les deux expérimentations est que certaines des caractéristiques statistiquement significatives se chevauchent entre les régions du cerveau. Par conséquent, une analyse comparative des techniques d'apprentissage machine (SVM-RFE c. les forêts aléatoires) dans la sélection des caractéristiques pertinentes des signaux EEG, en combinaison avec les valeurs de cohérence, a également été réalisée. Les résultats indiquent que, bien qu'en général, les forêts aléatoires donnent de meilleurs résultats que le séparateur SVM, le score F1 du SVM avec SVM-RFE montre les scores les plus élevés (0.90).

Table des matières

Introduction

La conduite est une activité complexe et la distraction est un événement qui affecte les performances de conduite. Ce chapitre présente le contexte de la recherche et ses problèmes. Les questions de recherche soulevées et les hypothèses sont proposées. L'étendue des travaux est décrite et enfin, la structure du manuscrit est fournie.

La distraction au volant est connue pour être l'un des principaux facteurs d'accidents [1]. Avec son augmentation à un rythme alarmant, l'émergence de nouvelles technologies est inévitable. La voiture autonome, le système de divertissement embarqué et les systèmes avancés d'aide à la conduite (ADAS) sont autant de questions qui restent sans réponse dans le domaine de la sécurité. Précisément, dans quelle mesure peut-on permettre à un conducteur d'être distrait (ou de se désengager) pendant qu'il conduit tout en maintenant un environnement de conduite sûr ? Les défis auxquels sont confrontés les chercheurs dans le domaine de la sécurité sont amplifiés par la complexité des scénarios possibles et, en même temps, limités par les limites de la technologie, de la méthodologie et de la littérature pour répondre à ces questions.

La distraction au volant est définie comme le fait de détourner l'attention de la conduite vers une tâche concurrente [2]. Naturellement, ce scénario est traité comme un paradigme de double tâche qui définit la distraction en termes de charge de travail excessive et de ressources attentionnelles limitées [3][START_REF] Duncan | Restricted attentional capacity within but not between sensory modalities[END_REF][START_REF] Gazes | Performance degradation and altered cerebral activation during dual performance: Evidence for a bottom-up attentional system[END_REF]. Cependant, ce scénario ignore largement la façon dont les conducteurs en viennent à s'engager et à se désengager dans des activités distrayantes [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF].

Il a également été souligné qu'une distraction de conduite typique est moins susceptible d'être représentée par un seul type de distraction (c'est-à-dire visuelle, cognitive, auditive et physique). Une combinaison de deux ou plusieurs types de distractions représente plutôt un scénario plus réaliste [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF]. Malgré ce constat, très peu d'ouvrages font état d'une combinaison de types de distractions et des mesures utilisées dans ces rapports [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF][START_REF] Kaber | Driver performance effects of simultaneous visual and cognitive distraction and adaptation behavior[END_REF]. Celles-ci se limitent à la performance de conduite (contrôle latéral, freinage, etc.) et aux mesures physiques du conducteur (mouvements des yeux) uniquement.

Dans le but de combler les lacunes de la recherche sur la sécurité, cette thèse vise à découvrir les mécanismes de détection de la distraction cognitive visuelle en utilisant des signaux physiologiques. Ceci est encouragé par le fait que la plupart des distractions au volant impliquent à la fois des modalités visuelles et cognitives [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF]. En outre, les signaux physiologiques, à savoir les mouvements oculaires et l'EEG, qui ont été suggérés pour mieux distinguer ces types de distraction [START_REF] Yusoff | Selection of Measurement Method for Detection of Driver Visual Cognitive Distraction: A Review[END_REF], nécessitent une étude approfondie intégrant l'élément de commutation des tâches en plus de la notion de paradigme de double tâche.

Pour chaque méthode de mesure (EEG et suivi oculaire), il existe des problèmes fondamentaux qui doivent être abordés et explorés avant de les adopter dans la détection de la distraction cognitive visuelle. Les principales difficultés liées à l'adoption de ces mesures sont énumérées ci-dessous :

(a) Analyse EEG : mise en relation des caractéristiques pertinentes avec le changement de tâche dans un paradigme de double tâche.

• La plupart des recherches sur la distraction au volant qui utilisent l'EEG ont indiqué qu'elles optent pour une synchronisation sur les bandes de fréquences thêta, alpha et bêta pour détecter les caractéristiques [START_REF] Wang | EEG-Based Attention Tracking During Distracted Driving[END_REF][START_REF] Sonnleitner | EEG alpha spindles and prolonged brake reaction times during auditory distraction in an on-road driving study[END_REF][START_REF] Dahal | TVAR modeling of EEG to detect audio distraction during simulated driving[END_REF][START_REF] Almahasneh | Deep in thought while driving: An EEG study on drivers' cognitive distraction[END_REF][START_REF] Lin | Spatial and temporal EEG dynamics of dual-task driving performance[END_REF][START_REF] Wali | Subtractive Fuzzy Classifier Based Driver Distraction Levels Classification Using EEG[END_REF]. o Ceci est motivé par le concept de charge cognitive et de ressources attentionnelles limitées ; ainsi, le protocole expérimental conçu se concentrait sur la distraction cognitive dans laquelle la tâche secondaire induite l'était via la capacité auditive. • Cependant, il a été démontré que certaines activités EEG oscillatoires, en particulier les activités en bande delta, sont en corrélation avec la commutation perceptive [19][START_REF] Nakatani | Transient synchrony of distant brain areas and perceptual switching in ambiguous figures[END_REF][START_REF] Shimaoka | Transient process of cortical activity during Necker cube perception: from local clusters to global synchrony[END_REF][START_REF] Nakatani | Precisely timed oculomotor and parietal EEG activity in perceptual switching[END_REF][23][24]. o Par conséquent, une étude de base est nécessaire pour identifier les caractéristiques liées à la fois aux ressources attentionnelles limitées et à la commutation de tâches, en particulier le processus d'engagement et de désengagement.

(b) Analyse des mouvements oculaires dans un scénario dynamique. Compte tenu de l'ensemble des problématiques, les principales questions de recherche à traiter dans le cadre de cette thèse sont les suivantes :

1. Le changement de tâche influence-t-il le paradigme de la double tâche dans la distraction cognitive visuelle au volant ? 2. Quelles caractéristiques devraient être utilisées pour détecter la distraction cognitive visuelle au volant ? L'hypothèse est que le changement de tâche est impliqué dans la distraction cognitive visuelle au volant car les conducteurs doivent partager la capacité visuelle entre la tâche de conduite et la tâche de distraction. couvre également les questions de recherche, la portée de la recherche et les objectifs de la recherche de cette thèse.

Le deuxième chapitre traite de l'idée fondamentale qui sous-tend la recherche sur la distraction au volant, comme l'attention, le changement de tâche, la double tâche et la conscience de la situation, du point de vue des neurosciences. La distraction cognitive visuelle a également été définie, et la littérature sur ses méthodes de mesure a été examinée et comparée de manière critique pour révéler les lacunes de la recherche. À la fin du chapitre, on trouvera une brève introduction aux fonctions cérébrales, à leur dynamique, à la manière dont l'EEG est utilisé pour explorer les activités cérébrales dans une situation différente. Un examen de l'extraction de caractéristiques EEG couramment utilisées et de la méthode de sélection de caractéristiques basée sur l'apprentissage machine conclut le chapitre.

Le troisième chapitre est consacré à la justification de l'approche scientifique des expériences menées dans les chapitres 4 à 6. Il commence par la question de recherche soulevée et la manière dont elle se traduit dans l'expérience conçue. La justification de la méthodologie adoptée pour l'extraction de caractéristiques, la méthode de validation, l'approche d'analyse statistique est discutée dans ce chapitre.

Le titre du chapitre 4 est "Changement de tâche, double tâche ou les deux". Comme nous proposons que la distraction cognitive visuelle implique une commutation de tâches, ce chapitre décrit une expérience, le test de distraction Stroop, afin d'étudier cette théorie. En extrayant la puissance oscillatoire estimée à l'aide d'une transformée en ondelettes, la fréquence significative a été examinée par la méthode du bootstrap. Le comportement et les résultats statistiques de l'EEG est discutés et comparés à la fin du chapitre.

Le cinquième chapitre présente la théorie dans un scénario de conduite dans un cadre expérimental. Il commence par la description du dispositif expérimental, suivie de l'approche d'analyse des multiples méthodes de mesure. Les données acquises ont été analysées et comparées.

Le sixième chapitre propose et compare une méthode de sélection des caractéristiques basée sur l'apprentissage machine, afin de déterminer les caractéristiques EEG les plus pertinentes pour la détection de la distraction cognitive visuelle au volant. Les performances de classification des caractéristiques sélectionnées ont été calculées et discutées.

Le dernier chapitre présente les conclusions de cette thèse, la contribution du travail de thèse, les limites et les travaux futurs.

Etat de l'art

La distraction au volant est définie comme un déplacement de l'attention de la conduite sûre vers une tâche concurrente [2]. En se référant à cette définition, le changement de tâche est plus susceptible d'être la fonction exécutive impliquée dans ce processus. Cependant, cette activité implique deux tâches : la conduite et la tâche concurrente. Ainsi, la plupart des études de recherche abordent cette question par le paradigme de la double tâche.

Dans cette section, une revue des relations entre le goulot d'étranglement attentionnel, le paradigme de la commutation de tâches, le paradigme de la double tâche, le type et les sources de distraction et la conscience de la situation est examinée en ce qui concerne la distraction motrice et les facteurs inhérents. Après une compréhension commune des causes, un examen critique des méthodes de mesure est résumé. Un examen de l'électroencéphalographie (EEG) a été effectué à la fin de ce chapitre, comprenant les fonctions cérébrales, la dynamique du cerveau, l'extraction de caractéristiques et les défis rencontrés par la recherche sur la distraction motrice dans l'utilisation de l'EEG.

Une étude menée par la Fondation AAA pour la sécurité routière a révélé que les jeunes conducteurs étaient distraits dans 58 % des accidents analysés [START_REF] Carney | Using naturalistic driving data to assess the prevalence of environmental factors and driver behaviors in teen driver crashes[END_REF] alors que la NHTSA a rapporté que seulement 13 à 14 % de tous les conducteurs étaient distraits en 2014 [START_REF]Distracted Driving 2014[END_REF], 2013 [START_REF] Administration | Distracted Driving 2013[END_REF] et 2012 [START_REF] Administration | Distracted Driving 2012[END_REF]. La disparité entre ces deux rapports est la méthode d'analyse. L'analyse des données utilisée par la Fondation AAA pour la sécurité routière était basée sur des clips vidéo de six secondes qui ont été capturés juste avant que les accidents ne se produisent. En revanche, la NHTSA s'est concentrée sur des données d'accidents qui ont été rapportées de manière subjective. Les grandes différences de pourcentage dans ces rapports peuvent indiquer que le nombre d'accidents résultant de la distraction est probablement plus important que ce que nous pensions auparavant. Toutefois, l'absence de mesures communes rend les interprétations et les conclusions difficiles. Par conséquent, une mesure objective et fiable de la distraction est nécessaire avant de proposer toute mesure d'atténuation appropriée.

Parmi les 40 % d'accidents aux intersections survenus aux États-Unis en 2008, les erreurs de reconnaissance (56,7 %) et les erreurs de détection (29,2 %) ont été signalées comme les facteurs les plus critiques ayant contribué aux accidents [START_REF] Choi | Crash Factors in Intersection-Related Crashes: An On-Scene Perspective[END_REF]. Ces statistiques indiquent que les facteurs humains tels que la sensibilisation des conducteurs sont la principale cause de ce type d'accidents. Une étude plus récente sur les jeunes conducteurs a révélé que les passagers sont la principale cause de distraction du conducteur (40 %), suivis par les téléphones portables (12 %) et les personnes/objets inconnus à l'extérieur du véhicule [START_REF] Carney | Using naturalistic driving data to assess the prevalence of environmental factors and driver behaviors in teen driver crashes[END_REF]. Sur la base de ces données, le niveau d'expérience du conducteur pourrait influencer la capacité à rester vigilant.

En plus de ces questions liées à la distraction -qui ne sont pas encore totalement comprises -l'émergence de la technologie des voitures autonomes est un autre facteur qui affectera la conscience du conducteur. Selon la politique fédérale sur les véhicules automatisés de la NHTSA [START_REF][END_REF], il existe six niveaux d'automatisation des véhicules qui ont été définis pour faciliter les discussions entre les différentes agences et parties prenantes. Ces niveaux vont du niveau 0 (pas d'automatisation) au niveau 5 (entièrement automatisé). Les niveaux 2 à 4 permettent aux conducteurs de donner l'autorisation de conduire au système automatisé, et par conséquent de réduire l'attention qu'ils portent à la conduite et à la route. Ainsi, dans la conduite automatisée, le conducteur est autorisé à être distrait en étant encouragé à se désengager de la conduite [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF]. Bien que les lignes directrices indiquent clairement que les conducteurs humains doivent continuer à surveiller l'environnement de conduite à ces niveaux, des questions demeurent. En particulier, on ne sait pas dans quelle mesure un conducteur peut être distrait ou désengagé tout en maintenant un environnement de conduite sûr. En outre, nous ne savons pas quelles sont les mesures fiables et appropriées qui peuvent aider à étudier et éventuellement à proposer des mesures d'atténuation pour des raisons de sécurité. La figure 2.1 présente un aperçu des facteurs inhérents à la compréhension de la distraction au volant. L'homme et le distracteur sont deux thèmes principaux qui causent la distraction au volant, tandis que les effets sont généralement caractérisés par des mesures. Dans ce chapitre, la pérégrination s'est limitée au mécanisme humain, aux expériences, à l'âge, aux distracteurs et aux mesures objectives et subjectives.

Figure.2.1. Aperçu des facteurs inhérents à la distraction en conduite.

L'attention est la propriété essentielle de toutes les opérations perceptives et cognitives, et sa caractéristique fondamentale est sa capacité limitée [START_REF] Miller | Cortical circuits for the control of attention[END_REF][START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF]. En raison de cette caractéristique, les gens doivent choisir le centre de l'attention, soit vers la conduite, soit vers la distraction. La source de la distraction/la tâche concurrente peut provenir de l'environnement extérieur [2], en tant que stimulus saillant qui capte l'attention de manière ascendante [START_REF] Miller | Cortical circuits for the control of attention[END_REF]. La distraction peut également provenir de l'intérieur, un phénomène connu sous le nom de distraction cognitive [2], qui utilise l'attention interne [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF].

La première étape des mécanismes d'attention tels que décrits par Chun et al [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF] est la sélection à partir de sources multiples, internes ou externes, qui sont dirigées respectivement par des forces ascendantes ou descendantes. Une fois qu'une attention a été fixée, les informations captées sont modulées dans la deuxième étape. Au cours de cette étape, les informations sont interprétées à des vitesses de traitement rapides ou lentes, et une décision est prise quant à leur mémorisation, leur oubli ou leur exécution. La troisième étape du mécanisme d'attention est l'état de vigilance, également connu sous le nom d'attention soutenue, qui représente une concentration constante sur le sujet d'intérêt.

Figure.2.2. Les voies visuelles.

Le goulot d'étranglement attentionnel causé par l'étape de sélection peut être bien compris en observant l'attention visuelle [START_REF] Miller | Cortical circuits for the control of attention[END_REF]. Par conséquent, lorsque nous comparons ce mécanisme attentionnel [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF] avec le processus perceptif décrit par Goldstein [START_REF] Goldstein | Sensation and Perception[END_REF], nous pouvons voir qu'ils s'emboîtent bien (Fig. 2.2, cercles rouges 1 et 2). Ceci représente l'étape de sélection du mécanisme attentionnel. La lumière réfléchie par le stimulus atteint les photorécepteurs de l'oeil et est transformée en un signal électrique qui se rend ensuite dans la région occipitale du cerveau par le biais du tractus optique. Différentes informations intégrées dans le stimulus se déplacent ensuite vers les flux dorsal (région pariétale) et ventral (région temporale) où elles sont perçues et reconnues [START_REF] Hebart | What visual information is processed in the human dorsal stream?[END_REF]. Le cerveau décide alors de la marche à suivre dans la région frontale. Les processus indiqués par le cercle rouge 5 dans la figure 2.2, représentent l'étape de modulation dans le processus attentionnel. La répétition du processus perceptif renforce l'état de vigilance.

Malgré le goulot d'étranglement attentionnel, la distraction au volant est également influencée par la gestion stratégique de la charge de travail qui dépend fortement de la gestion par le conducteur des interruptions qui orientent l'attention vers les distractions. Lee [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF] en parle longuement comme étant le processus d'engagement et de désengagement pendant la conduite. Un échec dans la gestion des interruptions se produit lorsque les conducteurs se désengagent de la conduite et passent plus de temps à s'occuper du distracteur [START_REF] Lee | Scrolling and driving: how an MP3 player and its aftermarket controller affect driving performance and visual behavior[END_REF], un phénomène qui est une sorte de préservation de la tâche. Les facteurs qui influencent la préservation de la tâche sont la proximité, l'émergence du but et la valence du but, qui sont similaires dans leur concept à l'activation du but [START_REF] Fox | Escalation Behavior as a Specific Case of Goal-Directed Activity: A Persistence Paradigm[END_REF].

Ces pièges de l'attention sont principalement motivés par un contrôle volontaire de l'attention du haut vers le bas, car les conducteurs déplacent volontairement leur attention vers le distracteur [START_REF] Baluch | Mechanisms of top-down attention[END_REF]. C'est un concept similaire à celui de l'attention interne tel que décrit par Chun et al [START_REF] Chun | A Taxonomy of External and Internal Attention[END_REF]. Par conséquent, nous pouvons conclure que même si nous déplaçons notre attention en fonction des origines du distracteur, le désengagement constant de la conduite pour s'occuper des distractions est principalement motivé par l'attention interne. L'attention interne implique des processus de contrôle cognitif et opère sur des représentations dans la mémoire de travail, la mémoire à long terme, les règles de la tâche, les décisions et les réponses. Ainsi, la détection d'un seul type de distraction ne déclenche pas le processus complet de distraction.

[43] qui suggère qu'une interférence se produit dans le paradigme de la tâche double lorsque deux tâches sont en compétition pour le contrôle de l'étape de sélection de la réponse. Ceci est dû au goulot d'étranglement qui ne permet qu'un seul processus de réponse à la fois, ce qui est appelé capacité d'attention restreinte.

Cependant, nous devons garder à l'esprit que le concept de capacité d'attention restreinte se produit au sein des mêmes modalités sensorielles, et non entre différentes modalités sensorielles [START_REF] Duncan | Restricted attentional capacity within but not between sensory modalities[END_REF]. Par exemple, la conduite qui requiert constamment le sens de la vision, a besoin de partager sa capacité avec une tâche secondaire qui est visuellement exigeante. Comme nous l'avons vu dans cette section, cette situation implique un processus de changement de tâche, un engagement et un désengagement cohérents des deux activités. Le tableau 2.2 présente un résumé de l'activité cérébrale liée au paradigme de la double tâche.

Tableau.2.2. Résumé de l'activité cérébrale dans le paradigme de la double tâche.

Références

Tâche Remarques [START_REF] Beurskens | Neural Correlates of Dual-Task Walking: Effects of Cognitive versus Motor Interference in Young Adults[END_REF] Marcher avec une tâche d'interférence cognitive et motrice.

Alpha et bêta modulés de manière significative dans la région frontale et centrale, indiquent une augmentation de la charge de travail cognitive.

[45]

Performance posturale et tâche visuelle de mémoire de travail.

Réduction de l'amplitude de l'ERP évoquée par la perturbation posturale.

[46]

Conduite et conduite distraite.

Augmentation de la puissance dans les bandes de fréquences thêta et bêta dans la région frontale. Suppression de la puissance alpha et bêta dans la zone du moteur.

Les études sur la distraction au volant évaluent généralement l'effet de la distraction qui résulte d'un seul type de distraction. Selon la classification de la NHTSA, ces types de distractions comprennent les distractions visuelles, cognitives, auditives et physiques/biomécaniques [START_REF] Thomas | NHTSA Driver Distraction Research: Past Present and Future[END_REF]. La distraction visuelle est définie comme le fait de quitter la route des yeux, la distraction cognitive comme le fait de ne pas penser à la conduite [START_REF] Engström | Effects of visual and cognitive distraction on lane change test performance[END_REF], la distraction auditive comme le fait de ne pas écouter les signaux auditifs de conduite et la distraction physique comme le fait de ne pas mettre les mains sur le volant [1]. Cependant, la source la plus définie de tâche secondaire est induite par plus d'un type de distraction, notamment visuelle et cognitive. Dans cette section, nous examinons le lien entre le type et les sources de distraction, ainsi que la définition du terme "distraction visuelle et cognitive" qui sera utilisé dorénavant.

Plusieurs autres tâches secondaires courantes que les conducteurs ont tendance à effectuer sont également considérées comme des sources de distraction. Une étude réalisée par Young et ses collègues [START_REF] Young | Examining the relationship between driver distraction and driving errors: A discussion of theory, studies and methods[END_REF] a classé les sources de distraction en trois catégories : (1) les sources technologiques, (2) les sources non technologiques, et (3) les sources externes au véhicule. La distraction basée sur la technologie comprend l'utilisation de systèmes de communication embarqués, tels que les conversations sur les téléphones portables (mains libres ou non), les SMS, les e-mails ou la recherche d'une adresse à l'aide du GPS. L'utilisation des téléphones portables exige une attention particulière aux processus fonctionnels visuels, cognitifs et physiques. En raison de sa complexité et de son importance, de nombreux chercheurs se penchent sur cette question sous différents angles [START_REF] Márquez | Mobile phone use while driving: A hybrid modeling approach[END_REF]. Les distractions non technologiques comprennent, entre autres, le fait de parler aux passagers, de manger, de boire, de fumer ou d'essayer de ne pas se perdre, ce qui provoque en fait plus d'un type de distraction. Par exemple, en essayant de déterminer où l'on cherche des indices importants (par exemple, des panneaux de signalisation, des points de repère, etc.), on peut quitter la route des yeux pour examiner les environs (distraction visuelle). En même temps, des compétences cognitives sont nécessaires pour comparer ces indices à toute information mémorisée relative à l'endroit désiré, puis pour planifier la prochaine action (distraction cognitive). Cela augmente la charge de la tâche cognitive principale : la conduite.

La distraction externe au véhicule implique des capacités visuelles et cognitives pendant la conduite. L'observation d'événements, de personnes, de panneaux d'affichage ou d'accidents de voiture pendant la conduite sont classés dans cette catégorie. Il faut prêter attention aux stimuli importants, comme les piétons qui traversent la route ; cependant, même cela peut être une distraction si le conducteur ne sait pas que la voiture devant lui a mis un frein d'urgence. Un autre exemple qui entre dans cette catégorie provient d'une étude sur la distraction causée par les panneaux électroniques à messages variables (CEVMS). L'étude conclut que ces panneaux attirent plus de regards et plus longtemps que les panneaux de signalisation ordinaires [START_REF] Dukic | Effects of electronic billboards on driver distraction[END_REF]. Cela attire l'attention visuelle et peut utiliser des ressources cognitives afin de comprendre le message affiché.

Ainsi, les sources de distraction au volant sont moins susceptibles d'être représentées par un seul type de distraction. Au contraire, une combinaison de deux ou plusieurs types de distractions ou phénomènes peut rendre une situation plus réaliste. La plupart des tâches technologiques requièrent généralement un effort à la fois visuel et cognitif [START_REF] Engström | Effects of visual and cognitive load in real and simulated motorway driving[END_REF]. C'est également le cas pour les autres catégories de sources de distraction : non technologiques et externes au véhicule. Par conséquent, dans cette thèse, la distraction visuelle et cognitive est définie comme une tâche secondaire qui requiert à la fois des capacités visuelles et cognitives, comme l'illustre la figure 2.3.

Figure.2.3. Illustration des types et des sources de distraction.

La cause communément admise de la distraction au volant était due à la capacité d'attention limitée. Dans un cas où il existe un point commun entre la modalité sensorielle utilisée pour la conduite et la tâche secondaire, c'est-à-dire visuelle, un conducteur doit procéder à de fréquents changements de perception lorsqu'il est distrait. Cette limitation affecte directement la conscience de la situation du conducteur. Le changement de perception (c'est-à-dire l'étape de sélection du mécanisme d'attention) permet au conducteur de percevoir son environnement, même si l'attention elle-même lui permet de se concentrer sur autre chose en même temps [START_REF] Mack | Inattentional blindness[END_REF]. Comme les stimuli environnementaux et l'état des tâches changent constamment, les conducteurs doivent continuellement prendre des décisions. Compte tenu de ce fait, la conscience de la situation peut être sérieusement affectée lorsque la distraction par une tâche concurrente conduit à ne pas remarquer des stimuli importants.

Endsley [START_REF] Endsley | Toward a Theory of Situation Awareness in Dynamic Systems[END_REF] a introduit un modèle de conscience de la situation dans un système dynamique qui peut idéalement décrire l'effet de l'incapacité à remarquer un stimulus important en raison de la capacité d'attention limitée. Selon ce modèle, il existe trois niveaux de conscience de la situation.

-"la perception des éléments de l'environnement dans un volume de temps et d'espace", -"la compréhension de leur signification", -"la projection de leur statut dans l'avenir". Des décisions peuvent être prises et des actions peuvent être menées une fois que chacun de ces niveaux a été atteint. Toutefois, le fait de ne pas remarquer un stimulus important au premier niveau affectera certainement la compréhension correcte de la situation actuelle et la projection dans le futur, ce qui entraînera des erreurs dans la prise de décision et, finalement, provoquera un accident.

Bien que la conduite puisse être considérée comme faisant partie de la mémoire procédurale pour un conducteur expérimenté, il est toujours nécessaire d'être conscient de la situation actuelle afin de pouvoir s'adapter à un environnement changeant. La mémoire procédurale est un type de mémoire qui devient plus efficace au fur et à mesure que les compétences sont mises en pratique et que les actions peuvent être exécutées automatiquement avec peu de pensées ou de souvenirs conscients [START_REF] Sousa | How the brain learns[END_REF]. Des études [START_REF] Lee | Detection of Road Hazards by Novice Teen and Experienced Adult Drivers[END_REF][START_REF] Klauer | Distracted driving and risk of road crashes among novice and experienced drivers[END_REF] ont montré que les conducteurs expérimentés observent les dangers et les reconnaissent ouvertement plus fréquemment que les conducteurs adolescents. En outre, une grande partie des conducteurs adolescents ne parviennent pas à se détacher des tâches concurrentes en présence de dangers. Toutefois, cette efficacité ne s'applique pas à tous les âges des conducteurs expérimentés. Les baisses de cognition liées à l'âge peuvent avoir des effets néfastes sur la capacité des adultes plus âgés à accomplir les tâches quotidiennes. Par conséquent, leur conscience de la situation est plus faible que celle des adultes plus jeunes et d'âge moyen [START_REF] Bolstad | Situation awareness: does it change with age?[END_REF][START_REF] Caserta | The relevance of situation awareness in older adults' cognitive functioning: a review[END_REF]. Nous pouvons donc en déduire que la conscience de la situation et l'expérience de conduite sont les deux principaux éléments qui influencent les niveaux de distraction au volant.

Il y a une limite à la capacité d'exécuter plusieurs tâches simultanément [START_REF] Kahneman | Attention and effort[END_REF], sans que la performance de toutes les tâches soit dégradée [START_REF] Gazes | Performance degradation and altered cerebral activation during dual performance: Evidence for a bottom-up attentional system[END_REF][START_REF] Miller | Bimanual response grouping in dual-task paradigms[END_REF][START_REF] Strayer | Driven to distraction: dual-Task studies of simulated driving and conversing on a cellular telephone[END_REF][START_REF] Herath | Neural correlates of dual task interference can be dissociated from those of divided attention: an fMRI study[END_REF][START_REF] Brown | Attentional resources in timing: interference effects in concurrent temporal and nontemporal working memory tasks[END_REF][START_REF] Karlin | Effects of number of alternatives on the psychological refractory period[END_REF]. Par conséquent, s'occuper d'une tâche concurrente en conduisant est une distraction qui dégrade les performances de conduite et affecte le comportement de conduite en toute sécurité. Cette section présente cinq méthodes de mesure des distractions visuelles et cognitives au volant, et explique comment elles peuvent contribuer à la détection des distractions. Les cinq mesures courantes de la distraction au volant sont les suivantes (a) les mesures de la performance de conduite, (b) les mesures physiques du conducteur, (c) les mesures biologiques du conducteur, (d) les rapports subjectifs, et (d) les mesures hybrides [START_REF] Yanchao | Driver Inattention Monitoring System for Intelligent Vehicles: A Review[END_REF]. Nous avons examiné chacun de ces cinq types de mesures et reconnu leurs points forts et leurs limites. Chaque source de distraction peut être détectée par une ou plusieurs méthodes. Le tableau 2.3 résume la capacité de chaque méthode à détecter la distraction visuelle, cognitive et visuelle cognitive et ses limites. Les données indiquent que les mesures hybrides présentent des avantages par rapport aux autres méthodes, car tout inconvénient unique peut être atténué par les preuves fournies par l'une des autres mesures.

La combinaison de mesures de la performance de conduite et de rapports subjectifs nécessite un retour d'information subjectif qui ne peut être obtenu qu'à la fin de l'expérience. Bien qu'il s'agisse d'une excellente méthode pour comprendre les mécanismes d'erreur sousjacents qui résultent de la distraction, ce processus présente un inconvénient important si l'on veut utiliser la détection automatique, car il nécessite qu'un tiers ou un chercheur obtienne le retour d'information.

Les mesures physiques pourraient ne pas être en mesure de distinguer la distraction visuelle de la distraction cognitive. Cependant, en les fusionnant avec des mesures biologiques, la méthode hybride pourrait compenser et distinguer avec succès le type de distraction.

Par exemple, une mesure physique telle que l'information sur les mouvements oculaires pourrait permettre de détecter la distraction visuelle, mais pas la distraction cognitive, car la variation des mouvements oculaires cognitifs entre les conducteurs est trop importante, surtout à des niveaux de distraction cognitive faibles. Cela pourrait conduire à des résultats faussement négatifs dans lesquels les caractéristiques sélectionnées pourraient ressembler à une conduite sûre si elles ne sont pas définies avec précision. Cependant, les mesures biologiques telles que l'EEG sont capables de reconnaître la distraction cognitive grâce aux caractéristiques de synchronisation du cerveau mais ne sont pas sensibles à la distraction visuelle car ce type de distraction implique principalement le mouvement des yeux vers un endroit spécifique. Ainsi, la combinaison de ces mesures complémentaires devrait permettre de déterminer avec précision la distraction cognitive visuelle et sa force.

Une limitation potentielle de ces mesures est la difficulté de synchroniser les données provenant de sources multiples à utiliser pour l'analyse. Ce défi doit être abordé et vérifié au stade de l'acquisition et du prétraitement des données avant que des décisions ne soient prises sur la base de méthodes de détection.

La plupart des recherches sur la détection de la distraction se concentrent sur la discrimination entre la conduite distraite et la conduite normale. Cependant, les sources de distraction peuvent être introduites à des niveaux de complexité variables. Par exemple, déchiffrer une carte GPS risque d'être plus déroutant que lire un simple panneau de signalisation, bien que les deux activités soient considérées comme des tâches concurrentes. Certaines distractions, telles que la lecture d'un panneau et le regard sur le GPS, sont nécessaires à la conduite. Toutefois, le niveau de distraction variera en fonction de la complexité de la source. En raison de la variation des niveaux de distraction, on prévoit que leurs effets seront également variés. Il est donc nécessaire d'étudier et d'être attentif aux effets des différents niveaux de distraction sur les performances de conduite pour obtenir une méthode de détection robuste.

Tableau.2.3 Résumé des mesures de distraction comme méthode de détection. √ : Capable de détecter, X : Incapable de détecter ou possibilité de fausse réponse (angle mort), NA : Sans objet, ? : Possibilité de recherches futures

Ce chapitre commence par une discussion sur le concept qui régit la distraction au volant : l'attention, la commutation de tâches et la double tâche. La définition de la distraction motrice cognitive visuelle a été mise en évidence par opposition à la taxonomie de la distraction motrice, qui a ensuite été expliquée du point de vue de la conscience de la situation. Une fois que la compréhension de la distraction cognitive visuelle au volant a été établie, un examen des méthodes de mesure et de détection les plus récentes a été discuté, et ses limites et avantages ont été mis en évidence.

Une introduction à l'EEG a été brièvement discutée, suivie de la description de la méthode d'extraction de caractéristiques communément utilisée et de son application. Ensuite, nous avons discuté des défis liés à l'utilisation de l'EEG pour la recherche sur la sécurité. Les données EEG en haute dimension sont utiles dans une certaine mesure, mais elles nécessitent un temps de mise en oeuvre pratique plus long et la nature du fonctionnement du cerveau est que seul un sous-ensemble de ces données est utile pour la détection de certaines tâches. Par conséquent, il est impératif d'adopter la technique de sélection des caractéristiques dans le cadre du système de détection de la distraction cognitive visuelle de la conduite. Enfin, un examen de la méthode de sélection des caractéristiques est présenté.

Approche scientifique

Ce chapitre donne un aperçu de l'approche scientifique adoptée en ce qui concerne les questions de recherche. Trois expériences ont été conçues : (E1) Test de distraction stroop, (E2) Test de distraction au volant (stimuli cognitifs visuels) et (E3) Classification de la distraction cognitive visuelle au volant à l'aide de la méthode de sélection des caractéristiques proposée. Les expériences sont expliquées en détail respectivement du chapitre 4 au chapitre 6. La figure ci-dessous est le résumé de ce chapitre.

Figure.3.1. Aperçu de l'approche scientifique.

La première question de recherche soulevée est de savoir si le changement de tâche influence le paradigme de la double tâche dans la distraction cognitive visuelle de la conduite. Afin de vérifier cette hypothèse, nous avons conçu deux expériences pour étudier les effets de la tâche (dans ce cas une tâche de distraction cognitive visuelle) sur la performance et la réponse EEG. D'après la littérature, les deux paradigmes entraîneraient une augmentation du temps de réaction. Alors que pour la réponse EEG, la plupart des publications sur l'analyse EEG dans les expériences de commutation de tâches et de double tâche, ont fait état de caractéristiques extraites en utilisant la densité spectrale de puissance ou ERP.

Expérience 1 : test de distraction stroop

Dans la première expérience, nous mesurons la réponse d'une tâche contrôlée modifiée ; le test de la distraction. Les sujets doivent répondre à de multiples stimuli pendant que leur temps de réaction et le signal EEG sont mesurés. Nous faisons une comparaison entre trois séances qui diffèrent par la façon dont les stimuli sont représentés. Ces différences sont importantes pour signifier les effets des différents niveaux de charge cognitive. Dans la session distraite, le sujet doit effectuer deux tâches qui sont introduites de manière séquentielle, il ne peut donc pas contrôler le processus de commutation. Chaque stimuli représente un seul cas de distraction qui comprend à la fois une double tâche et un élément de commutation de tâche.

La distraction de conduite se produit en une fraction de seconde, il ne s'agit pas d'un état persistant tel que le stress ou une crise. Les stimuli évoqués dans cette expérience imitent parfaitement la distraction instantanée. Par conséquent, nous abordons l'analyse EEG dans le domaine temps-fréquence, ce qui nous permet d'examiner les fréquences significatives à une résolution temporelle plus élevée de cette distraction unique. Nous extrayons l'ERSP du PSD de CWT. La CWT est préférée pour l'analyse parce que la résolution temporelle fixe de la STFT la rend inadaptée aux formes d'onde non stationnaires ayant une composante haute et basse fréquence [START_REF] Rodrigues | A survey of techniques applied to non-stationary waveforms in electrical power systems[END_REF]. Nous devons utiliser deux étapes pour l'analyse statistique car CWT produit une grande quantité de données à partir d'un seul point temporel. Dans ces cas, des écarts éventuels par rapport aux hypothèses sur lesquelles repose la procédure d'extraction des caractéristiques peuvent conduire à des résultats fortement biaisés et, par conséquent, à des inférences fonctionnelles incorrectes [START_REF] Di Nocera | Resampling approach to statistical inference: Bootstrapping from event-related potentials data[END_REF]. Les deux étapes de l'analyse statistique sont : (a) le bootstrap avec correction par comparaison multiple et (b) l'ANOVA (paramétrique) ou le test de Friedman (non-paramétrique) pour les caractéristiques significatives obtenues à l'étape (a). L'idée du bootstrapping est de faire des inférences en utilisant les données disponibles, en évitant de faire des suppositions sur la distribution sous-jacente, les observations proviennent d'un échantillonnage avec remplacement des données. Les détails du protocole expérimental et de l'analyse sont expliqués en détail au chapitre 4.

Expérience 2 : test de conduite distraite

Dans la seconde expérience, la réponse du sujet a été mesurée pendant la conduite et pendant l'exécution d'une tâche modifiée du GPS. La tâche comporte deux niveaux, facile et difficile. Les mesures de validation adoptées sont le temps de réaction sur une tâche unique (équation mathématique), la performance de conduite, le suivi des yeux, le NASA-TLX et le SSQ. Le temps de réaction sur une tâche unique a été utilisé pour la validation afin de s'assurer que ces questions infligent différents niveaux de charge cognitive. Le temps nécessaire à l'exécution de la tâche pendant la conduite n'a pas été pris comme mesure de validation car il dépend de la vitesse du véhicule, qui est entièrement contrôlée par le conducteur. Afin de garantir que l'expérience reste écologique (aussi proche de la conduite réelle), nous n'avons pas imposé de restriction de vitesse maximale sur le système de simulation de conduite, mais des panneaux de limitation de vitesse ont été placés à des endroits appropriés du scénario. Par conséquent, la variabilité du temps nécessaire à l'accomplissement de la tâche dans l'expérience est fortement influencée par l'habitude de conduite du sujet, qui ne permet pas de faire une inférence directe sur la charge de travail cognitive. C'est pourquoi le NASA-TLX a été utilisé pour évaluer la perception de la charge de travail des participants. Dans cette expérience, le NASA-TLX est préférable au RSME, au Drivers Verbal Protocol ou à tout autre questionnaire adapté car les questions portent spécifiquement sur la charge de travail mental qui a été validée et largement utilisée dans la recherche.

Dans cette expérience, nous définissons l'état de distraction depuis le début des stimuli jusqu'à la fin des stimuli. Pendant cette période, nous supposons que le sujet a dû constamment passer de la tâche distraite à la conduite, car il doit accomplir la tâche pour connaître la prochaine action. C'est la période au cours de laquelle le processus d'engagement et de désengagement se produit, comme le décrit Lee [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF], car elle contient de multiples cas de commutation entre deux tâches : la conduite et la tâche GPS modifiée. Nous avons utilisé la performance du conducteur et le suivi du regard comme mesure de validation pour cette période.

Tableau. 3

Limitation

La commutation n'était pas contrôlée par le sujet Les caractéristiques EEG extraites sont l'ERSP de la PSD de la FFT parce que la segmentation de l'époque étudiée par la fraction de temps (comme requis dans l'analyse du domaine temps et temps-fréquence) n'encapsulerait pas le processus d'engagement et de désengagement. Dans cette expérience, nous comparons les trois états : conduite, distrait avec une question facile et distrait avec une question difficile. Nous fixons donc la période d'observation, et supposons donc que ces époques sont stationnaires. La FFT est choisie comme méthode d'extraction de caractéristiques parce qu'elle est un bon outil pour un signal stationnaire [START_REF] Al-Fahoum | Methods of EEG Signal Features Extraction Using Linear Analysis in Frequency and Time-Frequency Domains[END_REF] et la plupart des publications sur la commutation de tâches, le paradigme de la double tâche et la distraction au volant discutent des résultats dans les paramètres du domaine fréquentiel, par exemple, delta (0,1-4 Hz), thêta (4-8 Hz), alpha (8-13 Hz), bêta (13-30 Hz) et gamma (30 Hz et plus). En utilisant un paramètre d'observation similaire (domaine fréquentiel), les références faites à la littérature précédente seront cohérentes. L'approche d'analyse statistique adoptée pour chaque mesure (à la fois la validation et la méthode d'investigation) est expliquée en détail au chapitre 5. Le tableau 3.1 présente un résumé des informations importantes concernant les expériences 1 et 2.

La deuxième question de recherche est posée en fonction de la question de la mise en oeuvre de la conception d'un système de classification pour détecter la distraction cognitive visuelle au volant. Comme mentionné dans le chapitre 2, l'extraction des caractéristiques EEG produit une grande quantité de données, cependant, la nature du fonctionnement du cerveau est que seul un sous-ensemble de ces données est utile pour la détection de certaines tâches. Ce sous-ensemble de données peut varier en fonction du mécanisme sous-jacent qui régit la tâche de détection. Pour cette thèse, nous nous concentrons sur la tâche de distraction cognitive visuelle et la question posée est la suivante : quelles sont les caractéristiques de l'EEG qui devraient être utilisées pour la classification ? Afin de répondre à cette question de recherche, nous concevons un système de classification qui intègre la méthode de sélection des caractéristiques dans l'algorithme. La figure 3.2 illustre la modification apportée à un processus de classification typique. L'expérience 3 a été menée pour évaluer le système de classification proposé.

Expérience 3 : classification de la distraction cognitive visuelle au volant à l'aide de la méthode de sélection des caractéristiques proposée.

Dans cette expérience, nous comparons les performances de classification entre un ensemble de données comprenant toutes les caractéristiques, les caractéristiques présélectionnées, les caractéristiques sélectionnées par SVM-RFE et les caractéristiques sélectionnées par Random Forest. La méthode SVM-RFE et Random Forest a été choisie comme méthode de sélection des caractéristiques d'apprentissage de la machine en raison de sa capacité à classer les caractéristiques importantes, et donc à obtenir le sous-ensemble optimal de caractéristiques pour la meilleure précision.

Comme nous l'avons appris de l'expérience 1 et de l'expérience 2, la même bande de fréquences est significative dans deux régions différentes. Cela suggère que l'activité neuronale aux deux endroits est fonctionnellement liée. Par conséquent, nous proposons que les caractéristiques extraites du signal EEG soient l'ERSP de la DSP de la FFT et la valeur de cohérence. Ces mesures couvriront à la fois l'oscillation locale et la connectivité du cerveau.

Cette expérience comporte deux étapes d'évaluation. Tout d'abord, nous mesurons la similarité des caractéristiques dans les 4 groupes. Nous avons utilisé l'indice Jaccard comme mesure classique de la similarité entre deux sous-ensembles. Nous avons ainsi pu examiner combien de caractéristiques sont essentielles pour la classification et quelles caractéristiques sont communément sélectionnées par tous les groupes. La deuxième évaluation est la performance du classificateur. En général, la mesure de la précision est la mesure de performance la plus intuitive car il s'agit simplement d'un rapport entre l'observation correctement prédite et l'ensemble des observations. Cependant, l'ensemble de données utilisé dans cette expérience est un déséquilibre dans lequel une classe a plus d'observations que l'autre. Par conséquent, le score F1 a été utilisé comme évaluation de la performance de la classification car il tient compte des faux positifs et des faux négatifs. Nous évaluons également le temps nécessaire au classificateur pour s'entraîner et prédire la classification, car à mesure que l'ensemble de données s'accroît, il affecte gravement la performance souhaitée.

Changement de tâche, double-tâches ou les deux ?

Ce chapitre examine la première question de recherche soulevée : le changement de tâche influence-t-il le paradigme de la double tâche dans la distraction cognitive visuelle de la conduite ? L'objectif de cette étude est d'évaluer l'effet de la distraction sur une tâche cognitive, le Stroop Test, et d'identifier la synchronisation EEG correspondante. La tâche Stroop [START_REF] Stroop | Studies of interference in serial verbal reactions[END_REF] fait partie des tâches de contrôle des conflits les plus fréquemment utilisées en psychologie cognitive, en neuropsychologie clinique et en neurosciences cognitives pour étudier l'interférence [START_REF] Schack | Instantaneous EEG coherence analysis during the Stroop task[END_REF][START_REF] Nombela | Alpha-Theta Effects Associated with Ageing during the Stroop Test[END_REF][START_REF] Macleod | Interdimensional interference in the Stroop effect: uncovering the cognitive and neural anatomy of attention[END_REF][START_REF] Levin | Conflict components of the Stroop effect and their "control[END_REF][START_REF] Dalrymple-Alford | Examination of some aspects of the Stroop color-word test[END_REF]. Dans la tâche Stroop, nommer les couleurs du mot qui a été écrit dans une couleur différente (ROUGE imprimé en vert ; disons vert) est appelé condition incongrue, ce qui retarde la réponse du sujet. Comparé à la désignation des couleurs du mot qui a été écrit avec la même couleur (ROUGE imprimé en rouge, disons rouge) qui est appelée congruente, le retard de réponse est une preuve d'interférence dans l'automaticité [START_REF] Macleod | Interdimensional interference in the Stroop effect: uncovering the cognitive and neural anatomy of attention[END_REF].

Dans cette étude, le test de Stroop a été adopté comme tâche cognitive exigeante car ce test nous permettra d'identifier les effets de la complexité de la tâche (distraction) sur le temps de réaction. La tâche secondaire introduite dans ce test Stroop modifié est un puzzle de recherche de mots (WSP) qui implique une activité cognitive par stimulation. Comme les deux activités (test Stroop et WSP) utilisent à la fois des capacités visuelles et cognitives, le test Stroop modifié simule la distraction cognitive visuelle pendant la conduite.

Cependant, les éléments de commutation dans ce test Stroop modifié n'est pas volontaire, par conséquent, il élimine l'élément de gestion de la charge de travail du sujet de la tâche, se concentrant plutôt sur l'effet du processus de commutation. Néanmoins, dans cette étude, on observe ce qui suit : i. il y a un retard dans le temps de réaction dû à la distraction, ii. la synchronisation ou la désynchronisation de l'EEG est causée par la distraction Au total, 14 sujets (13 hommes et 1 femme, tous droitiers ; âge moyen 24,43 ± 3,52 ans, vision normale ou corrigée) ont participé à cette étude. Pour les données EEG, 4 sujets ont été exclus de l'analyse en raison de données bruitées.

L'expérience a nécessité que les sujets effectuent quatre sessions de test Stroop : (i) un essai répété congruent, (ii) un essai répété incongru, (iii) un mélange aléatoire d'essai congruent et incongru et (iv) une répétition de la session (iii) avec la fixation étant remplacée par une tâche secondaire, un puzzle de recherche de mots. Dans cette étude, la définition de la "complexité" est la façon dont les stimuli sont introduits dans chaque session (c'est-à-dire : répétés, randomisés et randomisés et distraits) tandis que le "type" est utilisé pour définir les stimuli congruents et incongrus. La Dans le cadre du type d'essai, un test de normalité de Shapiro-Wilk a été effectué sur le temps de réaction. Les données normalement distribuées ont ensuite été analysées en utilisant une ANOVA à mesures répétées bidirectionnelles, la complexité et le type ont été traités comme des facteurs intra-sujet. Tous les tests post-hoc des effets simples ont été effectués en utilisant la correction de Bonferroni avec un niveau de signification de p < 0,05. La séance randomisée a montré un temps de réaction statistiquement différent entre les essais congruents et incongrus (différence moyenne = 79,04 ms, p < 0,005) tandis que les essais répétés ont montré le contraire (différence moyenne = 23,54 ms, p > 0,05). Ceci est cohérent avec les études précédentes [START_REF] Meiran | Reconfiguration of processing mode prior to task performance[END_REF][START_REF] Meiran | Modeling cognitive control in task-switching[END_REF][START_REF] Schmitter-Edgecombe | Costs of a predictable switch between simple cognitive tasks following severe closed-head injury[END_REF][START_REF] Allport | Shifting intentional set: Exploring the dynamic control of tasks[END_REF] qui ont rapporté que le coût de commutation est plus prononcé dans un essai de commutation que dans un essai répété. Il existe deux paradigmes de commutation de tâches : (i) commutation entre des ensembles de règles (rule switch) et (ii) commutation entre des ensembles de caractéristiques (perceptual switch) [START_REF] Ravizza | Shifting set about task switching: behavioral and neural evidence for distinct forms of cognitive flexibility[END_REF]. Le commutateur perceptuel n'est pas impliqué car dans cette expérience, le test Stroop utilise des tâches de mots de couleur tout au long de l'expérience. Le coût de l'interrupteur peut être lié à l'interrupteur de règles, car le participant devait répondre à une touche différente du clavier en fonction de la couleur [START_REF] Ravizza | Shifting set about task switching: behavioral and neural evidence for distinct forms of cognitive flexibility[END_REF]. Conformément à cet argument, on observe que les différences ne sont pas significatives lorsque l'on compare les essais répétés et randomisés au sein de chaque type ; congruents (différence moyenne = 19,329 ms, p > 0,05) et incongrus (différence moyenne = 74,826 ms, p > 0,05) respectivement. Cela peut indiquer que le changement de règle n'est pas statistiquement prédominant dans le même type d'essai, car les coûts sont à peu près les mêmes.

Cependant, lorsque chaque essai a été réalisé de manière séquentielle avec une autre tâche cognitive exigeante (puzzle de recherche de mots) que nous définissons dans cette étude comme une distraction, le retard du temps de réaction est statistiquement plus important. Les différences moyennes entre les essais congruents et incongrus dans les séances de distraction (différence moyenne = 108,04 ms, p < 0,001) sont de 29 ms plus longues que dans les séances randomisées (différences moyennes = 79,04 ms, p < 0,005). Le processus d'engagement et de désengagement des deux tâches a affecté le temps de réaction même au sein d'un même type. Par exemple, les temps de réaction entre les sessions randomisées et distraites sont statistiquement différents dans les essais congruents (différence moyenne = 251,508 ms, p < 0,0001) et incongrus (différence moyenne = 280,50 6 ms, p < 0,0001), qui sont respectivement 232,17 ms et 205,68 ms plus longs que la différence moyenne dans les essais répétés et randomisés. Cela s'explique par le fait que le changement de tâche implique à la fois un changement de perception et un changement de règle ; de la tâche Stroop au puzzle de recherche de mots et de la réponse au clavier à la réponse verbale. La préparation de la tâche est un facteur qui contribue à ce retard supplémentaire. Une étude [START_REF] Ettwig | Attentional Switches and Dual-Task Interference[END_REF] a rapporté qu'il y a une interférence qui peut être due à la difficulté de désengager l'attention, par conséquent, les effets attentionnels de la commutation de tâches peuvent jouer un rôle majeur dans l'exécution de la double tâche et peuvent facilement masquer l'interférence due à d'autres facteurs tels que la compétition pour les ressources.

Ces résultats prouvent que lorsque deux tâches visuelles cognitives exigeantes sont exécutées de manière séquentielle, le temps de réaction est fortement affecté. Des études sur la distraction au volant ont montré que la distraction visuelle est plus dangereuse que les autres types de distraction [START_REF] Liang | Combining cognitive and visual distraction: Less than the sum of its parts[END_REF], ce qui est conforme à nos conclusions, car les participants devaient passer d'une modalité sensorielle à l'autre après un délai de réaction, en raison de l'interférence de l'attention. Néanmoins, l'objectif principal de cette étude est d'observer la synchronisation de l'EEG due à la distraction.

Les données EEG ont été prétraitées hors ligne à l'aide de MATLAB® version R2018b (The MathWorks Inc., USA). Les données ont été détendues pour éliminer la tendance linéaire et ont été filtrées avec un passage de 0,1 à 50 Hz. Les essais avec des bruits de clignement des yeux, de mouvement musculaire et d'amplitude dépassant ± 80 µV ont été rejetés. Les périodes acceptées comprenant une fenêtre de temps de 1500 ms (y compris 500 ms avant le début des stimuli) ont ensuite été soumises à une correction de base utilisant l'intervalle de temps avant les stimuli.

Une représentation temps-fréquence a été obtenue à partir de périodes EEG d'essai unique en utilisant les techniques de transformation rapide en ondelettes continues (Fast CWT) fournies par le logiciel Letswave (https://www.letswave.org/) [START_REF] Mouraux | Across-trial averaging of event-related EEG responses and beyond[END_REF]. La fréquence moyenne (ω) et l'étalement (σ) ont été fixés à 5 et 0,15, respectivement, et la fréquence inférieure et la fréquence supérieure ont été fixées à 1 et 50 Hz avec un pas de 0,25 Hz. Les représentations tempsfréquence des essais uniques ont été moyennées pour obtenir une représentation tempsfréquence moyenne. Ensuite, une grandeur de perturbation spectrale liée à l'événement (ERSP) qui représente la synchronisation (valeur positive) et la désynchronisation (valeur négative) de la puissance oscillatoire estimée par rapport à l'intervalle pré-stimulus (-0,45s à -0,05s) a été calculée en utilisant la formule ci-dessous [START_REF] Pfurtscheller | Event-related EEG/MEG synchronization and desynchronization: basic principles[END_REF]: (b) Pour chaque représentation temps-fréquence obtenue de la différence de magnitude ERSP, on a testé, à l'aide d'une méthode de bootstrap, si et quand les magnitudes ERSP résultantes dans l'intervalle post-stimulation étaient significativement différentes des magnitudes ERSP dans l'intervalle pré-stimulation [START_REF] Delorme | EEGLAB: an open source toolbox for analysis of singletrial EEG dynamics including independent component analysis[END_REF][START_REF] Durka | On the statistical significance of event-related EEG desynchronization and synchronization in the time-frequency plane[END_REF]. À chaque point temps-fréquence dans l'intervalle post-stimulation, les populations étudiées et les populations de référence ont été recueillies auprès des participants. L'hypothèse nulle était qu'il n'y avait pas de différence moyenne entre les deux populations. La statistique pseudo-t entre les deux populations a été calculée, et la distribution de probabilité de la statistique pseudo-t a été estimée par échantillonnage avec deux populations de remplacement de même taille de la population de 𝐸𝐸𝐸𝐸 𝑡𝑡 , 𝑓𝑓 % = [𝑆𝑆 𝑡𝑡,𝑓𝑓 -𝐸𝐸 𝑓𝑓 ] 𝐸𝐸 𝑓𝑓 référence. La permutation a été exécutée 5000 fois. Les distributions de la statistique pseudo-t de la population de référence et la valeur p du bootstrap pour l'hypothèse nulle ont été générées.

(c) Cette procédure a révélé des distributions temps-fréquence dans lesquelles les réponses du cerveau dans les poststimulus étaient significativement différentes des réponses dans l'intervalle de référence. Pour résoudre le problème des comparaisons multiples, le niveau de signification (valeur p) a été corrigé en utilisant la procédure du taux de fausse découverte (FDR) [START_REF] Durka | On the statistical significance of event-related EEG desynchronization and synchronization in the time-frequency plane[END_REF]. En outre, pour contrôler les observations faussement positives [START_REF] Maris | Nonparametric statistical testing of EEG-and MEGdata[END_REF], des TFROI significativement différents ont été définis sur la base des deux critères suivants : (i) les pixels temps-fréquence étaient significativement différents du niveau de signification avant stimulus à p<0,05 ; et (ii) les pixels temps-fréquence devaient inclure plus de 125 points temporels significatifs consécutifs (0,25s) [START_REF] Hu | A time-varying source connectivity approach to reveal human somatosensory information processing[END_REF].

La magnitude moyenne des TFROI identifiés aux SROI correspondants pour chaque condition expérimentale a été calculée. Un test de normalité a été effectué, et un test de Friedman a été réalisé pour déterminer s'il y avait des différences dans l'amplitude des TFROI des séances de complexité à chaque type d'essai L'analyse bootstrap a été adoptée dans le cadre de l'exploration des données afin d'identifier la région temps-fréquence la plus significative. Dans cette étape, l'accent a été mis sur l'interaction entre la session randomisée et distraite par rapport à son intervalle pré-stimulation. Par conséquent, le test de Friedman n'a révélé aucune différence statistiquement significative dans l'ampleur de l'ER entre les sessions répétées et les sessions randomisées. Cela indique bien que les TFROI sélectionnés étaient effectivement liés à la distraction. La figure 4.5 illustre la région statistiquement significative dans la représentation temps-fréquence et la région cérébrale correspondante.

On a observé que le front et le centre suscitaient une région temps-fréquence statistiquement significative entre la séance randomisée et la séance distraite dans l'essai congruent (p < 0,005). Au niveau frontal, la bande de fréquence impliquée s'étend sur la plage de fréquences de 2 à 9 Hz, ce qui signifie une implication des oscillations delta, thêta et alpha avec une valeur désynchronisée de la magnitude ER médiane en session de distraction (Mdn = -0,5857) et une magnitude ER synchronisée en session randomisée (Mdn = 0,3276). Il s'agit d'une oscillation typique rapportée dans l'analyse temps-fréquence du test de Stroop [START_REF] Ergen | Time-frequency analysis of the event-related potentials associated with the Stroop test[END_REF]. Les différences de magnitude de l'ER pour tous les autres TFROI et SROI sélectionnés n'étaient pas statistiquement significatives. Il est suggéré que la réponse delta évoquée soit liée à l'évaluation du stimulus et à la prise de décision [START_REF] Güntekin | Review of evoked and event-related delta responses in the human brain[END_REF], tandis que les oscillations liées aux événements dans la gamme de fréquences thêta (4 à 7 Hz) se sont avérées liées aux processus d'exécution centrale et de mémoire de travail [START_REF] Sauseng | Fronto-parietal EEG coherence in theta and upper alpha reflect central executive functions of working memory[END_REF]. Selon plusieurs études, une augmentation de l'amplitude thêta avec une augmentation de la demande de la tâche est généralement observée sur le site fronto-central [START_REF] Itthipuripat | Frontal theta is a signature of successful working memory manipulation[END_REF][START_REF] Jensen | Frontal theta activity in humans increases with memory load in a working memory task[END_REF]. La désynchronisation dans la bande alpha reflète les processus attentionnels, le traitement des informations sensorielles et sémantiques et la difficulté de la tâche [START_REF] Klimesch | Event-related desynchronization in the alpha band and the processing of semantic information[END_REF]. Dans cette expérience, le participant passe d'un puzzle de recherche de mots à un test de Stroop et l'ampleur de la désynchronisation de l'ER suggère une disparité de la difficulté de la tâche entre les deux tâches.

On constate que l'oscillation delta est prononcée dans la région centrale, ce qui entraîne une différence statistiquement significative (p < 0,005) dans la magnitude du RE entre la séance randomisée (Mdn = -0,3612) et la séance distraite (Mdn = -0,4290) dans les essais congruents. Une étude [START_REF] Babiloni | Frontal Functional Connectivity of Electrocorticographic Delta and Theta Rhythms during Action Execution Versus Action Observation in Humans[END_REF] a rapporté que le delta-thêta (< 8Hz) de la connectivité linéaire décalée était plus élevé pendant l'exécution de l'action. Les fréquences delta pendant les tâches mentales sont associées à une désafférentation corticale fonctionnelle, ou à l'inhibition des afférences sensorielles qui interfèrent avec la concentration interne. Ces oscillations inhibitrices moduleraient l'activité des réseaux qui devraient être inactifs pour accomplir la tâche [START_REF] Harmony | The functional significance of delta oscillations in cognitive processing[END_REF]. Il s'agit d'un indice très important pour distinguer le processus d'engagement et de désengagement pendant la distraction, car les conducteurs doivent constamment inhiber la tâche effectuée pour s'occuper de la conduite. Les résultats ont montré que l'oscillation delta, thêta et alpha à l'avant et l'oscillation delta au centre peuvent être utilisées comme caractéristiques pour détecter le processus d'engagement et de désengagement de la distraction pendant la conduite. Par conséquent, en conclusion, en cas d'utilisation d'un sens neuronal similaire, l'engagement dans des activités à double tâche utiliserait une forme de processus de commutation de tâche.

Il y a cependant plusieurs limites à l'étude qui méritent d'être discutées. La petite taille de l'échantillon est l'une des faiblesses de cette étude. Bien que les données sur le temps de réaction soient normalement distribuées et justifient une analyse statistique paramétrique, les données EEG ne le sont pas. Une taille d'échantillon plus importante est recommandée pour une étude future. La deuxième limite est le petit nombre d'électrodes EEG qui réduit la résolution spatiale des données acquises. Par conséquent, une région plus générale du cerveau a été choisie comme SROI dans l'analyse. La troisième limitation est que les stimuli expérimentaux conçus éliminent le changement de tâche volontaire du participant. Une étude future est recommandée en incorporant l'amélioration de la limitation dans cette étude.

Distraction visuelle et cognitive de la conduite

Nous émettons l'hypothèse que la distraction cognitive visuelle implique un changement de paradigme de la tâche. Le chapitre 4 a montré que le temps de réaction était affecté dans une tâche cognitive à commutation séquentielle. Outre la synchronisation/désynchronisation des thêta et alpha dans la région frontale et centrale, nous avons constaté que le delta est effectivement impliqué dans le processus. Les bêta n'ont pas été jugés significatifs dans l'expérience. Cependant, l'enquête précédente avait révélé un manque de maîtrise de soi lors de la commutation de la tâche.

C'est pourquoi, dans ce chapitre, nous déployons la théorie en action en émulant une distraction cognitive visuelle de conduite via une tâche mathématique de type GPS. L'objectif de cette expérience est d'évaluer l'effet de la distraction cognitive visuelle au volant et d'identifier la synchronisation EEG correspondante. Au total, 8 sujets (7 hommes et 1 femme, tous droitiers ; âge moyen 31,38 ± 6,02 ans) ont participé à cette étude.

Cette étude fait appel à de multiples mesures telles que la mesure de la performance de conduite, les mesures physiques, les mesures biologiques et les mesures subjectives. Parmi ces mesures, il y a divers matériels et logiciels utilisés afin d'enregistrer les réponses des participants. Ces matériels et logiciels ont été acquis auprès de divers fabricants ; par conséquent, l'acquisition des données devait être synchronisée et consolidée, ce qui nécessite une communication entre les matériels et les logiciels. Dans cette section, les préparatifs nécessaires impliquant le matériel et les logiciels pour soutenir l'expérience ont été décrits en détail. La figure 5.1 donne un aperçu de cette section. Le scénario a été conçu en utilisant le logiciel SCANeR™studio (OKTAL, France) pour simuler une autoroute à deux voies à sens unique avec un environnement de campagne. Le parcours interconnecté est constitué de 10 intersections comprenant des carrefours à 3 et 2 voies de type intersection. Des arbres, des voitures et des panneaux de limitation de vitesse ont été ajoutés dans le scénario afin d'améliorer le sentiment de présence et de garantir un environnement écologique. La figure 5.3 illustre la vue de dessus de la carte du scénario et un exemple de l'environnement du scénario. Chaque participant sera soumis à un stimulus de distraction aléatoire à chaque intersection. Cela implique un chemin différent pour chaque participant en fonction de sa réponse, même s'il doit commencer au même point de départ.

206

Les participants doivent résoudre une équation mathématique afin de décider du point de jonction à choisir lorsqu'ils atteignent une intersection. Les stimuli de distraction sont des équations mathématiques d'addition et/ou de soustraction randomisées. Il y a deux niveaux qui sont construits par deux nombres pour le niveau facile (c'est-à-dire : 2 + 3) et trois nombres pour le niveau difficile (c'est-à-dire : 5 -4 + 2). La distinction entre les niveaux est le temps nécessaire pour compléter l'équation. Plus de chiffres nécessitent plus d'informations stockées dans la mémoire de travail, l'utilisation de la capacité cognitive requiert donc plus de temps pour accomplir la tâche. L'équation est affichée sur un moniteur placé à droite du participant. La figure 5.4 montre l'emplacement de l'écran à côté du simulateur de conduite. Bien que la taille de l'écran soit relativement grande (17 pouces), la résolution de l'affichage des stimuli est limitée à 720x450, ce qui est à peu près similaire à la taille habituelle d'un écran de véhicule. Une fois que le participant a atteint un panneau, l'écran passe de l'affichage du signe GPS droit à celui du signe GPS avec question mathématique. À ce moment, un marqueur est pointé pour avertir le groupe d'acquisition de données que le participant a entré un délai de distraction. Le signe GPS avec question mathématique n'apparaîtra qu'entre deux panneaux dont le second se trouve au début d'une intersection. Les participants doivent résoudre la question apparue à l'écran dans la "période d'affichage" (figure 5.5, image du bas). La distance de la "période d'affichage" est fixée à 160 m avant d'atteindre une intersection. Un autre marqueur sera à nouveau signalé lorsque le participant aura passé le deuxième panneau. Au total, les participants doivent traverser 10 intersections avant la fin de l'expérience. Les participants ont été informés de l'objectif de l'étude et de leur participation à l'expérience, y compris des risques et des effets qui pourraient en découler. Un formulaire de consentement sera signé une fois que le participant aura accepté de prendre part à l'étude. Chaque participant s'est vu attribuer un numéro d'identification de sujet afin de garantir son anonymat. Ensuite, les participants ont dû répondre à 2 questionnaires comme suit : Q1.A : Informations démographiques (c'est-à-dire âge, expérience, etc.). Q1.B : Questionnaire sur le mal des simulateurs (SSQ) -pour évaluer le niveau de mal des simulateurs.

Les participants ont ensuite été invités à faire un test de réaction à une équation mathématique où ils devaient répondre à 10 questions mathématiques randomisées comprenant un niveau facile et un niveau difficile dans une application informatique (écrite dans le logiciel MATLAB). La question est basée sur une opération d'addition ou de soustraction. Deux nombres sont utilisés pour le niveau facile et trois pour le niveau difficile, comme pour les stimuli de distraction. Le temps pris par les participants pour répondre à la question a été enregistré pour une analyse plus approfondie. Cette étape sert à déterminer la base de référence pour chaque individu afin d'obtenir une performance de groupe normalisée. La figure ci-dessous illustre la fenêtre de test. Après avoir revêtu le système EEG et l'appareil de suivi oculaire, les participants ont été invités à répondre aux questionnaires suivants en tant que mesure subjective postexpérimentale: Q2.A : NASA-Task Load Index -pour évaluer la charge de travail perçue de la tâche de distraction.

Q2.B : Questionnaire sur le mal des simulateurs -pour évaluer le niveau de mal des simulateurs.

Les participants ont reçu un petit cadeau, une barre de chocolat de leur choix, pour compenser le temps de participation.

De nombreuses mesures subjectives et objectives sont enregistrées au cours de l'expérience, comme le questionnaire de maladie sur simulateur (SSQ), le National Aeronautics and Space Administration-Task Load Index (NASA-TLX), le test de réaction aux équations mathématiques, la mesure des performances de conduite, les mouvements des yeux et les signaux EEG. Le tableau 5.2 donne un aperçu de l'acquisition des données par rapport au temps de l'expérience.

Tableau. [START_REF] Gazes | Performance degradation and altered cerebral activation during dual performance: Evidence for a bottom-up attentional system[END_REF] Les données de mesure objective au cours de l'expérience ont été disséquées en trois niveaux de complexité pour une analyse statistique plus poussée. Les niveaux sont de référence, facile et difficile. Les niveaux facile et difficile sont les périodes d'affichage de 160m basées sur les équations mathématiques administrées de manière aléatoire. Chaque niveau comprend 5 questions, pour un total de 10 périodes d'affichage. L'époque de référence a été choisie sur la base des critères suivants:

(i) une période de 160m qui est en dehors de la période d'exposition, et (ii) la plus petite valeur moyenne absolue de l'écart-type de l'écart type de la route.

L'écart de route est la mesure de la distance (en mètre) du véhicule par rapport à la ligne de route au milieu. Si le véhicule se trouve sur le côté gauche de la ligne médiane de la route, la valeur de retour est négative et vice versa. Par conséquent, la plus petite valeur moyenne absolue de l'écart-type de l'écart de route dans une période de 160 m indique que le participant fait un écart minimal pendant la conduite, en supposant qu'il conduise sur une voie droite. La figure 5.9 illustre la définition de l'écart type de la route. L'époque de référence pour le mouvement des yeux et l'analyse EEG ont été agrégées sur la base de cette époque de référence sélectionnée.

Aperçu des données acquises

L'application Record Driving Data enregistre les données de performance de conduite du logiciel SCANeR. Les données enregistrées sont la localisation spatiale du véhicule (au format des axes x et y), l'accélération (ms -2 ), la vitesse (ms -1 ), les freins (N) et l'écart de route (m). La trajectoire du véhicule peut être tracée pour visualiser et vérifier les données acquises en utilisant les coordonnées x et y. Comme les stimuli de distraction ont été administrés de manière aléatoire, chaque participant suivra une trajectoire unique. Ainsi, la figure 5.10 montre une trajectoire différente entre les participants. La séquence de l'intersection passée peut être identifiée intuitivement en suivant la trajectoire par rapport au temps. Dans cette expérience, les participants ont eu la liberté de réguler l'accélération, donc de contrôler la vitesse du véhicule pour qu'elle corresponde à la limite de vitesse à certains endroits du scénario. Comme les données acquises étaient fixées dans le temps, en fonction de l'accélération et de l'équation de vitesse, la vitesse et la distance varieront en fonction des changements d'accélération. Cela rendra la séparation des données pour les niveaux de complexité (référence, facile et difficile) difficile car le critère de sélection est basé sur la distance (160m). Par conséquent, la moyenne des données basées sur le temps a été calculée à chaque distance de 1m ; le calcul est basé sur la somme des distances, des emplacements des véhicules à chaque point dans le temps.

Analyse statistique

La moyenne des caractéristiques sélectionnées pour chaque niveau de complexité a été calculée, et les valeurs aberrantes ont été évaluées par l'inspection d'un boxplot pour les valeurs supérieures à 1,5 longueur de boîte à partir du bord de la boîte. Des tests de normalité (Shapiro-Wilk) ont été effectués pour les caractéristiques suivantes : i.

Accélération moyenne (ms -2 ) ii.

Vitesse moyenne (ms -1 ) iii. Frein moyen (N) iv.

Écart moyen entre les routes (m) v.

Écart-type de l'accélération (ms -2 ) L'analyse de l'EEG a été réalisée à l'aide de MATLAB® version R2018b (The MathWorks Inc., USA). Les données EEG acquises ont été déduites pour soustraire les tendances linéaires, puis filtrées en passe-bande entre 0,1 Hz et 50 Hz. Les données de la période de distraction, de la période de conduite de référence et de la période d'ouverture des yeux (pour la ligne de base) ont été extraites. Les artefacts provenant des muscles, des mouvements et des clignements d'yeux ont été analysés et retirés manuellement à l'aide d'EEGLAB [176].

Extraction de caractéristiques -Perturbation spectrale liée à un événement (ERSP)

Étape 1(a) : Les transformées de Fourier discrètes (DFT) ont été calculées pour toutes les périodes en utilisant la fonction "fft" de MATLAB. La TFD d'une séquence (x[0] , x[1] , ... , x[N-1]) est basée sur l'équation suivante [START_REF] Bailey | A fast method for the numerical evaluation of continuous Fourier and Laplace transforms[END_REF] :

𝐷𝐷𝐷𝐷𝐷𝐷(𝑓𝑓 𝑘𝑘 ) = �∑ 𝑥𝑥[𝑛𝑛] 𝑒𝑒 (-𝑗𝑗2𝜋𝜋𝑘𝑘/𝑁𝑁) 𝑁𝑁-1 𝑛𝑛=0 � où 𝑓𝑓 𝑘𝑘 = 𝑘𝑘/𝑁𝑁 et k = 0,1,2, ..., N-1.
Étape 1(b) : La densité spectrale de puissance (DSP) du signal a été estimée par le carré de la DFT de l'époque comme suit :

𝑃𝑃𝑆𝑆𝐷𝐷(𝑓𝑓 𝑘𝑘 ) = 1 𝑁𝑁 �∑ 𝑥𝑥[𝑛𝑛] 𝑒𝑒 (-𝑗𝑗2𝜋𝜋𝑓𝑓 𝑘𝑘 ) 𝑁𝑁-1 𝑛𝑛=0 � 2 Étape

Analyse statistique

Chaque sujet présente 15 caractéristiques ERSP à chaque niveau de complexité (5 bandes de fréquences de 3 régions du cerveau). L'analyse statistique effectuée est similaire aux mesures physiques -mouvements des yeux.

L'utilisation d'un simulateur de conduite est connue pour induire un mal de simulateur [START_REF] Kolasinski | Simulator Sickness in Virtual Environments[END_REF] et peut affecter l'exécution de la tâche évaluée [START_REF] Lerman | Correlates of military tank simulator sickness[END_REF]. C'est pourquoi l'expérience a été soigneusement conçue pour minimiser tout événement susceptible d'augmenter le risque de mal des simulateurs. Afin de s'assurer que les participants n'étaient pas gravement affectés par le mal du simulateur, un questionnaire sur le mal du simulateur (SSQ) [START_REF] Kennedy | Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness[END_REF] a été administré au participant avant et après l'expérience. Un test t sur échantillon par paires a été effectué sur le score total du SSQ afin de comparer si les différences étaient significatives.

Les stimuli de distraction ont été conçus pour provoquer une distraction impliquant des éléments visuels et cognitifs. Deux niveaux de difficulté d'équations mathématiques, facile et difficile, ont été choisis comme stimuli de distraction. Les niveaux de difficulté étaient caractérisés par le temps nécessaire pour répondre à la question. Afin de confirmer que ces équations mathématiques suscitaient effectivement une capacité cognitive distincte, les temps de réaction ont été enregistrés dans un test à tâche unique au stade de la pré-expérience. Un test t à échantillons appariés a été utilisé pour déterminer s'il y avait une différence moyenne statistiquement significative entre le temps pris pour répondre à la question facile et à la question difficile.

Cependant, le choix du temps pris par les participants pour accomplir la tâche de distraction comme mesure d'évaluation de la charge de travail cognitive pendant l'expérience à des fins de comparaison est tout à fait inapte. Les stimuli de distraction ont été conçus de manière à ce que les participants aient un contrôle total sur la manière dont ils peuvent manoeuvrer le véhicule pendant la période de distraction, ce qui entraîne des facteurs de confusion complexes qui influencent le temps nécessaire pour accomplir la tâche. Par conséquent, nous utilisons une mesure subjective de la charge de travail, le National Aeronautics and Space Administration-Task Load Index (NASA-TLX), administré après l'expérience pour évaluer la performance perçue des participants sur la charge de travail de la tâche de distraction dans son ensemble [START_REF] Rubio | Evaluation of Subjective Mental Workload: A Comparison of SWAT, NASA-TLX, and Workload Profile Methods[END_REF]. Le NASA-TLX est une échelle multidimensionnelle conçue pour obtenir des estimations de la charge de travail et s'est révélé être sensible de manière fiable à la manipulation expérimentale [START_REF] Hart | Nasa-Task Load Index (NASA-TLX); 20 Years Later[END_REF].

NASA-TLX [83]

L'évaluation de la NASA-TLX comporte deux sections : (i) des comparaisons par paires de dimensions et (ii) des échelles de notation de chaque dimension. Les dimensions sont la demande mentale, la demande physique, la demande temporelle, la performance globale, la frustration et l'effort. Dans la première section, les participants doivent choisir le membre de chaque paire de dimensions qui fournit la source la plus significative de variation de la charge de travail pendant la tâche de distraction. La somme de chaque fois qu'une dimension est sélectionnée sera utilisée comme note pondérée dans la deuxième section de l'évaluation. Dans la deuxième section, les participants doivent noter sur une échelle qui représente l'importance de chaque dimension dans la tâche de distraction. La réponse que nous recueillons à partir de cette échelle s'appelle la notation brute. Certaines études utilisent directement les réponses de cette échelle pour tirer des conclusions, mais en général, le chercheur calcule la note ajustée en multipliant la note brute par la note pondérée pour chaque dimension respectivement. Dans le cas d'une comparaison de la charge de travail entre deux ou plusieurs conditions expérimentales, le chercheur pourrait calculer la note globale en divisant la somme de la note ajustée par 15 (somme des notes pondérées) pour obtenir une note de charge de travail de 0 à 100.

Dans cette étude, le NASA-TLX a été utilisé pour valider si la tâche de distraction induite utilisait bien la capacité cognitive du participant, et si oui, quelle dimension serait la plus importante. Une échelle de Likert de 20 points a été utilisée dans la deuxième partie de l'évaluation. Par conséquent, la note brute a dû être multipliée par 5 pour convertir la note de 0 à 100 avant de les multiplier par sa moyenne pondérée respective pour calculer la note ajustée. Afin de comparer quelle dimension aurait le plus d'impact sur les participants, un test de Friedman a été utilisé pour comparer la note ajustée entre les 6 dimensions.

Huit caractéristiques ont été sélectionnées comme mesure de la performance de conduite à étudier dans cette étude ; précisément, lesquelles de ces mesures de la performance de conduite sont significatives dans un niveau de complexité différent de la distraction ? La valeur moyenne des caractéristiques pour trois niveaux (référence, facile et difficile) a été calculée, et il n'y avait pas de valeurs aberrantes dans les données, comme l'a montré l'inspection d'un boxplot pour des valeurs supérieures à 1,5 longueur de boîte à partir du bord de la boîte. Les hypothèses de normalité ont été testées à l'aide du test de Shapiro-Wilk, qui a révélé que la vitesse moyenne, le frein moyen et l'écart moyen entre les routes ne respectaient pas le test de normalité. Par conséquent, nous optons pour le test de Friedman afin d'évaluer s'il existe des différences statistiquement significatives entre les distributions de chaque niveau de complexité de ces caractéristiques. Le résultat a montré que les différences n'étaient pas statistiquement significatives pour la vitesse moyenne (p = 0,368), le frein moyen (p = 0,957) et l'écart moyen entre les routes (p = 0,368).

Les autres caractéristiques ont été testées avec le test de sphéricité de Mauchly et seul l'écart-type de la vitesse ne respecte pas l'hypothèse de sphéricité (p = 0,028). Par conséquent, une ANOVA à mesure répétée à sens unique avec ajustements selon Greenhouse-Geisser a été effectuée pour cette caractéristique et sans ajustements pour toutes les autres caractéristiques ; elle n'a montré aucune différence qui soit statistiquement significative pour toutes les caractéristiques.

Une ANOVA à mesure répétée à sens unique ou un test de Friedman ont été utilisés pour déterminer s'il y avait des différences significatives entre trois niveaux de complexité et le niveau difficile pour ces deux caractéristiques. Toutes les autres caractéristiques peuvent distinguer les différences entre la référence et la distraction au volant, mais pas entre le niveau de distraction facile et le niveau de distraction difficile. La figure 5.12 permet de visualiser facilement le résultat statistique des caractéristiques de l'EEG.

Figure.5.12. Visualisation du résultat statistique pour l'ERSP.

Un test t à échantillon pair a été utilisé pour déterminer si les participants souffraient de mal de simulation en évaluant le score total de SSQ avant et après l'expérience. Il n'y avait pas de valeurs aberrantes dans les données, comme l'a montré l'inspection d'un boxplot pour des valeurs supérieures à 1,5 longueur de boîte à partir du bord de la boîte. Les scores de différence pour le score total de SSQ avant et après l'expérience ont été normalement distribués, comme l'a évalué le test de Shapiro-Wilk (p = 0,443). Le score total moyen de SSQ après l'expérience (20,30 ± 18,18) était légèrement supérieur à celui d'avant l'expérience (13,89 ± 7,99) par la différence de 6,41 (IC à 95 %, -5,85 à 18,67). Toutefois, les différences ne sont pas statistiquement significatives, t (6) = 1,279, p = 0,248, d = 0,48.

Before

After mean SSQ Total Score Un test t à échantillons appariés a été utilisé pour déterminer s'il y avait une différence moyenne statistiquement significative entre le temps mis pour répondre à la question facile et à la question difficile. Les données correspondent à la moyenne ± l'écart type, sauf indication contraire. Il n'y avait pas de valeurs aberrantes dans les données, comme l'a montré l'inspection d'un boxplot pour des valeurs supérieures à 1,5 longueur de boîte à partir du bord de la boîte. Les scores de différence pour les questions faciles et difficiles ont été normalement distribués, comme l'a montré le test de Shapiro-Wilk (p = 0,112).

Les participants ont mis plus de temps à répondre aux questions difficiles (2,97 ± 0,65 secondes) qu'aux questions faciles (1,83 ± 0,24 secondes), soit un temps statistiquement significatif de 1,14 (IC 95%, 0,63 à 1,64) secondes, t (7) = 5,298, p < 0,001, d = 1,87. Un test de Friedman a été effectué pour déterminer s'il y avait des différences entre les cotes ajustées des dimensions du NASA-TLX. Des comparaisons par paires ont été effectuées avec une correction de Bonferroni pour les comparaisons multiples. La note ajustée était statistiquement différente de manière significative entre les dimensions, χ2(5) = 18,571, p < 0,0005. Une analyse post hoc a révélé des différences statistiquement significatives entre les exigences physiques (Mdn = 0,00) et les exigences mentales (Mdn = 212,5) (p = 0,018) et la performance (Mdn = 320,0) (p = 0,006) par rapport aux exigences physiques, mais pas entre les autres comparaisons par paires. Outre la capacité cognitive limitée à gérer la charge de travail cognitive en cas de conduite distraite, il est proposé d'impliquer le changement de tâche dans la distraction cognitive visuelle. En effet, le visuel est un sens partagé entre la conduite et la tâche visuellement distraite. À notre connaissance, les recherches sur la distraction au volant impliquant l'EEG n'ont utilisé que les caractéristiques de l'EEG qui impliquent la région frontale et motrice, en se concentrant sur la bande de fréquence limitée aux fréquences thêta, alpha et bêta. Dans cette étude, nous aimerions explorer les caractéristiques de l'EEG qui sont capables de distinguer une distraction cognitive visuelle de la conduite. Nous supposons que la bande delta au niveau des régions frontale, centrale et pariétale, qui est liée au paradigme de commutation des tâches, peut discriminer ces tâches.

Une tâche GPS modifiée a été intégrée dans une tâche de conduite où les sujets devaient calculer une question mathématique simple afin de choisir la jonction à une intersection. Il existe deux niveaux de difficulté pour la question mathématique, en ce sens que le sujet devrait prendre plus de temps pour calculer le niveau le plus difficile. Un pré-test de questions équivalentes a été effectué ; il a montré que les questions difficiles prenaient statistiquement plus de temps à répondre, soit 1,14 secondes. Par conséquent, ces tâches sont classées dans la catégorie de la distraction cognitive visuelle. Ceci est confirmé par une note statistiquement élevée dans le questionnaire NASA-TLX à la fin de l'expérience. Le résultat a montré que l'expérience exige une capacité mentale plutôt qu'une capacité physique, même si les participants se sentent en confiance avec leurs performances. L'expérience a été réalisée à l'aide d'un simulateur de conduite de fidélité moyenne. La technologie de réalité virtuelle est bien connue pour induire le mal des transports [START_REF] Helland | Driving simulator sickness: Impact on driving performance, influence of blood alcohol concentration, and effect of repeated simulator exposures[END_REF], ce qui est prouvé par une légère augmentation du score total moyen de SSQ à la fin de l'expérience. Cependant, la différence n'est pas statistiquement significative, c'est pourquoi toutes les données collectées (mesure de la performance de conduite, mesure des mouvements oculaires et EEG) ont été prises en compte pour un traitement ultérieur.

Les performances de conduite et les mouvements des yeux sont deux mesures qui ont été les plus étudiées dans la recherche sur la conduite. Dans cette étude, nous utilisons ces deux mesures pour valider l'expérience. Toutes les caractéristiques de la performance de conduite n'ont pas permis de distinguer la tâche de conduite de celle de distraction. Bien que cela soit cohérent avec l'étude [START_REF] Yusoff | Selection of Measurement Method for Detection of Driver Visual Cognitive Distraction: A Review[END_REF] qui suggérait une réponse hétérogène sur les mesures de la performance de conduite, nous devons considérer que le nombre de sujets dans cette étude est faible, ce qui pourrait introduire une énorme variabilité dans le résultat, peut-être due à l'habitude de conduire.

Alors que pour les mesures de mouvement des yeux, le lieu de fixation pourrait faire la différence entre la tâche de conduite et de distraction. Cependant, le point de fixation le long de l'axe des x ne pouvait différencier que la distraction du niveau difficile, alors que la tâche de conduite et le niveau de distraction facile ne présentaient aucune différence. Cela pourrait être le résultat de la gestion stratégique de la charge de travail décrite par Lee [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF], selon laquelle les conducteurs gèrent le processus d'engagement et de désengagement de la tâche secondaire. Dans ce cas, comme la question mathématique du niveau facile n'était pas trop exigeante sur le plan cognitif, les conducteurs se sont moins fixés sur le GPS, ce qui fait que la position moyenne de fixation pendant la distraction est statistiquement identique à celle de la conduite normale. D'autre part, la fixation sur l'axe des y a montré qu'il y a une différence significative entre la conduite et la distraction facile, mais le lieu de fixation pendant la conduite n'est pas statistiquement différent du niveau de distraction difficile. Dans le même ordre d'idées, une étude a montré qu'un conducteur inattentif se concentre sur la route de la même manière qu'un conducteur qui effectue une tâche cognitive très exigeante [START_REF] He | Mind wandering behind the wheel: performance and oculomotor correlates[END_REF]. Il convient de mentionner que le résultat de la localisation de la fixation dépend largement de l'emplacement du distracteur qui, dans ce cas, se trouve du côté droit du conducteur. Néanmoins, sur la base des mouvements oculaires x et y du point de fixation, l'époque des distractions était en effet la période où le conducteur s'occupait de la tâche secondaire cognitive visuelle distraite.

La perturbation spectrale liée à un événement est une mesure qui décrit la synchronisation ou la désynchronisation des neurones dans la zone du site de l'électrode sur le cuir chevelu. Parmi toutes les comparaisons statistiquement significatives sur les caractéristiques de l'ERSP, la seule caractéristique qui pourrait distinguer le niveau de distraction facile et le niveau de distraction difficile est le bêta à l'avant. L'oscillation bêta aurait une fonction importante dans l'activité cognitive complexe [START_REF] Güntekin | Beta oscillatory responses in healthy subjects and subjects with mild cognitive impairment[END_REF] et la régulation du contrôle cognitif [START_REF] Stoll | The Effects of Cognitive Control and Time on Frontal Beta Oscillations[END_REF].

Contrairement à notre hypothèse, le delta au niveau frontal n'a pas eu d'influence significative sur la discrimination entre la conduite et la distraction, cependant, le delta et le thêta au niveau central et pariétal pouvaient faire la différence entre la conduite et le niveau de distraction intense. Le thêta à la région frontale et le delta à la région pariétale pouvaient également discriminer la distraction et la conduite, cependant, seulement avec le niveau difficile. Toutes les autres caractéristiques sont statistiquement significatives dans la discrimination entre la conduite et la conduite pendant l'exécution de la tâche de distraction.

Sélection des caractéristiques de l'EEG pour discriminer la distraction cognitive visuelle

Les chapitres 4 et 5 ont révélé que les fréquences des bandes thêta et alpha sont effectivement une caractéristique importante dans les deux expériences. Dans une tâche où le sujet peut contrôler quand il s'engage vers la tâche secondaire (également appelée gestion du contrôle stratégique), la bande bêta a montré son importance statistique étant la seule capable de discriminer jusqu'à un niveau différent de tâches cognitives. D'autres caractéristiques de l'ERSP sont statistiquement différentes, que ce soit au niveau de la conduite ou des deux niveaux de distraction, ou seulement aux niveaux plus difficiles.

La similitude la plus frappante entre les deux expériences était que certaines des caractéristiques statistiquement significatives se chevauchent entre les régions du cerveau. Comme nous l'avons vu au chapitre 2, une tâche, par exemple notre système visuel, implique plusieurs régions du cerveau. Par conséquent, dans cette expérience, la mesure de la cohérence sera ajoutée comme les caractéristiques de l'EEG à étudier en dehors de l'ERSP. Dans ce chapitre, l'objectif est d'évaluer le système de classification qui intègre une technique de sélection de caractéristiques basée sur l'apprentissage machine pour sélectionner les caractéristiques pertinentes ; SVM-RFE et Random Forest. La performance de la classification utilisant des caractéristiques présélectionnées et des caractéristiques sélectionnées basées sur l'apprentissage machine sera examinée. L'ensemble de données utilisé dans cette expérience est constitué de signaux EEG de distraction cognitive visuelle de la conduite. Les données ont été recueillies auprès de 6 sujets en bonne santé (âge moyen : 31,38 ± 6,02 ans). Les données de deux sujets ont été exclues de cette analyse parce que l'un d'entre eux n'a pas terminé l'expérience, tandis que l'autre a vu ses données corrompues. Pendant l'étape d'acquisition des données, chaque sujet a effectué 10 activités de distraction cognitive visuelle (tâche mathématique GPS) et conduisait sur une autoroute à deux voies avec un environnement de campagne. Les données ont été regroupées en 10 périodes de distraction et 10 périodes de conduite qui ont été sélectionnées lorsque les sujets conduisaient sur une route droite de 160 m (la sélection est basée sur la plus petite déviation de la valeur de l'écart par rapport à la route). Cependant, 15 périodes ont été rejetées en raison d'un bruit excessif (amplitude supérieure à 50µV), ce qui a donné lieu à 105 observations (48 de conduite et 57 de distraction). L'ensemble de données sera divisé (stratifié) en 80% pour l'utilisation de la sélection des caractéristiques dans la partie 1 et la validation croisée et la formation dans la partie 2, tandis que les 20% restants seront utilisés pour les tests dans la partie 2.

Deux caractéristiques principales sont extraites de cette étude, la perturbation spectrale liée aux événements (ERSP) et la cohérence.

L'ERSP décrit l'oscillation des activités neuronales locales dans laquelle la synchronisation est représentée par des valeurs positives tandis que la désynchronisation est représentée par une valeur négative basée sur le rapport avec une période de référence (équation 4) [START_REF] Pfurtscheller | Event-related EEG/MEG synchronization and desynchronization: basic principles[END_REF][START_REF] Makeig | Auditory event-related dynamics of the EEG spectrum and effects of exposure to tones[END_REF]. Une densité spectrale de puissance (PSD) estimée a été dérivée du carré de la magnitude de la transformée de Fourier discrète de l'époque (équation 2 & 3) en utilisant la fonction "fft" dans MATLAB. La moyenne de la DSP estimée a ensuite été calculée par bande de fréquences, comme indiqué dans le tableau 6.1. Les ERSP ont été calculées à l'aide de l'équation 4, puis la moyenne a été calculée par région du cerveau, comme l'illustre la figure 6.1. Il en résulte un total de 25 caractéristiques de l'ERSP (5 régions x 5 bandes de fréquences).

La cohérence est une mesure du degré de similarité enregistré à deux sources de signaux. La valeur de cohérence de l'EEG décrit la connectivité du réseau cérébral. La valeur varie de 0 (déphasé) à 1 (en phase), ce qui indique la force de la connectivité de certains endroits du cerveau qui sont mis en réseau [START_REF] Srinivasan | EEG and MEG coherence: measures of functional connectivity at distinct spatial scales of neocortical dynamics[END_REF][START_REF] Bowyer | Coherence a measure of the brain networks: past and present[END_REF]. La valeur de cohérence a été calculée en utilisant la fonction "mscohere" dans MATLAB avec le paramètre suivant : fenêtre de hanning, 256 points DFT et 128 échantillons superposés. Afin de calculer la valeur moyenne de cohérence pour chaque région de paire, la cohérence de chaque électrode de paire impliquée dans la région de paire a été calculée et la moyenne a été calculée selon la bande de fréquence indiquée dans le tableau 6.1. Au total, 150 caractéristiques sont utilisées dans l'exploration des caractéristiques pertinentes pour discriminer la distraction cognitive visuelle de la conduite à l'aide d'un signal EEG.

Sélection des caractéristiques

La méthode de sélection de caractéristiques est l'un des outils importants de l'exploration de données qui a montré ses capacités dans de nombreuses applications telles que la sélection de gènes dans la classification des cancers [START_REF] Guyon | Gene Selection for Cancer Classification using Support Vector Machines[END_REF][START_REF] Liu | Feature selection of gene expression data for Cancer classification using double RBF-kernels[END_REF], la prédiction de la sensibilité des médicaments [START_REF] Shadbahr | Application of variations of non-linear CCA for feature selection in drug sensitivity prediction[END_REF], l'exploration de textes [START_REF] Liu | An evaluation on feature selection for text clustering[END_REF][START_REF] Forman | An extensive empirical study of feature selection metrics for text classification[END_REF] et la bioinformatique [START_REF] Dessì | A comparative analysis of biomarker selection techniques[END_REF][START_REF] Abusamra | A comparative study of feature selection and classification methods for gene expression data of glioma[END_REF].

Le SVM-RFE a été mis en oeuvre pour la première fois par Guyon [START_REF] Guyon | Gene Selection for Cancer Classification using Support Vector Machines[END_REF] dans l'application de la sélection de gènes pour la classification des cancers. Dans l'article de Guyon, un MVC linéaire a été utilisé pour produire un classement des caractéristiques en utilisant son poids. Les données d'entraînement sont utilisées pour construire une fonction discriminante, D(x), dans laquelle x est le vecteur d'entrée et les résultats prévus sont classés en fonction de la limite de décision apprise. Dans la notation utilisée par Guyon, une fonction discriminante linéaire est une fonction de décision qui est une simple somme pondérée d'un modèle d'apprentissage plus un biais [START_REF] Duda | Pattern classification and scene analysis[END_REF] : 𝐷𝐷(𝑥𝑥) = 𝑤𝑤 • 𝑥𝑥 + 𝑐𝑐 où w est le vecteur de poids, et c est une valeur de biais. RFE [START_REF] Kohavi | Wrappers for feature subset selection[END_REF] est une procédure itérative d'élimination des caractéristiques en amont, où les caractéristiques sont supprimées une (ou plusieurs) à la fois en fonction du classement des caractéristiques calculées par le classificateur de base jusqu'à ce qu'un nombre souhaité de caractéristiques à sélectionner soit finalement atteint.

Dans cette expérience, nous utilisons SVM et RFE de la bibliothèque scikit-learn v0.21.2 [START_REF] Pedregosa | Scikit-learn: Machine learning in Python[END_REF] implémentée dans la version 3.7 de Python. Le SVM est basé sur la bibliothèque LIBLINEAR [START_REF] Fan | LIBLINEAR: A library for large linear classification[END_REF] qui utilise le paramètre par défaut de la fonction 'LinearSVC'. Entre-temps, pour le RFE, une validation croisée a été mise en oeuvre pour obtenir le nombre optimal de fonctionnalités. Par conséquent, la fonction "RFECV" a été utilisée pour effectuer une validation croisée décuplée sur un vecteur d'entrée stratifié. L'algorithme de la forêt aléatoire prend des décisions basées sur le vote de décisions issues de la combinaison de plusieurs arbres de décision. Chaque arbre de décision a été construit en utilisant un sous-ensemble aléatoire de caractéristiques. Chaque noeud des arbres de décision est une condition sur une seule caractéristique, conçue pour diviser l'ensemble de données en deux afin que des valeurs de réponse similaires se retrouvent dans le même ensemble. Enfin, il sélectionne la sortie prévue en fonction de la majorité des votes des arbres de décision [START_REF] Breiman | Random forests[END_REF]. La figure 6.3 illustre le principe de fonctionnement de Random Forest. L'importance ou le classement des caractéristiques est calculé par la proportion d'échantillons atteignant ce noeud, moyennée sur tous les arbres de l'ensemble, ce que l'on appelle "importance géniale" ou "impureté moyenne décroissante" [START_REF] Breiman | Classification and regression trees. Brooks[END_REF].

Dans cette expérience, nous utilisons la fonction "RandomForestClassifier" fournie par la bibliothèque Scikit-learn en utilisant les paramètres par défaut, sauf pour le nombre d'arbres dans la forêt, qui est fixé à 100. La sélection des caractéristiques a été effectuée à l'aide de la [START_REF] Gazes | Performance degradation and altered cerebral activation during dual performance: Evidence for a bottom-up attentional system[END_REF] 227 fonction "SelectFromModel" dans la même bibliothèque en fixant la valeur seuil de 1,25*moyenne de l'importance de la caractéristique.

Dans cette section de sélection des caractéristiques, nous souhaitons évaluer les caractéristiques à utiliser par la méthode décrite précédemment par rapport aux caractéristiques généralement rapportées dans la littérature. L'indice Jaccard est une mesure classique de la similarité entre deux sous-ensembles [START_REF] Kosub | A note on the triangle inequality for the Jaccard distance[END_REF]. Il a été introduit pour la première fois par Paul Jaccard, qui a d'abord appelé la méthode "coefficient de communauté" dans son document de recherche [START_REF] Jaccard | Distribution de la flore alpine dans le bassin des Dranses et dans quelques régions voisines[END_REF]. L'indice Jaccard, J, est défini comme la valeur de l'intersection divisée par la valeur de l'union de deux ensembles d'échantillons A et B :

𝐽𝐽(𝐴𝐴, 𝐵𝐵) = |𝐴𝐴 ∩𝐵𝐵| |𝐴𝐴 ∪𝐵𝐵|
Dans cette expérience, nous utilisons l'indice Jaccard comme statistique pour comparer la similarité des caractéristiques sélectionnées par SVM-RFECV, Random Forest ainsi qu'une caractéristique présélectionnée basée sur des caractéristiques rapportées dans la littérature. Les caractéristiques présélectionnées sont l'ERSP et la valeur de cohérence liée à la région frontale et centrale de la bande de fréquence thêta, alpha et bêta. Le temps nécessaire pour effectuer la sélection ainsi que le nombre de caractéristiques sélectionnées sont également indiqués.

Classification

Bien que l'objectif principal de cette expérience soit d'étudier les caractéristiques appropriées pour discriminer la distraction cognitive visuelle, la comparaison des performances de classification donnerait une idée sur la façon dont le processus de sélection des caractéristiques et les caractéristiques sélectionnées peuvent améliorer la discrimination entre la conduite avec distraction cognitive visuelle et la conduite normale.

Dans cette expérience, nous utilisons LinearSVM et Random Forest pour faire la comparaison entre toutes les caractéristiques, les caractéristiques présélectionnées, les caractéristiques SVM-RFECV et les caractéristiques Random Forest. Nous utilisons deux étapes pour évaluer la performance de la classification. Dans l'étape (a), nous calculons la performance d'entraînement moyenne en utilisant une validation croisée sur des données d'entraînement stratifiées au décuple. Lors de l'étape (b), nous formons le classificateur en utilisant les données de formation et calculons les performances de test sur les 20% restants de données de test invisibles. Les mesures de performance dans la comparaison de la classification sont indiquées ci-dessous : (6) Une expérience a été réalisée pour sélectionner les caractéristiques pertinentes permettant de distinguer la distraction cognitive visuelle de la conduite normale. Les caractéristiques présélectionnées comprennent 15 caractéristiques qui sont couramment utilisées pour détecter la distraction au volant à l'aide de l'EEG. La méthode SVM-RFE a permis de sélectionner 43 caractéristiques en 18,34 secondes, tandis que la méthode Random Forest en choisit 56 en 0,08s. L'énorme disparité dans le temps pris pour les deux méthodes est due à la méthode de validation croisée utilisée pour sélectionner les caractéristiques optimales pour le MVC-RFE. Le MVC-RFE a sélectionné la plupart des valeurs de cohérence de la région frontale et moins de la région temporale et occipitale. En revanche, Random Forest a sélectionné davantage de valeurs dans la région centrale. Les caractéristiques des ERSP sélectionnées sont très diverses, cependant, les valeurs bêta de la région centrale et de la région frontale sont communes dans la sélection.

Parmi les 150 caractéristiques, seules 9 caractéristiques sont incluses dans les trois méthodes ; ERSP de bêta au niveau frontal et central et valeur de cohérence de bêta, thêta et alpha dans la région frontale et centrale, ainsi que bêta entre le frontal et le central.

L'objectif de cette expérience est d'identifier les caractéristiques EEG qui sont pertinentes pour distinguer la distraction cognitive visuelle pendant la conduite d'une conduite normale. Les caractéristiques communes rapportées dans la littérature sont liées aux bandes de fréquences thêta, alpha et bêta dans la région frontale et centrale. Ceci est prouvé empiriquement ou est régi par le concept de charge de travail cognitive qui restreint l'exploration dans le lobe frontal. Dans cette thèse, nous émettons l'hypothèse que le changement de tâche intervient dans la situation où les conducteurs sont distraits par une tâche cognitive visuelle. Cela suggérerait que les caractéristiques EEG d'autres bandes de fréquences et d'autres régions peuvent également être une caractéristique importante pour discriminer ces tâches.

Par conséquent, l'ERSP et la valeur de cohérence ont été extraites des données EEG et nous proposons d'utiliser le SVM-RFE et Random Forest pour sélectionner les caractéristiques pertinentes et les comparer aux caractéristiques présélectionnées sur la base de la littérature. La comparaison des caractéristiques sélectionnées a montré que la similarité entre ces méthodes était inférieure à 40%. Ceci est prévisible car l'apprentissage machine utilise des stratégies différentes pour classer les caractéristiques. Les ERSP de bêta au niveau frontal et central ont été choisis par les trois méthodes. Ce résultat est cohérent avec notre constatation au chapitre 3 où le bêta au frontal peut discriminer entre tous les niveaux de distraction. La similarité qui est commune aux trois méthodes en valeur de cohérence est la sélection de bêta, thêta et alpha dans sa région frontale et centrale, respectivement. La valeur de cohérence du bêta entre la région frontale et la région centrale figure également parmi les caractéristiques sélectionnées par les trois méthodes. Ceci est une affirmation du rôle du bêta, du thêta et de l'alpha dans la discrimination des deux classes.

Cependant, d'autres caractéristiques sélectionnées par les méthodes d'apprentissage machine proviennent de diverses régions du cerveau. Bien que nous ayons pu constater une cohérence entre les régions frontales et centrales, sélectionnées comme prévu sur la base du paradigme de la double tâche et du changement de tâche, les thêta entre les régions occipitales et temporelles ont également été sélectionnés. La région pariétale est impliquée dans les bandes de fréquences delta et bêta.

Ces résultats confirment la nécessité d'inclure davantage les caractéristiques EEG sélectionnées d'autres régions du cerveau et la fréquence à utiliser pour la détection. Cela permettra d'encapsuler des activités cérébrales plus pertinentes liées à la tâche en question. Pour la discrimination de la distraction cognitive visuelle, le delta et le gamma ont également joué leur rôle en dehors des bandes thêta, alpha et bêta. Il est également évident que d'autres régions du cerveau sont impliquées et ont joué un rôle important pour discriminer les deux classes. Afin de confirmer cela, la classification a été effectuée en utilisant le MVC et le Random Forest sur 4 ensembles différents de caractéristiques. Ces ensembles sont tous des caractéristiques, des caractéristiques présélectionnées, des caractéristiques sélectionnées par le MVC et la RFE et des caractéristiques sélectionnées par la Random Forest. La classification à l'aide du MVC avec les caractéristiques sélectionnées par le MVC-RFE surpasse les autres combinaisons jusqu'à 90 % de la note F1. Néanmoins, la note F1 de Random Forest est meilleure que celle du SVM lorsque les caractéristiques sélectionnées par Random Forest ont été utilisées à la fois pour la validation croisée et le test. Cela suggère que, comme la stratégie de sélection diffère, la caractéristique sélectionnée a joué un rôle important sur le classificateur utilisé. Par conséquent, il est proposé d'utiliser une méthode d'apprentissage machine similaire pour la sélection et la classification des caractéristiques afin d'obtenir de meilleures performances.

Toutefois, le temps nécessaire à la sélection et à la classification est toujours plus long pour le MVC par rapport à la méthode Random Forest, surtout lorsque davantage de caractéristiques ou de données sont concernées. Nos résultats ont montré que le MVC est plus performant que le Random Forest avec des données plus petites, mais qu'il prend plus de temps à mesure que la taille des données augmente. D'autre part, Random Forest a pris presque le même temps avec plus de données. Cela suggère que, dans un cas où il y a un compromis entre la performance et le coût de calcul, la méthode de la forêt aléatoire pourrait donner une performance acceptable à un coût de calcul plus faible.

La limite de cette étude est qu'elle utilise un petit nombre d'observations recueillies auprès d'un petit nombre de sujets. Nous avons utilisé le paramètre par défaut du classificateur fourni par la bibliothèque, il est donc possible de l'améliorer pour obtenir de meilleures performances. L'ensemble de données utilisé était limité à la tâche cognitive visuelle, il serait intéressant d'avoir un ensemble de données multi-classes qui induisent différents types de distraction aux conducteurs et d'examiner les caractéristiques impliquées. Les résultats pourraient proposer un ensemble d'électrodes plus petit à utiliser dans la recherche sur la conduite, car le temps de réglage et la difficulté de manipulation sont toujours des facteurs qui entravent l'utilisation de cette méthode de mesure malgré son potentiel.

Conclusion

La distraction cognitive visuelle est un type de distraction courant dans toute conduite. Elle peut nécessiter une normalisation et une adaptation de la distraction cognitive visuelle pendant la conduite. Afin d'étudier l'effet de la distraction, il est absolument nécessaire de disposer d'une méthode complète pour comprendre les mécanismes et les effets sous-jacents de ces types de distractions afin d'en estimer le risque.

Les signaux EEG et les mouvements des yeux ont été identifiés comme étant utiles pour étudier ce type de distraction. Cependant, en raison de la complexité du problème de recherche, cette thèse ne porte que sur les signaux EEG. Nous avons proposé que la distraction cognitive visuelle implique un paradigme de changement de tâche en plus du paradigme bien connu de double tâche qui a été la théorie directrice dans ce domaine. En effet, la capacité visuelle doit être partagée entre la tâche secondaire et la conduite, ce qui nécessite donc un changement de tâche. Compte tenu de cela, les caractéristiques de l'EEG pourraient être utilisées pour détecter la distraction cognitive visuelle, peut-être plus que les seuls thêta, bêta et alpha dans le lobe frontal.

Nous avons donc testé cette théorie dans le cadre de deux expériences. En utilisant la densité spectrale de puissance, calculée à l'aide de la transformée en ondelettes et de la FFT, nous avons observé qu'il y a un chevauchement des bandes de fréquences significatives avec d'autres régions du cerveau. Cette constatation suggère d'utiliser les caractéristiques de l'EEG au-delà du lobe frontal ainsi que les bandes de fréquences delta et gamma.

Nous avons proposé d'utiliser une méthode de sélection de caractéristiques basée sur l'apprentissage machine pour étudier les caractéristiques pertinentes à utiliser pour la classification. Outre l'ERSP, nous avons également utilisé des valeurs de cohérence puisque cette mesure représente la connectivité du réseau cérébral. Nous avons constaté qu'il y a plus de régions et de bandes de fréquences qui pourraient être utilisées pour discriminer la tâche. Le score F1 de la classification SVM et Random Forest en utilisant des caractéristiques sélectionnées est de 90% et 60% respectivement, contre 52% en utilisant une caractéristique présélectionnée comme indiqué dans la littérature.

En conclusion, l'EEG peut être utilisé pour détecter une distraction cognitive visuelle lorsque la performance de classification peut être améliorée en sélectionnant les caractéristiques pertinentes à la tâche en question.

Contribution à la recherche

Il y a 3 contributions principales de recherche pour ce travail :

-Analyse approfondie de l'importance des caractéristiques En utilisant la méthode utilisée dans cette thèse, elle permet une analyse approfondie de l'importance des caractéristiques. Le SVM-RFE et Random Forest classent les caractéristiques en fonction de leur importance. D'autres méthodes, telles que l'ACP, transforment les caractéristiques en une nouvelle représentation des caractéristiques, ce qui ne permet pas de révéler l'importance de chaque caractéristique individuelle. La révélation de l'importance des caractéristiques permettrait une étude approfondie de la tâche en question, augmentant ainsi la confiance des utilisateurs dans l'utilisation de ce système.

-Simplifier l'utilisation de l'EEG L'analyse de l'EEG donne des données de haute dimension, cependant, seul un sousensemble de ces données est pertinent pour une tâche spécifique. L'étude de plusieurs types de tâches de distraction peut révéler un modèle uniforme dont les caractéristiques sont essentielles pour la détection. Ainsi, l'utilisation de l'EEG est simplifiée vers un ensemble réduit de caractéristiques. En conséquence, cela réduira le nombre d'électrodes qui seront finalement optimales pour une application en temps réel telle que l'interface cerveau-ordinateur. Les résultats permettront également de réduire le temps de préparation de l'acquisition de l'EEG, qui a été le facteur d'obstacle à l'utilisation de l'EEG.

-Encourager l'application avec des paramètres multidimensionnels complexes Il y a beaucoup d'applications qui impliquent de nombreux capteurs. La plupart des applications sont confondues par différents facteurs, ce qui permet d'obtenir des données de grande dimension à partir de plusieurs capteurs. Par exemple, en agriculture, la croissance des plantes dépend de multiples facteurs tels que la lumière, l'eau, les températures et les nutriments, dont chacun peut être acquis par différents capteurs. Alors que différents types de plantes nécessiteraient différentes combinaisons de facteurs, la classification avec un système de sélection des caractéristiques pourrait aider à prendre des décisions si une intervention dans les soins des plantes devait être effectuée. Cette approche pourrait également être appliquée dans d'autres secteurs qui impliquent des paramètres de grande dimension tels que les soins aux patients en médecine, la fabrication ou les décisions commerciales.

Limitation et travaux futurs

Le système actuel ne pouvait accepter que des données numériques comme caractéristiques. En effet, la mise en oeuvre du MVC-RFE nécessite une valeur numérique afin de calculer le poids des caractéristiques sur la base de la marge maximale. Certaines caractéristiques peuvent se présenter sous la forme de données nominales extraites de questionnaires. Ceci est particulièrement important pour les applications qui nécessitent une méthode hybride pour qu'une inférence soit faite pour le test. Par conséquent, les travaux futurs sur ce système doivent intégrer une amélioration visant à accepter les données nominales dans le système.

La tâche utilisée dans cette étude est spécifiquement liée à la distraction cognitive visuelle. Cependant, la distraction au volant pourrait provenir d'autres types de distractions comme les distractions auditives et physiques. Afin d'obtenir un aperçu complet des caractéristiques les plus critiques à inclure pour la détection de la distraction, il convient d'étudier davantage d'études qui induisent différents types de distraction. Ce système pourrait aider à tirer des conclusions sur les caractéristiques les plus importantes et à révéler le schéma critique lié à la détection de la distraction à l'aide de l'EEG.

Un autre travail futur qui pourrait être envisagé est le développement d'un système de détection en temps réel. Cela permettra une mise en oeuvre sur place et une décision immédiate sur certaines applications telles que les décisions commerciales.

  Last but not least, thank you to the Government of Malaysia for supporting my Ph.D. study thru MyBrain15 and HiCOE research grant for the first three years of my candidacy. iv ABSTRACT Driving distraction shift the attention away from safe driving towards a competing task. Dual task paradigm defines distraction in terms of excessive workload and limited attentional resources. To fill the gap in driver's safety research, the thesis aims to uncover the mechanics of detecting visual cognitive distraction by using physiological signals. There are 2 sets of experiments conducted with 18 participants.

1

 1 de variance à deux facteurs ANOVA ont été utilisés. Les résultats indiquent que les deux tâches de distraction cognitive visuelle sont exécutées de façon séquentielle et que le temps de réaction est affecté par le passage d'une tâche à l'autre. Pour la deuxième expérimentation avec 8 participants, un système intégré a été créé en C++, qui implique un système CAVE à 4 parois, un simulateur de conduite utilisant le logiciel de simulation SCANeR, un simple casque EEG à 20 canaux (Enobio 20), un SMI de suivi oculaire et un logiciel BeGaze. Comme paramètres qualitatifs, les réponses aux questionnaires SSQ et NASA-TLX ont été utilisés pour évaluer les commentaires des utilisateurs. Comme paramètres quantitatifs, des solutions d'équations mathématiques, des mesures de mouvements oculaires, de signaux EEG et de performances de conduite ont été utilisées. Pour l'analyse des données, les logiciels Matlab et SPSS ont été utilisés et pour l'analyse statistique, le test Shapiro-Wilk et ANOVA à un facteur. Les résultats indiquent que l'expérience exige une capacité mentale plutôt qu'une capacité physique. Les fréquences de la bande delta dans le lobe frontal des signaux EEG n'ont pas d'impact significatif sur la différentiation entre conduite et distraction, mais les bandes delta et thêta au centre et au pariétal en ont. Les résultats ont également révélé que les fréquences des bandes thêta et alpha sont effectivement des caractéristiques importantes dans les deux expérimentations. Dans une tâche où le sujet peut contrôler quand il s'engage dans la tâche secondaire, la bande bêta a montré son importance d'un point de vue statistique, étant la seule capable de faire la distinction entre différents niveaux des tâches cognitives. La similitude la plus frappante entre les deux expérimentations est que vii certaines des caractéristiques statistiquement significatives se chevauchent entre les régions du cerveau. Par conséquent, une analyse comparative des techniques d'apprentissage machine (SVM-RFE c. les forêts aléatoires) dans la sélection des caractéristiques pertinentes des signaux EEG, en combinaison avec les valeurs de cohérence, a également été réalisée. Les résultats indiquent que, bien qu'en général, les forêts aléatoires donnent de meilleurs résultats que le séparateur SVM, le score F1 du SVM avec SVM-RFE montre les scores les plus élevés (0.90). viii ix TABLE OF CONTENTS B. Distracted Stroop Test: Briefing pack and consent form ......................................... C. Distracted Stroop Test: Researcher Checklist .......................................................... D. Distracted Driving: Briefing pack and consent form ............................................... E. Distracted Driving: Demographic Information ........................................................ F. Distracted Driving: SSQ .......................................................................................... G. Distracted Driving: NASA-TLX .............................................................................. H. Distracted Driving: Researcher Checklist ................................................................ Résumé Long en langue française de la thèse ....................................................... Summary of brain activity during task switching. ..................................... 12 Table 2.2 Summary of brain activity in dual task paradigm ...................................... 13 Table 2.3 Summary of the effects that visual and cognitive distraction have on driving performance............................................................................................... 18

94 Table 5 . 4 96 Table 5 . 5 100 Table 5 . 6

 9454965510056 3. ........................................................................ 49 Table 4.1 Summary for simple main effect on the two-way repeated measure ANOVA of distracted Stroop test reaction time. ...................................................... 59 Table 4.2 Summary of post-hoc analysis on the one-way repeated measure ANOVA of distracted Stroop test reaction time. ...................................................... 61 Table 4.3 Median (Mdn) of ER magnitude for every condition. ............................... 64 Table 4.4 Summary of Friedman test and its post hoc analysis for every condition (part 1). .............................................................................................................. 66 Table 4.5 Summary of Friedman test and its post hoc analysis for every condition (part 2). .............................................................................................................. 67 Table 5.1 Descriptions of hardware and software used in the experiment. ............... 78 Table 5.2 Overview of subjective and objective measurement. ................................. 84 Table 5.3 Frequency Band ......................................................................................... Selected electrode channels by brain region .............................................. Summary of statistical analysis for driving performance features (part 1). ................................................................................................................. Summary of statistical analysis for driving performance features (part 2). ................................................................................................................. 101Table 5.7 Summary of one-way repeated measures ANOVA test on eye movement features (part 1). ...................................................................................... 103 xiv Table 5.8 Summary of one-way repeated measures ANOVA test on eye movement features (part 2). ...................................................................................... Table 5.9 Post-hoc analysis for statistically significant eye movement features by using sample paired t-test. ................................................................................. Table

Figure 1 . 1 4 Figure 2 . 1 9 Figure 2 . 2 10 Figure 2 . 3 15 Figure 2 . 4 29 Figure 2 . 5 30 Figure 2 . 6 30 Figure 2 . 7 31 Figure 2 . 8 32 Figure 2 . 9 33 Figure 2 . 35 Figure 2 . 36 Figure 2 . 39 Figure 2 . 40 Figure 2 . 40 Figure 3 . 1 43 Figure 3 . 2

 11421922102315242925302630273128322933235236239240240314332 Figure 1.1 Research axes.............................................................................................. 4 Figure 2.1 Overview of factors inherent to driving distraction .................................... 9 Figure 2.2 The Visual Pathways ................................................................................ 10 Figure 2.3 Illustration of types and sources of distraction. ........................................ 15 Figure 2.4 Left: Delta activity recorded from pyramidal neuron of a cat in the somatosensory cortex during deep sleep (adapted from Peyman [95]). Right: Generation of electrical and magnetic fields by synaptic currents in pyramidal cells (adapted from Bear et al. [96]). .................................................................................. 29 Figure 2.5 The dorsal and lateral view of the human cerebral cortex (adapted from Wilson and Richardson [97]). .................................................................................... 30 Figure 2.6 The 10-20 system. ..................................................................................... 30 Figure 2.7 Top: EEG signal with epileptic seizure (adapted from Arunkumar et al. [114]). Bottom: EEG signal of different sleep stage (adapted from Khalighi et al. [115]). ......................................................................................................................... 31 Figure 2.8 List of selected feature extraction methods. ............................................. 32 Figure 2.9 ERP waveform. ......................................................................................... 33 Figure 2.10 EEG signal in time domain filtered by the identified frequency band. Adapted from Abo-Zahhad [129]............................................................................... 35 Figure 2.11 One of application of coherence. Adapted from Zhavoronkova et al. [135]. .................................................................................................................................... 36 Figure 2.12Feature Selection technique ..................................................................... 39 Figure 2.13 Support Vector Machine ......................................................................... 40 Figure 2.14 Random Forest working principle. ......................................................... 40 Figure 3.1 Overview of scientific approach ............................................................... 43 Figure 3.2 Improvement made to the classification process. ..................................... 48

Figure 4 .

 4 Figure 4.1 (a) The illustration of stimuli for the sessions, (b) the experiment paradigm for session (i), (ii) and (iii) and (c) the experiment paradigm for session (iv). .......... 53

Figure 4 . 2 54 Figure 4 . 3 Figure 4 . 4 55 Figure 4 . 5 57 Figure 4 . 6 63 Figure 4 . 7 63 Figure 4 . 8 65 Figure 5 . 1 72 Figure 5 . 2 73 Figure 5 . 3 74 Figure 5 . 4 75 Figure 5 . 5 76 Figure 5 . 6 77 Figure 5 . 7 79 Figure 5 . 8 80 Figure 5 . 9 81 Figure 5 . 10 82 Figure 5 . 83 Figure 5 .Figure 5 . 85 Figure 5 . 87 Figure 5 . 89 Figure 5 . 89 Figure 5 . 90 Figure 5 . 91 Figure 5 . 92 Figure 5 . 95 Figure 5 . 105 Figure 5 . 106 Figure 5 . 111 Figure 5 . 112 Figure 5 . 112 Figure 6 . 1 117 Figure 6 . 2 118 Figure 6 . 3 120 Figure 6 . 4 121 Figure 6 . 5 Figure 6 . 6 F1

 4254434455455746634763486551725273537454755576567757795880598151082583558558758958959059159259551055106511151125112611176211863120641216566 Figure 4.2 The colour labelling on the keyboard ....................................................... 54 Figure 4.3 Left Image: Subject positioning during experiment, Right Image: Neoprene headcap used during the experiment. ......................................................................... 55

Figure 6 . 7 F1

 67 Figure 6.7 F1-score of the classification on test data. ..............................................

Figure 6 . 8

 68 Figure 6.8 Time taken during cross validation and testing on unseen data for both classifiers. .................................................................................................................

Figure 7 . 1

 71 Figure 7.1 Conclusion ..............................................................................................

Figure 1 . 1 2 .

 112 Figure 1.1 Research axes

Figure 2 .

 2 Figure 2.1 depicted an overview of factors that are inherent to the understanding of driving distraction. Human and distractor are two main themes that cause driving distraction, while effects are typically characterized by measurements. In this chapter, peregrination was confined to human mechanism, experiences, age, distractors and objective & subjective measurements.

Figure 2 . 1

 21 Figure 2.1 Overview of factors inherent to driving distraction

Figure 2

 2 Figure 2.3.

Figure 2 . 3

 23 Figure 2.3 Illustration of types and sources of distraction.

  has shown otherwise. In her study, the standard deviation of lateral control did not significantly differ between normal and distracted driving. The central placement of the distracted stimuli in the driver's field of view may have contributed to this contradicting result. c) Reaction Time: Reaction time is evaluated by several measures: Brake Reaction Time, Peripheral Detection Time (PDT), and Detection Response Time (DRT). The purpose of this method of assessment is to evaluate the mental load of the driver. We cannot find any reports that relate visual distraction with reaction time. ii. Cognitive Distraction a) Speed: Cognitive distraction causes mixed responses on vehicular speed. Studies by Engstrom et al.

'

  very bad' (1): a) How mentally demanding was the driving task? b) How physically demanding was the driving task? c) How hurried or rushed was the pace of the driving task? d) How hard did you have to work to accomplish your level of driving performance? e) How insecure, discouraged, irritated, stressed, and annoyed were you during the driving task? f) How successful were you in accomplishing the driving task during driving?

Figure 2 . 4 illustrates

 24 the recording of electrical signal from different locations (depth, measured from scalp). The intracellular recording showed the action potential recorded at 1 mm depth. If the synchronization is strong enough, these traces can be recorded as the extracellular local field potential (LFP). The local EEG exhibit smaller amplitude due to the distance of the recording electrode with the source. Therefore, a suitable signal processing technique is needed to model the local EEG recording for interpretation.

Figure 2 . 4

 24 Figure 2.4 Left: Delta activity recorded from pyramidal neuron of a cat in the somatosensory cortex during deep sleep (adapted from Peyman [95]). Right: Generation of electrical and magnetic fields by synaptic currents in pyramidal cells (adapted from Bear et al. [96]).

Figure 2 . 5

 25 Figure 2.5 The dorsal and lateral view of the human cerebral cortex (adapted from Wilson and Richardson [97]).

Figure 2 . 6

 26 Figure 2.6 The 10-20 system.

Figure 2 .

 2 7 illustrates the example of EEG signal at multiple states.

Figure 2 . 7

 27 Figure 2.7 Top: EEG signal with epileptic seizure (adapted from Arunkumar et al. [114]). Bottom: EEG signal of different sleep stage (adapted from Khalighi et al. [115]).

Figure 2 . 8

 28 Figure 2.8 List of selected feature extraction methods.

Figure 2 . 9

 29 Figure 2.9 ERP waveform.

  meaningless. Let a data set of length N = {x1, x2, x3,…xN} with a fixed time interval of T. An epoch of length m, such that Xm(i) = {xi, xi+1, xi+2 , …, xi+m-1} and a distance function d|Xm(i),Xm(j)|(i ≠ j). SampEn is defined as: 𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 = -𝑙𝑙𝑙𝑙𝑙𝑙 𝐴𝐴 𝐵𝐵 where A = number of epoch pairs having d|Xm(i),Xm+1(j)| < r B = number of epoch pair having d|Xm(i),Xm(j)| < r

Figure

2. 10

 10 illustrates the signals which are filtered at each frequency band.

Figure 2 .

 2 Figure 2.10 EEG signal in time domain filtered by the identified frequency band. Adapted from Abo-Zahhad [129].

Figure 2 .

 2 Figure 2.11 One of application of coherence. Adapted from Zhavoronkova et al. [135].

Figure 2 .

 2 Figure 2.12Feature Selection technique

Figure 2 .

 2 Figure 2.13 Support Vector Machine

Figure 2 .

 2 Figure 2.14 Random Forest working principle.

  an overview of the scientific approach adopted with reference to the research questions. There are three experiments designed; (E1) Distracted Stroop Test, (E2) Distracted Driving Test (visual cognitive stimuli) and (E3) Classification of visual cognitive driving distraction using proposed feature selection method. The experiments were explained in detail from chapter 4 to chapter 6 respectively. Figure below is the summary of this chapter.

Figure 3 . 1

 31 Figure 3.1 Overview of scientific approach

Figure 3 . 2 illustrates

 32 the modification made to a typical classification process. Experiment 3 were conducted to evaluate the proposed classification system. Experiment 3: Classification of visual cognitive driving distraction using proposed feature selection method.

Figure 3 . 2

 32 Figure 3.2 Improvement made to the classification process.

Figure 4 .

 4 1 illustrates the paradigm of the session and the tasks.

Figure 4 . 1 (

 41 Figure 4.1 (a) The illustration of stimuli for the sessions, (b) the experiment paradigm for session (i), (ii) and (iii) and (c) the experiment paradigm for session (iv).

Figure 4 .

 4 3 illustrates the subject positioning while performing the experiment. The task that was designed to create different complexity level for subjects was created by using E-Prime® 2 Professional (Psychology Software Tools, Inc.). The reaction time and accuracy were recorded by using E-Prime software for further analysis.The EEG signals were recorded by using Enobio® 20 (Neuroelectrics Barcelona) with 20 Ag/AgCl electrodes and reference to the mastoid area. A wearable Neoprene head cap was applied on the subject's head as shown in figure4.3. It holds 20 EEG dry electrodes that can be placed at 20 different position on the head based on 10-20 system. Adjustment were made (if needed) to ensure all the channels were having good signal quality before proceeding to experiment. The acquired data were digitized using 24-bit ADC with 500 Hz sampling frequency.

Figure 4 . 3

 43 Figure 4.3 Left Image: Subject positioning during experiment, Right Image: Neoprene headcap used during the experiment.

Figure 4 . 4

 44 Figure 4.4 Factors for distracted Stroop test statistical analysis.

Figure 4 . 5 illustrates

 45 the selected SROI based on the electrode position on international 10-20 system.

Figure 4 . 5

 45 Figure 4.5 Illustration of selected spatial region of interest (SROI) based on the electrode position on international 10-20 system.

  Pronounced interaction effects were defined at the TFROIs in the delta, theta and alpha band at frontal(2 -9 Hz, 0.1 -0.5ms), central (2 -4 Hz, 0 -0.5 ms, & 1 -1.7 Hz, 0 -0.8 ms), parietal(8 -10 Hz, 0.07 -0.34 ms & 7 -11 Hz, 0.4 -0.71 ms) and occipital region (4 -10 Hz, 0.1 -0.41ms, & 7 -11 Hz, 0.41 -0.69 ms). The selected regions are depicted in figure 4.7. Further statistical analysis was performed to obtain the statistical differences of the defined TFROIs at each SROIs for every experimental condition.

Figure 4 . 6

 46 Figure 4.6 The grand-average time-frequency representations for each condition at the parietal region.

Figure 4 . 7

 47 Figure 4.7 The bootstrapping statistical analysis at the significance level of p <0.01 (FDR corrected) based on the interaction time-frequency representation at the SROIs. The selected TFROIs are defined in white-edges rectangles

Figure 4 . 8

 48 Figure 4.8 Left: The TFROI of statistically significant ER magnitude due to distraction at frontal (blue) and central (orange) region. Right: Approximate location of SROIs on the brain structure. The statistically significant SROIs are indicated by the red-edge rectangle.

Figure 5 . 1

 51 Figure 5.1 Overview of the function in which hardware and software are involved in the visual cognitive distraction experiment.

Figure 5 . 2

 52 Figure 5.2 Top Image: CAVE System, Bottom Left: Top view of hardware arrangement, Bottom Right: Actual arrangement for the experiment.

Figure 5 . 3

 53 Figure 5.3 Top Image: Enobio 20 EEG wireless system, Bottom Left: Dry electrode, Bottom Right: Sticktrode.

Figure 5 .

 5 [START_REF] Duncan | Restricted attentional capacity within but not between sensory modalities[END_REF] shows the eye tracking glasses used in this experiment. The software that records data from the glasses is iViewETG. Markers flagged at each signboard (explained in detail in section 4.2.4) during the experiment were recorded by a C++ application that runs with SCANeR™studio and transmitted to iViewETG as well. These recorded data were exported by using BeGaze™ 3.7 software (SensoMotoric Instruments GmbH, Germany) or further analysis.The data recorded by the system are raw data such as pupil diameter, point of regard, eye position and video from front and each eye camera, as well as event data such as spatial location of fixation and saccade, saccade amplitude, saccade acceleration and blinks. The event data from the eye tracking system such as fixation, saccade and blinks were detected by using SMI event detection algorithm. The algorithm is velocity-based algorithm in which saccade is the primary event. It detects the saccade candidate that either; (a) exceed 100°/sec for the velocity of point of regard or (b) exceed 8°/sec and skewness value is above 5.

Figure 5 . 4

 54 Figure 5.4 SMI eye tracking glasses used in this experiment. As the experiment were taking place in CAVE environment, participants need to wear a passive stereoscopic glasses to visualize the 3D image projected by two different projectors. These two glasses (eye tracker and Infitec glasses) need to be incorporated with reflective marker for infrared tracking camera. Monsieur Jean-Claude Da Silva from Nicéphore Labs, Nicéphore Cité FabLab in Chalon-sur-Saône, Bourgogne

Figure 5 . 5

 55 Figure 5.5 Left: Modification made to the Infitec glass, Right: Example of the usage.

  flagged marker from SCANeR™studio and to send the signal to the respective recording software via ethernet communication. Enobio 20® and SMI Eye Tracking glasses has their own recording software while driving data were recorded from the same C++ application that records the marker. Distraction stimuli group is responsible to give cue to SCANeR™studio the randomized stimuli selection as well as recording the response from participants (codes written using Microsoft Visual Studio), display the stimuli on a monitor and display the instantaneous speed in km/h. Figure 5.6 illustrates diagram of the communication between the groups and SCANeR™studio and table 5.1 listing the description of function for each component.

Figure 5 . 6

 56 Figure 5.6 Diagram of hardware and software used in this experiment and its communications.

Figure 5 . 7 illustrates

 57 the top-view of the scenario map and an example of the scenario environment. Each participant will undergo a randomized distraction stimulus at each intersection. This entails a different path to each participant depending on their answer despite having to begin at the same starting point.

Figure 5 . 7

 57 Figure 5.7 Top Image: Top-view of the scenario map designed by using SCANeR TM Studio, Left Image: Example of scenario environment.

Figure 5 . 8

 58 Figure 5.8 Location of screen monitor next to the driving simulator.

Figure 5 . 9

 59 Figure 5.9 Top Left: The stimuli display design outside of display period, Top Right: The stimuli display design during display period, Bottom Image: the placement of two signboards at each intersection that marks "display period".

3

  numbers are used for hard level, similar to the distraction stimuli. Time taken for participants to answer the question were recorded for further analysis. This step is used to determine the baseline for each individual in order to get a normalized group performance. The figure below illustrates the test window.

Figure 5 . 10

 510 Figure 5.10 Left Image: Math Baseline Test Window, Right Images: Sample for easy level and hard level.

  and EEG cap. Figure 5.11 shows the time allocation for eyes-closed & eyes-open procedure.

Figure 5 .

 5 Figure 5.11 Time allocation for eye close & eyes open procedure.

Figure 5 .

 5 Figure 5.12 Image that indicate the end of experiment.

Figure 5 .

 5 Figure 5.13 Definition of road gap

Figure 5 .

 5 Figure 5.14 Vehicle trajectory at single subject level for two different participants.

Figure 5 .

 5 Figure 5.15 An example of saccade, changing from position 1 to position 2 on image from eye tracker camera.

Figure 5 .

 5 Figure 5.16 Definitions of saccade features

Figure 5 .

 5 Figure 5.17 Mapping of pixels of the x-axis and y-axis to one of the eye tracker images.

Figure 5 . 18

 518 Figure 5.18 Left Image: Example of eye tracker image when participant looking to the front, Right Image: Example of eye tracker image when participant looking slightly to the right. (red circlet is a fixation)

Figure 5 .

 5 Figure 5.19 Image limit denotes by the red-edge rectangle. Fixation location plots in which the red coloured dot represents the location within the image limit and the blue coloured dot are outside of the image limit. Left Image: Most of the red dots falls within the image limits, a typical distribution for most of the participants. Right Image: Example of fixation location plot in which most of the distributions falls outside of the image limit due to positioning of the eye tracker during experiment.

  5 box-lengths from the edge of the box. Test of normality (Shapiro-Wilk) were conducted for the following features: i. Mean fixation location (x-axis) (px) ii. Standard deviation of fixation location (x-axis) (px) iii. Mean fixation location (y-axis) (px) iv. Standard deviation of fixation location (y-axis) (px) v. Mean fixation duration (ms) vi. Standard deviation of fixation duration (ms) vii. Mean saccade duration (ms) viii. Standard deviation of saccade duration (ms) ix. Mean saccade amplitude (⁰) x. Standard deviation of saccade amplitude (⁰) xi. Mean peak speed (⁰/sec) xii. Standard deviation of peak speed (⁰/sec) Features that violates the Shapiro-Wilk normality test (p < 0.05) will undergo a

Figure 5 .

 5 Figure 5.20 Illustration of steps taken to compute ERSP features. Data was taken from an epoch of a single subject.

Figure 5 . 21

 521 Figure 5.21 Left Image: Boxplot of mean fixation location on horizontal axis (X-axis), Right Image: Boxplot of mean fixation location on vertical axis (Y-axis).

Figure 5 .

 5 Figure 5.22 Visualization of statistical result for ERSP.

Figure 5 .

 5 Figure 5.23 Mean total score of SSQ administered before and after the experiment.

  Participants took longer time to answer hard questions (2.97 ± 0.65 seconds) as opposed to the easy questions (1.83 ± 0.24 seconds), statistically significantly longer by 1.14 (95% CI, 0.63 to 1.64) seconds, t (7) = 5.298, p <.001, d = 1.87.

Figure 5 .A

 5 Figure 5.24 Mean time taken to answer the mathematical equations during preexperiment.A Friedman test was run to determine if there were differences between adjusted ratings of NASA-TLX dimensions. Pairwise comparisons were performed with a Bonferroni correction for multiple comparisons. Adjusted rating was statistically significantly different between the dimensions, χ 2 (5) = 18.571, p < .0005. Post hoc analysis revealed statistically significant differences in between physical demands (Mdn = 0.00) to mental demands (Mdn = 212.5) (p = .018) and performance (Mdn = 320.0) (p =.006) to physical demands, but not between other pairwise comparison.

Figure 5 .

 5 Figure 5.25 Boxplot of adjusted rating for each dimension in NASA-TLX assessment.

Figure 6

 6 Figure 6.1 Steps for extracting coherence value from the dataset

Figure 6 . 2

 62 Figure 6.2 Brain region based on the electrodes selected.

Figure 6 . 3

 63 Figure 6.3 Random Forest working principle.

Figure 6 . 4

 64 Figure 6.4 Confusion matrix as reference for the performance measure.

Figure 6 . 5

 65 Figure 6.5 Bar-stacked plot of the selected features sorted by count of selection (due to resolution, only the first 50 features were displayed).

Figure 6 . 6 F1

 66 Figure 6.6 F1-score of the cross validation of the training data.

Figure 6 . 7 F1

 67 Figure 6.7 F1-score of the classification on test data.

Figure 6 . 8

 68 Figure 6.8 Time taken during cross validation and testing on unseen data for both classifiers.

  Most applications are confounded by different factors, thus yielding high dimensional data from multiple sensors. For instance, in agriculture, plant growth depends on multiple factors such as light, water, temperatures and nutrients of which each can be acquired by different sensors. While different type of plants would require different combinations of factors, classification with feature selection system

1 .

 1 Introduction ............................................................................................................. 2. Etat de l'art .............................................................................................................. 3. Approche scientifique .............................................................................................. 4. Changement de tâche, double-tâches ou les deux ? ................................................. 5. Distraction visuelle et cognitive de la conduite ....................................................... 6. Sélection des caractéristiques de l'EEG pour discriminer la distraction cognitive visuelle 223 7. Conclusion ...............................................................................................................

Figure. 4

 4 Figure.4.1. (a) Illustration des stimuli pour les sessions, (b) le paradigme d'expérimentation pour la session (i), (ii) et (iii) et (c) le paradigme d'expérimentation pour la session (iv).

Figure. 4

 4 Figure.4.2. L'étiquetage en couleur sur le clavier.

  = puissance de signal estimée à un moment (t) et une fréquence (f) donnés Rf = puissance estimée du signal moyennée dans l'intervalle pré-stimulus. Les représentations temps-fréquence moyennes ont été calculées pour ReC, ReI, RaC, RaI, RdC et RdI au niveau du sujet unique. Pour une analyse statistique plus poussée visant à étudier la région, le temps et la bande de fréquence les plus significatifs liés à la distraction, les régions frontales (F3, F4, Fz), centrales (C3, C4, Cz), pariétales (P3, P4, Pz) et occipitales (O1, O2, Oz) ont été sélectionnées comme régions d'intérêt spatial (SROI). La figure 4.4 illustre les SROI sélectionnées sur la base de la position des électrodes sur le système international 10-20.

Figure. 4 . 4 .

 44 Figure.4.4. Illustration de la région d'intérêt spatial sélectionnée (SROI) basée sur la position de l'électrode sur le système international 10-20.

Figure. 4 . 5 .

 45 Figure.4.5. Gauche : La TFROI d'une magnitude statistiquement significative de ER en raison de la distraction dans la région frontale (bleu) et centrale (orange). A droite :Emplacement approximatif des SROI sur la structure du cerveau. Les SROI statistiquement significatifs sont indiqués par le rectangle au bord rouge.

Figure. 5 . 1 .

 51 Figure.5.1. Vue d'ensemble des fonctions dans laquelle le matériel et le logiciel sontimpliqués dans l'expérience de distraction cognitive visuelle.

Figure. 5 . 2 .

 52 Figure.5.2. Diagramme du matériel et des logiciels utilisés dans cette expérience et sescommunications.

Figure. 5 . 3 .

 53 Figure.5.3. Vue de dessus de la carte de scénario conçue en utilisant SCANeRTMStudio.

Figure. 5 . 4 .

 54 Figure.5.4. Emplacement de l'écran de contrôle à côté du simulateur de conduite.

Figure. 5 . 5 .

 55 Figure.5.5. En haut à gauche : La conception de l'affichage des stimuli en dehors de la période d'affichage, en haut à droite : La conception de l'affichage des stimuli pendant la période d'affichage, Image du bas : le placement de deux panneaux à chaque intersection qui marque la "période d'affichage".

Figure. 5 . 6 .

 56 Figure.5.6. Image de gauche : Fenêtre de test de base en mathématiques, images de droite : Échantillon pour le niveau facile et le niveau difficile.

Figure. 5 . 7 .

 57 Figure.5.7. Temps alloué pour la procédure de fermeture des yeux et d'ouverture des yeux.

L

  'analyse des données a été effectuée à l'aide de MATLAB® version R2018b (The MathWorks Inc., USA) et toutes les analyses statistiques de cette section ont été effectuées à l'aide de IBM® SPSS® Statistics version 22.0.0 (SPSS Inc., Chicago). Les tests et hypothèses statistiques sélectionnés seront décrits en détail dans chaque section de mesure. Un participant n'a pas pu terminer l'expérience en raison d'une erreur technique et a été exclu de toutes les analyses.

Figure. 5 . 9 .

 59 Figure.5.9. Définition de l'écart à la trajectoire.

Figure. 5 . 10 .

 510 Figure.5.10. Trajectoire du véhicule au niveau d'un seul sujet pour deux participants différents.

2 :Figure 5 . 11 . 4 )

 25114 Figure 5.11. Illustration des mesures prises pour calculer les caractéristiques du REER.

Figure. 5 . 13 .

 513 Figure.5.13. Score total moyen des SSQ administrés avant et après l'expérience.

Figure. 5 . 14 .

 514 Figure.5.14. Temps moyen nécessaire pour répondre aux équations mathématiques lors de la pré-expérience.

Figure. 5 . 15 .

 515 Figure.5.15. Boxplot de la note ajustée pour chaque dimension dans l'évaluation NASA-TLX.

Tableau 6 . 1

 61 Bande de fréquences.La région et l'électrode concernées sont illustrées dans la figure 6.1.

Figure 6 . 1 Figure 6 . 2 .

 6162 Figure 6.1 Région du cerveau en fonction des électrodes sélectionnées.

Figure 6 . 3

 63 Figure 6.3 Principe fonctionnement de l'algorithme de de la Random Forest.

Figure 6 . 4

 64 Figure 6.4 Matrice de confusion comme référence pour la mesure de la performance.

Tableau 6 . 2

 62 Méthode d'évaluation pour la sélection des caractéristiques.L'indice Jaccard a montré que la similarité des caractéristiques sélectionnées est inférieure à 40% entre chaque méthode. Le résultat de l'indice Jaccard est présenté dans le tableau 6.2. La distribution des caractéristiques sélectionnées peut être visualisée à partir du tableau 6.3 et nous pouvons clairement voir que de nombreuses valeurs de cohérence sont sélectionnées. Tableau 6.3. Résumé de la valeur de cohérence sélectionnée par les deux méthodes d'apprentissage machine.

Table 2 .

 2 4 The summary of EEG based distraction detection method. ....................... 22

Table 2 .

 2 5 The summary of hybrid-based distraction detection method. .................... 26

Table 2 .

 2 6 Summary of distraction measurements as detection method. .................... 28

Table 2 .

 2 7 Summary of the pre-selected region/channel and frequency band. ........... 38

Table 3 .

 3 1 Summary of experiment 1 and experiment 2. ............................................ 46

Table 3 .

 3 3 Summary of Experiment

Table 6 .

 6 1 Frequency Band .......................................................................................

Table 6 .

 6 2 Evaluation method for feature selection. .................................................

Table 6 .

 6 3 Illustration of the selected features based on the method. .......................

Table 6 .

 6 4 List of the performance measure for the cross validation of the training data. .................................................................................................................

Table 6 .

 6 5 List of performance measure of classification on test data. .....................

Table 6 .

 6 [START_REF] Lee | Dynamics of Driver Distraction: The process of engaging and disengaging[END_REF] Summary of coherence value selected by both machine learning method.

Table 2

 2

.2 listed the summary of brain activity related to dual task paradigm.

Table 2 .2 Summary of brain activity in dual task paradigm References Task Remarks [44]

 2

Table 2 .4 The summary of EEG based distraction detection method. Reference Pre-Processing Feature Extraction Feature Classification Distraction Stimuli Other Measure Used

 2

	[13]	Independent Component Analysis (ICA)	Power spectra at frontal, central, parietal, occipital, left motor, and right motor cortices.	Support Vector Machine (SVM)	Mathematical Equation (visual)	• Reaction time • Lateral control
			Nonparametric cluster-based	Regularized linear
	[14]		permutation test to detect alpha	discriminant analysis	Auditory task	Reaction time
			spindles.	(LDA)
			Time-varying autoregressive
	[15]	ICA	(TVAR) analysis using Kalman		Auditory task
			smoother.
	[16]	Gratton method	Singular Value Decomposition (SVD)		Cognitive task (auditory)	• Lateral control • Speed
	[81]		Discrete wavelet-packet transform (DWPT) and FFT to determine the spectral centroid and power spectral density.	• Probabilistic Neural Clustering Network • 𝐾𝐾-Nearest Neighbor • Fuzzy Subtractive	Media player, GPS, mobile phone and SMS	Duration of eyes off the road
	[17]	ICA	Event related spectral perturbation (ERSP)		Mathematical equation	Lateral control

Table 2

 2

	.5

Table 2 .5 The summary of hybrid-based distraction detection method.

 2

	References	Driving Performance	Physical	Biological	Machine Learning Method
	[89]	• Lateral Control • Steering wheel (mean & error)	• Eye-fixation duration • Eye fixation location • Blink frequency		Bayesian Network
		• Longitudinal deceleration	• Eye-fixation duration
	[90]	• Lateral acceleration • Speed (min, max & % change in	• Eye-fixation frequency • Eye-fixation location
		speed)	• Scan path
	[91]	• Steering wheel (mean & error) • Lateral control	• Eye fixation • Saccades		Support Vector Machine (81.1%)
	[92]		• Eye gaze • Head orientation • Pupil diameter	Average heart rate	• Support Vector Machine (91.7%) • Adaboost (93%)

Table 2 .6 Summary of distraction measurements as detection method. Distraction Type / Measurement Method Visual Distraction Cognitive Distraction Visual Cognitive Distraction Advantages Limitations

 2

						• High potential for false
	Driving Performance	√	X	X	Able to indicate the effect of driving distraction.	response. • Requires complementary subjective reports to obtain
						high accuracy results.
	Driver Physical	√	√	X	Able to distinguish individual types of distraction.	Unable to distinguish a combined type of distraction.
	Driver Biological	X	√	?	Able to measure cognitive distraction.	Unable to measure visual distraction.
	Subjective Report	X	√	NA	Able to distinguish the underlying mechanism of error.	Requires intervention by researcher.
	Hybrid	√	√	?	• Higher accuracy for discriminating types of distractions. • Able to complement the blind spots of other methods	Synchronization of multiple source of data with different sampling rate.

√: Able to detect, X: Unable to detect or potential for false response (Blind spot), NA: Not applicable, ?: Potential for future research

Table 2 .7 Summary of the pre-selected region/channel and frequency band.

 2

	Ref	Method	Region/Channels Selected	Frequency Band Selected
	Bajwa et al [139]	PSD from Fast Fourier Transform (FFT)	Single electrode -FC5	-
	Wang et al [13]	PSD from Fast Fourier Transform (FFT) of ICA	Frontal, central, parietal, occipital, left motor and right cortices	Used SWLDA (limited up to low beta)
	Almahasneh et al [16]	SVD	16 electrodes at frontal	Theta, Alpha & Beta
	Almahasneh et al [137]	Coherence	12 electrodes	Theta, Alpha & Beta
	Wali et al [81]	PSD from FFT and discrete wavelet transform (DWT)	Average all 14 channels to compute 1 feature	Theta, Alpha & Beta
	Lin et al [17]	ERSP on independent component analysis (ICA) component	Frontal & motor	Theta, Alpha & Beta
	2.7 Feature Selection

Feature selection is a process where features are automatically select according thos that contribute most to the prediction variable or output. This will eliminate the irrelevant features which decreases the accuracy of the classification model. The advantages of performing feature selection are reducing overfitting, improving accuracy and reduces the training time. Figure

2

.12 listed some of the feature selection technique. We adopted SVM-RFE and Random Forest in this thesis are they are able to rank the importance of each features

Table 3 .1 Summary of experiment 1 and experiment 2.

 3

		Experiment 1	Experiment 2
	Task	Distracted Stroop Test	Modified GPS Task
	Comparison	• Repeated • Randomized • Randomized & Distracted	• Driving • Distracted -Easy • Distracted -Hard
	EEG Feature Extraction	ERSP from PSD of CWT	ERSP from PSD of FFT
			• Reaction time
	Validation	Reaction Time	• Driving Performance • Eye Tracking
			• NASA-TLX
			• SSQ
	Limitation	Switching was not controlled by the subject

The EEG features extracted is ERSP of PSD from FFT because segmenting the investigated epoch by the fraction of time (as required in both time domain and timefrequency domain analysis) would not encapsulate the process of engaging and disengaging. In this experiment, we are comparing the three states; (a) driving, (b)

Table 3 .2 Summary of Experiment 3.

 3 This chapter investigate the first research question raised; does task switching influence the dual task paradigm in visual cognitive driving distraction? The objective of this study is to evaluate the effect of distraction on a cognitive task, Stroop Test and identify the corresponding EEG synchronization.

		Experiment 3
	Dataset	Distracted Driving Test EEG data
	EEG Feature	• ERSP from PSD of FFT
	Extraction	• Coherence
		• All features
	Comparison	• Pre-selected features
	(Features)	• SVM-RFE selected features
		• Random Forest selected features
	Classification	• SVM • Random Forest
		Feature Selection
		• Jaccard Index
	Evaluation	Classification
		• F1-score
		• Time taken for train and predict

Table 4 .1 Summary for simple main effect on the two-way repeated measure ANOVA of distracted Stroop test reaction time.

 4 Mauchly's test of sphericity indicated that the assumption of sphericity was met, χ2(2) = 4.974, p = 0.083. The congruent task elicited statistically significantly different in reaction time over the complexity levels, F (2, 26) = 47.522,

	Complexity	Type	Mean ± SD (ms)	Mean (95% CI) Difference	F (1,13) Sig.
	Repeated	Congruent Incongruent	720.27 ± 115.60 743.81 ± 130.25	23.54 (-14.91 to 62.00)	1.749	.209
	Randomized	Congruent Incongruent	739.60 ± 128.38 818.64 ± 151.49	79.04 (36.66 to 121.42)	16.233 .001*
	Randomized	Congruent	991.10 ± 126.14	108.04
	&			(69.66 to	36.977 .000*
	Distracted	Incongruent	1099.14 ± 159.43	146.42)

Note: SD: standard deviation, CI: confidence interval, *: p <0.05

There was a statistically significant interaction between complexity of Stoop test and the task type, F (2, 26) = 5.928, p < .01. Therefore, simple main effects were run. Reaction time was not statistically significantly different for the congruent task (720.27 ± 115.60 ms) compared to the incongruent task (743.81 ± 130.25 ms) in the repeated trials, F (1, 13) = 1.749, p = .209. However, reaction time was statistically significantly different for the congruent task (739.60 ± 128.38 ms) compared to the incongruent task (818.64 ± 151.49 ms) during the randomized trials, F(1, 13) = 16.233, p = .001, a mean difference of 79.04 (95% CI, 36.66 to 121.42) ms. The reaction time was also statistically significantly different in the congruent task (991.10 ± 126.14 ms) compared to the incongruent task (1099.14 ± 159.43 ms) during the randomized and distracted trials, F (1, 13) = 36.977, p = .000. Table 4.1 summarizes the simple main effect. Complexity (Congruent only) A one-way repeated measures ANOVA was conducted to determine whether there were statistically significant differences in reaction time over the trial complexity of congruent task. p < .0005, with increasing reaction time from 720.27 ± 115.60 ms in repeated trials to 739.60 ± 128.38 ms in randomized trial and to 991.10 ± 126.14 ms in randomized & distracted trials. Post-hoc analysis with a Bonferroni adjustment revealed that reaction time was statistically longer in randomized & distracted compared to repeated trials (270.837 (95% CI, 175.726 to 365.948) ms, p <.0005) and compared to randomized trial (251.508 (95% CI, 153.275 to 349.741) ms, p <.0005), but it was not significant in between randomized and repeated trials (19.329 (95% CI, --35.798 to 74.457) ms, p = 1.000).

Complexity (Incongruent only)

A one-way repeated measures ANOVA was conducted to determine whether there were statistically significant differences in reaction time over the trials complexity of incongruent task. Mauchly's test of sphericity indicated that the assumption of sphericity was met, χ2(2) = 5.737, p = 0.057. The incongruent task elicited statistically trial (280.506 (95% CI, 149.676 to 411.336) ms, p <.0005), but it was not significant in between randomized and repeated trials (74.826 (95% CI, -13.290 to 162.943) ms, p = .109).

Table 4 .2 Summary of post-hoc analysis on the one-way repeated measure ANOVA of distracted Stroop test reaction time.

 4 Event Related Spectral PerturbationThe grand-average time-frequency representations (expressed as ER %) at parietal region that were computed for ReC, ReI, RaC, RaI, RdC and RdI at the single subject level is illustrated in figure 4.6.

	Type	Complexity	Mean Difference (ms)	95% Confidence Interval	Significance
		Repeated
			19.329	-35.798 to 74.457	1.000
		Randomized
	Congruent F (2, 26) = 47.522, p = .000	Randomized Randomized & Distracted	251.508	153.275 to 349.741	.000*
		Repeated
			270.837	175.726 to 365.948	.000*
		Randomized & Distracted
		Repeated
			74.826	-13.290 to 162.943	.109
		Randomized
	Incongruent F (2, 26) = 49.922, p = .000	Randomized Randomized & Distracted	280.506	149.676 to 411.336	.000*
		Repeated
			355.332	272.149 to 438.515	.000*
		Randomized & Distracted
	Note: *: p <0.05

Table 4 .3 Median (Mdn) of ER magnitude for every condition.

 4

						Median (ER %)
	Region	Time(ms)	Frequency (Hz)
				ReC	RaC	RdC	ReI	RaI	RdI
	Frontal	0.1 -0.5	2 -9	-0.0769	0.3276	-0.5857	0.1922	-0.1635	-0.5319
		0 -0.5	2 -4	0.0712	0.3612	-0.4290	0.2591	0.0265	-0.3467
	Central
		0 -0.8	1 -1.7	-0.0492	0.0992	-0.4297	0.0100	0.1675	-0.4181
		0.07 -0.34	8 -10	-0.0197	0.1179	-0.1147	-0.0196	-0.0934	-0.0140
	Parietal
		0.4 -0.71	7 -11	0.0830	0.0285	-0.1718	-0.0901	-0.1379	-0.0855
		0.1 -0.41	4 -10	-0.0540	0.0041	-0.1606	-0.0084	-0.1442	-0.0245
	Occipital
		0.41 -0.69	7 -11	0.0547	0.0929	-0.0967	-0.0220	-0.1496	0.0287

Table 4 .4 Summary of Friedman test and its post hoc analysis for every condition (part 1).

 4

	Region	Time (ms)	Frequency (Hz)	Type	Complexity	Significance
					Re -Ra	.221
	Frontal	0.1 -0.5	2 -9 (Delta -Theta -Alpha)	Congruent χ 2 (2) = 12.800, p = .002*	Ra -Rd Rd -Re Re -Ra	.001* .221 .353
				Incongruent χ 2 (2) =9.800, p = .007*	Ra -Rd Rd -Re	.353 .005*
					Re -Ra	.539
		0 -0.5	2 -4 (Delta)	Congruent χ 2 (2) =11.400, p = .003*	Ra -Rd Rd -Re Re -Ra	.002* .133 1.000
	Central			Incongruent χ 2 (2) =10.400, p = .006*	Ra -Rd Rd -Re Re -Ra	.076 .005* 1.000
		0 -0.8	1 -1.7 (Delta)	Congruent χ 2 (2) =12.600, p = .002*	Ra -Rd Rd -Re Re -Ra	.002* .022* 1.000
				Incongruent χ 2 (2) =15.200, p = .001*	Ra -Rd Rd -Re	.005* .001*
	Note: *: p <0.05

Table 4 .5 Summary of Friedman test and its post hoc analysis for every condition (part 2).

 4

	Note: *: p <0.05

[START_REF] Meiran | Reconfiguration of processing mode prior to task performance[END_REF][START_REF] Meiran | Modeling cognitive control in task-switching[END_REF][START_REF] Schmitter-Edgecombe | Costs of a predictable switch between simple cognitive tasks following severe closed-head injury[END_REF][START_REF] Allport | Shifting intentional set: Exploring the dynamic control of tasks[END_REF]

reported that the switch cost is more pronounced in a switch trial than a repeated trial. There are two task switching paradigm; (i) switch between sets of rules (rule switch) and (ii) switch between sets of features (perceptual switch)

[START_REF] Ravizza | Shifting set about task switching: behavioral and neural evidence for distinct forms of cognitive flexibility[END_REF]

.

Perceptual switch is not involved as in this experiment the Stroop test uses color-word task throughout the experiment. The switch cost may be related to the rule switch as the participant needed to respond to a different key on the keyboard depending on the colour

[START_REF] Ravizza | Shifting set about task switching: behavioral and neural evidence for distinct forms of cognitive flexibility[END_REF]

. Consistent to that argument, it is observed that differences are not significant when comparing between repeated and randomized trial within each type; congruent (Mean difference = 19.329ms, p > 0.05) and incongruent (Mean difference = 74.826ms, p > 0.05) respectively. This may indicate that the rule switch is not statistically prominent within the same trial type as the cost are about the same. However, when each trial was performed sequentially with another cognitive demanding task (word search puzzle) which in this study we define it as distraction, the delay in reaction time is statistically greater. Mean differences between congruent and incongruent trials in distracted sessions (Mean difference = 108.04ms, p < 0.001) is 29 ms longer than in randomized session (Mean differences = 79.04ms, p < 0.005). which are 232.17ms and 205.68ms longer than the mean difference in repeated and randomized trials respectively. This is because the task switching involves both perceptual switch and rule switch; from Stroop task to word search puzzle and from keyboard response to verbal response. Task preparation is a factor that contribute to this additional delay.

Table 5 .1 Descriptions of hardware and software used in the experiment.

 5

	No Item	Descriptions
	1	Fanatec USB Pedals	Acquire acceleration and brake information from participants.
	2	Altec Lansing Speaker Provide sound from SCANeR designed scenario.
	3	TS500 RS Gearshift	Acquire participant's gear of choice.
	4	Steering wheel	Acquire participant's response on vehicle control.
	5	MicroFlex e100 servo drive	Provide ethernet and motion encoder feedback from participant's steering wheel control.
	6	SCANeR™studio	A comprehensive software suite dedicated to automotive and transport simulation.
	7	Quadruplex	Computers that control all the projector in CAVE.
	8	Projectiondesign F30 SX+	Eight projectors used to create 3D images on 4 side walls in CAVE.
	9	DTrack2	Software produce by Advance Realtime Tracking GmbH, Germany is the front-end of the tracking system in CAVE.
		ARTtrack2	Infrared optical tracking camera (4 units).
			An application to read the marker triggered in SCANeR scenario
		MarkerET	during the experiment and pass the information to iViewETG thru ethernet communication. Code was written using C++ on
			Microsoft Visual Studio.
		iViewETG	Recording software for SMI Glasses.
		BeGaze	Analysis software that export raw and event eye tracking data.
		Eye Tracking Data	Database of exported data (refer 5.2.2.C) from BeGaze software for further analysis.
		SMI Eye Tracker	The eye tracking device to record eye movement.
			An application to record driving data (refer 5.2.2.A) and marker
		Record Driving Data	from SCANeR scenario during the experiment. Code was written
			using C++ on Microsoft Visual Studio.
		Driving Data	Database of driving data (refer 5.2.2.A) recorded by Record Driving Data application.
			An application to read the marker triggered in SCANeR scenario
		MarkerEEG	during the experiment and pass the information to NIC2 thru ethernet communication. Code was written using C++ on
			Microsoft Visual Studio.
		NIC2	Recording software for Enobio 20®.
		EEG Data	Database of driving data (refer 5.2.2.B) recorded by NIC2.
		Enobio 20®	EEG device to record brain signal.
		Distraction Stimuli	An application to manage the stimuli randomization, to give cue to SCANeR and monitor next to participant.
		Distraction Data	Database of distraction stimuli sequence and participant's response.

Table 5 .3 Frequency Band

 5

	Frequency Band (FB)	Frequency(fk)
	Delta	0.1 -4 Hz
	Theta	4 -8 Hz
	Alpha	8 -13 Hz
	Beta	13 -30 Hz
	Gamma	30 -48 Hz

𝑆𝑆𝐸𝐸𝑆𝑆𝑃𝑃 𝐹𝐹 𝐵𝐵 = 𝑃𝑃𝑆𝑆𝐷𝐷 𝐹𝐹 𝐵𝐵 -𝐵𝐵𝑆𝑆𝐵𝐵𝑒𝑒𝑙𝑙𝐵𝐵𝑆𝑆𝑒𝑒 𝐹𝐹 𝐵𝐵 𝐵𝐵𝑆𝑆𝐵𝐵𝑒𝑒𝑙𝑙𝐵𝐵𝑆𝑆𝑒𝑒 𝐹𝐹 𝐵𝐵

Table 5 .4 Selected electrode channels by brain region

 5

	Brain Region	Electrode Channels
	Frontal	Fp1, Fp2, F3, F4, Fz
	Central	C3, C4, Cz
	Parietal	P3, P4, Pz
	Statistical Analysis
	Each subject yield 15 ERSP features at each level of complexity (5 frequency band
	from 3 brain region). The statistical analysis performed is similar to physical measures
	-eye movement.

Table 5 .5 Summary of statistical analysis for driving performance features (part 1).

 5

	Features	Complexity	Mean ± SD / Median	Shapiro-Wilk Test (Sig.)	Mauchly's test of sphericity	Tests of Within-Subjects Effects
		Reference	-0.25 ± 0.88 ms -2	.870
	Mean Acceleration	Easy	-0.17 ± 0.48 ms -2	.964	χ 2 (2) = 4.759, p = .093	F (2, 12) = 0.066, p = .936
		Hard	-0.27 ± 0.24 ms -2	.357
		Reference	80.94 km/h	.973
	Mean Speed	Easy	76.60 km/h	.261		χ 2 (2) = 2.00, p = .368
		Hard	72.68 km/h	.009*
		Reference	2.97 N	.016*
	Mean Brake	Easy	7.73 N	.024*		χ 2 (2) = 0.087, p = .957
		Hard	7.85 N	.345
		Reference	-1.47 m	.001*
	Mean Road Gap	Easy	-1.22 m	.159		χ 2 (2) = 2.00, p = .368
		Hard	-1.32 m	.044*
	Note:
	SD = standard deviation,
	* = p < 0.05 (violates normality assumption),

** = p < 0.05 (sphericity assumption violated, use Greenhouse & Geisser correction).

Table 5 .6 Summary of statistical analysis for driving performance features (part 2).

 5

	Features	Complexity	Mean ± SD / Median	Shapiro-Wilk Test (Sig.)	Mauchly's test of sphericity	Tests of Within-Subjects Effects
		Reference	0.84 ± 0.49 ms -2	.101
	SD Acceleration	Easy	0.83 ± 0.37 ms -2	.474	χ 2 (2) = 0.249, p = .883	F (2, 12) = 0.111, p = .896
		Hard	0.77 ± 0.32 ms -2	.859
	SD Speed	Reference Easy Hard	10.07 ± 7.51 km/h 6.28 ± 2.70 km/h 5.87 ± 2.59 km/h	.565 .288 .505	χ 2 (2) = 7.145, p = .028** ɛ = .568	F (1.136, 6.816) = 2.079, p = .196
		Reference	10.11 ± 11.62 N	.089
	SD Brake	Easy	13.18 ± 15.40 N	.139	χ 2 (2) = 0.202, p = .904	F (2, 12) = 0.150, p = .862
		Hard	10.81 ± 8.75 N	.598
		Reference	0.26 ± 0.18 m	.329
	SD Road Gap	Easy	0.30 ± 1.27 m	.986	χ 2 (2) = 4.367, p = .113	F (2, 12) = 0.221, p = .805
		Hard	0.28 ± 0.15 m	.268
	Note:
	SD = standard deviation,
	* = p < 0.05 (violates normality assumption),

** = p < 0.05 (sphericity assumption violated, use Greenhouse & Geisser correction).

Table 5 .7 Summary of one-way repeated measures ANOVA test on eye movement features (part 1).

 5

	Features	Complexity	Mean ± SD / Median	Shapiro-Wilk Test (Sig.)	Mauchly's test of sphericity	Tests of Within-Subjects Effects
	Mean Fixation Location (X-axis)	Reference Easy Hard	525 ± 24 px 564 ± 64 px 603 ± 88 px	.980 .971 .848	χ 2 (2) = 3.712, p = .156	F (2, 12) = 5.258, p = .023***
	SD Fixation Location (X-axis)	Reference Easy Hard	171 ± 79 px 174 ± 57 px 195 ± 62 px	.867 .946 .864	χ 2 (2) = 9.693, p = .008** ɛ = .539	F (1.078, 6.465) = 0.274, p = .765
	Mean Fixation Location (Y-axis) †	Reference Easy Hard	-287 ± 74 px -125 ± 65 px -153 ± 53 px	.126 .561 .677	χ 2 (2) = 0.332, p = .847	F (2, 12) = 13.860, p = .001***
	SD Fixation Location (Y-axis) †	Reference Easy Hard	108 ± 23 px 110 ± 29 px 116 ± 29 px	.932 .180 .591	χ 2 (2) = 0.931, p = .628	F (2, 12) = 0.565, p = .585
	Mean Fixation Duration	Reference Easy Hard	0.42 ± 0.24 ms 0.31 ± 0.05 ms 0.30 ± 0.04 ms	.812 .849 .894	χ 2 (2) = 12.031, p = .002** ɛ = .524	F (1.047, 6.283) = 2.140, p = .160
	SD Fixation Duration	Reference Easy Hard	0.31 ± 0.20 ms 0.20 ± 0.04 ms 0.20 ± 0.07 ms	.849 .957 .914	χ 2 (2) = 10.482, p = .005** ɛ = .533	F (1.065, 6.393) = 1.997, p = .178
	Note:
	* = p < .05 (violates normality assumption),
	** = p < 0.05 (sphericity assumption violated, use Greenhouse & Geisser correction),
	*** = p < 0.05 (statistically significant result),

† = extreme outlier identified; data excluded from analysis.

Table 5 .8 Summary of one-way repeated measures ANOVA test on eye movement features (part 2).

 5

	Features	Complexity	Mean ± SD / Median	Shapiro-Wilk Test (Sig.)	Mauchly's test of sphericity	Tests of Within-Subjects Effects
	Mean Saccade Duration	Reference Easy Hard	0.09 ± 0.05 ms 0.08 ± 0.02 ms 0.07 ± 0.02 ms	.916 .890 .804	χ 2 (2) = 7.326, p = .026** ɛ = .565	F (1.131, 6.784) = 1.740, p = .234
	SD Saccade Duration	Reference Easy Hard	0.08 ± 0.05 ms 0.07 ± 0.03 ms 0.07 ± 0.03 ms	.927 .844 .942	χ 2 (2) = 4.902, p = .086	F (2, 12) = 0.452, p = .647
	Mean Saccade Amplitude	Reference Easy Hard	9.92 ± 8.06 ⁰ 6.44 ± 2.19 ⁰ 6.15 ± 1.92 ⁰	.911 .740 .976	χ 2 (2) = 12.209, p = .002** ɛ = .523	F (1.045, 6.273) = 1.907, p = .216
	SD Saccade Amplitude	Reference Easy Hard	13.08 ± 11.52 ⁰ 9.73 ± 3.84 ⁰ 10.16 ± 3.37 ⁰	.912 .806 .946	χ 2 (2) = 12.015, p = .002** ɛ = .524	F (1.047, 6.284) = 0.812, p = .467
	Mean Peak Speed	Reference Easy Hard	307 ± 184 ⁰/sec 215 ± 67 ⁰/sec 190 ± 55 ⁰/sec	.959 .908 .941	χ2(2) = 7.062, p = .029** ɛ = .569	F (1.139, 6.832) = 2.975, p = .128
	SD Peak Speed	Reference Easy Hard	192.24 ⁰/sec 259.24 ⁰/sec 254.18 ⁰/sec	.028* .787 .431		χ 2 (2) = 2.00, p = .368
	Note:
	* = p < .05 (violates normality assumption),
	** = p < 0.05 (sphericity assumption violated, use Greenhouse & Geisser correction),
	*** = p < 0.05 (statistically significant result),

† = extreme outlier identified; data excluded from analysis.

Table 5 .9 Post-hoc analysis for statistically significant eye movement features by using sample paired t-test.

 5

	Features	Complexity	Mean ± SD Difference	Shapiro-Wilk Test (Sig.)	Paired-sample Test
		Reference vs Easy	39 ± 64 px	.783	t (6) = 1.638, p = .153
	Mean Fixation Location (X-axis)	Reference vs Hard † Easy vs Hard	78 ± 81 px 38 ± 39 px	.715 .084	t (6) = 2.547, p = .044* t (6) = 2.632, p = .039*
	Mean Fixation Location (Y-axis)	Reference vs Easy † Reference vs Hard Easy vs Hard	125 ± 118 px 95 ±126 px 30 ± 82 px	.084 .499 .747	t (6) = 2.803, p = .031* t (6) = 1.997, p = .093 t (6) = 0.963, p = .373
	Note: * = p < 0.05 (statistically significant result), † = extreme outlier identified; data excluded from analysis.

Table 5 .10 One-way repeated measure ANOVA for ERSP EEG features (part 1).

 5

	Region	Frequency Band	Complexity	Mean ± SD / Median	Shapiro-Wilk Test (Sig.)	Mauchly's test of sphericity	Tests of Within-Subjects Effects
		Frontal	Reference Easy Hard	0.2580 ± 1.122 -0.3733 ± 0.251 0.2796 ± 0.652	.165 .579 .968	χ 2 (2) = 0.652, p = .722	F (2, 10) = 2.427, p = .138
	Delta	Central	Reference Easy Hard	0.1337 ± 0.409 -0.5399 ± 0.212 -0.5033 ± 0.341	.697 .987 .445	χ 2 (2) = 4.396, p = .111	F (2, 10) = 13.161, p = .002***
		Parietal	Reference Easy Hard	-0.041 -0.3043 -0.3101	.046* .351 .196		χ 2 (2) = 6.333, p = .042***
		Frontal	Reference Easy Hard	0.0338 -0.6064 -0.2641	.555 .826 .037*		χ 2 (2) = 7.000, p = .030***
	Theta	Central	Reference Easy Hard	-0.1909 ± 0.373 -0.6065 ± 0.394 -0.7527 ± 0.148	.199 .092 .427	χ 2 (2) = 2.695, p = .260	F (2, 10) = 6.629, p = .015***
		Parietal	Reference Easy Hard	-0.2134 ± 0.424 -0.6766 ± 0.198 -0.6586 ± 0.293	.873 .610 .206	χ 2 (2) = 2.695, p = .260	F (2, 10) = 8.606, p = .007***
	Alpha	Frontal Central	Reference Easy Hard Reference Easy Hard	-0.1271 ± 0.513 -0.7169 ± 0.154 -0.6113 ± 0.190 -0.3594 ± 0.256 -0.7864 ± 0.153 -0.8465 ± 0.098	.423 .868 .639 .217 .227 .252	χ 2 (2) = 5.855, p = .054 χ 2 (2) = 2.218, p = .330	F (2, 10) = 9.159, p = .005*** F (2, 10) = 23.735, p = .000***

Table 5 .11 One-way repeated measure ANOVA for ERSP EEG features (part 2).

 5

	Note: * = p <0 .05 (violates normality assumption),
	** = p < 0.05 (sphericity assumption violated, use Greenhouse & Geisser correction),
	*** = p < 0.05 (statistically significant result),

Table 5 .12 Post-hoc analysis for significant interaction of ERSP (part 1).

 5

	Region	Frequency Band	Complexity	Mean ± SD Difference	Shapiro-Wilk Test (Sig.)	Paired-sample Test / Sign Test
			Reference vs Easy	-0.674 ± 0.739	.979	t (5) = -3.756, p = .153
		Central	Reference vs Hard	-0.637 ± 0.157	.640	t (5) = -9.967, p = .000*
	Delta		Easy vs Hard Reference vs Easy	0.037 ± 0.418 -0.667 ± 0.946	.876 .064	t (5) = -3.756, p = .839 t (5) = -1.727, p = .145
		Parietal	Reference vs Hard	-0.442 ± 0.228	.450	t (5) = -4.751, p = .005*
			Easy vs Hard	0.226 ± 0.900	.259	t (5) = 0.614, p = .566
			Reference vs Easy	-0.575 ± 0.613	.881	t (5) = -2.300, p = .070
		Frontal	Reference vs Hard	-0.2680	.040*	z = -2.041, p =.031*
			Easy vs Hard	0.161 ± 0.333	.104	t (5) = -1.185, p = .289
			Reference vs Easy	-0.416 ± 0.499	.663	t (5) = -2.042, p = .097
	Theta	Central	Reference vs Hard	-0.561 ± 0.249	.451	t (5) = -5.518, p = .003*
			Easy vs Hard	-0.146 ± 0.388	.070	t (5) = -0.923, p = .398
			Reference vs Easy	-0.463 ± 0.415	.734	t (5) = -2.737, p = .041*
		Parietal	Reference vs Hard	-0.445 ± 0.162	.855	t (5) = -6.727, p = .001*
			Easy vs Hard	0.018 ± 0.2999	.959	t (5) = 0.147, p = .889
			Reference vs Easy	-0.590 ± 0.425	.686	t (5) = -3.398, p = .019*
		Frontal	Reference vs Hard	-0.484 ± 0.437	.375	t (5) = -2.708, p = .042*
			Easy vs Hard †	0.0832	.141	z = 1.225, p = .219
			Reference vs Easy	-0.427 ± 0.241	.765	t (5) = -4.341, p = .007*
	Alpha	Central	Reference vs Hard	-0.487 ± 0.173	.484	t (5) = -6.892, p = .001*
			Easy vs Hard	-0.060 ± 0.138	.816	t (5) = -1.069, p = .334
			Reference vs Easy	-0.418 ± 0.277	.368	t (5) = -3.702, p = .014*
		Parietal	Reference vs Hard	-0.398 ± 0.249	.105	t (5) = -3.913, p = .011*
			Easy vs Hard †	-0.039 ± 0.075	.298	z = -0.408, p = .688

Table 5 .13 Post-hoc analysis for significant interaction of ERSP (part 2).

 5

	Region	Frequency Band	Complexity	Mean ± SD Difference	Shapiro-Wilk Test (Sig.)	Paired-sample Test / Sign Test
			Reference vs Easy †	-0.5813	.133	z = 2.041, p = .031*
		Frontal	Reference vs Hard	-0.559 ± 0.372	.213	t (5) = -3.678, p = .014*
			Easy vs Hard	0.092 ± 0.084	.094	t (5) = 2.683, p = .044*
			Reference vs Easy	-0.329 ± 0.231	.143	t (5) = -3.478, p = .018*
	Beta	Central	Reference vs Hard	-0.392 ± 0.198	.871	t (5) = -4.856, p = .005*
			Easy vs Hard †	-0.0173	.029*	z = -0.408, p = .688
			Reference vs Easy	-0.423 ± 0.327	.838	t (5) = -3.173, p = .025*
		Parietal	Reference vs Hard	-0.404 ± 0.275	.559	t (5) = -3.597, p = .016*
			Easy vs Hard	-0.0108	.034*	z = .000, p = 1.000
			Reference vs Easy	-0.791 ± 0.397	.778	t (5) = -4.882, p = .005*
		Frontal	Reference vs Hard	-0.744 ± 0.329	.827	t (5) = -5.550, p = .003*
			Easy vs Hard	0.046 ± 0.109	.349	t (5) = 1.042, p = .345
			Reference vs Easy	-0.544 ± 0.342	.062	t (5) = -3.893, p = .011*
	Gamma	Central	Reference vs Hard	-0.595 ± 0.309	.334	t (5) = -4.723, p = .005*
			Easy vs Hard †	-0.0022	.016*	z = .000, p = 1.000
			Reference vs Easy	-0.583 ± 0.373	.804	t (5) = -3.826, p = .012*
		Parietal	Reference vs Hard	-0.569 ± 0.342	.480	t (5) = -4.065, p = .010*
			Easy vs Hard	0.014 ± 0.064	.149	t (5) = 0.539, p = .613
	Note:
	* = p < .05 (violates normality assumption),
	** = p < 0.05 (sphericity assumption violated, use Greenhouse & Geisser correction),
	*** = p < 0.05 (statistically significant result),
	† = extreme outlier identified; data excluded from analysis.
	colours are in accordance to the legend in figure 5.22

Table 6 .1 Frequency Band

 6

	6.2 Methodology
	6.2.1 Dataset and Data Split
	The dataset used in this experiment is EEG signals of visual cognitive driving
	distraction. The data were collected from 6 healthy subjects (mean age:
	31.38 ± 6.02 years). Data from two subjects were excluded from this analysis because
	one did not complete the experiment, while the other had the data corrupted. During

the data acquisition stage, each subject performed 10 visual cognitive distraction activities (mathematical GPS task) and was driving on a two-lane highway with a countryside environment. The data were aggregated into 10 distraction epochs and 10 a baseline epoch (eyes open period) were also recorded from each subject to be used in the feature extraction stage. Artefacts from muscle, movement and eye blinks were eye-balled at each epochs and removed manually by using EEGLAB [176]. There are two main features extracted in this study, event related spectral perturbation (ERSP) and coherence. ERSP describes the oscillation of local neuronal activities in which synchronization is represented by positive values while desynchronization is represented by negative value based on the ratio with a baseline epoch (equation 4) [131, 132]. An estimated power spectral density (PSD) were derived from the magnitude squared of the discrete Fourier transform of the epoch (equation 2 & 3) by using the function 'fft' in MATLAB. The estimated PSD were then averaged by frequency band as listed in table 6.1. ERSP were computed by using the equation 4 and then averaged by the brain region as illustrated in figure 6.2. This results in a total of 25 features from ERSP (5 regions x 5 frequency bands).

Table 6 .2 Evaluation method for feature selection.

 6

	Pre-Selected	SVM-RFE	Random Forest

The Jaccard index showed that the similarity of features selected is less than 40% between each method. The result of Jaccard index is listed in table 6.2. Distribution of features selected can be visualized from table 6.3 and we can clearly see that many coherence values are being selected. SVM-RFE selected mostly coherence values from the frontal region and less from temporal and occipital region. On the other hand, Random Forest selected more from the central region. Selected ERSP features are quite diverse, however, beta at central and frontal are common in the selection.

Table 6 .3 Illustration of the selected features based on the method. Method Selected Features ERSP Coherence

 6

(lines indicate selected features) Pre-Selected SVM-RFECV Random Forest

Table 6 .4 List of the performance measure for the cross validation of the training data. All Features Pre-Selected SVM-RFECV Random Forest Number of features

 6

		150	15	43	56
		Classifier: Support Vector Machine
	F1-score	0.614 ± 0.045	0.523 ± 0.071	0.802 ± 0.068	0.550 ± 0.067
	Accuracy	0.632 ± 0.043	0.602 ± 0.056	0.839 ± 0.053	0.670 ± 0.046
	Time Taken	0.025 ± 0.001	0.007 ± 0.000	0.009 ± 0.000	0.013 ± 0.000
		Classifier: Random Forest
	F1-score	0.605 ± 0.071	0.583 ± 0.070	0.681 ± 0.097	0.703 ± 0.069
	Accuracy	0.633 ± 0.061	0.611 ± 0.069	0.758 ± 0.063	0.734 ± 0.056
	Time Taken	0.016 ± 0.000	0.012 ± 0.001	0.012 ± 0.000	0.012 ± 0.001

Note: Data are listed with the ± standard error.

Table 6 .5 List of performance measure of classification on test data. All Features Pre-Selected SVM-RFECV Random Forest Number of features

 6

		150	15	43	56
		Classifier: Support Vector Machine
	F1-score	0.461	0.522	0.900	0.600
	Accuracy	0.667	0.476	0.905	0.619
	Time Taken	0.030	0.009	0.012	0.016
			Classifier: Random Forest
	F1-score	0.609	0.720	0.762	0.667
	Accuracy	0.541	0.667	0.761	0.619
	Time Taken	0.020	0.016	0.021	0.020

In general, there is a positive correlation between number of features and time taken for training and predict based on the respective coefficient of correlation, R, value as illustrated in figure

6

.8. Nonetheless, SVM classifier suffers more than Random Forest classifier at a gradient, m, of 0.158, while the latter increases at a lower rate of 0.018 (for test dataset).

•

  La conduite est une tâche effectuée dans un environnement en constante évolution. La plupart des analyses de pointe des mouvements oculaires sont conçues pour fonctionner avec une image statique ou par un emplacement prédéfini tel que la zone d'intérêt (AOI), la représentation du trajet de balayage et la résidence/regard ou le regard.o Ces méthodes ne seraient pas en mesure de caractériser le processus d'engagement et de désengagement d'une distraction cognitive visuelle pendant la conduite. o Une nouvelle méthode est nécessaire pour modéliser cette représentation.

  .1. Résumé de l'expérience 1 et de l'expérience 2.

		Expérience 1	Expérience 2
	Tâche	Test de distraction stroop	Tâche GPS modifiée
		-Répété	-Conduire
	Comparaison	-Randomisé	-Distrait -Facile
		-Randomisé et distrait	-Distrait -Difficile
	Extraction
	des caractéristiques	ERSP du PSD de CWT	ERSP du PSD de FFT
	de l'EEG
			-Temps de réaction
	Validation	Temps de réaction	-Performance de conduite -Suivi des yeux
			-NASA-TLX
			-SSQ

  .2. Vue d'ensemble des mesures subjectives et objectives.

		Avant l'expérience	Pendant l'expérience	Après l'expérience
	Mesure subjective	• SSQ		• SSQ • NASA-TLX
	Mesure objective	• Test réaction à une de équation mathématique	• Performances de conduite • Mouvement des yeux • EEG

Si l'on considère le processus d'engagement et de désengagement dans une tâche secondaire pendant la conduite, les conducteurs effectuent un changement de tâche lorsqu'ils s'occupent d'une tâche secondaire. Cela reste vrai si le conducteur utilise les mêmes modalités de perception (c'est-à-dire visuelles) pour s'engager dans la tâche secondaire, car le changement de tâche se concentre sur le multitâche avec des tâches traitées séquentiellement[START_REF] Strobach | Editorial: Multitasking: Executive Functioning in Dual-Task and Task Switching Situations[END_REF]. Ettwing et Bronkhorst[START_REF] Ettwig | Attentional Switches and Dual-Task Interference[END_REF] ont signalé que le déficit de performance dans une expérience de double tâche peut non seulement être influencé par la concurrence des ressources, mais aussi que les difficultés à désengager l'attention d'un stimulus peuvent être importantes. Si l'on considérait que la distraction motrice est influencée par deux paradigmes : les ressources attentionnelles limitées et le changement de tâche, cela changerait-il ce que nous avons connu jusqu'à présent?Une étude[START_REF] Yusoff | Selection of Measurement Method for Detection of Driver Visual Cognitive Distraction: A Review[END_REF] sur les méthodes de détection de la distraction au volant a révélé qu'une méthode hybride est recommandée afin de sonder le processus sous-jacent qui influence la distraction. En effet, chaque méthode de détection peut compenser les limites de l'autre méthode. Par exemple, une mesure physique telle que les mouvements oculaires pourrait être capable de détecter la distraction visuelle, mais pas la distraction cognitive, car les variations des mouvements oculaires cognitifs entre les conducteurs sont importantes, surtout à des niveaux de distraction cognitive faibles. Cela pourrait conduire à des résultats faussement négatifs dans lesquels les caractéristiques sélectionnées pourraient ressembler à une conduite sûre si elles ne sont pas définies avec précision. Cependant, les mesures biologiques telles que l'électroencéphalographie (EEG) peuvent reconnaître la distraction cognitive grâce aux caractéristiques de synchronisation du cerveau, mais ne sont pas sensibles à la distraction visuelle, car ce type de distraction implique principalement le mouvement des yeux vers un endroit spécifique.

La deuxième hypothèse est que le fait que le changement de tâche soit impliqué, les caractéristiques couramment utilisées pour détecter la distraction peuvent ne pas suffire à dépeindre la situation réelle. Dans cette thèse, nous avons proposé d'effectuer une technique de sélection de caractéristiques pour étudier les caractéristiques pertinentes et ainsi améliorer la précision de la classification.En raison de la complexité des problèmes liés aux deux méthodes de mesure (EEG et mouvements oculaires), l'investigation et l'analyse visant à répondre aux questions de recherche de cette thèse se limiteront à l'EEG. D'autres mesures telles que la performance de conduite, les mouvements des yeux, les questionnaires, le temps de réaction, etc. seront utilisées comme mesures de validation.La portée de la recherche s'articule autour de trois axes : Détail, Déploiement et Détection.Figure.1.1. Portée de la recherche.Sur la base de la question de recherche soulevée, des hypothèses et de la portée de la recherche, les objectifs de recherche suivants ont été formulés :1. Étudier l'effet de différents niveaux de distraction cognitive visuelle sur l'ERSP des caractéristiques EEG extraites à l'aide de la CWT et de la FFT conformément au changement de tâche dans le cadre de l'expérience du paradigme de la double tâche.2. Concevoir un système de classification qui intègre des sélections de caractéristiques d'ERSP et de cohérence en utilisant le SVM-RFE ou la forêt aléatoire pour une meilleure performance de classification.Ce manuscrit est divisé en sept chapitres. Le premier chapitre donne un aperçu de la recherche sur la distraction au volant et du problème que pose la détection de la distraction. Il

Distraction Data Base de données sur la séquence des stimuli de distraction et la réponse du participant.

MonitorMoniteur placé à côté du participant pour les stimuli de distraction et la vitesse d'affichage.

ACKNOWLEDGEMENTS

First and foremost, Alhamdulillah, thank you God for lending me this knowledge, guiding me every step and granted many beautiful memories throughout this journey.

After donning off the EEG system and eye tracker device, participants were asked to answer the following questionnaires as post-experiment subjective measure: Q2.A: NASA-Task Load Index -to assess the perceived workload of the distraction task.

Q2.B: Simulator Sickness Questionnaire -to assess the level of simulator sickness.

Participants were given a small gift of chocolate bar of their choice to compensate the participation time. A sample of briefing pack, consent forms, questionnaires and researcher checklist are attached in the appendix section.

Analysis Approach

There are multiple subjective and objective measurements recorded during the experiment such as simulator sickness questionnaire (SSQ), National Aeronautics and Space Administration-Task Load Index (NASA-TLX), mathematical equation reaction test, driving performance measure, eye movement and EEG signals. Table 5.2

gives the overview of the data acquisition with respect to time of the experiment.