Veuillez utiliser cette adresse pour citer ce document :
http://dspace1.univ-tlemcen.dz/handle/112/23214
Titre: | Reconnaissance multimodale de l’affect par apprentissage profond |
Auteur(s): | Mellouk, Wafa |
Mots-clés: | Emotion, Stress,Expressionsfaciales,PhotopléthysmographieparimagerieiPPG,Vidéofaciale, Variabilitécardiaque,Apprentissageprofond,Unimodale,Multimodale |
Date de publication: | 23-jui-2024 |
Editeur: | University of Tlemcen |
Collection/Numéro: | 2651 inv; |
Résumé: | La reconnaissanceautomatiquedel’affectestundomainederecherchecrucialvisantàamé- liorerl’intelligenceartificielleafinqu’ellepuisseidentifierdemanièrepréciseetautomatiqueles états affectifsdeshumains.Lacomplexitédecedomainerésidedansladiversitédesexpressions affectives,quisemanifestentàtraversdifférentscanaux,notammentlesmodalitésphysiqueset physiologiques. Desétudesrécentesindiquentquel’approcheconsistantàfusionnerdifférentes modalitéspermetd’obtenirdesrésultatsplusfiablesetdemeneràuneanalyseplusapprofondie et complètedecesétatsaffectifs. L’objectifprincipaldecettethèseestledéveloppementdeméthodesdereconnaissance automatique desémotionsetdustressenexploitantdeuxmodalitésdistinctes:lesexpressions faciales etlesignaliPPG(Photopléthysmographieparimagerie).Lesexpressionsfaciales, modaliténonverbaleaisémentacquise,offrentunereprésentationexternedel’étataffectifdes individus. D’autrepart,lesignaliPPGestutilisécommemesurephysiologiquequireflèteles changements durythmecardiaqueavecl’étataffectif.Lafusiondecesdeuxmodalitéspermet d’intégrerdifférentescaractéristiquespropresàchaquemodalité,cequireprésentel’avantage majeur del’approchemultimodale. Nos recherchesseconcentrentsurtroisaxes.Enpremier,nousavonsproposéunenouvelle approched’étudebaséesurlaclassificationdesémotionshumainesselondeuxéchelles,va- lence etarousal,enutilisantdessignauxiPPGextraitsdevidéosfaciales.Lamiseenoeuvre de cetteméthodeimpliqueplusieursétapes,tellesquelacollecteprécisedessignauxiPPG, leur prétraitement,etenfinlaclassification.Encequiconcernelaclassification,nousavons proposéunearchitectured’apprentissageprofondcombinantunréseauneuronalconvolutif unidimensionnel 1D-CNNetunréseaudeneuronesmémoireàlongtermeLSTM. Le deuxièmeaxeestconcentrésurlareconnaissanceautomatiquedesémotionsàpartirdes expressionsfaciales.Notreobjectifétaitd’obteniruneclassificationprécisedesseptémotions de base,entenantcomptedesdifférentespositionsdetête,desregardsvariés,del’âgeetdu sexe.Cetteméthodeestbaséesurdeuxétapesimportantes:leprétraitementdesimages,qui vise àconserveretclarifierlescaractéristiquespertinentesdenosimages,etclassificationpar propositiond’unearchitectured’apprentissageprofond2D-CNN. Le troisièmeaxedecettethèseconcernelaconceptiond’unsystèmemultimodaldere- 4 connaissance automatiquedustress,s’appuyantsurlesexpressionsfacialesetlessignaux iPPG. Unearchitecture3D-CNNestproposéepourlaclassificationenutilisantlesdonnées des expressionsfaciales,tandisqu’unearchitecture1D-CNNestutiliséeaveclessignauxiPPG. Après l’extractiondescaractéristiquesdechaquemodalité,unefusiondecescaractéristiques est appliquée,suiviedel’utilisationdecouchesentièrementconnectéesduréseauneuronal pourlaclassificationdesétatsdestressoudenon-stress. Les résultatsquenousavonsobtenusdémontrentlapuissanceetl’efficacitédesméthodes que nousproposons.Nousavonsatteintuneprécisiondeclassificationde73,33%pourla valence àl’aidedessignauxiPPGetde96,55%pourlesexpressionsfacialesdansdifférentes posesdelatête.Lesquellessurpassentcellesdesautresapprochesrécemmentproposéespar différentschercheurs.Deplus,nousavonsdémontrél’efficacitédelaperformancedel’approche multimodaleparrapportàl’approcheunimodale,atteignantuneprécisiondevalidationde 100%. |
URI/URL: | http://dspace1.univ-tlemcen.dz/handle/112/23214 |
Collection(s) : | Doctorat en Automatique |
Fichier(s) constituant ce document :
Fichier | Description | Taille | Format | |
---|---|---|---|---|
Reconnaissance_multimodale_de_l’affect_par_apprentissage_profond.pdf | 3,73 MB | Adobe PDF | Voir/Ouvrir |
Tous les documents dans DSpace sont protégés par copyright, avec tous droits réservés.