Veuillez utiliser cette adresse pour citer ce document : http://dspace1.univ-tlemcen.dz/handle/112/23214
Titre: Reconnaissance multimodale de l’affect par apprentissage profond
Auteur(s): Mellouk, Wafa
Mots-clés: Emotion, Stress,Expressionsfaciales,PhotopléthysmographieparimagerieiPPG,Vidéofaciale, Variabilitécardiaque,Apprentissageprofond,Unimodale,Multimodale
Date de publication: 23-jui-2024
Editeur: University of Tlemcen
Collection/Numéro: 2651 inv;
Résumé: La reconnaissanceautomatiquedel’affectestundomainederecherchecrucialvisantàamé- liorerl’intelligenceartificielleafinqu’ellepuisseidentifierdemanièrepréciseetautomatiqueles états affectifsdeshumains.Lacomplexitédecedomainerésidedansladiversitédesexpressions affectives,quisemanifestentàtraversdifférentscanaux,notammentlesmodalitésphysiqueset physiologiques. Desétudesrécentesindiquentquel’approcheconsistantàfusionnerdifférentes modalitéspermetd’obtenirdesrésultatsplusfiablesetdemeneràuneanalyseplusapprofondie et complètedecesétatsaffectifs. L’objectifprincipaldecettethèseestledéveloppementdeméthodesdereconnaissance automatique desémotionsetdustressenexploitantdeuxmodalitésdistinctes:lesexpressions faciales etlesignaliPPG(Photopléthysmographieparimagerie).Lesexpressionsfaciales, modaliténonverbaleaisémentacquise,offrentunereprésentationexternedel’étataffectifdes individus. D’autrepart,lesignaliPPGestutilisécommemesurephysiologiquequireflèteles changements durythmecardiaqueavecl’étataffectif.Lafusiondecesdeuxmodalitéspermet d’intégrerdifférentescaractéristiquespropresàchaquemodalité,cequireprésentel’avantage majeur del’approchemultimodale. Nos recherchesseconcentrentsurtroisaxes.Enpremier,nousavonsproposéunenouvelle approched’étudebaséesurlaclassificationdesémotionshumainesselondeuxéchelles,va- lence etarousal,enutilisantdessignauxiPPGextraitsdevidéosfaciales.Lamiseenoeuvre de cetteméthodeimpliqueplusieursétapes,tellesquelacollecteprécisedessignauxiPPG, leur prétraitement,etenfinlaclassification.Encequiconcernelaclassification,nousavons proposéunearchitectured’apprentissageprofondcombinantunréseauneuronalconvolutif unidimensionnel 1D-CNNetunréseaudeneuronesmémoireàlongtermeLSTM. Le deuxièmeaxeestconcentrésurlareconnaissanceautomatiquedesémotionsàpartirdes expressionsfaciales.Notreobjectifétaitd’obteniruneclassificationprécisedesseptémotions de base,entenantcomptedesdifférentespositionsdetête,desregardsvariés,del’âgeetdu sexe.Cetteméthodeestbaséesurdeuxétapesimportantes:leprétraitementdesimages,qui vise àconserveretclarifierlescaractéristiquespertinentesdenosimages,etclassificationpar propositiond’unearchitectured’apprentissageprofond2D-CNN. Le troisièmeaxedecettethèseconcernelaconceptiond’unsystèmemultimodaldere- 4 connaissance automatiquedustress,s’appuyantsurlesexpressionsfacialesetlessignaux iPPG. Unearchitecture3D-CNNestproposéepourlaclassificationenutilisantlesdonnées des expressionsfaciales,tandisqu’unearchitecture1D-CNNestutiliséeaveclessignauxiPPG. Après l’extractiondescaractéristiquesdechaquemodalité,unefusiondecescaractéristiques est appliquée,suiviedel’utilisationdecouchesentièrementconnectéesduréseauneuronal pourlaclassificationdesétatsdestressoudenon-stress. Les résultatsquenousavonsobtenusdémontrentlapuissanceetl’efficacitédesméthodes que nousproposons.Nousavonsatteintuneprécisiondeclassificationde73,33%pourla valence àl’aidedessignauxiPPGetde96,55%pourlesexpressionsfacialesdansdifférentes posesdelatête.Lesquellessurpassentcellesdesautresapprochesrécemmentproposéespar différentschercheurs.Deplus,nousavonsdémontrél’efficacitédelaperformancedel’approche multimodaleparrapportàl’approcheunimodale,atteignantuneprécisiondevalidationde 100%.
URI/URL: http://dspace1.univ-tlemcen.dz/handle/112/23214
Collection(s) :Doctorat en Automatique

Fichier(s) constituant ce document :
Fichier Description TailleFormat 
Reconnaissance_multimodale_de_l’affect_par_apprentissage_profond.pdf3,73 MBAdobe PDFVoir/Ouvrir


Tous les documents dans DSpace sont protégés par copyright, avec tous droits réservés.