Date of Award

2019

Publication Type

Master Thesis

Degree Name

M.Sc.

Department

Computer Science

First Advisor

Xiaobu Yuan

Keywords

Artificial Intelligence (POMDP), ECA (3D model), Human-Computer Interaction (Decision-making process)), Q-Learning (Deep learning), Reinforcement Learning (Machine Learning), Sentiment Analysis (Fuzzy logic system)

Rights

info:eu-repo/semantics/openAccess

Creative Commons License

Creative Commons Attribution-Noncommercial-No Derivative Works 4.0 License
This work is licensed under a Creative Commons Attribution-Noncommercial-No Derivative Works 4.0 License.

Abstract

An Embodied Conversational Agent (ECA) is an intelligent agent that works as the front end of software applications to interact with users through verbal/nonverbal expressions and to provide online assistance without the limits of time, location, and language. To help to improve the experience of human-computer interaction, there is an increasing need to empower ECA with not only the realistic look of its human counterparts but also a higher level of intelligence. This thesis first highlights the main topics related to the construction of ECA, including different approaches of dialogue management, and then discusses existing techniques of trend analysis for its application in user classification. As a further refinement and enhancement to our prior work on ECA, this thesis research proposes a cohesive framework to integrate emotion-based facial animation with improved intention discovery. In addition, a machine learning technique modelled from Q-learning (Quality-Learning) technique is introduced to support sentiment analysis for the adjustment of policy design in POMDP-based dialogue management. It is anticipated that the proposed research work is going to improve the accuracy of intention discovery while reducing the length of dialogues. Un agent de conversation incorporé (ECA) est un agent intelligent fonctionnant en amont des applications logicielles pour interagir avec les utilisateurs par le biais d'expressions verbales / non verbales et pour fournir une assistance en ligne sans limite de temps, de lieu et de langage. Pour aider à améliorer l'expérience de l'interaction homme-machine, il est de plus en plus nécessaire de doter la CEA de droits non seulement vis-à-vis de ses homologues humains, mais également d'un niveau de renseignement supérieur. Cette thèse aborde d’abord les principaux sujets liés à la construction de la CEA, y compris différentes approches de la gestion du dialogue, puis aborde les techniques existantes d’analyse des tendances pour son application à la classification des utilisateurs. Pour affiner et améliorer nos travaux antérieurs sur ECA, cette thèse de recherche propose un cadre cohérent pour intégrer une animation faciale basée sur les émotions avec une découverte de l’intention améliorée. En outre, une technique d'apprentissage automatique modélisée à partir de la technique Q-learning (Quality-Learning) est introduite pour prendre en charge l'analyse des sentiments afin d'ajuster la conception des stratégies dans la gestion du dialogue basée sur POMDP. On s’attend à ce que les travaux de recherche proposés améliorent la précision de la découverte de l’intention tout en réduisant la durée des dialogues.

View proposed_architecture DEFENCE 2.png (71 kB)
Proposed Architecture

View lips_speaking_eca_video.mp4 (2641 kB)
A small working prototype 1

View ontology_chat.mp4 (41422 kB)
A small working prototype 2

View ECA GIFs.zip (2534 kB)
ECA (Embodied Conversational Agents) 3D model- GIFs

View Ruturaj Raval Thesis Defence 5.pdf (2389 kB)
Thesis Defence Presentation slides

View laugh.png (634 kB)
ECA 3D-model

View_rrr.png (325 kB)
Ruturaj Raval ECA model

Share

COinS