- Novel language models and methods for semantic representation learning, self-supervised retrieval, and summarization
- Valgimigli, Lorenzo <1995>
Subject
- ING-INF/05 Sistemi di elaborazione delle informazioni
Description
- Understanding natural language represents one of the most fascinating and complex challenges that has engaged hundreds of researchers over the last century. The richness and variety of language, used daily in a myriad of contexts by people of every age and profession, make its processing by computers a goal of significant relevance. From writing an email to reading a newspaper, listening to a podcast, or simply interacting on social media, language emerges as the universal medium of communication, making the development of systems capable of understanding and naturally interacting with users crucial. The creation of interfaces that speak and understand human language represents not only a step forward in the field of human-machine interaction but also has the potential to revolutionize our way of living, making technology more accessible and intuitive for everyone, breaking down barriers, and reducing learning curves. Today, we witness significant progress in this field, with the development of advanced chatbots, large language models, and diffusion models that are transforming the way we interact with technology. It is already possible, for example, to generate detailed images from a simple description, design entire websites, or receive personalized advice by expressing one's needs in their preferred language. However, at the heart of this transformation lies a fundamental question, which is the subject of this thesis: how can we teach computers to truly understand the meaning hidden behind human words? In this thesis work, we delve into the analysis of this complex human-machine relationship, examining the current limitations of neural networks, such as transformers, and addressing concrete obstacles, such as the lack of annotated data. Moreover, we introduce new strategies aimed at mitigating, if not resolving, these challenges.
- Comprendere il linguaggio naturale rappresenta una delle sfide più affascinanti e complesse che ha coinvolto centinaia di ricercatori nell'ultimo secolo. La ricchezza e la varietà del linguaggio, utilizzato quotidianamente in una miriade di contesti da persone di ogni età e professione, rendono la sua elaborazione da parte dei computer un obiettivo di grande rilevanza. Dalla scrittura di un'email alla lettura di un giornale, dall'ascolto di un podcast alla semplice interazione sui social media, il linguaggio emerge come il mezzo comunicativo universale, rendendo cruciale lo sviluppo di sistemi in grado di comprenderlo e di interagire naturalmente con l'utente. La realizzazione di interfacce che parlano e comprendono la lingua umana non solo rappresenta un passo avanti nel campo dell'interazione uomo-macchina, ma ha il potenziale di rivoluzionare il nostro modo di vivere, rendendo la tecnologia più accessibile e intuitiva per tutti, abbattendo barriere e riducendo le curve di apprendimento. Oggigiorno, assistiamo a significativi progressi in questo ambito, con lo sviluppo di chatbot avanzati, large language models e diffusion models che trasformano il modo in cui interagiamo con la tecnologia. È già possibile, ad esempio, generare immagini dettagliate partendo da una semplice descrizione, progettare interi siti web o ricevere consigli personalizzati esprimendo le proprie esigenze nella lingua di preferenza. Tuttavia, al cuore di questa trasformazione giace una questione fondamentale, che costituisce l'oggetto di questa tesi: come possiamo insegnare ai computer a comprendere realmente il significato nascosto dietro le parole umane? In questo lavoro di tesi, ci addentriamo nell'analisi di questa complessa relazione uomo-macchina, esaminando i limiti attuali delle reti neurali, come i transformers, e affrontando ostacoli concreti, quali la carenza di dati annotati. Inoltre, introdurremo nuove strategie volte a mitigare, se non risolvere, queste problematiche.
Date
- 2024-06-24
- info:eu-repo/date/embargoEnd/2025-05-15
Type
- Doctoral Thesis
- PeerReviewed
Format
- application/pdf
Identifier
urn:nbn:it:unibo-30535
Valgimigli, Lorenzo (2024) Novel language models and methods for semantic representation learning, self-supervised retrieval, and summarization, [Dissertation thesis], Alma Mater Studiorum Università di Bologna. Dottorato di ricerca in Computer science and engineering