Approches inductives, LLM, LxM et chatbot

  • limiter à l’approche inductive
  • limiter aux LLMs
  • limiter aux chatbots

Induction!!!

Les LLMs

Deviner le prochain token.

Un LLM est un modèle qui apprend la probabilité d’un token \(e_t\) étant donné le token précédent \(e_{t−1}\). À savoir:

\[P(e_t | e_{t-1})\]

  • une approche inductive
  • une approche probabiliste
  • une approche vraisemblable

Moteurs de recherche?

  • Que signifie chercher?
  • Que cherche-t-on?
  • Quels critères (du science citation index au PargeRank à…) ?

Retrival Augmented Generation (RAG)

Retrival Augmented Generation (RAG)

Requête d’une base de données avec des méthodes de Recherche d’Information (TF-iDF ou similarité cosinus) + intégration des morceaux extraits au prompt. Le LLM effectue une synthèse. Ex: NotebookLM

Assistant de recherche IA

Combiner plusieurs méthodes:

  • Moteurs de recherche ou bases de données
  • Vectorisation
  • RAG
  • Multiplication des prompts
  • Expansion de requête
  • Reranking (quels critères?)

Points d’attention

  • Plusieurs choix sont faits
    • segmentation
    • méthodes de représentation
    • reformulation des prompts
    • dissémination de l’info qui se trouve dans des segments différents
    • angles morts (segments non extraits, fenêtres)
  • Quelles données? Effet de concentration
  • Réponse probabiliste et jamais déterministe
    • poids du modèle et des données d’entrainement impossible à déterminer
    • impossibilité d’avoir une réponse factuelle (elle sera toujours probabiliste)

Applications

  • Scopus AI
  • Asta
  • scite.ai
  • undermind.ai
  • perplexity
  • Elicit

D’autres approches?

  • Méthodes classiques (non IA ?):
    • recherche exacte avec opérateurs booléens
    • recherche lexicale statistique: TF-iDF (term frequency inverse document frequency) et BM25 -> ranking de la recherche terme par rapport à sa présence dans le corpus. ex: SemanticScholar, Isidore
  • Recherche sémantique (semantic search/dense retrieval) utilisation des plongements lexicaux de modèles types encodeur (BERT) ou décodeur (e.g. GPT) lors de la recherche: représentation vectorielle de la requête et de l’entièreté de la base de données -> mesure de similarité cosinus. ex: fonction « Semantic Results » de JSTOR
  • Recherche hybride (hybrid search): mélange de 1. et 2. (pas forcément 50/50).
  • Expansion de recherche avec des systèmes experts

-> Impact sur la manière de requêter: 1. par mot-clé, 2. ’en langue naturelle’.

Perspectives

  • Proposer des accès pluriels à l’information
    • catalogues
    • accès direct
    • moteurs ad hoc
    • curation de contenus
  • Transmettre la littératie
  • Ne pas céder à la rhétorique high tech