Littérature et culture numérique

Littérature et culture numérique#

Ce livre est le support de cours pour le séminaire “Littérature et culture numérique”, FRA6730 donné à l’Université de Montréal à l’automne 2024 par Marcello Vitali-Rosati.

Vous trouverez ici l’ensemble des contenus du séminaire.

Important

Les chapitres seront mis en ligne quelques jours avant la séance correspondante. Donc au début du cours seront disponibles seulement les premières séances.

Cette année, le sujet du séminaire sont les grands modèles de langage (LLM).

Description du séminaire#

Descriptif#

Le séminaire propose une analyse théorique des changements culturels produits par le numérique en particulier dans le domaine de la littérature et des sciences humaines et sociales en général.

Objectifs et contenu#

L’objectif principal du séminaire est de développer une analyse théorique sur la manière dont le numérique – en tant que phénomène culturel et non en tant qu’ensemble d’outils techniques – change le statut de la littérature. Notre culture est en effet profondément bouleversée par le numérique qui modifie notre façon de percevoir l’espace, le temps, le rapport entre le domaine privé et le domaine public, notre identité et notre intimité. Nous voulons interroger les pratiques numériques comme des révélateurs de ce qu’est la littérature, non seulement à notre époque, mais dans une dimension plus générale. En ce sens, le fait numérique ne sera pas analysé comme porteur de changements, mais comme un phénomène révélant de manière plus claire des aspects ontologiques qui, en tant que tels, ont une valeur atemporelle. Le séminaire a donc l’ambition de construire une théorie de la littérature à l’époque du numérique.

Cette année le séminaire se concentrera sur les Grands modèles de langage (Large langage models, LLM). Depuis quelques années, en effet, les algorithmes qui manipulent le langage naturel ont atteint des objectifs qui auraient pu sembler impossibles il y a peu de temps. Certains LLM semblent passer le test de Turing : il devient pratiquement impossible de distinguer leur capacité de manipuler la langue de celle d’un être humain. Mais que sont les LLM ? Sur quelles conceptions théoriques de la langue et du texte sont-ils fondés ? De quelle manière leur analyse peut-elle nous aider à développer des théories du texte, de la littérature, de l’originalité ? Ce séminaire abordera les fondements théoriques des LLM, en expliquera – de façon simplifiée – les principes techniques et proposera une réflexion sur les conséquences théoriques, politiques et esthétiques de leur rapide diffusion.

Bibliographie#

[1]

Locating and Editing Factual Associations in GPT. URL: https://rome.baulab.info/ (visited on 2024-06-06).

[2]

Jacob Browning. What AI Can Tell Us About Intelligence. Noemamag, June 2022. URL: https://www.noemamag.com/what-ai-can-tell-us-about-intelligence (visited on 2024-05-05).

[3]

Stephanie Dick. Artificial Intelligence. Harvard Data Science Review, July 2019. URL: https://hdsr.mitpress.mit.edu/pub/0aytgrau/release/3 (visited on 2024-05-24), doi:10.1162/99608f92.92fe150c.

[4]

John Rupert Firth. Studies in linguistic analysis. Special volume of the Philological society. Blackwell, Oxford, repr edition, 1962. OCLC: 67505043.

[5]

Katherine Hayles. My mother was a computer , digital subjects and literary texts. University of Chicago Press, Chicago, 2005. ISBN 978-0-226-32149-3 0-226-32149-5. URL: http://site.ebrary.com/id/10383908 (visited on 2014-03-14).

[6]

Douglas R. Hofstadter. Gödel, Escher, Bach: an eternal golden braid. Basic Books, New York, 20th anniversary ed edition, 1999. ISBN 978-0-394-75682-0 978-0-465-02656-2.

[7]

Timothy B. Lee. Large language models, explained with a minimum of math and jargon. March 2024. URL: https://www.understandingai.org/p/large-language-models-explained-with (visited on 2024-03-09).

[8]

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In Advances in Neural Information Processing Systems, volume 33, 9459–9474. Curran Associates, Inc., 2020. URL: https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html (visited on 2024-03-04).

[9]

Pierre Lévy. Représentation des connaissances et interopérabilité sémantique avec IEML. April 2024. URL: https://pierrelevyblog.com/2024/04/19/representation-des-connaissances-et-interoperabilite-semantique-avec-ieml/ (visited on 2024-05-28).

[10]

Stephen Marche. Literature Is not Data: Against Digital Humanities. October 2012. Section: essay. URL: https://lareviewofbooks.org/article/literature-is-not-data-against-digital-humanities/ (visited on 2021-08-16).

[11]

Mourad Mars. From Word Embeddings to Pre-Trained Language Models: A State-of-the-Art Walkthrough. Applied Sciences, 12(17):8805, January 2022. Number: 17 Publisher: Multidisciplinary Digital Publishing Institute. URL: https://www.mdpi.com/2076-3417/12/17/8805 (visited on 2024-03-09), doi:10.3390/app12178805.

[12]

Warren S. McCulloch and Walter Pitts. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biology, 1943.

[13]

Jean-Guy Meunier. Humanités numériques ou computationnelles : Enjeux herméneutiques. Sens Public, December 2014. URL: http://www.sens-public.org/article1121.html (visited on 2018-10-15).

[14]

Jean-Guy Meunier. Humanités numériques et modélisation scientifique. Questions de communication, pages 19–48, September 2017. ISBN: 9782814303256 Number: 31 Publisher: Presses universitaires de Nancy. URL: https://journals.openedition.org/questionsdecommunication/11040 (visited on 2023-06-19), doi:10.4000/questionsdecommunication.11040.

[15]

Usman Naseem, Imran Razzak, Shah Khalid Khan, and Mukesh Prasad. A Comprehensive Survey on Word Representation Models: From Classical to State-of-the-Art Word Representation Language Models. ACM Transactions on Asian and Low-Resource Language Information Processing, 20(5):74:1–74:35, June 2021. URL: https://dl.acm.org/doi/10.1145/3434237 (visited on 2024-03-09), doi:10.1145/3434237.

[16]

Humza Naveed, Asad Ullah Khan, Shi Qiu, Muhammad Saqib, Saeed Anwar, Muhammad Usman, Naveed Akhtar, Nick Barnes, and Ajmal Mian. A Comprehensive Overview of Large Language Models. Technical Report arXiv:2307.06435, arXiv, February 2024. arXiv:2307.06435 [cs] type: article. URL: http://arxiv.org/abs/2307.06435 (visited on 2024-03-09).

[17]

Graham Neubig. Neural Machine Translation and Sequence-to-sequence Models: A Tutorial. Technical Report arXiv:1703.01619, arXiv, March 2017. arXiv:1703.01619 [cs, stat] type: article. URL: http://arxiv.org/abs/1703.01619 (visited on 2024-04-01).

[18]

Peter Norvig. On Chomsky and the Two Cultures of Statistical Learning. In Wolfgang Pietsch, Jörg Wernecke, and Maximilian Ott, editors, Berechenbarkeit der Welt? Philosophie und Wissenschaft im Zeitalter von Big Data, pages 61–83. Springer Fachmedien, Wiesbaden, 2017. URL: https://doi.org/10.1007/978-3-658-12153-2_3 (visited on 2022-11-21), doi:10.1007/978-3-658-12153-2_3.

[19]

Mohaimenul Azam Khan Raiaan, Saddam Hossain Mukta, Kaniz Fatema, Nur Mohammad Fahad, Sadman Sakib, and Sami Azam. A Review on Large Language Models: Architectures, Applications, Taxonomies, Open Issues and Challenges. IEEE Access, 2024. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10433480&tag=1.

[20]

F. Rosenblatt. The Perceptron, a Perceiving and Recognizing Automaton Project Para. Cornell Aeronautical Laboratory, 1957. Google-Books-ID: P_XGPgAACAAJ.

[21]

Stuart J. Russell and Peter Norvig. Artificial intelligence: a modern approach. Pearson series in artificial intelligence. Pearson, Hoboken, fourth edition edition, 2021. ISBN 978-0-13-461099-3.

[22]

Ferdinand de Saussure. Cours de linguistique générale. Payot, Paris, 1916. URL: https://fr.wikisource.org/wiki/Cours_de_linguistique_g%C3%A9n%C3%A9rale.

[23]

John R. Searle. Minds, brains, and programs. Behavioral and Brain Sciences, 3(3):417–424, September 1980. Publisher: Cambridge University Press. URL: https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/minds-brains-and-programs/DC644B47A4299C637C89772FACC2706A (visited on 2020-11-10), doi:10.1017/S0140525X00005756.

[24]

S. G. Sterrett. The Genius of the 'Original Imitation Game' Test. Minds and Machines, 30(4):469–486, December 2020. URL: https://doi.org/10.1007/s11023-020-09543-6 (visited on 2023-11-22), doi:10.1007/s11023-020-09543-6.

[25]

Susan G. Sterrett. Turing's Two Tests for Intelligence. Minds and Machines, 10(4):541–559, 1999. URL: http://philsci-archive.pitt.edu/8480/.

[26]

A. M. Turing. Computing Machinery And Intelligence. Mind, 1950.

[27]

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017. URL: https://arxiv.org/pdf/1706.03762.pdf (visited on 2023-02-01).

[28]

Marcello Vitali-Rosati. De l’intelligence artificielle aux modèles de définition de l’intelligence. Sens public, April 2024. Company: Département des littératures de langue française Distributor: Département des littératures de langue française Institution: Département des littératures de langue française Label: Département des littératures de langue française Number: 1722 Publisher: Département des littératures de langue française. URL: http://sens-public.org/articles/1729/ (visited on 2024-04-16).

[29]

Haiyan Zhao, Hanjie Chen, Fan Yang, Ninghao Liu, Huiqi Deng, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, and Mengnan Du. Explainability for Large Language Models: A Survey. Technical Report arXiv:2309.01029, arXiv, November 2023. arXiv:2309.01029 [cs] type: article. URL: http://arxiv.org/abs/2309.01029 (visited on 2024-06-06).

[30]

Andrej Karpathy. Let's build GPT: from scratch, in code, spelled out. January 2023. URL: https://www.youtube.com/watch?v=kCc8FmEb1nY (visited on 2024-08-16).

[31]

Vitali-Rosati, Marcello. La fabrique des subalternes: les LLM, la différence homme-machine et le mythe de l’originalité. December 2023. URL: http://blog.sens-public.org/marcellovitalirosati/fabrique-des-subalternes.html (visited on 2024-05-28).