Elle est conçue pour fonctionner aussi bien dans un CHU de trois mille lits que dans un centre hospitalier de proximité. Elle est sous licence AGPL-3.0 — ce qui signifie qu'aucun éditeur ne pourra jamais la capturer commercialement"

Postcast complet : https://cybersecuriteallday.fr/episode/le-biomedical-le-far-west-de-la-cybersecurite-hospitaliere-partie-22-71

Il s'agit d'une application web gratuite, sans inscription et open source, qui vous permettra de créer, de gérer et d'afficher des activités interactives en classe : QCM, nuages de mots, sondages... 13 activités sont d'ores et déjà disponibles !

Quand tu passes d’une démo a un usage client, les problèmes changent :

mémoire GPU saturée, KV cache qui explose, requêtes concurrentes, latence, batching, tokens/s, coût d’infra…

Et c’est précisément là que vLLM intervient. En tant que moteur d’inférence.

Ce n’est pas “juste" un serveur qui expose un/des modèles LLM.

C’est le runtime lui même qui orchestre l’inférence :

• Comment les requêtes passent sur le GPU ?
• Comment la mémoire est utilisée ?
• Comment le KV cache est géré ?
• Comment on maximise le throughput sans détruire l’expérience utilisateur ?

Dans cette vidéo, je décortique l’anatomie de vLLM :

1- Pourquoi l’inférence devient vite le vrai goulot d’étranglement en prod.
2- Comment comparer vLLM, SGLang et llama.cpp selon les cas d’usage.
3- Où partent les ressources hardware pendant la génération.
4- Pourquoi PagedAttention change la gestion mémoire.
5- Pourquoi le Continuous Batching permet de mieux exploiter le GPU.

N’hésites pas à partager et regarder la vidéo : )

• Site web : créer un site web avec le template docsy d'Hugo
• LLM : réfléchir à comment intégrer les LLM dans LinkR / créer un chatbot d'assistance sur l'application
• Plugin machine learning : nous allons continuer à travailler sur le plugin de machine learning
  Nous avons toujours pour objectif la préparation du datathon en septembre prochain, qui permettra de tester en "conditions réelles" LinkR !

• de la maquette UI du plugin de machine learning, et des prochaines étapes côté back-end
• du site web et de son contenu
• des nouvelles fonctionnalités de l'appli v0.3
• des fonctionnalités avec LLM à développer

• Notamment avec ce plugin "Console", qui permet de faire à peu près tout sous forme de widget dans l'appli (console R, console Python, table R, datatable R, figure avec ggplot2 et avec matplotlib).
• Ainsi que le nouveau site Internet de présentation de LinkR : https://linkr.interhop.org

Vous croyez qu’en éteignant votre téléphone, ou votre ordinateur, vous pourrez leur échapper ? Et bien non car nous avons découvert qu’ils ont un autre moyen de vous pister, votre carte vitale ! Dans la moitié des pharmacies françaises, les informations sur les médicaments que vous avez achetés sont transmises au plus gros data broker de données médicales au monde, IQVIA. Sans le savoir, 40 millions de Français seraient ainsi pistés.

Votre vie privée les intéresse, Cash Investigation s’est intéressé à eux !

Voir https://code.gouv.fr/fr/bluehats/goupile/ ou https://interhop.org/2024/05/24/bluehats 🧢