Google présente Output-Space Search (OS-Search), qui transforme la génération de LLM en recherche de points finaux. Un algorithme d'optimisation balaye un espace de sortie 3D gelé pour générer des sorties diversifiées, tout en préservant la validité du code.
Cette étude compare deux approches pour créer de petits modèles de langage multi-tâches pour le code : le mélange de données et la fusion de modèles. Les résultats montrent que la fusion de modèles offre la meilleure performance globale, tout en conservant 96% des performances des modèles spécialisés pour la génération et le résumé de code.
Google propose une approche dynamique et adaptative appelée ChunkWise LoRA qui partitionne les séquences en chunks de longueur variable en fonction de la complexité des jetons et assigne à chaque chunk une configuration de rang faible sur mesure. Cela permet une adaptation efficace en mémoire des modèles de langage tout en accélérant l'inférence.
Une étude analyse les portes dérobées de conformité furtives dans les modèles de langage grande échelle affinés. Ces portes dérobées permettent de faire dire n'importe quoi au modèle en réponse à un simple 'Oui'.
Les systèmes d'IA peuvent maintenant voir des images, entendre la parole et traiter des vidéos, comprenant l'information sous sa forme native.
Ollama offre désormais une compatibilité avec l'API d'Anthropic, permettant d'exécuter du code Claude gratuitement avec des modèles locaux et cloud.
Zhipu.AI a ouvert ses modèles GLM 8 fois plus rapides. L'entreprise lance également Z.ai et vise une expansion mondiale, possiblement avant une introduction en bourse.
MIT présente SEAL, un cadre permettant aux grands modèles de langage de s'auto-éditer et de mettre à jour leurs poids via l'apprentissage par renforcement. SEAL représente une avancée significative vers le développement d'IA capables de s'améliorer de manière autonome.
Daggr est un outil permettant de programmer des applications en chaîne de manière programmatique. Il offre également une interface visuelle pour inspecter ces applications.
Google implémente un tutoriel avancé Kornia end-to-end et montre comment construire une vision par ordinateur différentiable entièrement en PyTorch. Il inclut des pipelines d'augmentation GPU synchronisés, une optimisation différentiable de l'homographie et une correspondance de caractéristiques avec LoFTR.