Imaginez-vous pointer l’appareil photo de votre téléphone vers les ingrédients de votre cuisine et demander : « Que puis-je faire avec ça ? Instantanément, l’IA identifie les ingrédients et propose des recettes adaptées à ceux-ci. C’est exactement le genre d’assistance intelligente promise par le projet Astra de Google. Ceci est alimenté par le dernier modèle d’IA de Google, Gemini 2.0 Flash, et voici tout ce que vous devez savoir à ce sujet.
Qu’est-ce que le projet Astra ?
À la base, le nouvel outil d’IA de Google, Project Astra, est un assistant d’IA multimodal. Multimodal signifie simplement qu’il peut gérer simultanément différents types d’entrées telles que du texte, des images, des vidéos et de l’audio.
Par exemple, vous pouvez pointer l’appareil photo vers une étagère remplie de livres et demander à Astra : « Lequel a les critiques les plus élevées ? Astra peut identifier les titres, vérifier les évaluations en ligne et suggérer la meilleure option.
Non seulement l’appareil photo, il peut également analyser ce qui se trouve sur l’écran de votre téléphone. Par exemple, si vous parcourez une page Web et rencontrez un terme ou un produit que vous ne reconnaissez pas, vous pouvez demander à Astra de l’expliquer ou de trouver plus d’informations.
Astra peut également effectuer des actions sur votre téléphone, comme commander en ligne, configurer une alarme, etc. De plus, il peut également mémoriser des choses. Donc, si vous pointez l’appareil photo vers un dessin et demandez : « Qui a dessiné ça ? Astra exploitera sa mémoire et pourrait répondre : « Il est dessiné par votre fille. »
Pensez-y comme si vous aviez une version suralimentée de Google Assistant qui écoute et comprend le monde comme vous.
Cas d’utilisation réels
Voici quelques façons d’utiliser Astra
- Supposons que vous essayiez de manger plus sainement. Astra peut analyser votre liste de courses (via une photo ou un texte) et vous recommander des substituts pour atteindre vos objectifs alimentaires.
- Supposons que vous ayez demandé à Astra de mémoriser le code de la porte de votre appartement. Des semaines plus tard, lorsque vous êtes à la porte, vous pouvez simplement demander : « Quel est le code de la porte, déjà ? » et cela vous le rappellera instantanément.
- Prenez une photo d’une étiquette de vêtement et Astra décodera les symboles de lessive pour vous. Il peut même vous guider sur les réglages de machine à laver à utiliser.
- Pointez votre appareil photo vers une plante et Astra pourra vous dire si elle convient à votre jardin. Astra peut mémoriser des informations sur votre emplacement et dire : « Cette plante prospère à l’ombre partielle et dans un sol humide, parfait pour votre jardin new-yorkais. »
Google travaille également sur des agents d’IA pour les jeux, où il peut suggérer des stratégies dans le jeu, comme où déployer des troupes ou quelle arme mettre à niveau, etc. En outre, ils expérimentent des prototypes de lunettes capables de voir, d’écouter et de répondre à l’aide d’Astra.
Comment accéder à Astra dès maintenant
Le projet Astra est encore en phase de test et n’est pas disponible au public pour le moment. Cependant, vous pouvez obtenir un aperçu des capacités du projet Astra grâce à une fonctionnalité appelée « Stream Realtime » disponible sur Google AI Studio. Voici comment y accéder :
- Ouvrir aistudio.google.com/live dans votre navigateur mobile ou de bureau.
- Connectez-vous avec votre Compte Google.
- Appuyez ou cliquez sur Afficher les Gémeaux et accordez les autorisations nécessaires pour accéder à votre caméra et à votre microphone.
- Utilisez l’appareil photo de votre téléphone pour montrer votre environnement et parler à Gemini 2.0 en temps réel. Sur l’ordinateur portable, outre l’appareil photo, vous pouvez également partager l’écran de votre ordinateur portable.
N’oubliez pas qu’il ne s’agit que de la phase de prévisualisation et que l’outil peut ne pas prendre en charge des fonctionnalités telles que la prise en charge multilingue et la mémoire pour le moment.
Lire aussi :
Autres projets propulsés par Gemini 2.0
En plus du projet Astra, Google a dévoilé d’autres initiatives d’IA basées sur le modèle Gemini 2.0. Project Mariner est conçu pour effectuer des tâches dans le navigateur Chrome, telles que naviguer dans les pages et collecter des données, ce qui le rend idéal pour améliorer la productivité. Jules, quant à lui, agit en tant qu’assistant de codage, aidant les développeurs avec les flux de travail et les tâches de programmation GitHub.
