publicité

Découvrez Minigpt-4 : l’IA qui permet de discuter avec des images

Une IA qui vous permet de discuter avec des images : MiniGPT-4AI
Temps de lecture estimé : environ 3 min.

Minigpt-4 est une nouvelle intelligence artificielle qui permet de discuter avec des images. Elle combine la précision de l’IA de chat Vicuna-13B et la capacité de BLIP-2 à ajouter des légendes aux images. Cette IA est désormais disponible en ligne et vous pouvez même tester une démonstration sur la page de présentation.

MiniGPT-4 pour discuter avec des images

Pour utiliser Minigpt-4, il suffit de cliquer sur la zone rouge, de sélectionner l’image que vous souhaitez utiliser comme thème de conversation, puis de cliquer sur le bouton « Upload & Start Chat ». Après un court moment d’attente, vous pouvez poser des questions dans la zone « User » et obtenir des réponses. Si vous souhaitez recommencer, il suffit de cliquer sur « Restart ».

MiniGPT-4 : On le reste pour vous (étape 1)
Étape 1 : Charger une image
MiniGPT-4 : On le reste pour vous (étape 2)
Étape 2 : Appuyer sur ‘Upload & Start Chat’
MiniGPT-4 : On le reste pour vous (étape 3)
Étape 3 : Attendre son tour dans la file d’attente
MiniGPT-4 : On le reste pour vous (étape 4)
Étape 4 : Poser sa question
MiniGPT-4 : On le reste pour vous (étape 5)
Étape 5 : Récupérer sa réponse.
Pas totalement convaincu par le ‘fromage blanc’, bien que ce fromage soit en effet blanc.
MiniGPT-4 : On le reste pour vous (étape 6)
Je réessaye en anglais et la réponse semble à présent plus convaincante.

Les paramètres « beam search numbers » et « Temperature » sont situés en bas de l’image téléchargée. Le premier paramètre permet d’augmenter le nombre de réponses possibles, tandis que le second permet de varier la diversité des réponses. Cependant, il n’y a pas de différence significative entre les réponses obtenues avec différents paramètres.

Il est à noter que la démonstration en ligne peut être saturée, mais il existe plusieurs liens miroirs pour y accéder. Le code source est quant à lui disponible sur GitHub, ce qui permet de l’utiliser localement. Enfin, une version légère de Minigpt-4 qui peut fonctionner sur une seule GeForce RTX 3090 est en cours de développement.

Commentaires

Le titre et le lien vers l'article ont été copiés