Modelserve : le nouveau service d’inférence IA de Golem Network

Golem Network a dévoilé Modelserve, un nouveau service visant à fournir des inférences de modèles d’IA évolutives et abordables, selon une annonce récente du projet Golem. Ce service est conçu pour permettre un déploiement et une inférence transparents de modèles d’IA via des points de terminaison évolutifs, améliorant ainsi l’efficacité et la rentabilité des applications d’IA.

Qu’est-ce que Modelserve ?

Modelserve, développé en collaboration avec une équipe externe et Golem Factory, s’intègre dans l’écosystème Golem Network. Il vise à soutenir la communauté open source de l’IA et à attirer les développeurs d’applications d’IA pour les fournisseurs de GPU. Le service permet le déploiement et l’inférence transparents de modèles d’IA via des points de terminaison évolutifs, garantissant des opérations d’applications d’IA efficaces et rentables.

Pourquoi Golem Network présente Modelserve ?

L’introduction de Modelserve vise à répondre à la demande croissante de puissance de calcul dans le secteur de l’IA. En exploitant les ressources GPU grand public, qui offrent suffisamment de puissance et de mémoire, le service peut exécuter efficacement des modèles d’IA tels que des modèles de diffusion, la reconnaissance vocale automatique et des modèles de langage de petite et moyenne taille. Cette approche est plus rentable que les méthodes traditionnelles. L’architecture décentralisée du réseau Golem sert de marché pour faire correspondre l’offre et la demande de ces ressources, permettant ainsi l’accès à une puissance de calcul parfaitement adaptée aux applications d’IA.

L’ajout de Modelserve à l’écosystème Golem joue un rôle clé dans l’obtention de cas d’utilisation de l’IA, la stimulation de la demande de fournisseurs et la contribution à l’adoption plus large du réseau Golem.

Public cible

Modelserve est conçu pour une large gamme d’utilisateurs, notamment les développeurs de services et de produits, les startups et les entreprises opérant dans des environnements Web 2.0 et Web 3.0. Ces utilisateurs :

• Utiliser des modèles open source de petite et moyenne taille ou créer leurs propres modèles à partir de zéro
• Exiger des capacités d’inférence de modèles d’IA évolutives
• Rechercher un environnement pour tester et expérimenter des modèles d’IA

Mise en œuvre technique

Modelserve comprend trois composants clés :

• Site web:Permet aux utilisateurs de créer et de gérer des points de terminaison
• Arrière-plan: Gère les ressources GPU pour traiter les inférences, avec un équilibreur de charge et des capacités de mise à l’échelle automatique. Il exploite les ressources GPU disponibles sur le marché, en les approvisionnant sur le marché ouvert et décentralisé Golem et sur d’autres plateformes proposant des instances GPU
• API:Permet l’exécution d’inférences de modèles d’IA et la gestion des points de terminaison

Le service utilise des paiements en USD pour les transactions des utilisateurs, tandis que les règlements avec les fournisseurs de GPU Golem sont effectués à l’aide de GLM, le jeton natif du réseau Golem.

Avantages pour les utilisateurs

• Infrastructure d’IA sans maintenance (IA IaaS):Les utilisateurs n’ont pas besoin de gérer le déploiement du modèle, l’inférence ou les clusters GPU car Modelserve gère ces tâches
• Mise à l’échelle automatique abordable:Le système adapte automatiquement les ressources du GPU pour répondre aux demandes des applications sans nécessiter l’intervention de l’utilisateur
• Tarification économique:Les utilisateurs sont facturés en fonction du temps de traitement réel de leurs demandes, évitant ainsi les coûts associés à la location horaire de GPU ou à la maintenance de leurs propres clusters

Synergie avec d’autres projets IA/GPU

Modelserve s’intègre au fournisseur de GPU et au fournisseur d’IA GamerHash AI, qui est actuellement en phase de validation de principe. De plus, la première version de Golem-Workers a été créée dans le cadre de Modelserve, qui sera développée en tant que projet distinct à l’avenir.

Étapes clés et prochaines étapes

• Des tests bêta ont été menés avec plusieurs startups et entreprises basées sur l’IA
• Les tests communautaires de Golem sont prévus pour juillet
• La commercialisation du service devrait débuter en août

Pour des informations plus détaillées, visitez le blog du projet Golem.

Source de l’image : Shutterstock