Le 26 février, Golden Ten Data a appris de 4Paradigm que 4Paradigm a lancé ModelHub AIoT, une solution de bout en bout pour l’inférence de modèles à grande échelle, qui permet aux utilisateurs de déployer facilement des modèles de distillation de petite taille, notamment DeepSeek R1, Qwen 2.5, Llama 2/3 series, etc., du côté de l’appareil, et de réaliser un fonctionnement hors ligne. Les utilisateurs peuvent basculer de manière flexible entre plusieurs modèles, en tenant compte des performances de compression et d’inférence des modèles, et en résolvant la complexité du déploiement et de l’optimisation. Selon l’entreprise, cette solution peut non seulement répondre aux besoins des utilisateurs en matière de confidentialité et de temps réel, mais aussi réduire considérablement le coût de l’inférence de grands modèles d’IA.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
La quatrième norme propose une solution de bout en bout pour l'inférence de modèles de grande taille, ModelHub AIoT
Le 26 février, Golden Ten Data a appris de 4Paradigm que 4Paradigm a lancé ModelHub AIoT, une solution de bout en bout pour l’inférence de modèles à grande échelle, qui permet aux utilisateurs de déployer facilement des modèles de distillation de petite taille, notamment DeepSeek R1, Qwen 2.5, Llama 2/3 series, etc., du côté de l’appareil, et de réaliser un fonctionnement hors ligne. Les utilisateurs peuvent basculer de manière flexible entre plusieurs modèles, en tenant compte des performances de compression et d’inférence des modèles, et en résolvant la complexité du déploiement et de l’optimisation. Selon l’entreprise, cette solution peut non seulement répondre aux besoins des utilisateurs en matière de confidentialité et de temps réel, mais aussi réduire considérablement le coût de l’inférence de grands modèles d’IA.