Данные Jinshi 3 марта сообщили, что недавно концерн Lenovo объявил о том, что на сервере Lenovo Wentian WA7780 G3 впервые в отрасли была реализована одноплатная установка глубокой модели DeepSeek-R1/V3 671B с использованием памяти, меньшей, чем 1TGB (фактически 768GB), чтобы обеспечить плавный опыт для 100 одновременных пользователей. По данным Lenovo, в стандартной тестовой среде с 512 токенами этот система может поддерживать стабильный вывод 10 токенов в секунду для 100 одновременных пользователей, сокращая время отклика на первый токен до менее 30 секунд.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Серверы Lenovo AI впервые реализуют локальное развертывание DeepSeek Full Blood Big Model менее чем 1TB, поддерживают 100 параллельных запросов
Данные Jinshi 3 марта сообщили, что недавно концерн Lenovo объявил о том, что на сервере Lenovo Wentian WA7780 G3 впервые в отрасли была реализована одноплатная установка глубокой модели DeepSeek-R1/V3 671B с использованием памяти, меньшей, чем 1TGB (фактически 768GB), чтобы обеспечить плавный опыт для 100 одновременных пользователей. По данным Lenovo, в стандартной тестовой среде с 512 токенами этот система может поддерживать стабильный вывод 10 токенов в секунду для 100 одновременных пользователей, сокращая время отклика на первый токен до менее 30 секунд.