Alibaba Cloud сократил использование видеокарт Nvidia на 82%

Подразделение Alibaba Cloud представило систему Aegaeon, которая позволила снизить потребление графических процессоров Nvidia H20 на 82% при работе с крупными языковыми моделями.

Разработку тестировали более трех месяцев на платформе Alibaba Cloud, где количество используемых видеокарт удалось сократить с 1192 до 213 при обслуживании десятков моделей объемом до 72 млрд параметров.

Исследование, представленное на симпозиуме SOSP в Сеуле, показало, что Aegaeon оптимизирует ресурсы за счет объединения вычислительной мощности для одновременного обслуживания разных моделей. По мнению экспертов, новая система может значительно снизить издержки и изменить подход к обработке ИИ-нагрузок в сфере облачных вычислений.

❤️ Новости Китая | ЭКД

Источник: t.me