Meta открыла веса ИИ-модели Muse Spark Open на 816 млрд параметров. Ее можно локально запустить на двух компьютерах Apple Mac Studio. По словам разработчиков, в такой связке устройства с общим объемом унифицированной памяти 1 ТБ работают как один суперкомпьютер.

Нейросеть создало подразделение Meta Superintelligence Labs. Она предназначена для программирования, сложных рассуждений и автономной работы ИИ-агентов.

Muse Spark Open построена на архитектуре MoE: из 816 млрд параметров при обработке каждого токена задействуются только 42 млрд. Так модель снижает вычислительную нагрузку. Контекстное окно составляет 1 млн токенов.

Согласно карточке модели, на вход она принимает текст, изображения, аудио и видео. Meta назвала Muse Spark Open самой мощной американской нейросетью с открытыми весами на сегодняшний день.

Для локального запуска Meta совместно с Apple оптимизировала модель под компьютеры Mac Studio с процессорами M5 Ultra.

Каждое устройство оснащено унифицированной памятью объемом до 512 ГБ с пропускной способностью 1,2 ТБ/с. В связке два компьютера вмещают параметры модели целиком и обрабатывают запросы без обращения к облачным серверам.

Чтобы объединить устройства, разработчики использовали фреймворк MLX и технологию RDMA over Thunderbolt 5. Она обеспечивает быстрый обмен данными между компьютерами.

В техническом отчете Apple описала два способа распределить модель между несколькими устройствами:

В тестах два Mac Studio с тензорной схемой генерировали около 25 токенов в секунду, с конвейерной — около 15,7. С четырьмя устройствами скорость выросла до 36,7 токена в секунду. Замеры проводили при контексте в 8192 токена.

Для запуска использовали версию модели с четырехбитной квантизацией. Она сократила объем памяти под параметры примерно до 493 ГБ.