Arcee AI: Virtuoso Large

Virtuoso-Large представляет собой мощную языковую модель от компании Arcee с 72 миллиардами параметров. Она разработана для решения задач, связанных с междоменным выводом, креативным письмом и корпоративными вопросами. В отличие от других моделей аналогичного размера, Virtuoso-Large сохраняет контекст в 128 тыс. токенов, что позволяет ей обрабатывать большие объемы информации, такие как книги, кодовые базы и финансовые отчеты. Процесс обучения включал дистилляцию DeepSeek R1, многократную супервайзинговую донастройку и финальную стадию выравнивания DPO/RLHF, что обеспечило высокие результаты на тестах BIG-Bench-Hard, GSM-8K и Needle-In-Haystack с длинным контекстом. Предприятия используют Virtuoso-Large в качестве резервного мозга в конвейерах Conductor, когда другие языковые модели показывают низкую уверенность. Несмотря на свои размеры, оптимизации кэширования KV позволяют достигать низкой задержки на первом токене в пределах нескольких секунд на восьми узлах H100, что делает эту модель пригодной для промышленных приложений.