AMD-OLMo — это серия языковых моделей 1B, обученных с нуля компанией AMD на графических процессорах AMD Instinct™ MI250. Используемый обучающий код основан на OLMo. Мы выпускаем предварительно обученную модель, контролируемую точно настроенную модель и модель, согласованную с DPO, следующим образом: — AMD-OLMo-1B: предварительно обученная на подмножестве Dolma v1.7, состоящем из 1,3 триллиона токенов. — AMD-OLMo-1B-SFT: контролируемая точная настройка (SFT) для набора данных Tulu V2 (1-й этап), а затем для наборов данных OpenHermes-2.5, WebInstructSub и Code-Feedback (2-й этап). — AMD-OLMo-1B-SFT-DPO: согласовано с предпочтениями человека с использованием прямой оптимизации предпочтений (DPO) в наборе данных UltraFeedback. — Аппаратное обеспечение: каждый вычислительный узел состоит из 4 графических процессоров AMD Instinct™ MI250. Мы используем 16 узлов для предварительного обучения AMD-OLMo-1B. Архитектура модели: AMD-OLMo-1B основана на архитектуре модели и настройке обучения 1 миллиардной версии OLMo-1B с полностью открытым исходным кодом. Подробности приведены ниже. maxnewtokens=2048 для MTBench. *Все цифры в приведенных выше таблицах были получены на основе наших оценок. Мы используем следующий открытый исходный код…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: amd
Теги: olmo, endpoints_compatible
Лайков: 21 | Загрузок: 408
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
