Ouroboros — это экспериментальная модель, основанная на базовой модели LLaMA [v1] 13B от Meta, в которой используется специальная техника слияния, настраивающая процент слияния каждого слоя на основе внутренних тестов с набором данных PTB, набирая ~26,31 согласно внутренней оценке (6 образцов, длина последовательности 1024; это тестирование не является эмпирическим, это быстрый способ найти почти оптимальные значения). Тестирование, оценка и изменение этой модели абсолютно допустимы и даже поощряются (в рамках лицензионного соглашения Meta LLaMAv1); чем больше отзывов, тем лучше мы сможем настроить наш процесс! 😊 Ouroboros состоит из 40 слоев [стандарт LLaMAv1 13B], смешанных в оптимизированных пропорциях по сравнению с набором данных PTB для наименьшего показателя недоумения. Ниже перечислены парные модели и соотношения, объединенные для каждого слоя. [0,22, 0,85, 0,89, 0,98, 0,3, 0,41, 0,71, 0,83, 0,32, 0,1, 0,44, 0,6, 0,53, 0,15, 0,86, 0,79, 0,93, 0,02, 0,19, 0,82, 0,01, 0,52, 0,07, 0,27, 0,73, 0,86, 0,08, 0,67, 0,42, 0,28, 0,37, 0,08, 0,95, 0,68, 0,45, 0,08, 0,7, 0,93, 0,96, 0,43] [0,65, 0,94, 0,98, 0,87, 0,28, 0,64, 0,73, 0,7, 0,95, 0,89, 0,84, 0,9, 0,59, 0,92, 0,28, 0,61, 0,88, 0,73, 0,34, 0,85, 0,98, 0,05, 0,74, 0,92, 0,5, 0,78, 0,26, 0,4, 0,27, 0,65, 0,71, 0,7, 0,8, 0,93, 0,36, 0,03,…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: CalderaAI
Теги: llama, alpaca, vicuna, uncensored, merge, mix, airoboros, openorca
Лайков: 9 | Загрузок: 990
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
