Это модифицированная версия исходной модели LLaMA, которая включает в себя Scaled Rotary Embeddings, впервые предложенную kaiokendev. По умолчанию модель настроена так, чтобы быть эквивалентной исходной модели OpenLLaMA (длина контекста 2048). Чтобы изменить, создайте экземпляр конфигурации LLaMA и установите для maxpositionembeddings желаемую длину контекста. Значение должно быть степенью 2, например. 2048, 4096, 8192 и т. д. В этом репозитории мы представляем лицензированное воспроизведение с открытым исходным кодом модели большого языка LLaMA от Meta AI. Мы выпускаем модели 7B и 3B, обученные на токенах 1T, а также предварительную версию модели 13B, обученную на токенах 600B. Мы предоставляем веса PyTorch и JAX предварительно обученных моделей OpenLLaMA, а также результаты оценки и сравнения с исходными моделями LLaMA. Для получения более подробной информации посетите домашнюю страницу проекта OpenLLaMA. Мы выпускаем веса в двух форматах: формат EasyLM для использования с нашей платформой EasyLM и формат PyTorch для использования с библиотекой трансформеров Hugging Face. И наша платформа обучения EasyLM, и веса контрольных точек лицензируются по лицензии Apache 2.0. Контрольные точки предварительного просмотра можно загрузить напрямую из Hugging Face…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: emozilla
Теги: llama, custom_code, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 186
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
