GECKO: генеративная языковая модель для английского, кода и корейского языка GECKO — это преобразователь параметров 7B, предназначенный только для декодирования, предварительно обученный на корейском, английском языке и коде. Он обучен на 200 миллиардах токенов и использует терабайты корейского корпуса. GECKO — это модель с открытым исходным кодом, выпущенная под лицензией Apache 2.0. Более подробную информацию о нашей модели можно найти в нашем техническом отчете. GECKO — это генеративная языковая модель, использующая архитектуру Llama. Таким образом, наша модель легко интегрируется с другими платформами, поддерживающими Llama. ~14 ГБ ОЗУ — это необходимый минимальный объем памяти с половинной точностью, например float16 или bfloat16. GECKO — это генеративная языковая модель, которая сопряжена с некоторыми рисками. Его тестирование в основном проводилось на корейском языке и не охватило все возможные сценарии. Как и в случае со всеми большими языковыми моделями, результаты GECKO невозможно предсказать заранее, и иногда они могут быть неточными, предвзятыми или иным образом проблематичными. Поэтому разработчикам следует провести тестирование безопасности и настроить модель для предполагаемого использования перед ее развертыванием.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kifai
Теги: llama, gecko, pretrained, ko, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 4,625
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
