Llama3-Немецкий-8B-v0.1 — это большая языковая модель, основанная на Llama3-8B от Meta. Он специализируется на немецком языке посредством непрерывного предварительного обучения на 65 миллиардах высококачественных токенов, аналогично предыдущим моделям LeoLM или Occiglot. DiscoResearch/Llama3-Немецкий-8B-v0.1 является результатом совместных усилий DiscoResearch и Occiglot при поддержке DFKI (Немецкого исследовательского центра искусственного интеллекта) и hessian.Ai. Occiglot любезно выполнил предварительную обработку, фильтрацию и дедупликацию данных в рамках своего последнего выпуска набора данных, а также поделился своим распределением вычислительных ресурсов на суперкомпьютере hessian.Ai 42. Это базовая модель, и перед использованием ее, вероятно, следует доработать. В нашей коллекции представлены различные доработанные и длинноконтекстные версии. Модель обучалась на 128 графических процессорах на Hessian.Ai 42 в течение ~60 часов. См. подробные гиперпараметры ниже. Для предварительного обучения мы использовали 65 млрд немецких токенов из набора данных occilot-fineweb-0.5. Данные включают в себя несколько тщательно подобранных наборов данных из LLM-Datasets, а также 12 выпусков Common-Crawl, которые были обработаны с помощью конвейера OSCAR Ungoliant. Все данные были дополнительно отфильтрованы с помощью набора языковых фильтров на основе Huggingface…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DiscoResearch
Теги: llama, de, text-generation-inference, endpoints_compatible
Лайков: 39 | Загрузок: 423
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
