---
language:
- ru
license: mit
base_model: LLAMA
tags:
- llama
- russian
- conversational
model-index:
- name: ViorikaLM-1.2B-v1
  results: []
library_name: transformers
model_creator: ViorikaAI
pipeline_tag: text-generation
datasets:
- Den4ikAI/russian_dialogues
---

# 🌌 ViorikaLM 1.2B (v1.0)

+ Это кастомная модель (LLM), обученная на моем железе. Совпадения с датасетами или чем то другим это случайность.
**АХТУНГ!!!** МОДЕЛЬ ПРЕДОБУЧЕНА ДО СРЕДНЕГО УРОВНЯ!!! ДООБУЧЕНИЕ НА ВАШИХ ДАННЫХ ЖЕЛАТЕЛЬНО!!!

# Подробнее:

## ⚙️ Детали модели
- **Архитектура: используется LLAMA, но модель своя.**
- **Параметры: 1.2B**
- **Изначально рандомные веса, были обучены.**
- **Язык: Русский, только русский.**
- **Лицения: MIT** 

## 🏋️ Детали Тренировки
- **Датасет:** ``
- **Железо:** **ОДНА** NVIDIA **GEFORCE RTX 5060 TI** (16GB VRAM)
- **Эпохи:** ...
- **Шагов:** - 10 тысяч
- **СРЕДНИЙ LOSS:** 3.89
- **Оптимизатор:** lr = 2e-4
- **Контекст:** 512 токенов