Когда вы выбираете нейросеть для локального запуска или работы через API, вы неизбежно сталкиваетесь с приставками вроде 7B, 8B, 70B или 405B в названиях моделей (например, Llama 3 8B или Qwen 72B). Эти цифры обозначают количество параметров модели. Чтобы понять, какую версию скачивать, сколько оперативной памяти под нее нужно и потянет ли ее ваш компьютер, нужно разобраться, как работают эти параметры на практике.
| Что разберем | Что это даст на практике |
| Что значат цифры 7B, 13B, 70B в названиях моделей | Поймете, какую версию нейросети выбрать под вашу задачу без переплаты за мощности. |
| Как параметры влияют на "железо" | Сможете точно рассчитать, сколько оперативной (RAM) и видеопамяти (VRAM) нужно для запуска. |
| Что такое квантование (ужатие) модели | Узнаете, как запустить тяжелую модель на обычном домашнем ноутбуке. |
| Почему больше параметров – не всегда лучше | Перестанете гнаться за тяжелыми версиями там, где легкие работают быстрее и точнее. |
Что такое параметры простыми словами
Параметры – это внутренние настройки нейросети, которые она сформировала во время обучения. Их можно сравнить с нейронными связями в мозге человека. Чем больше параметров, тем больше информации, закономерностей языка и фактов запомнила модель.
Буква "B" в названиях (от английского Billion) означает миллиарды. То есть модель на 8B имеет 8 миллиардов параметров.
Каждый параметр имеет свой "вес". Когда вы пишете промпт, текст проходит через эти миллиарды весов, и модель математически вычисляет, какое слово должно идти следующим. На практике количество параметров напрямую определяет две вещи: насколько умной будет нейросеть и сколько памяти она сожрет при запуске.
Как выбрать модель по количеству параметров
Не нужно всегда выбирать самую большую модель. Определите вашу задачу и имеющееся оборудование.
Модели до 8B (например, 3B, 7B, 8B)
Базовый уровень. Подходят для запуска на обычных домашних компьютерах и ноутбуках (например, через программы LM Studio или Ollama).
- Для чего подходят: суммаризация текстов, перевод, написание простых скриптов, ответы на вопросы по загруженному документу (RAG), базовый чат-бот.
- Ограничения: плохо решают сложные логические задачи, могут путаться в длинном контексте, чаще галлюцинируют (выдумывают факты), если задать узкоспециализированный вопрос.
- Требования: от 8 ГБ оперативной памяти.
Модели от 13B до 34B
Золотая середина. Подходят для сложной работы, но требуют мощного компьютера или покупки облачного сервера начального уровня.
- Для чего подходят: написание сложного кода, редактура текстов с сохранением определенного стиля (Tone of Voice), ролевые игры с ИИ, анализ больших массивов данных.
- Ограничения: на офисном ноутбуке будут генерировать ответ по одной букве в секунду или вообще не запустятся.
- Требования: нужна видеокарта с объемом памяти (VRAM) от 16 до 24 ГБ (например, RTX 3090 или 4090) или Mac с объединенной памятью от 32 ГБ.
Модели от 70B и выше
Профессиональный уровень, сопоставимый с GPT-4.
- Для чего подходят: глубокая аналитика, автономные ИИ-агенты, сложная логика, написание архитектуры приложений.
- Ограничения: для локального запуска требуется серверное оборудование или сборка из нескольких топовых видеокарт. В большинстве случаев такие модели дешевле и проще использовать через API разработчика (покупать токены), а не разворачивать у себя.
- Требования: от 64 ГБ до 128 ГБ памяти.
Как рассчитать требования к железу (оперативная и видеопамять)
Главное правило: чтобы модель работала быстро, она должна полностью помещаться в память видеокарты (VRAM). Если памяти видеокарты не хватает, часть вычислений переносится на обычную оперативную память (RAM) и процессор (CPU). В этот момент скорость генерации падает в десятки раз.
В исходном (несжатом) виде, который называется FP16 (16-битная точность), 1 миллиард параметров требует примерно 2 ГБ памяти.
То есть модель на 8B займет около 16 ГБ, а модель на 70B – 140 ГБ.
Для домашнего использования это слишком много. Поэтому модели квантуют.
Что такое квантование и как оно спасает ситуацию
Квантование – это математическое округление весов параметров. Оно позволяет "сжать" модель. Чаще всего используют 4-битное квантование (в названиях файлов такие модели имеют приписки Q4_K_M, 4-bit, int4).
При 4-битном квантовании 1 миллиард параметров требует всего 0,7 ГБ памяти. Качество ответов ИИ при этом падает незначительно (на 2-5%), зато требования к железу снижаются радикально.
| Размер модели | Нужно памяти (несжатая, FP16) | Нужно памяти (сжатая, 4-bit) | Минимальное железо для комфортной работы (4-bit) |
| 7B – 8B | ~ 15 ГБ | ~ 5 – 6 ГБ | Видеокарта на 8 ГБ (например, RTX 3060) или Mac на 16 ГБ |
| 13B – 14B | ~ 28 ГБ | ~ 9 – 10 ГБ | Видеокарта на 12 ГБ (RTX 4070) или Mac на 16 ГБ |
| 32B – 34B | ~ 68 ГБ | ~ 20 – 22 ГБ | Видеокарта на 24 ГБ (RTX 3090/4090) или Mac на 32 ГБ |
| 70B – 72B | ~ 140 ГБ | ~ 42 – 45 ГБ | Две видеокарты по 24 ГБ или Mac на 64 ГБ |
Примечание: к рассчитанному весу модели всегда прибавляйте 1-2 ГБ памяти под "контекст" (ваши промпты и длину переписки).
Частые ошибки при выборе моделей по параметрам
Ошибка: Выбирать модель на 70B для извлечения данных из текста.
Если вам нужно, чтобы нейросеть прочитала договор и выписала из него реквизиты, тяжелая модель не нужна. С этим безупречно справится модель на 8B. Запуская 70B для такой задачи через облако, вы переплачиваете за аренду серверов в 5-10 раз, а ответ получаете медленнее.
Ошибка: Думать, что модель на 70B решит проблему "глупости" в узкой нише.
Вы взяли модель на 8B, спросили ее про специфические ГОСТы РФ, и она ошиблась. Вы решаете развернуть неподъемную модель на 70B. Это ошибка. Большие модели знают больше фактов в целом, но они тоже не знают узких баз данных. Правильное решение – взять легкую модель на 8B и подключить к ней вашу базу документов через технологию RAG (Retrieval-Augmented Generation), а не наращивать параметры.
Ошибка: Игнорировать дату выхода модели.
Современные компактные нейросети бьют старых гигантов. Модель Llama 3 на 8B (2024 год) по тестам и логике работает лучше, чем Llama 1 на 65B (2023 год). Архитектура и качество данных обучения важнее, чем голые цифры параметров.
Ограничения: когда количество параметров не имеет значения
Качество обучающих данных (Датасеты)
Если модель на 30B обучили на плохих, грязных данных с форумов, а модель на 8B – на качественных книгах, научных статьях и выверенном коде, то 8B будет отвечать точнее и полезнее.
Специализированные (Fine-tuned) модели
Если нейросеть на 7B специально дообучили (Fine-tuning) только на написание кода на Python, она будет писать скрипты лучше, чем универсальная модель на 34B, которую учили всему подряд. Если вам нужна нейросеть для одной функции, ищите специализированную модель малого размера – она будет работать быстрее и дешевле.
Коротко о главном
- Параметры – это объем "знаний" и связей нейросети. Обозначаются буквой B (миллиарды).
- Для домашних задач, работы с текстом и простых ботов хватает моделей на 7B-8B.
- Для сложного кода, рассуждений и аналитики нужны модели от 32B.
- Чтобы запустить модель локально, используйте квантованные версии (4-bit).
- Для 4-битной модели на 8B нужна видеокарта минимум на 8 ГБ. Для модели на 70B потребуется серверное железо.
- Новая модель на 8B почти всегда лучше и быстрее старой модели на 30B.
