Нейросети не читают текст буквами или целыми словами. Они воспринимают его фрагментами – токенами. Токеном может быть короткое слово целиком, корень, слог, приставка или отдельный символ, например пробел или запятая.
На практике понимание токенов нужно для трех задач: чтобы нейросеть не обрывала длинные ответы, чтобы она не «забывала» начало разговора и чтобы вы не переплачивали за использование платных API-интерфейсов.
| Что разберем | Что это даст на практике |
| Как нейросеть считает русский и английский текст | Поймете, почему промпты на русском съедают память в 2–3 раза быстрее |
| Как работает окно контекста | Сможете загружать большие документы так, чтобы нейросеть их не обрезала |
| Как сократить расход токенов | Сэкономите деньги при работе через API и перестанете упираться в лимиты чатов |
Как работают токены в разных языках
Базовое правило: чем популярнее язык в интернете и в обучающих базах нейросети, тем эффективнее она дробит на нем слова. Большинство популярных моделей (ChatGPT, Claude, Llama) изначально тренировались на английском. Для них английские слова часто равны одному токену. Русские слова эти же модели вынуждены дробить на мелкие слоги или даже отдельные буквы.
Английский язык: 1 токен в среднем равен 4 символам или 0,75 слова. Фраза «I love artificial intelligence» займет около 4–5 токенов.
Русский язык: 1 токен часто равен 1–2 символам. Сложные слова дробятся на 4–6 частей. Фраза «Я люблю искусственный интеллект» может занять от 12 до 20 токенов в зависимости от модели.
Отечественные нейросети (YandexGPT, GigaChat) используют собственные словари токенизации, которые лучше адаптированы под русский язык. В них русские фразы «весят» меньше, чем в западных моделях, но все равно остаются более объемными, чем английский текст.
Окно контекста: почему нейросеть забывает суть
У каждой модели есть лимит памяти на один диалог – окно контекста. Оно измеряется только в токенах: например, 8 000, 32 000 или 128 000 токенов.
Главное правило контекста, о котором часто забывают: лимит включает в себя входящий запрос, всю историю текущего чата и ответ нейросети.
Если у модели лимит 8 000 токенов, а вы загрузили в нее аналитический отчет на русском языке, который весит 7 500 токенов, у нейросети останется всего 500 токенов на ответ. Если для полноценного вывода ей нужно 1 000 токенов, она просто оборвет текст на полуслове.
Как распределяется контекст в длинном диалоге
Когда вы ведете долгую переписку в одном чате, с каждым новым вопросом нейросеть заново перечитывает всю предыдущую беседу. Как только суммарный объем переписки превышает лимит контекста, нейросеть начинает безвозвратно удалять из своей памяти самые старые сообщения.
Именно поэтому после часа работы в одном чате ИИ может забыть правила форматирования текста, которые вы задали ему в самом первом сообщении.
Как экономить токены и не вылетать за лимиты
Если вы работаете в бесплатных веб-версиях, экономия токенов поможет дольше оставаться в рамках лимита сообщений. Если вы используете API (подключаете нейросеть к своей CRM, Telegram-боту или приложению), экономия напрямую снижает ваши расходы в рублях.
- Переводите объемные системные промпты на английский. Если вы задаете сложную логику поведения бота, напишите инструкцию на английском, а в конце добавьте: «Always reply in Russian». Вы сэкономите до 60% токенов на системном запросе.
- Анализируйте большие тексты в оригинале. Если вам нужно сделать саммари англоязычной статьи, не переводите ее на русский перед отправкой в нейросеть. Загрузите английский текст и попросите выдать краткую выжимку на русском.
- Очищайте историю диалога. Если следующий вопрос не требует знания предыдущих ответов, начинайте новый чат. Иначе с каждым запросом вы будете вхолостую гонять десятки тысяч токенов старой переписки.
- Ограничивайте длину ответа в API. При настройке API всегда задавайте параметр max_tokens. Это защитит вас от ситуаций, когда нейросеть из-за ошибки (галлюцинации) начинает бесконечно генерировать бессмысленный текст, сжигая ваш бюджет.
Частые ошибки при работе с объемом текста
Ошибка: Пытаться посчитать токены через количество слов или знаков.
Из-за разницы языков, спецсимволов и кусков кода прямая конвертация символов в токены не работает. Если вам нужно точно знать размер промпта перед отправкой в API, используйте официальные калькуляторы от разработчиков (например, OpenAI Tokenizer или инструменты в кабинете разработчика GigaChat/Yandex Cloud). Вставляете текст – получаете точную цифру.
Ошибка: Загружать сырой код без очистки.
Если вы просите нейросеть найти ошибку в коде и копируете его целиком, учитывайте, что каждый лишний пробел, отступ (tab) и комментарий тоже считается токеном. Перед отправкой объемных логов или кода удаляйте пустые строки и лишнее форматирование – это может сэкономить до 20% контекста.
Ошибка: Забывать про разную стоимость входящих и исходящих токенов.
Если вы платите за API, учитывайте тарификацию. У большинства моделей (GPT-4, Claude 3) генерация текста (исходящие токены ответа) стоит в 2–3 раза дороже, чем чтение вашего запроса (входящие токены). Дешевле загрузить большой документ и попросить выдать короткий вывод, чем загрузить короткий промпт и попросить нейросеть написать огромную статью.
Ограничения и неочевидные случаи
Форматы файлов. Когда вы прикрепляете к запросу PDF-документ или изображение (если модель поддерживает зрение), они тоже переводятся в токены. Одно изображение в высоком разрешении может «стоить» от 200 до 1000 токенов в зависимости от детализации и алгоритмов сжатия конкретной нейросети.
Скрытые системные промпты. В веб-интерфейсах вроде ChatGPT или Claude окно контекста никогда не бывает пустым. Даже если вы пишете слово «Привет» в новом чате, сервис незаметно прикрепляет к вашему сообщению системный промпт от разработчиков (инструкции о том, какой сегодня день, как отвечать на опасные вопросы и т.д.). Этот скрытый текст занимает от 500 до 1500 токенов, которые уже вычтены из вашего лимита.
Коротко о главном
- Токен – это неделимый фрагмент слова или символа для нейросети.
- Русский текст расходует в 2–3 раза больше токенов, чем английский.
- Окно контекста – это общая память чата. Она тратится на ваш запрос, старую переписку и ответ нейросети.
- Чтобы не упираться в лимиты, пишите сложные инструкции на английском, требуя ответ на русском, и начинайте новые чаты, когда контекст прошлой беседы больше не нужен.
- В платных инструментах ответ нейросети обычно стоит дороже, чем ваш запрос.
