Как сократить расходы на токены ИИ на 65% с помощью чистого ввода

Если вы используете API ChatGPT или Claude для обработки веб-контента, то почти наверняка платите за ненужные токены. Панели навигации, рекламные скрипты, пиксели отслеживания, встроенный CSS и невидимые метаданные — все это токенизируется и оплачивается, хотя не несет никакой пользы для понимания контента искусственным интеллектом.

В этом руководстве мы подробно разберем, как возникает расточительство токенов и что вы можете с этим сделать.

Что такое токены и почему за них нужно платить

Токены — это базовые единицы, с помощью которых большие языковые модели читают и генерируют текст. Один токен — это примерно 4 символа на английском языке или около 3/4 слова. В русском языке один токен соответствует примерно 1-2 символам кириллицы. Каждый вызов API тарифицируется по количеству токенов — как входных, так и выходных.

Актуальные цены популярных моделей (начало 2026 года):

• GPT-4o: $2,50 за 1М входных токенов / $10 за 1М выходных токенов
• Claude Sonnet: $3 за 1М входных токенов / $15 за 1М выходных токенов
• GPT-4 Turbo: $10 за 1М входных токенов / $30 за 1М выходных токенов

Когда ваш ввод раздут HTML-мусором, вы платите за каждый лишний токен. При больших объемах суммы набегают стремительно.

Как сырой HTML расходует ваши токены впустую

Рассмотрим типичную новостную статью. Фактический контент — примерно 800 слов, около 1 100 токенов. Но если отправить сырой HTML этой страницы, вот что реально токенизируется:

Исходный код HTML:           ~18 400 токенов
├── Навигация/шапка:           2 100 токенов
├── CSS/теги стилей:           3 800 токенов
├── JavaScript:                4 200 токенов
├── Контейнеры рекламы:        1 900 токенов
├── Подвал/боковая панель:     1 600 токенов
├── Schema/мета-теги:          1 200 токенов
├── Скрипты отслеживания:        900 токенов
├── Фактический контент:       1 100 токенов
└── Прочая разметка:           1 600 токенов

Только 6% оплачиваемых токенов содержат полезную информацию. Остальные 94% — это шум.

До и после: реальный пример

Мы протестировали это на технической статье объемом 1 500 слов. Вот реальные подсчеты токенов:

| Способ ввода | Количество токенов | Стоимость (GPT-4o) | Полезный контент | |---|---|---|---| | Сырой HTML | 16 820 | $0,0421 | ~6% | | Копирование из браузера | 3 450 | $0,0086 | ~35% | | Чистый Markdown (Web2MD) | 1 890 | $0,0047 | ~92% |

Чистая Markdown-версия использует на 89% меньше токенов, чем сырой HTML, и на 45% меньше, чем простое копирование. Даже копирование из браузера привносит скрытые символы форматирования, лишние пробелы и разрушенную структуру.

Пять стратегий сокращения расточительства токенов

1. Очищайте HTML перед отправкой в API

Никогда не отправляйте сырой HTML в языковую модель. Как минимум удалите все теги <script>, <style>, <nav> и <footer> перед обработкой:

from bs4 import BeautifulSoup

def clean_html(raw_html):
    soup = BeautifulSoup(raw_html, 'html.parser')
    for tag in soup(['script', 'style', 'nav', 'footer', 'header']):
        tag.decompose()
    return soup.get_text(separator='\n', strip=True)

Это помогает, но результат — неструктурированный текст без заголовков и списков, которые дают ИИ ценный контекст.

2. Конвертируйте в Markdown для структуры и краткости

Markdown — идеальный компромисс между обычным текстом и форматированным HTML. Он сохраняет структуру документа (заголовки, списки, таблицы, блоки кода) и при этом чрезвычайно экономичен в плане токенов. Языковые модели понимают Markdown нативно, поскольку значительная часть их обучающих данных представлена в этом формате.

3. Используйте Web2MD для автоматической очистки

Вместо построения собственных пайплайнов для скрапинга, Web2MD выполняет всю конвертацию за один шаг. Расширение для браузера извлекает основной контент с любой веб-страницы, убирает весь шум и выдает чистый Markdown, готовый для ИИ. Кроме того, оно показывает приблизительное количество токенов до вставки.

4. Убирайте избыточные разделы

Даже после очистки вам может не понадобиться вся страница целиком. Если нужен только раздел методологии исследовательской статьи, отправляйте только его. Целевое извлечение может дополнительно сократить токены на 50-80%.

5. Пакетная обработка и дедупликация

При обработке нескольких страниц одного сайта удаляйте повторяющиеся элементы: биографии авторов, списки похожих статей и стандартные правовые оговорки. Объединяйте уникальный контент и резюмируйте где возможно.

Экономия в масштабе

Здесь цифры становятся по-настоящему серьезными. Рассмотрим рабочий процесс, обрабатывающий 500 веб-страниц в день через API GPT-4o:

| Сценарий | Токенов/Страница | Токенов в день | Месячная стоимость | Годовая стоимость | |---|---|---|---|---| | Сырой HTML | 16 000 | 8 000 000 | $600 | $7 200 | | Базовая очистка | 6 000 | 3 000 000 | $225 | $2 700 | | Markdown (Web2MD) | 2 000 | 1 000 000 | $75 | $900 |

Переход с сырого HTML на чистый Markdown экономит $6 300 в год на одном рабочем процессе. Это снижение на 87,5%.

Даже в меньшем масштабе обработка 50 страниц в день дает экономию более $600 в год.

Советы для продвинутых пользователей API

Если вы разрабатываете приложения, потребляющие веб-контент через API ИИ, эти практики умножат вашу экономию:

1. Кэшируйте конвертированный контент. Если одна и та же страница анализируется многократно, конвертируйте в Markdown один раз и переиспользуйте.
2. Устанавливайте лимиты токенов. Используйте параметр max_tokens для ограничения длины вывода и предотвращения неконтролируемых расходов.
3. Считайте токены перед отправкой. Библиотеки вроде tiktoken для OpenAI или встроенный счетчик Web2MD позволяют предварительно оценить стоимость.
4. Внедряйте прогрессивное извлечение. Сначала отправляйте краткое резюме; полный контент — только если ИИ требуется больше контекста.
5. Выбирайте подходящую модель. Не каждая задача требует GPT-4. Для простых задач извлечения используйте GPT-4o-mini или Claude Haiku за долю стоимости.

import tiktoken

def estimate_cost(text, model="gpt-4o"):
    enc = tiktoken.encoding_for_model(model)
    tokens = len(enc.encode(text))
    cost = tokens * 2.50 / 1_000_000
    return tokens, cost

# Сравнение: сырой vs чистый
raw_tokens, raw_cost = estimate_cost(raw_html)
clean_tokens, clean_cost = estimate_cost(markdown_text)
print(f"Экономия: {(1 - clean_cost/raw_cost)*100:.0f}%")

Пакетная оптимизация для исследовательских процессов

При исследовании множества страниц экономия токенов мультиплицируется. Вот эффективный пакетный процесс:

1. Соберите URL-адреса всех целевых страниц
2. Конвертируйте каждую страницу в Markdown с помощью Web2MD или программно
3. Удалите дубликаты повторяющегося контента между страницами одного домена
4. Разбивайте умно по разделам, а не по произвольным лимитам символов
5. Сначала резюме, затем углубление для минимизации общего количества токенов за сессию

Такой подход обычно снижает эффективную стоимость на страницу до 20-35% от текущих расходов большинства команд.

Заключение

Расходы на токены — одна из наиболее контролируемых статей затрат в любом ИИ-процессе. Самое действенное изменение — очистка ввода до того, как он попадет в API. Конвертация сырого HTML в структурированный Markdown стабильно сокращает использование токенов на 65-90% без потери полезной информации.

Расчет прост: чище ввод — меньше токенов, ниже расходы, а зачастую и лучше результат ИИ, поскольку модель может сосредоточиться на реальном контенте, а не продираться сквозь шум.

---

Перестаньте переплачивать за токены ИИ. Попробуйте Web2MD — превращайте неструктурированные веб-страницы в чистый Markdown и сокращайте расходы на токены до 65%.