Лимит
Предел расхода на общем ключе
Тестировать модели без своего ключа можно — но не бесконечно: расход режут два разных потолка сразу.
Два потолка
Лимит на человека и лимит на весь сервис
Каждый вошедший расходует свой дневной лимит токенов, а сверху стоит ещё один — общий на весь сервис за сутки. Десять человек с личным запасом всё равно упрутся в общий, если он подойдёт к концу раньше.
Расход занят заранее
Резерв ставится до ответа модели, не после
Программа занимает расход оценкой сверху ещё до обращения к провайдеру, а после ответа уточняет точную цифру. Раньше проверка остатка и запись траты стояли по разные стороны запроса, и два одновременных обращения проходили оба мимо одного лимита.
Граница
Максимум 8000 токенов на один ответ
Даже если запрос просит больше, сервер срезает ответ до потолка в 8000 токенов — это предел выхода, не входа. Когда дневной лимит исчерпан, общий ключ отказывает до завтра. Что делать дальше без него, разобрано в тарифах.
Как это делается
После ответа резерв уточняется, а не списывается заново
Когда модель отвечает, сервер сверяет предварительную прикидку расхода с тем, что провайдер реально насчитал: держит точную цифру, а разницу возвращает в остаток дневного лимита. Уточнение привязано к идентификатору того же резерва, а не создаёт новую запись, поэтому повторный сигнал от провайдера не спишет токены дважды за один и тот же ответ. Саму прикидку перед ответом всегда берут с запасом сверху: заниженная оценка была бы дырой в лимите, а не защитой от неё.
Где граница
Отказ сформулирован программой, а не провайдером
Когда дневной лимит общего ключа исчерпан, ответ звучит так: «Дневной лимит общего ключа исчерпан. Подключите свой ключ или вернитесь завтра» — своими словами, а не пересказом чужого кода. Само число лимита задаётся на сервере: из панели расширения его нельзя ни поднять, ни обойти, только дождаться завтрашнего дня или подключить свой ключ.
Узнайте, сколько уже потрачено сегодня
Остаток лимита виден в настройках — раньше, чем модель откажет посреди разговора.