Снимок вкладки
Снимок открытой вкладки
Когда текста на странице недостаточно, агент делает снимок того, что видно в окне, и разбирает его как картинку.
Два формата одного кадра
Модели — сжатый снимок, человеку — обычный
Кадр снимается функцией captureVisibleTab: модель получает jpeg с качеством 65, а снимок, который потом открывает человек в разделе «Данные», сохраняется как png без сжатия. Разным получателям — разный файл из одного кадра.
Почему не всегда png
Сжатый снимок легче гоняется туда-сюда
Каждый снимок для модели едет по сети и считается в счёте за токены и трафик. Поэтому программа не гоняет к модели тяжёлый файл без сжатия — счёт идёт по своему ключу модели. Артефакты сжатия модели не мешают: ей нужен текст на кнопках, а не типографская точность.
Граница
Снимок — не замена чтению страницы
Снимок берёт только видимую часть окна, а не всю страницу целиком: то, что ниже границы экрана, в кадр не попадает, пока вы не прокрутите. Это не замена обычному чтению текста и таблиц со страницы.
Как это делается
Кадр снимает фон, не сама панель
Снимок вкладки умеет делать только фоновый скрипт расширения: панель посылает ему команду и получает обратно кадр в виде data-адреса. Если браузер не вернул картинку, инструмент так и сообщает об этом, а не выдаёт пустой файл за снимок. Размер будущего файла программа прикидывает сразу же — по длине самого адреса. Кадр берёт то окно браузера, что сейчас активно, если отдельный номер окна не передан особо — так снимок совпадает с тем, что в этот момент видит человек.
Где граница
Только в расширении
Снимок вкладки — возможность расширения. В веб-версии Vkladka такого доступа у страницы нет: она открыта обычной вкладкой сайта, а не панелью с правами на чужое содержимое, поэтому там команда снимка сразу отвечает отказом. Через мост с установленным расширением веб-версия умеет нажимать и заполнять поля на чужой странице. При этом снимок этим мостом не идёт: для него нужен именно браузер расширения, а не сайт Vkladka в соседней вкладке.
Посмотрите, что увидит модель на вашей вкладке
Кадр берётся с открытой вкладки сразу после вашей команды, без лишних шагов.