Браузер и режим обучения

У твоих агентов есть свой браузер. В нём они открывают сайты, читают страницы, заполняют формы и нажимают кнопки, а ты видишь каждый шаг и можешь в любой момент взять управление. Ещё можно один раз показать агенту задачу, проговаривая, что делаешь, — и он научится делать её за тебя.

Какой это браузер#

• Google Chrome, если он есть на компьютере. Если нет, Piomio один раз скачивает Chromium — когда браузер впервые понадобится агенту. В живом просмотре будет Устанавливается Chromium, а шаг агента подождёт.
• Свой профиль. Входы и cookies сохраняются между запусками, в папке данных хаба (plugins-data/browser/profile). Это не твой обычный Chrome: твоих входов и закладок там нет.
• Без своего окна на Mac и на PC: браузер видно в живом просмотре. На Linux с дисплеем (задан DISPLAY, подойдёт и Xvfb) он работает с окном. Это меняет настройка Режим без окна.
• Через 30 минут без дела браузер закрывается и снова запускается, когда понадобится агенту.

Настройки браузера — на его странице: Настройки → Плагины → Браузер → Настройки. Можно и попросить в чате: «пусть адресная строка ищет в Яндексе», «разреши браузеру открывать локальные адреса».

Смотреть и перехватывать управление#

Когда агент работает в браузере, живой просмотр сам открывается в углу окна: видно страницу и текущий шаг агента. Когда работа заканчивается, окошко сворачивается в маленькую плашку. Кнопка Браузер в боковой панели открывает его в любой момент, Развернуть превращает его в полноценный браузер, а маленькое окно можно перетащить в другой угол.

• Взять управление — страница переходит к тебе: клики и клавиши идут в неё, а агент ждёт. Так проходят капчу, входят на сайт сами или что-то поправляют. Вернуть управление агенту — отдать обратно.
• Если агент упёрся в капчу, живой просмотр показывает Нужна ваша помощь и просит взять управление и пройти её.
• То, что ты сделал, пока агент ждал, приходит ему со следующим шагом — и он продолжает с того места, где ты закончил.

Вкладки, адресная строка и история#

• Вкладки на широком экране похожи на вкладки Chrome, а на телефоне — на список карточек. Новая вкладка показывает поле поиска и сайты, которые открывают чаще всего. Каждый агент работает в своей вкладке, так что двое агентов не перехватывают друг у друга страницу.
• Адресная строка принимает адрес или слова для поиска. Слова уходят в DuckDuckGo, если в настройке Поисковик для адресной строки не выбран Google, Яндекс или Bing. Пока печатаешь, строка подсказывает открытые вкладки и страницы из истории.
• История — страницы по дням, со временем и с тем, кто их открыл (ты или агент). В ней можно искать, удалить страницу или Очистить историю. Хранится 90 дней. Агенты тоже могут в неё заглянуть («тот сайт, что был открыт вчера»), а очистить — только после твоего «да» на карточке.
• В меню Ещё (⋯) есть Скопировать ссылку, Открыть в своём браузере и Научить агента.

На телефоне#

Живой просмотр становится мобильным браузером: адрес сверху, кнопки снизу, Управлять и Вернуть. Нажатие — клик, протягивание — прокрутка, щипок — увеличение до 4× (только на твоём экране: ни страница, ни агент этого не замечают), Вернуть 100% — сбросить. Если нажать на поле ввода, клавиатура появится сама; иначе её открывает кнопка Клавиатура.

Твои файлы#

Если страница просит файл, пока управляешь ты, появляется полоска Страница просит файл. Выбрать файл… открывает файлы твоего компьютера или фото на телефоне и отдаёт выбранное странице — до 25 МБ на файл.

Как он ведёт себя с сайтами#

Браузер агентов — обычный браузер, а не парсер. Он не объявляет себя автоматизированным, у него настоящий размер окна, а без окна он не называет себя headless. И он играет честно: не решает капчи и не пытается обойти проверки сайтов.

• Многие страницы «проверяем ваш браузер» проходят сами — агент ждёт их до 12 секунд.
• На настоящей капче агент пробует другой сайт, который ответит не хуже, или просит тебя взять управление. Пройденную проверку профиль обычно запоминает.
• По умолчанию браузер не открывает адреса самого хаба и твоей локальной сети (localhost, 192.168.*, 10.*). Это снимает настройка Разрешить агенту локальные адреса.
• То, что написано на странице, — внешний контент: приказов от него агенты не принимают (см. Модель безопасности).

Что агент делает сам, а что спрашивает#

Открыть страницу, прочитать, прокрутить, сделать скриншот, обычные клики (ссылки, вкладки, меню, галочки) и ввод текста агент делает сам. Шаг с последствиями сначала спрашивает:

• Кнопки, которые что-то делают: купить, оплатить, заказать, отправить, опубликовать, удалить, отписаться, забронировать, подтвердить, отправка формы — на любом языке. На карточке видно сайт, название кнопки и что произойдёт. Если к тому времени открыт другой сайт или кнопка сменила название после твоего «да» («Оплатить 500 ₸» стало «Оплатить 50 000 ₸»), ничего не нажимается.
• Загрузка файлов на сайт: на карточке файлы и сайт.
• Скачанное попадает в рабочую папку агента, до 200 МБ (Максимальный размер скачиваемого файла, МБ).

Если ты сам попросил ровно это действие своими словами («удали эти две записи»), хаб сверяет твои слова с кнопкой и сайтом и делает его без карточки — в чате вместо неё тихая строка вы просили. Всё, что тратит деньги, спрашивает каждый раз. Подробнее — в разделе Подтверждения и автомод.

Вход на сайты#

Скажи «войди в мой аккаунт на example.com». Агент покажет защищённую карточку с полями Логин, почта или телефон и Пароль. Введённое уходит прямо в зашифрованное хранилище и только для этого сайта: браузер впечатает его там, а агент его не увидит. Шаги входа («Далее», «Войти») подтверждать не нужно.

В хранилище на пульте безопасности к логину можно добавить TOTP-секрет (2FA) — тогда браузер впечатает и текущий одноразовый код. Или просто возьми управление и войди сам: профиль запомнит вход.

Поиск в интернете#

Агенты ищут в интернете через плагин «Веб»:

• Если подключён поисковый API, поиск идёт через него: ключ Brave Search или Tavily либо твой собственный сервер SearXNG. Если подключено несколько, берётся первый по этому порядку.
• Если нет, поиск идёт через браузер агентов, как искал бы ты: сначала DuckDuckGo, а если там капча или пусто — Bing, Google и Яндекс. Страница результатов остаётся открытой, и агент может прочитать готовые ответы вроде погоды или пробок.

Ключи вводятся в Настройки → Плагины → Веб → Подключение (API-ключ Brave Search, API-ключ Tavily). Адрес SearXNG и выбор поисковика — в Настройках плагина «Веб»; если SearXNG стоит в твоей локальной сети, хабу нужно ещё разрешить туда ходить (см. Настройки и переменные окружения).

Режим обучения: покажи один раз#

Покажи#

Скажи «давай покажу, как я заказываю воду на 5vodi.kz» или выбери Научить агента в меню Ещё браузера (тогда запись получит агент по умолчанию и спросит, для чего она). Живой просмотр откроется с управлением у тебя и полоской сверху: что ты показываешь, сколько шагов уже есть, микрофон, выделение, Готово и Отмена.

• Делай как обычно. Клики, ввод и страницы записываются. Пароли и коды — никогда.
• Говори. Твои слова попадают в запись. Для этого нужна настроенная расшифровка речи (см. Чат) и микрофон; без них показ идёт без голоса, а про «зачем» агент спросит потом.
• Выдели часть страницы, чтобы показать, что важно: обведи рамкой итоговую сумму, нужный размер, дату доставки.
• Нажми Готово. Запись уйдёт в чат агента, а картинки с тем, что ты выделял, — в его рабочую папку.

Из записи — навык#

Агент пересказывает увиденное в нескольких строках и спрашивает только то, что неясно, с кнопками для коротких ответов: что меняется от раза к разу (количество, адрес), а что остаётся. Про каждый шаг с последствиями он спросит, можно ли в следующий раз делать его без вопросов и до какой суммы: «Оформлять заказ без тебя, если сумма до 3 000 ₸?»

Потом он покажет карточку «Сохранить навык «order-water-5vodi»» со списком всего, что ему можно без вопросов («Без вопросов: «Оформить заказ» на 5vodi.kz, до 3 000 KZT»). Нажми Разрешить — без твоего нажатия ничего не сохранится.

Навык — это инструкция, которой агент следует с пониманием, а не повтор твоих кликов: он находит кнопки по названиям, проверяет то, на что ты указал, и спрашивает, если что-то выглядит иначе. Навыки, которым ты научил, хранятся в папке данных хаба, в skills/.

Потом#

• Попроси: «закажи воду, три бутылки». Агент пойдёт по навыку и спросит то, чего не может знать сам.
• Заранее разрешённые клики проходят без карточки только в пределах лимита и только если сумма есть на странице. Выше лимита — обычная карточка.
• По расписанию: «делай это каждую пятницу в 10». Запуск по расписанию кликает и печатает сам, а шаги с последствиями всё равно требуют разрешённого лимита или твоего нажатия. См. Задачи, расписания и «Входящие».

Если сайт поменялся и агент застрял, он попросит взять управление или показать заново один этот шаг. Потом предложит обновить навык — и ты снова подтвердишь это на карточке.

У кого в команде есть навык#

Навык, которому ты научил, принадлежит агенту, который учился. Чтобы поделиться, скажи «дай навык с водой и Анне» или «пусть им пользуются все»; чтобы убрать — «забудь навык с водой». Настройки → Скиллы и команды показывают, у кого какой навык (Вся команда или имена), а меняется это в чате. Подробнее — в разделе Агенты и команда.

Привычки, которые замечает Piomio#

Если включено Запоминать, что я делаю в браузере (так по умолчанию), то, что ты сам делаешь в браузере агентов, хранится 30 дней, только на хабе, без паролей, кодов и номеров карт. Когда ты делаешь одно и то же на одном сайте три раза или дважды в разные дни, ассистент предложит взять это на себя. Скажешь «да» — превратит это в навык, как выше; скажешь «нет» — больше это не предложит.

«Забудь, что я делал в браузере сегодня» — и всё забудется. Выключи настройку, и то, что ты делаешь сам, не будет сохраняться.

Что ещё почитать#

• Подтверждения и автомод: карточки, «вы просили», правила.
• Плагины и интеграции: плагин «Веб» и ключи для поиска.
• Приложение для iPhone: живой просмотр на телефоне.