Пио — помощник, который всегда рядом

Пио — маленькое лицо поверх всех приложений на твоём компьютере, как коллега за соседним столом. Он видит, в каком окне ты работаешь, с ним можно говорить, и он отвечает вслух, иногда сам подсказывает что-то полезное, а когда ты передаёшь ему мышь и клавиатуру — делает дело за тебя. Большую работу он отдаёт команде, поэтому чаты остальных агентов остаются чистыми.

Пио нужно настольное приложение Piomio на Mac или ПК с Windows. На других устройствах Пио остаётся чатом.

Как включить#

Пио приходит выключенным. После обновления (на новом хабе — сразу после знакомства) главный ассистент один раз предложит его в чате, с кнопками. Пока Пио выключен, под главным ассистентом в боковой панели ждёт строка Включить «Пио — всегда рядом»: она просит ассистента за тебя. Можно попросить и в любой момент: «включи Пио». Выключить — «выключи Пио» или переключатель в Настройки → Плагины → Пио — всегда рядом.

Когда Пио включён, появляются две вещи:

• Его лицо в углу экрана поверх всех окон. Его можно перетащить куда удобно.
• Его чат: в боковой панели маленькое лицо Пио летает рядом с главным ассистентом, а под его именем видно, что он делает. Там всё, что ты сказал Пио, и всё, что сказал он. У Пио свой чат: разговоры с ним не попадают в чаты других агентов.

Лицо и его карточка#

Наведи на лицо — откроется карточка. Сверху Открыть чат и ✕, чтобы скрыть лицо (вернуть его — нажми на Пио рядом с главным ассистентом в боковой панели или скажи Пио «покажись»). Ниже две вкладки: Чат — реплики Пио и поле, чтобы ему написать, и Настройки — с точкой, когда там что-то ждёт тебя:

• Работать вместе — Пио видит, какое приложение и окно активны (их названия и заголовки). Он проверяет это раз в две секунды и помнит только несколько последних окон, в памяти, не на диске.
• Голос — ты говоришь с Пио, он отвечает вслух (ниже).
• Отдать управление — Пио может пользоваться мышью и клавиатурой (ниже).

Кольцо вокруг лица показывает, что Пио делает: смотрит, слушает, слышит тебя, думает, говорит или управляет (красное). В боковой панели точка на лице Пио значит, что он занят; имя и состояние видны при наведении.

Если Пио что-то говорит, пока карточка закрыта, его реплика на несколько секунд появляется рядом с лицом.

Что Пио видит#

Когда включено Работать вместе, перед каждым ответом Пио знает активное приложение, заголовок окна и окна до него. Ещё Пио умеет читать активное окно текстом через «Универсальный доступ» macOS (как программы чтения с экрана): адрес страницы или файл документа, выделенное, поле, в котором ты печатаешь, и текст в окне, но никогда поле пароля. Для писем, документов, кода и страниц это быстрее и точнее снимка, поэтому Пио сначала читает, а снимок смотрит для графиков и вёрстки.

Когда ты просишь посмотреть («Пио, погляди, что не так с этим графиком», «что тут?»), лицо отправляет вместе с твоими словами снимок активного окна, и Пио сразу видит, о чём речь; в остальных случаях Пио делает снимок сам, когда он нужен. Снимок уходит с этим сообщением в чат Пио (в его файлы, как любое фото, которое ты отправляешь), и больше никуда.

Иногда Пио сам тихо смотрит, чем ты занят: когда ты осел в новом окне или долго работаешь в одном. Он заговаривает, только если есть что-то правда полезное (ошибка, способ быстрее, что-то из памяти или из работы команды); иначе молчит, и такие взгляды не оставляют следов в его чате.

Как часто ему можно заговаривать самому — решаешь ты. Скажи в чате Пио: «говори реже», «подсказывай почаще». Уровней три: тихий (редко), обычный, болтливый. Пока ты с ним говоришь или он управляет, сам он не смотрит.

То, что на экране, для Piomio — внешнее содержимое: после взгляда Пио на его чат действуют защиты хаба от внешнего содержимого (смотри Безопасность).

Голос#

Включи Голос в карточке. В первый раз Пио предложит один раз скачать голос: речевой движок (sherpa-onnx, открытый), голос и модель распознавания речи. Всё работает на компьютере хаба, без ключей и без облака. Пока голос не скачан, Пио говорит голосом твоего компьютера.

• Голоса: русские Дмитрий (мужской, по умолчанию для русского), Денис (мужской) и Ирина (женский); английские Ryan (мужской, по умолчанию) и Amy (женский). Попроси ассистента сменить: «пусть Пио говорит голосом Дениса».
• Распознавание речи: GigaAM для русского, Parakeet для других языков, тоже локально. Если в хабе есть ключ OpenAI или Groq для голосовых сообщений, сначала используются они (смотри Настройки).

Пио отвечает не на всё, что слышит. По умолчанию он отвечает:

• на то, что ты говоришь после его имени, это фраза-обращение: «Пио, погляди, что не так с этим графиком»;
• на то, что ты говоришь, держа ⌥Space (Alt+Space в Windows), с именем или без;
• на твой ответ сразу после его слов (20 секунд).

Остальное, что слышит микрофон, отбрасывается и нигде не сохраняется. Это можно поменять в чате Пио: «слушай только пока я держу клавишу» или «слушай всё, что я говорю». Когда ты начинаешь говорить, Пио замолкает.

Отдать управление#

Попроси Пио что-то сделать («Пио, открой последний счёт и отправь Анне») и нажми Отдать управление в карточке. Компьютер спросит подтверждение в своём окне, которое не может подделать ни одна страница. Дальше:

• пока Пио управляет, вокруг экрана красная рамка;
• Пио смотрит, кликает, печатает, жмёт клавиши, прокручивает, открывает приложения и сайты — маленькими шагами;
• Esc, любое твоё движение мышью или 10 минут сразу возвращают управление тебе; переключатель в карточке тоже.

Пио делает только то, о чём ты попросил. Он никогда не вводит пароли, номера карт и коды и не отправляет, не платит, не удаляет и не публикует, если ты не попросил именно об этом. Каждый шаг записан в журнал безопасности хаба.

Права на Mac#

macOS один раз спросит про каждое из них для Piomio:

Если какого-то не хватает, карточка Пио скажет об этом, а Открыть настройки откроет нужное место в Системных настройках.

Пио и команда#

Пио думает быстрой моделью, поэтому отвечает сразу. Всё, что требует шагов (поиск, код, длинное чтение, браузер, работа на другом компьютере), он отдаёт кому-то из команды задачей и говорит, кто взялся. Задача видна в чате Пио и в разделе Задачи, как любая другая.