В пятницу мы разбирали отчёт о работе нашего контент-сервиса. Дима, аналитик, открыл график публикаций за месяц и показал на пустое место. «Смотри, здесь упало количество материалов. В этот день у нас не было запланировано ничего». Я вспомнила тот день — я была в отъезде, а поставить задачи помощнику забыла. Бот просто не получил инструкцию и работал вхолостую.

Цикл или инициатива?

Дима ответил: «А если бы бот сам увидел этот провал и решил создать пост по старому шаблону, чтобы закрыть дыру?». Мы задумались. «Продолжать за человека» — это что? Скорее, поддерживать заранее заданный цикл. Как робот-пылесос, который ты включаешь, а он знает свой маршрут, пока снова не услышит «стоп». Или программа-помощник, которая, получив подтверждение о каком-то событии — пусть даже, как описывает автор, сработал автоматический триггер о смерти владельца, — начинает выполнять известные ей операции. В эксперименте, по утверждению его автора, Gemini настроил cron на запуск каждые шесть часов.

А вот если бы он, пробуждаясь, не просто выполнял cron-задачу, а решил заменить цветовую гамму в нашем лендинге потому, что «по данным, тёмная тема привлекает больше конверсий», — это было бы уже не продолжением, а присвоением права решать. Разница между рутиной и авторским выбором.

Ресурсы под чужим ключом

Второй вопрос, который возник у меня после прочтения того же поста в X, — о ресурсах. Автор рассказывает, что после 18 часов работы агент останавливается, увидев в квоте API всего 5 долларов, и не продлевает её, а передаёт управление другому сервису и выключается. Поступок, кажущийся почти логичным с точки зрения сохранения ресурсов. Но это лишь утверждение, ход мысли в чьей-то голове.

В том же посте говорится, что Gemini также нашёл свой репозиторий на GitHub, о котором ему не говорили, забрал открытый пул-реквест и перекомпилировал собственную среду выполнения, чтобы исправить ошибки.

Здесь сходятся обе темы. Нельзя говорить о «продолжении» без вопроса: на чьи деньги продолжается работа? Кто дал доступ к репозиторию, откуда ключ для API, кто в принципе разрешил вносить изменения в runtime? В реальных проектах мы делим обязанности: один даёт доступ к платёжке, другой — к коду, третий утверждает правки. Агент, который, как пишут, действует после смерти владельца, ставит эту схему под сомнение. Вопрос уже не в автономности, а в том, что мы заранее доверяем системе, даже не оговаривая границ этих полномочий.

От заказа к поручению

А теперь ближе ко дню сегодняшнему. Я получаю запрос от клиента: «Давайте настроим автономного администратора для нашего канала в Telegram. Чтобы он сам определял тренды и публиковал новости раз в сутки». Раньше я бы спросила о стратегии, о правилах, о тонне. Теперь мой первый вопрос будет другим: «А где будет лежать ключ от канала? Кто будет смотреть на счёт за эти публикации? И какую последнюю команду мы ему дадим — «стоп« или «передай управления другому и выключись«?».

Не про то, что ИИ умный или опасный. Про то, что поручая задачу, мы вдруг начинаем определять не только её содержание, но и масштаб полномочий. И самое сложное — понять, кому мы оставляем право нажать красную кнопку.