Человек и компьютер
Исследовательское предложение

Когда агент может заменить отдельное приложение?

Человек вносит правку и снова передает работу ИИ. Что поможет сохранить его решение?

Читать статью
Раскрытая фотокнига с двумя горными пейзажами на соседних страницах.
Автор хочет сохранить эти снимки рядом при следующей верстке.

Главный вопрос

Агент сверстал фотокнигу. Автор посмотрел макет, передвинул один снимок и решил оставить два пейзажа на одном развороте. Теперь он просит сократить книгу на четыре страницы. Агент убирает четыре страницы, но пейзажи оказываются порознь. Снимки целы. Работа выполнена. А выбор автора потерян.

Здесь есть причина открыть редактор, даже если агент способен сверстать книгу целиком. Автор понял, что ему важно, уже после первого макета. Заранее вписать это в поручение он не мог.

Мы предлагаем изучать весь эпизод. Удалось ли человеку внести правку, передать остальное агенту и получить нужный результат? Сколько раз пришлось объяснять одно и то же, проверять макет и вносить исправления? Если готовый редактор справляется с этим проще, у человека есть веская причина им пользоваться.

Что уже известно

Чередовать автоматическую и ручную работу предлагали задолго до языковых моделей. Эрик Хорвиц показал, почему программе важно учитывать и цену неверной догадки, и цену лишнего вопроса пользователю. Маттиас Рост рассматривает случай, когда человек уточняет сам замысел, пока работает. Даже точная память о первом запросе не подскажет агенту решение, которое возникло позже. [1] [2]

В DirectGPT участник мог указать на нужное место в тексте, коде или изображении, а затем попросить ИИ его изменить. В эксперименте такие правки в среднем занимали меньше времени, чем в чате. В интервью участники говорили и о другой трудности: когда модель возвращает весь текст, приходится проверять, что еще в нем изменилось. [3]

DirectGPT · CHI 2024

Что меняется, когда можно указать место правки?

Показатель сравнения

Среднее время на задание, в секундах

ChatGPT117 с
DirectGPT56 с
060120 с

На попытку давали до трех минут, включая генерацию ответа. Лимита достигли 35% попыток в ChatGPT и 8% в DirectGPT. Эти данные показывают, как проходила правка. Сохранение решения после следующего поручения в этом сравнении не измерялось. [3]

В других системах уже можно продолжить работу с того места, где остановился агент. В Spellburst художник переходит от запроса к коду и пробует несколько вариантов. В Webstrates один документ можно открыть разными инструментами. Оба подхода стоит учитывать, прежде чем создавать новую программу. Но доступ к прошлой версии еще не говорит, что выбранное человеком решение переживет следующую правку. [4] [5]

Два условия успеха

Вернемся к фотокниге. Автору важно соседство двух снимков. Можно поменять их размер или перенести пару на другой разворот. Теперь понятны обе части проверки: книга стала короче, а снимки остались рядом.

Что получилось после верстки?
Оба требования выполнены.

Если ради соседства пришлось отменить сокращение, история версий спасла фотографии, но не завершила работу. Если оба требования несовместимы, автору нужен выбор. Есть и третья возможность: он просто пробовал раскладку. По одному движению фотографии нельзя заключить, что это правило для всех будущих версий.

Когда хватит чата или редактора

Правило легко назвать. «Сократи книгу, эти два снимка оставь рядом». Если одной фразы хватает и результат легко проверить, отдельная функция только добавит действий.

Правило уже умеет хранить редактор. Группировка объектов или закрепленный разворот могут оказаться быстрее разговора. Для опытного верстальщика сам вид макета служит подсказкой, что попробовать дальше.

Предпочтение еще меняется. Если после каждой пробы агент спрашивает «это сохранить?», вопросы могут стоить больше времени, чем редкие исправления. Поэтому важно считать и решения, которые система закрепила по ошибке.

Как это проверить

Сначала стоит выяснить, можно ли ответить на вопрос по материалам DirectGPT. Нужны три вещи: свидетельство о том, что участник хотел сохранить, его следующее поручение и итоговая версия. По одному готовому файлу нельзя восстановить намерение автора. Статья описывает задания и измерения. Есть ли в архиве подходящие записи, пока не установлено. [6]

Если таких записей нет, предлагаем сравнить три способа работы на одном типе документа. В первом случае участник объясняет предпочтение агенту словами. Во втором он может закрепить выбранную связь в документе. В третьем работает в редакторе с группировкой и историей версий.

До второй правки участник кратко записывает, что хочет сохранить. Так проверяющий знает его критерий заранее. Исходные макеты и задания должны быть сопоставимы, модель в обоих агентных условиях одинакова. Если участник выполняет несколько заданий, нужно менять материал и порядок условий.

Сравнивать стоит долю случаев, в которых выполнены оба требования. Отдельно учитываются время, повторные объяснения, исправления и лишние ограничения. Сама запись может усилить внимание к предпочтению. Поэтому такая проверка покажет, как сохранить уже осознанное решение. Как человек впервые его находит, остается отдельным вопросом.

Что будет считаться результатом

Если тот же выбор сохраняется в обычном чате или редакторе с меньшими усилиями, создавать новый механизм незачем. Если преимущество проявится только в скорости одной правки, это согласуется с тем, что уже показал DirectGPT.

Пока у нас есть вопрос и способ различить эти исходы. Ответ зависит от того, что случится с выбором человека после следующего поручения.

Источники

  1. Principles of Mixed-Initiative User InterfacesEric Horvitz · CHI 1999
  2. Co-Disclosing the ComputerMattias Rost · CHI 2026
  3. DirectGPT: A Direct Manipulation Interface to Interact with Large Language ModelsDamien Masson и др. · CHI 2024 · Данные графика в §4.5
  4. SpellburstStanford HCI Group · Инструмент для работы с генеративной графикой
  5. Webstrates: Shareable Dynamic MediaClemens Klokmose и др. · 2015
  6. Материалы исследования DirectGPTOpen Science Framework

При анализе источников и подготовке текста использовался ИИ. Скачать полную рукопись (.md)