Процесс работы

Процесс включает выделение элементов, аннотирование, построение графа и генерацию кода. Подробные инструкции — в документации.

Визуальное выделение

Выделите необходимые элементы (кнопки, поля ввода, тексты). Сохраняются координаты и размеры. См. раздел «Выделение элементов».

Аннотирование

Добавьте описание назначения и действий: текстом или голосом. Speech‑to‑text через внешний провайдер или офлайн с локальными моделями Vosk.

Граф взаимодействий

Определите связи и последовательности действий между элементами. См. раздел «Структуры взаимодействий (графы)».

Эмуляция действий и экспорт данных

На основе выделений, аннотаций и графа связей выполните эмуляцию действий и экспортируйте данные (например, JSON) для последующей генерации кода автоматизации GUI.

Интеграция с IDE

Экспортируйте проект и код в IDE (например, Cursor) для доработки и интеграции. См. раздел «Интеграция с IDE».