Ключевые понятия

Пользовательские понятия Screph: источники, разметка, обработка, проект, обучение, код и подключения. Короткие названия в интерфейсе уточняются контекстом раздела.

Источники и захват

Источник данных: Изображение, видео, экран, окно, камера, поток или другой источник визуальных данных. В настройках захвата — «Источник захвата».
Кадр: Отдельное изображение, связанное с источником и своим положением в последовательности.
Последовательность кадров: Упорядоченные во времени кадры источника. Диапазон кадров задаёт выбранную часть последовательности.
Область захвата: Часть экрана или другого источника, из которой захват получает пиксели.
Запись захвата: Сохранение кадров и предусмотренных режимом событий. Запись по таймеру и по событиям ввода различается способом получения кадров; хранение в памяти и на диске задаётся отдельно.
Запись действий: Последовательность действий пользователя и связанных кадров. Предложенные при её анализе визуальные цели проверяются отдельно от исходной записи.
Исходное изображение: Изображение источника, на котором основана работа. Для обработки может быть выбрано другое представление этого изображения.

Разметка и связи

Элемент разметки: Сохраняемый объект задачи: например, кнопка, поле или деталь. В инструментах — «Элемент».
Признак элемента: Характеристика или геометрия, принадлежащая элементу: например, область, по которой его можно найти, или визуальный образец. В панели элемента — «Признак».
Аннотация: Описание объекта разметки, его назначения или использования. Голосовая аннотация преобразует речь в текстовое описание выбранного объекта.
Связь элементов: Предметное отношение между объектами разметки. В графе обработки передача данных называется соединением.
Область-контейнер: Структурная область разметки с заданным составом объектов. Попадание внутрь её границы и включение в состав учитываются отдельно.
Выбранные объекты: Текущее выделение для действия. Оно может включать несколько объектов и меняться без изменения состава областей-контейнеров.
Текущий объект: Объект, чьи свойства или действия сейчас показаны. При выделении нескольких объектов текущий объект задаёт контекст конкретного действия.
Предложение разметки: Предложенные объекты или изменения, которые можно проверить перед принятием. Просмотр предложения сам по себе не изменяет основную разметку.
Набор взаимодействия: Выбранные правила работы на холсте: поведение клика, перетаскивания, временных клавиш и начального инструмента.

Учебный пример. Изменения действуют только здесь и сбрасываются при выходе из примера.

Область признака выделяется отдельно от элемента. В примере доступны её геометрия и свойства.

Обработка и результаты

Операция обработки: Доступное действие с определёнными входами, выходами и параметрами: например, поиск границ или распознавание текста. Алгоритм или модель задают способ выполнения.
Шаг обработки: Настроенный экземпляр операции в схеме. Одна операция может использоваться в нескольких шагах с разными параметрами.
Схема обработки: Конфигурация шагов, соединений и выбранных выходов. Схема может состоять из одной операции, цепочки или графа.
Цепочка обработки: Линейная схема: шаги выполняются по порядку и передают данные следующим шагам.
Граф обработки: Схема с явными соединениями входов и выходов. Она позволяет описать ветвление и объединение данных.
Узел графа: Объект графа обработки. Узел операции представляет шаг; другие узлы могут задавать источник или выход результата.
Вход и выход: Именованные точки приёма и выдачи данных определённого типа. Например, операция может принимать изображение и выдавать маску.
Соединение: Передача данных с конкретного выхода на конкретный вход графа обработки.
Параметры шага: Значения, определяющие работу конкретного шага: например, порог или размер фильтра.
Входные данные: Фактические изображения, текст или другие значения, переданные схеме либо шагу при запуске.
Область обработки: Геометрия, из которой формируется вход обработки: всё изображение или выделенная часть. Она задаётся отдельно от области захвата и области-контейнера.
Запуск обработки: Одно выполнение схемы на зафиксированных входах и настройках. Повторное выполнение создаёт новый запуск.
Результат обработки: Полученные данные: изображение, маска, контур, обнаружение, текст или метрика. Перенос найденных объектов в основную разметку требует отдельного подтверждения.
Результат шага: Промежуточные данные одного шага. Их просмотр не означает, что они выбраны окончательным выходом схемы.
Предпросмотр: Отображение данных для оценки перед дальнейшим действием. Сохранение результата выполняется отдельно, если команда явно не объединяет запуск и сохранение.
Наложение: Маска, контур или другие данные, показанные поверх изображения для просмотра.
Сохранённый результат: Зафиксированные данные конкретного запуска. Изменение входов или схемы может сделать его неактуальным для текущей работы.
Материалы результата: Изображения, файлы и другие ресурсы, относящиеся к полученному результату.
Набор параметров операции: Сохранённые значения параметров одной операции для повторного использования.
Сохранённая операция: Именованная пользовательская операция с кодом или инструкцией, входами и выходами.
Шаблон схемы: Сохранённая композиция шагов и соединений для повторного использования. Загрузка шаблона подготавливает схему.
Черновик схемы: Текущая редактируемая конфигурация обработки до выбранного действия сохранения или запуска.
Вариант схемы: Альтернативная конфигурация для сравнения: с другими параметрами, шагами или соединениями.
Опыт: Сохранённое сравнение вариантов обработки на контрольных входах вместе с результатами.
Базовый вариант: Выбранная точка сравнения вариантов. Для сравнения выполнений используется базовый запуск.
Фрагмент схемы: Часть схемы обработки, которую можно повторно использовать.
Код Python: Пользовательская операция с сохранённым Python-кодом, подключёнными входами и объявленными выходами. Генерация кода и его выполнение — отдельные действия.
Запрос к ИИ: Операция, которая передаёт разрешённые входные данные выбранной модели с инструкцией и проверяет ответ по ожидаемым выходам.

Учебный пример. Изменения действуют только здесь и сбрасываются при выходе из примера.

Цепочка связывает фильтрацию изображения и поиск границ. Параметры относятся к выбранному шагу.

Проект и интерфейс

Основной проект: Редактируемые данные задачи Screph: источники, разметка, настройки и связанные материалы. Для переноса сохранённого проекта обычно нужен его каталог.
Папка проекта: Расположение проекта и сопутствующих файлов на диске.
Подготовленные материалы проекта: Документы, индексы и ресурсы, созданные из данных проекта для работы с кодом и другими потребителями.
Снимок проекта: Зафиксированное состояние проекта для конкретного назначения, например передачи в работу с кодом.
Экспорт проекта: Подготовленное представление выбранных данных для переноса или внешнего инструмента. Состав зависит от выбранного формата.
Рабочая область: Набор инструментов для определённой работы: например, разметки, обучения или работы с кодом.
Холст: Поверхность визуальной работы с изображением, объектами разметки и представлениями.
Окно просмотра: Место отображения содержимого на холсте. В одной рабочей области может быть несколько окон просмотра.
Представление: Содержимое окна просмотра: исходное изображение, обработанное изображение, маска или сравнение.
Способ отображения: Преобразование для просмотра: например, серый цвет, инверсия или псевдоцвет. Вычислительный вход обработки выбирается отдельно.
Расположение панелей: Геометрия и видимость частей интерфейса. Сохранение расположения относится к интерфейсу.
Режим программы: Предметный режим работы, например General или GUI Automation. Он задаёт контекст инструментов и задачи.
Упрощённый режим: Способ взаимодействия, который сокращает промежуточные действия и передачу этапов между существующими инструментами.

Датасеты и обучение

Датасет: Управляемый набор данных и разметки для выбранной задачи обучения.
Образец датасета: Одна запись данных с собственным происхождением. Изображение образца — её содержимое.
Разметка датасета: Принятая разметка образцов для выбранной задачи. Импорт или сохранение сами по себе не подтверждают проверку человеком.
Класс разметки: Категория объекта в датасете, например тип детали.
Черновик датасета: Редактируемое состояние изображений, классов и разметки. Исправления выполняются в черновике.
Версия датасета: Зафиксированное состояние данных и разметки для обучения или оценки. Изменения черновика учитываются в новой версии.
Конфигурация обучения: Согласованное описание обучения: данные, модель и параметры выполнения.
Набор параметров обучения: Частичная настройка конфигурации, например «Быстро», «Сбалансированно» или «Тщательно». Выбор данных и модели остаётся отдельным.
Эксперимент: Организация работы с конфигурациями и запусками обучения для их сравнения.
Запуск обучения: Одно выполнение обучения с зафиксированными входами и конфигурацией, историей и результатами.

Модели и их данные

Языковая модель: Модель, выбранная для работы с текстом и, при поддержке, изображениями или другими данными. Она создаёт ответы в пределах предоставленного входа.
Архитектура модели: Семейство и структура обучаемой модели.
Веса модели: Параметры обученной модели. Предобученные веса используются как начальные данные для поддерживаемого обучения или обработки.
Кандидат модели: Модель, полученная в конкретном запуске обучения и предназначенная для проверки.
Выпущенная модель: Зарегистрированная модель с зафиксированными весами и сведениями о её происхождении. Результаты её проверки учитываются отдельно.
Основная модель: Выпущенная модель, выбранная для конкретной задачи датасета. Использование в конечной программе включается отдельно.
Профиль применения модели: Описание готовой модели и её роли в конкретной задаче или конечной программе.
Профиль калибровки: Рассчитанные и проверенные параметры камеры. Для измерений в реальных единицах дополнительно нужна подходящая пространственная привязка.

Код и IDE

Screph Code: Встроенная агентная IDE для работы с файлами кода, контекстом проекта, диалогом агента и проверкой программы.
Рабочая папка кода: Каталог файлов, с которыми работает Screph Code или внешний редактор. Доступ к этой папке задаёт границу работы с кодом.
Скрипт: Конкретный исполняемый файл программы.
Задание кодовому агенту: Задание с запросом и контекстом проекта, переданное исполнителю. Доставка, принятие и завершение показывают разные этапы.
Передача в Code: Подготовка сохранённой ревизии проекта и задания для поддерживаемого инструмента работы с кодом. Начало работы агента определяется отдельной настройкой или явной отправкой.

Учебный пример. Изменения действуют только здесь и сбрасываются при выходе из примера.

Рабочая папка содержит подготовленные материалы и файлы программы. Учебный пример показывает их выбор и просмотр.

Агент и диалог

Агент: Интерактивный исполнитель запросов в контексте Screph. Он может строить план и выполнять разрешённые действия с доступными инструментами.
Исполнитель агента: Реализация работы агента, его инструментов и жизненного цикла. Выбранная модель и установленная среда выполнения настраиваются отдельно.
Диалог: Сохраняемая история общения с агентом в выбранном контексте.
Запрос пользователя: Обращение с текстом и вложениями. Для его выполнения агенту может потребоваться несколько обращений к модели.
Промпт модели: Подготовленный вход модели: инструкции, контекст и данные. Он может включать запрос пользователя и другие сообщения.
Шаг плана: Отдельный пункт плана агента.
Действие агента: Чтение, запуск или изменение с определённым назначением. Изменение может сначала быть показано как предложение для проверки.
Навык агента: Инструкции и связанные материалы для выполнения определённой работы. Навык описывает порядок действий; доступные инструменты и разрешения задаются отдельно.

Запуск и среды выполнения

Сценарий: Описание поведения или последовательности действий: например, сценарий автоматизации или проверки.
Конфигурация запуска: Подготовленные входы и настройки конкретного исполнения.
Запуск: Одно выполнение в конкретном разделе: обработка, обучение или исполнение скрипта.
Среда выполнения: Установленное окружение с зависимостями для выбранного типа исполнения.
Компонент среды: Управляемая единица установки в разделе «Компоненты и среды». Готовность действия зависит также от его других требований.
Пакет зависимости: Библиотека или пакет, входящий в компонент среды.
Запуск и проверка: Рабочая область Runtime Workbench для запуска, наблюдения за исполнением и просмотра результатов. Доступные действия зависят от выбранного исполнителя.
Результат: Данные конкретной работы: результат обработки, обучения, распознавания или запуска программы.
Подтверждающие данные: Кадры проверки, метрики, журналы и другие наблюдения, на которых основана оценка результата.

Настройки

Настройка: Пользовательское значение с определённой областью действия и моментом применения.
Конфигурация: Согласованный набор значений для конкретного объекта: запуска, подключения или окружения.
Профиль настроек: Именованный набор настроек с указанным назначением. Профиль подключения и профиль применения модели описывают разные объекты.

Подключения и распознавание речи

Поставщик модели: Сервис или реализация доступа к моделям.
Профиль подключения: Сохранённые настройки доступа и выбора модели. В списке настроенных связей используется короткое название «Подключение».
Назначение модели: Выбор модели для конкретной работы: обработки, агента или генерации кода. Модель отдельного диалога может отличаться от модели по умолчанию.
Аккаунт: Идентичность и авторизация у конкретного сервиса. Аккаунты Screph и внешнего поставщика модели учитываются отдельно.
Распознавание речи: Преобразование аудио в текст с помощью выбранного распознавателя.
Распознанный текст: Текстовый результат распознавания речи, который может использоваться для аннотации или запроса.
Сеанс распознавания: Одна связанная работа записи и распознавания аудио со своим завершением.
Журнал распознавания: Последовательность событий и результатов распознавания, доступная для просмотра или экспорта.