SoftoRobot

Виктор Казаринов

Идея такова. Хочу разработать программного робота по управлению другими программами в компьютере пользователя. Единственный "Глаз" робота - это последовательность скриншотов экрана, мышь и клава могут использоваться для воздействия на другие программы. Монкулярное зрение и двухмерный мир наверное будут существенно проще чем узлы, необходимые для 3D видения. А характер и поведение робота - тут уж увидим что получится.
Разработку собираюсь сделать на базе общей разрабаотки - AIAssistant и системных плагинов - онтологии и др. Результат - также в виде плагина.

=DeaD=

А где цели и задачи, которые робот будет решать?
Вот, например, 100% пассивный робот отлично решает задачу "не мешать"

Виктор Казаринов

Конечные задачи - самые разные, о которых робот не будет "догадываться". Если попросим нажать кого-то большую красную кнопочку, то вряд ли он наверняка знает, что это не ядерная.
Первые задачи - это научить робота самым простым вещам - различать на экране отдельные элементы графического оформления программ. Находить шапки форм, читать их заголовки и т.д. Это - часть его мира. На этом этапе робот может быть просто шпионом, следящим за тем, что происходит на экране. при этом он должен вести лог - хранить историю событий. Это может помочь пользователю в случаях, если он что-то забыл.

AndreiSk

ну.. попробовать конечно можете,
но по моему это ни разу не робот..
Так, отдельная программа.
Вы же Finereader не назовете роботом?
А ведь она (Finereader) научилась распознавать буквы.
Дойдем до того что утюг тоже роботом назовут :roll:

Виктор Казаринов

2AndreiSk: Тут вы заблуждаетесь. Кроме распознавания ведь в робота будут добавлены важнейшие элементы, отсутствующие в Finereaderе, а именно, определенная свобода воли, ограниченная страхом с одной стороны и любопытством с другой. И другие черты личности. Но все это будет добавляться постепенно. Finereader - это чисто рефлекторная система - подсунули под глаз - распознал, не подсунули - отдыхает. А поиск приключений на свою личность - это далеко не свойство утюга.

=DeaD=

Нормальный себе программный робот.

Angel71

поставьте на комп хотя бы 7ку, пущай прога помучается. второй момент - на некоторых сайтах есть темы оформления на подобии виндовых окон. третий момент - очень многие проги, в основном wpf`ные, где люди добрались до возможности быстро и легко создавать красивые темы оформления, задача расспознавания будем мягко говоря затруднена

Виктор Казаринов

Это лишь вопрос вариабельности дизайна. Тем более нужно чтобы робот впоследствии, взглянув на новый интерфейс нашел в нем знакомые элементы путем логических умозаключений.

=DeaD=

Вообще конечно цели всей затеи совершенно непонятны, я бы даже сказал напрочь отсутствуют

Поэтому обсуждать сможет или нет сделать робот "то, не знаю что" в каких-то разных оформлениях - сомнительный конструктив

Добавлено спустя 49 секунд:
Обозначьте хотя-бы несколько Use Case'ов

Виктор Казаринов

Нехорошие дяденьки могут использовать прогу для кликов по баннерам с каптчами. Есть и масса других противоправных способов замены малопроизводительного труда на робота. Но если он будет компаньоном человека во время написания кода, например и что-то советовать или анализировать, разве это плохо? Юзер к примеру просматривает на сайтах фотки, а робот находит знакомых юзера или еще что-то ему нужное и заданное роботу.
Все это - пока из области предположений. А поэтому придется попробовать реализовать частичные технологии

=DeaD=

Слишком широко поставленная задача = отсутствие задачи

Добавлено спустя 35 секунд:
Нужно брать набор близких Use Case'ов и с них начинать. Капчи обходить - отдельная задача распознавания искаженного текста на картинке.

Angel71

Виктор Казаринов писал(а):

Это лишь вопрос вариабельности дизайна. Тем более нужно чтобы робот впоследствии, взглянув на новый интерфейс нашел в нем знакомые элементы путем логических умозаключений.

да в том-то и дело, что временами ему будет ой как не сладко. клац и лист бокс превращается в 3д диаграмму. клац и он уже выглядит как граф. клац и он уже показывает карту со спутника с нанесёнными точками. клац...

я утрирую (хотя это и не сложно сделать), но смысл в том, что "знакомых элементов" он может и не найти, по простой причине - изменяться интерфейс может до такой неузнаваемости, что ваша подсистема реконструкции 2д/3д просто загнётся.

Добавлено спустя 3 минуты 13 секунд:

а с капчами идея... имхо наф наф, сделайте отдельную распознавалку для капч и буит вам счастие. :wink:

1000 капч = 1$. небольшой минус на расходы (сервер, реклама, скидки,...) и вы всё-равно в шоколаде.

Добавлено спустя 5 минут 41 секунду:
не обижайтесь, я вас не отговариваю. вспомните ассистента в офисе - звучит гордо, выглядит забавно (первые пару дней), а толку от него 0. в общем идея "ассистента" неплоха и есть направления в которых он реально будет полезен, интересен и будет приносить приличный доход, но... для этого нужно скорректировать текущие аморфные цели, толку от которых мало

Виктор Казаринов

Уважаемые форумляне. Но большинство разработок на данном форуме являются изделиями с более аморфными целями. И ничего. Проблема потребителей ИИ - вынь да положи готовую утилитарную вешь. Так не бывает. Вначале приходится делать что-то весьма неопределенное, кропотливо складывать мозаику, а затем разрушать и переделывать многократно.

=DeaD=

Просто очень суровая среда выбрана для ИИ

без утилитарных целей в ней легко убиться

Виктор Казаринов

Да почему суровая? Условия освещения лучше, чем в комнате на полу. Картинки все четкие. Кое-что различить можно.

roboforum.ru

SoftoRobot

Кто сейчас на конференции