roboforum.ru

Добрый день.
Выполняю тестовое задание на позицию инженера по контролю качества машинного зрения.
Даны видео для разбора.
Опыт контроля качества ПО имею.

Задание:
На экране будет запись обработки контента одновременно двумя модулями НС: детектором и трекером.
Объект наблюдения – животные, все остальные объекты считаются ложными сработками. Требуемый процент достоверности от НС – 99,9%.

Интересует мнение по плану предоставления отчета для такого задания.

Мои представления по предоставления отчета:

Багрепорты(формат):

Указание времени кадра(диапазона части видео)
Описание возникшего дефекта.
Ожидаемый результат.

Сценарий тестирования.
Описание частей видео(интервал времени в из предоставленного видео-потока) для дальнейшего тестирования правок.

Пожалуйста выскажите свое видение данного процесса и видение формата и структуры предоставления отчета.

К преподу подойди (а то складывается такое впечатление, что он не учил).

щутя

Ваш наплевательский подход к созданной теме понятен. И по существу вам, по ходу, и сказать нечего.

На счет

Madf писал(а):К преподу подойди (а то складывается такое впечатление, что он не учил).

Есть такие предметы как качество программного обеспечения и дефектология.
К сожалению они описывают базовые прицепы и проблематику.
Но компании используют практику. Следовательно у разных компаний разные подходы к дефектологии и тому подобным вещам.
Поднятая мной тема относится к практике. А преподаватели у нас за частую теоретики.

Форумы для того и придуманы что бы обменивается опытом и задавать вопросы.

А утолить свое желание поострить можно и в соц. сетях вместе со школотой.

Судя по первому посту вас взяли на работу, а что делать не объяснили. Такая вакансия по моему в объявлениях давно висела.
Соответственно рекомендую подойти к начальнику и узнать.

Багрепорты(формат):

Указание времени кадра(диапазона части видео)
Описание возникшего дефекта.
Ожидаемый результат.

Сценарий тестирования.
Описание частей видео(интервал времени в из предоставленного видео-потока) для дальнейшего тестирования правок.

Пожалуйста выскажите свое видение данного процесса и видение формата и структуры предоставления отчета.

Нейросети так не работают. Статистические не различимые данные попросту будут отброшены НС. Поэтому в отчёте должен быть альбом изображений. Так как Вы заявляете точность 99.9% или другими совами 1 ошибка на 1000.

То соответственно минимальная отгрузка в отчёте должна быть из 1000 фотографий. Разумеется размеченных. И описание способа(алгоритма) получения.

У вас должны быть описаны требования к НС.
- Нечувствительность к повороту
- нечувствительность к шумам матрицы
- частичное закрытие объектов
- нечувствительность к засветке и бликам
и тд.

Соответственно в отчёте нужно ссылаться на пункт требования в ТЗ(или SRS или чё у вас там?) .

Описание частей видео(интервал времени в из предоставленного видео-потока) для дальнейшего тестирования правок.

Формат разметки сырых данных у вас должен быть определён как формат датасета. А так да url и интервал используется для трекинга.

DimkaFriend, ожидали массового наплыва почитателей отчётного очковтирательства и бумажкоперекладывателей? не сбылись ваши мечты.

Angel71 писал(а):то, что сплошное нарушение товарного соседства и много чего ещё важного, в отчете будет 0 по модулю. и как вишенка на торте отчёты должны храниться только на дискете и на печатном носителе (в двух экземплярах). а потом вместо того, что бы поискать где закупить более качественное или более свежее или брать в меньшем количестве, что-то в системе хранения изменить и т.д., будут продолжать заниматься отчётным очковтирательством, бумажкоперекладыванием и прочей хренотенью. с контролем качества софта похоже примерно так и было, сейчас этот опыт переносите на новую работу. про наплевательство и прочие шалости себе адресуйте.

Вы очень грубо разговариваете. Лучше конструктивно разговаривать.

Есть книга "Алгоритмы интеллектуального Интернета". Так вот она пишет, что сбор примеров для проверки гипотезы должно идти автоматически. Соотвественно тестер должен выдвигать гипотезу регистрировать её как задачу. Решать эту задачу. Вообще тут лучше изучить практику разработчиков поисковиков.

грубо и конструктивно не всегда взаимоисключают друг-друга. ладно, потрём.
что бы не заниматься отчётным очковтирательством и прочим вредительством, отчётность и различные процессы прорабатываются внутри, в контакте со всеми вовлечёнными и учётом собственной специфики. что тут? тестеры и прочие на конторе посланы лесом, не разобравшись в специфике фантазируются требования + кто-то там со стороны ещё чего подкинет. "эффективные манагеры", где-то это уже было...

DimkaFriend писал(а):Ваш наплевательский подход к созданной теме понятен.

И что же вам понятно, мр. телепат?

DimkaFriend писал(а):И по существу вам, по ходу, и сказать нечего.

Тогда зачем пришли сюда с этой "темой" и реагируете неадекватным образом? Вам постраться было негде или учиться сюда пришли.

DimkaFriend писал(а):А утолить свое желание поострить можно и в соц. сетях вместе со школотой.

Вы же сами написали место, где можно было это сделать:

DimkaFriend писал(а):Форумы для того и придуманы что бы обменивается опытом и задавать вопросы.

Да и неприлично, придя на новый ресурс, никого не зная, начинать приделывать всем "ноги" под флагом "я учениг, школьнег".

Задание дали а формат отчета сами придумываете ?
Забавный подход.
Я правильно понимаю что результаты нейросети вы планируете в ручную разбирать (точнее сравнивать с результатами обработки собственным мозгом) ??

Если поставлена задача "Требуемый процент достоверности от НС – 99,9%.", то очевидно должно быть строго прописано определение, как этот % считать.

Ну а дальше база элементарна - берем и считаем этот % по заданному алгоритму на вашей контрольной выборке. Главная цифра отчета - вот этот самый % посчитанный "как надо".

Всё остальное сильно зависит от того, что считается ложными сработками.
1. Просто наличие животного в кадре - можно считать ложно-положительные и ложно-отрицательные кейсы.
2. Если координаты животного в кадре - можно считать распределение отклонений от корректных координат и т.п.

Pavia писал(а):Судя по первому посту вас взяли на работу, а что делать не объяснили. Такая вакансия по моему в объявлениях давно висела.
Соответственно рекомендую подойти к начальнику и узнать.

Багрепорты(формат):

Указание времени кадра(диапазона части видео)
Описание возникшего дефекта.
Ожидаемый результат.

Сценарий тестирования.
Описание частей видео(интервал времени в из предоставленного видео-потока) для дальнейшего тестирования правок.

Пожалуйста выскажите свое видение данного процесса и видение формата и структуры предоставления отчета.

Нейросети так не работают. Статистические не различимые данные попросту будут отброшены НС. Поэтому в отчёте должен быть альбом изображений. Так как Вы заявляете точность 99.9% или другими совами 1 ошибка на 1000.

То соответственно минимальная отгрузка в отчёте должна быть из 1000 фотографий. Разумеется размеченных. И описание способа(алгоритма) получения.

У вас должны быть описаны требования к НС.
- Нечувствительность к повороту
- нечувствительность к шумам матрицы
- частичное закрытие объектов
- нечувствительность к засветке и бликам
и тд.

Соответственно в отчёте нужно ссылаться на пункт требования в ТЗ(или SRS или чё у вас там?) .

Описание частей видео(интервал времени в из предоставленного видео-потока) для дальнейшего тестирования правок.

Формат разметки сырых данных у вас должен быть определён как формат датасета. А так да url и интервал используется для трекинга.

Это было тестовое задание только. По понятным причинам формат отчета не дали. Но могу сказать что отчет само задание делал согласно приведенного мной плана.
Конечно я не раскрывал вообще полностью все детально при выполнении тестового задания. Выполняя его я делал ставку на систематизированный подход.
Подход заключался в следующем:
Просмотре видео я расчленил его на проблемные отрезки.
Проблемные отрезки, я отсортировал по классам эквивалентности ошибок.
Создал набор багрепортов по получившимся эквивалентным классам ошибок(в каждом багрепорте я указал файл, и интервалы видео потоков содержащих эквивалентные ошибки). Указал общее описание проблемы, результат и ожидаемый результат.
После сформировал список видео отрезков от простых к сложным для дальнейшего обучения нейронной сети.
Такой список я формировал для каждого класса ошибок.

Результат: работонанимателя устроил такой подход решения задачи.

Я прекрасно понимаю что данный подход близок к дилетантскому, по при вступлении в должность в моем распоряжении окажется архив компании по дефектологии таких систем. Где я и увеличу свои скилы.

Добавлено спустя 3 минуты 31 секунду:

Pavia писал(а):
Есть книга "Алгоритмы интеллектуального Интернета". Так вот она пишет, что сбор примеров для проверки гипотезы должно идти автоматически. Соотвественно тестер должен выдвигать гипотезу регистрировать её как задачу. Решать эту задачу. Вообще тут лучше изучить практику разработчиков поисковиков.

Спасибо большее за рекомендацию, возьму на "вооружение".

Добавлено спустя 15 минут 22 секунды:

Madf писал(а):Да и неприлично, придя на новый ресурс, никого не зная, начинать приделывать всем "ноги" под флагом "я учениг, школьнег".

Неприлично начинать общение с провокации, мне хватило терпения вежливо объяснить почему я пришел задавать вопрос сюда.
Мне стоило все же учесть что не все на форуме альтруисты(вы тому живое доказательство).

Насчет

Madf писал(а):начинать приделывать всем "ноги" под флагом "я учениг, школьнег".

человек всегда является учеником, и обучается всю жизнь всему что по жизни попадается.
И ноги я приделал только вам, так как вы "сударь(ыня)".

Тут я увидел достаточно адекватных людей которые так не осудят.

Добавлено спустя 5 минут 4 секунды:
Спасибо всем кто поучаствовал в данной теме.
К сожалению я что то не понял как поставить плюсы профилям.
Можно подсказать в ЛС. Обязательно проставлю.
Данную тему закрываю.