Американский артист продемонстрировал возможности нейросети NeuroTalk, описывающей сцены видео в режиме реального времени. Система делала ошибки, исправляла себя, но иногда правильно рассказывала о происходящем. «Мужчина держит сосиску в булочке с горчицей и кетчупом», «ножницы сидят на столе рядом с кошельком» и «вид поезда из окна поезда» — на видео под катом.



В последние несколько лет компьютеры неплохо научились распознавать объекты на изображениях, будь то лица, животные или мебель. Нейросети, способные со временем обучаться, могут описывать сложные сцены. Из видео, снятого американским артистом и программистом Кайлом Макдоналдом, понятно, что системы далеки от стопроцентной точности. Макдоналд модифицировал нейросеть, разработанную исследователями из Стэнфорда и Google, чтобы анализировать видео, снятое на веб-камеру на улицах Амстердама.

Артист использовал открытое программное обеспечение NeuralTalk. Оно способно описывать сцены в режиме реального времени. Программа делает ошибки, иногда поправляет себя. Иногда подобные системы относят к искусственному интеллекту, но делают это с натяжкой: описывая изображения и видео, ПО не понимает, что на картинке — оно просто ищет связи между объектами.



Над похожей системой работает Facebook. Компания разрабатывает систему, которая распознаёт объекты и людей на фотографиях, в том числе — чтобы сделать социальную сеть доступнее для людей с ограниченными возможностями. Об анализе видео Facebook пока не вела речь, но можно предположить, что компания рассматривает эту идею для интеллектуальной настройки ленты новостей.


С помощью таких фотографий разработчики Facebook обучают систему распознавать породу собак

Комментарии (12)


  1. dokito
    26.11.2015 21:10
    +5

    Кого-то мне эти парни напоминают.


    1. EugeneButrik
      26.11.2015 21:39
      +12

      Не знаю кого они вам там напоминают, но почему Боб сбрил бороду?!


  1. krox
    27.11.2015 05:08

    А нельзя ли подобную систему адаптировать для людей потерявших зрение, чтобы она описывала препятствия на пути?


    1. ivansychev
      27.11.2015 09:36
      +1

      Кое-что подобное было. В апреле 2014 года в продаже появилась система OrCam — это, по сути, «искусственное зрение». Специальная камера крепится на очках, она распознает предметы и лица, а также печатный текст, но рукописный ей непонятен. В этом видео – то, что разработчики ждут от камеры, не всё из представленного возможно.

      image


  1. SOLON7
    27.11.2015 09:55
    -1

    NeuralTalk Find me a terrorist!
    NeuralTalk Find a man with a gun ))


  1. samodum
    27.11.2015 11:57
    +1

    Ну да, а потом система попросит одежду, ботинки и мотоцикл


    1. ivansychev
      27.11.2015 14:17
      +2

      Только не будет понимать, что это такое.


      1. dtestyk
        27.11.2015 17:34
        +1

        смотря что значит понимать


  1. dtestyk
    27.11.2015 11:59

    Похоже на автоматизированное создание текстового квеста,
    как с актеров записывают движения игровых персонажей.


  1. ingumsky
    27.11.2015 22:35

    Под словом «артист» у вас скрывается калька с английского artist? Тогда в случае вашего текста это переводится как «художник».


    1. ivansychev
      28.11.2015 08:26
      -1

      Википедия подсказывает:
      «Артист в широком смысле — деятель искусств, человек, занимающийся творчеством в какой-либо области искусства, художник (живописец, скульптор и т. д.), музыкант (певец), актёр»

      Всегда был уверен, что это определение разделяет большинство людей.


      1. ingumsky
        28.11.2015 11:48

        Формально это определение верно, но в русском языке слово «артист» обычно используется в более конкретном значении. Артист — это представитель определённого круга зрелищных искусств (актёр, певец, музыкант), например, артист театра драмы, артист цирка и т.д. Использование этого слова в том контексте, в котором оно идёт у вас, является, по сути, стилистической ошибкой.