Разработчики из Канады создали алгоритм, который позволяет масштабировать аниме в реальном времени. По заявлению авторов, Anime4K — это современный высококачественный алгоритм масштабирования с открытым исходным кодом, который может быть реализован на любом языке программирования в любом проекте.

«Наша основная цель — масштабировать аниме-контент до 1080p для экранов 4K. Современные алгоритмы масштабирования не подходят для работы в реальном времени из-за множества факторов. Результаты работы таких алгоритмов, как Bicubic или xBR, неудовлетворительны. Эти алгоритмы были созданы для другого контента и смягчают границы рисунка, что недопустимо для аниме. Подходы, основанные на машинном обучении (такие как waifu2x, VDSR, EDSR и т.д), слишком медленные для работы в реальном времени, особенно с разрешением UHD», — сообщается в препринте разработки.

Авторы алгоритма отмечают, что, как правило, кадры аниме не содержат много текстур. В основном, они состоят из плоских заштрихованных объектов и линий. Таким образом, зритель может быстро заметить низкокачественную картинку, поскольку заметна даже небольшая размытость.

«Поэтому мы решили найти хороший алгоритм уточнения границ. Четкие края важнее для масштабирования аниме, чем восстановление мелких деталей, таких как текстура. Как правило, чем менее размыто изображение, тем тоньше линии границ рисунка. Наш алгоритм пытается минимизировать толщину линии. Цель состоит в том, чтобы модифицировать LR_U (размытое изображение), пока его границы не станут самыми тонкими, что даст нам HR (чёткое) изображение».



Преимущество алгоритма, поясняют авторы, заключается в том, что он не зависит от исходного масштаба. Изображение может быть неправильно масштабировано изначально, и Anime4K алгоритм все равно обнаружит размытые края и уточнит их.

«Таким образом, изображение может быть заранее увеличено с помощью любого алгоритма, который предпочитает пользователь (Bilinear, Jinc, xBR или даже waifu2x), и [разработанный нами] алгоритм будет корректировать края и удалять размытие. Запуск этого алгоритма в аниме с разрешением 900p создаёт результат, похожий [по качеству] на 1080p. Если размытие сильнее, мы просто запускаем алгоритм снова».

Авторы уверены, что некоторые уточнения к Anime4K (например, более аккуратное обнаружение границ рисунка) улучшат качество изображения, но для доработки алгоритма необходимо время.
«Если читатель заинтересован, он может попробовать улучшить наш алгоритм», — заявляют авторы.

Комментарии (22)


  1. cyber_roach
    15.08.2019 13:49

    Новость, отличная, но не для РФ )
    Почти все сайты с аниме заблокированы, по тем кто еще жив идут суды.


    1. mig126
      15.08.2019 14:26
      -1

      Не все и даже не половина. Просто парочка особо «умных», нашла эффективную схему борьбы с конкурентами. Муж покупает права на эксклюзивное воспроизведение на территории России, и подаёт в роскомпозор заявление на незаконное использование контента на все сайты кроме тех что владеет его жена. А гос. структура и суды не разбираясь блокируют, даже те сайты где данного контента нет и не было, но т.к. раньше они «нарушали», то их решили превентивно заблокировать. Естественно без уведомления и приглашения на суд.

      Вот тут даже схемку нарисовали.


      1. filkt
        15.08.2019 15:58

        [del]


    1. Sirion
      15.08.2019 16:00
      +3

      Если человек действительно хочет смотреть онемэ, роскомнадзор бессилен.


    1. germn
      15.08.2019 18:27

      Назовите хоть один заблокированный сайт с лицензионным аниме.


      1. cyber_roach
        15.08.2019 19:48

        Провокационный вопрос.
        Суть в том, что лицензий на аниме в РФ не так много.
        И, насколько я знаю, именно лицензионный контент — не показывался, даже удалялся полностью с некоторых сайтов.
        Встречный вопрос, зачем заблокировали каталоги, где вообще не было видео?


        1. germn
          15.08.2019 20:46
          -2

          Блокировали сайты, на которых была возможность просматривать нелицензионное аниме. Некоторые из таких сайтов удаляли плееры уже после внесения в список на блокировку и, когда чуть позже их начинали блокировать провайдеры, возмущались: «так мы уже всё удалили». Проблема тут не в рассинхронизации списка на блокировку и статуса нарушения, а в самом факте, что нарушение было. Сайты, которые нелицензионный контент не размещали изначально, под блокировку, на сколько я знаю, не попадали.


          1. mig126
            15.08.2019 21:27

            А как узнать что права на лицензию что то купил? Эта информация где то официально в одном месте публикуется? Или нужно ежедневно перелопачивать весь интернет, но и это не поможет, т.к. аниме на сайте было расположено.
            Ребята берут интересное аниме, переводят его, потом раз, без объявления войны сайт заблокирован. Ни уведомлений, ни повестки в суд, ни хотя бы досудебной просьбы удалить спорный контент(на который эти сайты легко шли).
            Тут была именно борьба не рыночными методами.

            Вот текст(только в виде картинки, другого не нашёл), как вам формулировочки?


            1. germn
              16.08.2019 05:46

              > Ребята берут интересное аниме, переводят его, потом раз, без объявления войны сайт заблокирован.

              Ребята размещают пиратское видео для всеобщего просмотра. После этого сайт блокируется так же, как это обычно происходит, например, с фильмами или музыкой.

              > ни хотя бы досудебной просьбы удалить спорный контент(на который эти сайты легко шли).

              Правообладатель не обязан пытаться решить что-то досудебно. У него есть возможность заблокировать пиратов — он ей пользуется. Не хотите внезапной блокировки — не пиратьте: всё просто.


            1. TonyLorencio
              16.08.2019 11:35

              Ребята берут интересное аниме, переводят его, потом раз, без объявления войны сайт заблокирован.

              Ребята не маленькие, должны понимать, что они находятся в так называемой "серой зоне", и что их в любой момент (с приобретением лицензии некоторой всем известной стороной) могут попросить удалить контент, а они должны его удалить.


              Другое дело, что в наших реалиях просьбы может и не быть


          1. cyber_roach
            15.08.2019 22:00
            +1

            Ну ок, допустим:
            1) Вы размещаете контент, лицензий на которых в принципе нет в вашей стране, допустим это ваша фанатская сборка Half-live озвученная вами и вашими друзьями в древнерусском стиле.
            — при этом сам контент вы не продаете, он размещен на вашем сайте бесплатно
            т.к. авторские права все же вам не принадлежат, продавать это вы не можете.
            (понятное дело что сайт зарабатывает что-то на рекламе)
            2) Спустя 4 года, Некая фирма ООО «Игры» покупает у Valve лицензию на распространение своей оригинальной озвучки игры Half-Live в вашей стране
            3) ООО «Игры», как того требует законодательство, прежде чем обратится в суд, шлет вам уведомление, о том что у них теперь официальная лицензия на Half-Live в России и просит удалить игру с вашего ресурса
            (хотя многие говорят что и уведомлений не было, но предположим вам все же пришло)
            4) Вы удаляете контент со своего сайта
            5) ООО «Игры» не делает озвучки Half-Live, она как патентный троль, падает на вас в суд
            6) Вам не приходит уведомление с требованием явится в суд
            7) На суде ООО «Игры», предъявляет Скриншоты!, того, что на вашем сайте раньше была размещена игра Half-Live
            8) Т.к. вас нет в суде, вы не можете это как-то оспорить и ваш сайт попадает под блокировку с формулировкой вида «а вдруг они там снова что-то разместят такое в будущем»

            Несмотря на то, что главный объект спора, «Charlotte», на момент судебного заседания уже был удален с указанных сайтов, что подтверждается актами мониторинга Роскомнадзора от 21 марта 2019 года, суд всё же решил решил, что это
            «не имеет по настоящему делу правового значения, так как не устраняет саму угрозу нарушения исключительных прав истца в будущем, тем более, что спорное аудиовизуальное произведение ранее размещалось на сайтах».


            Вопрос стоит в законности принятий таких решений.
            Под раздачу попали все без разбора (и те кто действовал в законодательных рамках, и кто действительно пиратил).
            Любая лицензия имеет дату начала своего действия и срок действия.
            Насколько мне известно, ни одна японская студия, как владелец авторских прав на аниме видеоконтент, не предъявляла претензий к фанатским озвучкам аниме в России, хотя люди занимаются этим с 90х (и не только в РФ), на мой взгляд это основополагающий момент в таких вопросах.
            Так же важен факт того, что люди, подающие иски, сами занимаются пиратским контентом (схему выше в комментарии дали)


            1. germn
              16.08.2019 05:52

              > допустим это ваша фанатская сборка Half-live озвученная вами и вашими друзьями в древнерусском стиле.

              Вот на этом месте нужно остановится и понять, что чужую интеллектуальную собственность без разрешения размещать нельзя. Даже если проблем не будет сейчас, они наступят рано или поздно.

              Всё остальное — лирика. Хотете поспорить — идите в суд. Однако как сами, думаю, видите, суд пока что совсем не на стороне пиратов.


              1. cyber_roach
                16.08.2019 09:34

                Вы в ваших статьях картинки и фото размещаете исключительно с разрешения их изначальных авторов?
                Сами статьи переводите с разрешения авторов?
                У вас есть договоры передачи прав (лицензии)?
                Если нет, ну по вашей логике тогда вы один из самых страшных пиратов, учитывая количество контента))
                Если на каждую картинку/фото и на перевод текста у вас имеются лицензии, я сниму шляпу и поклонюсь за каторжный труд во благо общества.

                Правообладатель не обязан пытаться решить что-то досудебно

                Вообще-то обязан. Суд требует подтверждения официальных предупреждений.


  1. mig126
    15.08.2019 13:49

    Фактически конвертер в векторное изображение только для видео и реалтайм. Вопрос только в том какое железо нужно для реалтайма.


    1. V1tol
      15.08.2019 15:33

      В препринте написано, что 3 мс на Vega 64 и даже Ryzen 5 2500U APU с Vega 8 справляется за 9 мс. Этого с головой хватает укладываться в 41 миллисекунду для 24 FPS видео.


      1. mig126
        15.08.2019 17:07

        Т.е. реалтайм смотреть только с компьютера. ТВ приставка такое не потянет.


        1. V1tol
          15.08.2019 17:27

          В репозитории лежат шейдеры, их в принципе можно на любом GPU запустить.


      1. Cheater
        15.08.2019 17:53

        del


  1. aamonster
    15.08.2019 14:04

    Хм… Идём в википедию и читаем про фильтры, используемые в ZSNES.


  1. DistortNeo
    15.08.2019 16:41
    +1

    На отдельных кадрах есть хорошо заметные косяки:


    1. 13.png: ровный градиент распадается на несколько полосок.
    2. Art_0_1.png: потерялась ровность линий.
    3. Эффект акварелизации немного бросается в глаза.

    P.S. Хотелось бы видеть сравнение на видео, а не на отдельных кадрах.


    1. foxyrus
      15.08.2019 16:45

      2. ровность теряется при применении двух алгоритмов.


  1. lain8dono
    15.08.2019 21:28

    По ощущениям стало только хуже. Нейронная сеть, обученная на чуть более чем 200 сутках совокупного экранного времени, может практически полностью исправлять артефакты билинейной интерполяции. И даже ставить ничего не нужно.