16.06.2022 14:53
virtual_explorer 239 27000 Источник
Кто из них белый, а кто темнокожий? Сможете определить?
Кто из них белый, а кто темнокожий? Сможете определить?

Новые исследования показывают, что нейросети способны определить расу любого человека по его рентгеновским снимкам. Что было бы совершенно невозможно для врача-человека, смотрящего на те же изображения.

Группа ученых из США, Тайваня и Канады опубликовала свою работу в журнале The Lancet Digital Health.

Они обучили свой ИИ, используя сотни тысяч рентгеновских снимков, содержащих информацию о расе пациента. Потом скормили ему несколько тысяч снимков без указания расы. И попросили машину угадать, где какой человек. Нейросеть до этого никогда не видела конкретно этих изображений, и не имела о них никакой дополнительной информации. Но она угадывала расу человека (белый, темнокожий, азиат) с удивительной 98%-й успешностью. Даже когда сканы брали у людей одного и того же возраста, пола и комплекции.

Вероятность определения расы человека по его рентгену. Белые не в фаворе
Вероятность определения расы человека по его рентгену. Белые не в фаворе

Эта же команда проводила похожий эксперимент (pdf) около года назад. Тогда для обучения алгоритмов авторы использовали больше разных наборов данных. В том числе компьютерную томографию грудной клетки, рентген кистей рук, маммографию и рентген шейного отдела позвоночника. По этим данным их ИИ смог угадывать расу пациента в 80—92% случаев.

Еще год ушел на то, чтобы попытаться понять, как именно нейросети видят разницу, и неужели расисты всех стран были правы. В попытке объяснить поведение своих моделей команда рассмотрела множество вариантов:

  • наличие пока нам неизвестных различий в физических характеристиках между различными расовыми группами (габитус тела, плотность груди);

  • алгоритм может ориентироваться по специфике выявляемых заболеваний — например, у темнокожих пациентов чаще встречается диабет и заболевания сердца;

  • специфические характеристики тканей — например, темнокожие имеют более высокую минеральную плотность костной ткани;

  • способность систем глубокого обучения комбинировать несколько демографических факторов и информации о пациенте.

Но все эти варианты не годились. Потому что, учитывая новый опыт, получалось, что машина лучше предсказывает расу человека по одной рентгенографии грудной клетки, чем по совокупности всех других меток и факторов.

Например, ученые протестировали, смотрит ли их ИИ на плотность костной ткани. Всё-таки модели тренировались на изображениях, где более толстая часть кости казалась белой, а тонкая — полупрозрачной. И, возможно (?), из-за особенностей питания или условий проживания, у темнокожих людей кости в среднем содержат больше минералов, и являются более толстыми. А какие-то минимальные отличия в цвете костей на снимках находит нейросеть и делает свои выводы.

Чтобы проверить это, ученые обработали изображения фильтром так, чтобы ИИ не смог различать цвета. Оказалось, что это не смутило модель — она по-прежнему очень точно предсказывала расу — с вероятностью 94-96%. То есть, ухудшение едва ли превышало величину статистической погрешности. А может, фильтр просто ухудшал какие-то другие аспекты изображения, которые подавали сигнал модели.

От изначальной картинки иногда оставалось очень мало
От изначальной картинки иногда оставалось очень мало

Даже когда изображения пропускали через несколько фильтров, и в итоге они вообще становились мало похожими на медицинские снимки, нейросети всё равно сохраняли очень высокую точность, выше 60%.

Исследователи в своей статье говорят:

Мы показываем, что стандартные модели глубокого обучения ИИ могут определять расу по медицинским снимкам с высокой точностью в нескольких модальностях визуализации. Это подтверждается внешними проверками.

Это поднимает тревожные вопросы о роли ИИ в медицинской диагностике и лечении: могут ли модели непреднамеренно проявлять расовую предвзятость при изучении подобных изображений?

Ученые до сих пор не уверены, почему их нейросеть так хорошо определяет расу по изображениям, которые с виду не содержат никакой такой информации. Текущая главная версия — возможно, модель находит какие-то признаки наличия меланина, пигмента, придающего коже ее цвет. Кожи, конечно, на рентгеновских снимках вообще нет, но может, это нам так кажется? Может, просто наш человеческий глаз её не замечает. А для ИИ какие-то остаточные свечения размером в пару пикселей ясны, как день.

Это объяснило бы, почему никакая обработка изображения фильтрами почти не влияет на точность предсказаний модели. Но тут забавно то, что ИИ с одинаковой успешностью отличает и африканцев, и азиатов. Причем азиатов иногда (при умышленном ухудшении изображения) даже немного лучше. Если дело здесь только в меланине, то такой результат довольно сложно объяснить.

 

Расистский ИИ?

Ученые в своей работе пишут:

Наш вывод о том, что ИИ может точно предсказывать расу, даже по зашумленным и искаженным изображениям, на самом деле создает огромный риск для всех развертываний таких моделей в медицинской визуализации.

Новая работа, по их словам, еще раз доказывает, что системы ИИ часто могут отражать предубеждения людей, будь то расизм, сексизм или что-то еще. Искаженные обучающие данные (которые с виду, для человеческого глаза, кажутся нормальными) приводят к искаженным результатам, что сделает их куда менее полезными, а потенциально даже опасными, как минимум для компаний. Та же Amazon до сих пор никак не может оправдаться от скандала, когда оказалось, что их секретный ИИ, помогающий с наймом, специально старался не нанимать женщин, по какой-то своей модели посчитав их менее полезными сотрудниками.

В итоге эту проблему очень сложно решить: нам нужен ИИ, чтобы обрабатывать всё растущие объемы данных. Но мы часто, из-за своей ограниченности, не можем проследить, чтобы выводы системы были справедливыми и не следовали каким-то бездушным машинным критериям, тихо дискриминируя людей по полу, цвету кожи или, скажем, фамилиям.

Ученый и врач Энтони Чели из Массачусетского технологического института пишет:

Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов в больницы и вообще в крупные структуры, пока не будем уверены, что они не принимают расистских или сексистских решений.

Остается много вопросов, на которых у нас нет ответа. Сейчас важно, как минимум, осознавать возможность проявления различной предвзятости в таких моделях. Особенно если мы собираемся передать им больше ответственности в будущем.

Несложно вообразить, какие последствия могут быть даже у немного расистского ИИ. Скажем, будет Tesla Маска ехать по дороге, и перед ней станет выбор: врезаться в белого пешехода, или в пару темнокожих. Или какой-то робот нахватается информации о Второй мировой, и почувствует, что с евреями вообще-то ассоциируется много всего плохого, так что надо навсегда закрыть их вопрос.

Такие истории уже существуют. Например, используемые в судах системы ошибочно решили, что темнокожие подсудимые в два раза чаще совершают повторные преступления. И поэтому назначали им больший залог, и предлагали давать более суровые сроки. А когда другую нейросеть использовали для подсчета затрат в сфере здравоохранения, она сделала вывод, что люди с темной кожей всегда здоровее, чем белые пациенты, даже если у них одни и те же болезни. Потому что на них в среднем тратилось меньше денег.

В 2016-м один ИИ, прошерстив интернет, вообще понял, что «белые» имена — это хорошо и приятно, а наличие людей с «черными» именами — это плохо… Если дать такому роботу что-то решать, то так можно и во времена рабовладения вернуться, или чего похуже.

Так что пока мы не выясним хотя бы, как машина умудряется видеть расу в рентгеновских снимках, робота-президента нам можно не ждать.

Промокод для читателей нашего блога!

— 15% на все тарифы VDS (кроме тарифа Прогрев) — по промокоду HabrFIRSTVDS.

50 тысяч активных серверов и 10 тысяч клиентов, которые с нами больше 5 лет.

Комментарии (239)


  1. Goupil
    16.06.2022 15:01
    #24443954
    +79

    Сетки наконец видят паттерны, которые нашими глазами не видны — тут радоваться надо, такой простор для деятельности.


    1. seonn
      16.06.2022 16:47
      #24444280
      +40

      проблема только в том, что теперь структура сеток теперь настолько запутана и сложна, что группа авторов сетки, нашедшей паттерн, за несколько месяцев не смогла понять, в чем же этот паттерн заключается. В светлое техножречество идем!


      1. Goupil
        16.06.2022 16:53
        #24444294
        +9

        теперь структура сеток теперь настолько запутана и сложна, 

        Это изначальная фича любой сетки сложнее однослойного персептрона - как там веса на конкретном уровне связаны с предсказанием богу одному понятно, но все работает (в биологических ситсемах также). Есть подходы по интерпретации конволюционных сеток - Saliency Maps и все такое, что обычно выглядит очень красиво и наглядно, но видимо в конкретном случае сетка собирала фичи со всей картинки, человеческому глазу не за что зацепиться.

        И таких ситуация будет все больше и больше. Пора жреческую робу красить в красное.


        1. Moskus
          16.06.2022 20:29
          #24444898
          +2

          Только почему-то (понятно почему, на самом деле - потому что люди сами нередко принимают решения подобным образом и даже по требованию не могут представить рациональную мотивацию) вопрос неинтерпретируемости методов принятия решений так называемым ИИ очень мало кого волнует. С другой стороны, может быть хоть через подобные (во многом, параноидальные) размышления вслух о возможном "расизме" до кого-то дойдет, что нет ни малейшей надежной возможности выяснить, на основании чего ИИ принял то или иное решение.


          1. vconst
            16.06.2022 22:56
            #24445264
            +9

            С антропологией все просто, я сам могу с помощью промеров черепа определить расу, меня этому целый семестр учили, хоть и давно

            Если сетка может это сделать по любым частями скелета — это отличный результат, я бы порадовался за учёных


            1. Moskus
              17.06.2022 05:33
              #24445770

              При чём тут в конкретной ситуации антропология? Да, мы узнали, что (скорее всего) есть разница в строении грудной клетки между разными расами. Но речь о том, что ни выяснить, в чём конкретно, ни проверить, не используется ли подобное знание для принятия решений на основе корреляции, а не связи - нельзя.


              1. saege5b
                17.06.2022 10:59
                #24446646
                +2

                Я ожидал что они проверятся по 3д модели скелета. Поиграются пропорциями, добавят/убавят рёбер/позвонков.

                Сейчас больше похоже, что они застолбили тему.


              1. vadimr
                17.06.2022 14:52
                #24447572
                +2

                Какая разница для принятия решения, коррелляция там или связь? Это чисто идеологические человеческие загоны, не имеющие рационального содержания.

                В Ленинградской области, если вас укусит клещ, то вам посоветуют подождать результатов анализа насекомого, а в Красноярском крае сразу вколют иммуноглобулин. Именно потому что существует корреляция между регионом и вероятностью инфицирования и тяжестью заболевания. А причинно-следственной связи нет.


          1. rg_software
            17.06.2022 06:04
            #24445802
            +2

            Я бы не сказал, что мало волнует. Explainable AI -- вполне себе горячая тема.


      1. praeivis
        17.06.2022 08:22
        #24445996

        А можно натравить ИИ на эти данные чтобы нашли паттерн?


      1. Color
        18.06.2022 15:11
        #24450704

        Добро пожаловать в технологическую сингулярность. Далеко ходить оказалось не нужным.


    1. xsevenbeta
      16.06.2022 18:21
      #24444570
      +10

      Это по сути то же самое, что интуиция. Как и в случае с интуицией бывает довольно сложно объяснить, почему это сработало в данном конкретном случае.
      p.s эти накидывания про "расизм" для того, чтобы статья была более обсуждаема - не очень :(.


      1. Moskus
        16.06.2022 20:24
        #24444886
        +6

        К большому сожалению, это не "накидывания", а вполне обычная (пусть и не универсальная, что тоже важно понимать) ситуация, существующий контекст, в котором рассуждают многие ученые (особенно - молодые), которым довелось учиться гуманитарным предметам у старых хиппи и социалистов, осевших на гуманитарных кафедрах немалого числа западных университетов.


      1. vconst
        16.06.2022 23:18
        #24445326
        +2

        Это не интуиция, это математический анализ, но основанный на более тонких отличиях, чем может увидеть человек

        Математика, а не мистика


        1. Moskus
          17.06.2022 00:51
          #24445550
          +3

          Сходство с "интуицией" (которая никакая не мистика) - в том, что способ принятия конкретного решения в обоих случаях нельзя ни узнать, ни проанализировать.


          1. 0xd34df00d
            17.06.2022 01:01
            #24445572
            +1

            Мы, кажется, уже дискутировали в комментариях про интерпретируемость (но не факт, что с вами), но я так и не понял, чем какие-нибудь условные общепринято интерпретируемые решающие деревья лучше — ну будет у вас узел «если корень из возраста, умноженный на срок жизни в текущем доме, меньше 40, то отказать в кредите» — будет легче?


            1. Moskus
              17.06.2022 05:34
              #24445778
              +1

              Вы намеренно путаете необходимое и достаточное условие?


              1. 0xd34df00d
                17.06.2022 05:40
                #24445784

                Я пытаюсь понять обсуждаемое определение интерпретируемости. У меня есть впечатление, что ему не удовлетворяет ни одна статистическая модель.


                1. Moskus
                  17.06.2022 05:50
                  #24445794

                  "Простым языком" - возможность так или иначе узнать, на основании каких качественных или количественных признаков сделан вывод. Если этой возможности нет, то дальше и рассуждать не о чем. Если есть, можно оспорить "корень из возраста" из списка признаков, как негодный критерий.


                  1. 0xd34df00d
                    17.06.2022 06:12
                    #24445804
                    -1

                    Хорошо, давайте для тупых (для меня) на примерах.


                    В частности, давайте возьмём один из простейших алгоритмов классификации — логистическую регрессию. Там решающее правило простое — если функция 1/(1 + e^{-П_i w_i x_i}) больше 0.5, то это один класс, а если меньше — то второй. x_i — i-й признак, w_i — его вес. Веса берутся из некоторой оптимизационной задачи (максимизация правдоподобия на известных примерах), а там уж как градиенты сошлись.


                    Является ли эта модель интерпретируемой?


                    1. Moskus
                      17.06.2022 07:19
                      #24445868

                      Я понимаю, что вы, вероятно, клоните к ситуации в промежутке, где рост числа факторов и сложности их влияния на классы делает слабо возможным прослеживание связи конкретного класса с конкретными параметрами на входе.

                      Так что принцип работы такой модели - интерпретируемый, конкретная модель может становиться неинтерпретируемой из-за сложности.


                      1. 0xd34df00d
                        17.06.2022 07:25
                        #24445876

                        делает слабо возможным прослеживание связи конкретного класса с конкретными параметрами на входе

                        Вы всегда можете (по крайней мере, в теории) взять производную модели по всем параметрам в окрестности данного конкретного вектора параметров и посмотреть, что её шевелит больше всего. Но только толку с этого?


                        Так что принцип работы такой модели — интерпретируемый, конкретная модель может становиться неинтерпретируемой из-за сложности.

                        Ну вот и с нейросетями что-то такое. На одной стороне спектра у вас что-то однослойное, аналогично суммирующее с весами и пропускающее через какую-то функцию, на другой — всякие жэпэтэ с миллиардами параметров.


                      1. Moskus
                        17.06.2022 15:27
                        #24447702

                        Ну так вот проблема с этим "спектром" в том, что критерию практической возможности проследить влияние отвечает только вырожденный случай.


                      1. 0xd34df00d
                        17.06.2022 18:27
                        #24448558

                        … у любой модели.


                      1. Moskus
                        17.06.2022 18:38
                        #24448598

                        Да ну, у любой.


                      1. 0xd34df00d
                        17.06.2022 18:44
                        #24448616

                        У любой, включая упомянутые выше почти школьные модели.


                        Понятно, что любую модель можно будет зарегуляризовать насмерть, чтобы она использовала не больше нескольких фич, и не использовать нелинейные фичи (всякие там корни и произведения возрастов на сроки), но это будет как раз упомянутым вами вырожденным случаем.


                        Да и качество у такой модели будет существенно хуже. Вы бы предпочли лечиться у модели, которая ставит правильный диагноз из двух с 95%-вероятностью, но хз почему, или у модели, которая ставит его с 60% вероятностью, зато интерпретируемо?


                      1. Moskus
                        17.06.2022 20:25
                        #24448854

                        Я предпочитаю решение подобных задач методами, которые основаны на реальном понимании зависимостей между явлениями. А не на статистических моделях, ведущих себя, как низкофункциональный аутист, который может найти за секунду миллион мелких различий между двумя картинками, но не понимает, что на них изображено. К чёрту такого "доктора". Максимум, для чего это пригодно - это предварительная выборка вариантов и их сортировка.

                        Контр-пример того же персонального характера - вы согласитесь, чтобы вас лечил человек, который прогулял лекцию, где рассказывали про инфекционные и неинфекционные воспаления, но помнит, что когда у Васи неизвестно от чего распухла нога, ему помог дексаметазон?


                      1. 0xd34df00d
                        17.06.2022 21:00
                        #24448948

                        Я предпочитаю максимизировать свои шансы на успех и минимизировать риски. Поэтому мне на самом деле совершенно плевать на аутичность модели — если она себя хорошо показывает на контроле-тесте, и если эти выборки достаточно большие (и, соответственно, мои шансы быть достаточно близко к покрываемой ими области пространства достаточно высоки), то меня это устроит.


                        Shut up and calculate.


                      1. Moskus
                        17.06.2022 21:19
                        #24449010

                        Право любого человека - лечиться как он хочет (не за чужой счет, естественно).

                        Однако, если мы говорим о превосходстве или недостатках тех или иных способов принятия решений, сам факт того, что люди эволюционировали до абстрактного мышления, сохранив конкретно-предметное, показывает, что одного конкретно-предметного (а именно ему аналогичны статистические модели) для чего-то было недостаточно.

                        Вообще же, опора на одну статистику вполне демонстрируемо ущербна не только в особых случаях. И спасает, скорее, тогда, когда другой способ вообще недоступен, или он слишком "дорог".

                        Я очень надеюсь, что вы не отрицаете преимущество способности использовать знание о причинно-следственных связях над способностью опираться только на корреляции. Вам вот тема гражданского оружия близка, а вы в курсе, что терапевты в базовом психологическом опроснике в США интересуются наличием оружия в доме, как фактором предсказания суицидальных тенденций?


                      1. 0xd34df00d
                        17.06.2022 23:55
                        #24449394

                        Если понимание причинно-следственных связей настолько важно, то модель (вернее, алгоритм) «врач» будет работать лучше, чем вся эта статистическая машинно-обучательная ерунда, и вопрос снимется сам собой.


                        При этом как узнать, что врач работает лучше, чем машинно-обучательная ерунда или чем другой врач? У меня нет вариантов, кроме как посмотреть на статистику выживаемости, качества жизни и прочих важных показателей у каждого из них. То есть, когда вы будете выбирать, у кого таки лечиться, вы всё равно пойдёте к врачу, и, скорее всего, не будете устраивать ему тест на логику.


                        И это я уж не говорю о том, что способов проверить, понимает ли данный конкретный врач причинно-следственные связи, у вас нет, если вы тоже не врач.


                        одного конкретно-предметного (а именно ему аналогичны статистические модели) для чего-то было недостаточно.

                        Из этого не следует, что любое конкретно-предметное мышление в любой области заведомо обречено на провал. То есть, вам неплохо бы показать, что его недостаточно не для чего-то, а для конкретной задачи.


                        При этом, для протокола, в машинном обучении в окрестности 2016-2018-го года я во многом разочаровался потому, что все забили на интерпретируемость и стали тупо стекать нейросеточки. Чего я тогда тут спорю, казалось бы? Ну, потому, что там другая интерпретируемость — а именно, интерпретируемость алгоритма построения моделей. Я отлично понимаю, как и почему работает какой-нибудь там SVM, чуть хуже — почему работает бустинг. При этом я могу не понимать на подразумеваемом вами уровне, почему конкретная построенная SVM'ом с конкретными ядрами модель что-то там решает — но мне это и неинтересно по упомянутым выше причинам. Мне важно, что сам алгоритм построения имеет некоторый смысл.


                        Почему это важно? Потому что, во-первых, я могу иметь какие-то там формальные оценки ошибок, обобщающей способности, и прочего. Во-вторых, я как ресёрчер [был] заинтересован в интерпретируемых алгоритмах построения моделей, потому что это позволяет их улучшать чуть более целенаправленно, а не «накидаем слоёв на стену, что прилипло — то в папир».


                        Вам вот тема гражданского оружия близка, а вы в курсе, что терапевты в базовом психологическом опроснике в США интересуются наличием оружия в доме, как фактором предсказания суицидальных тенденций?

                        Да, в курсе. Но я считаю, что, в зависимости от формулировок, это либо не является проблемой вообще, либо является далеко не основной проблемой.


                      1. Moskus
                        18.06.2022 08:54
                        #24449902

                        Стесняюсь спросить, вы когда в выборе опираетесь на статистику, понимаете, что в отдельных случаях (и мед. диагностика к ним относится) воспроизводимость может быть рассмотрена только в одинаковых условиях, а процесс детекции - не цепь? То есть что ваш индивидуальный случай полностью независим от других. И всё, что действительно объединяет ваш случай и N других - это общая механика (общая причина)? Что эквивалентно тому, что любое наблюдаемое/эмпирическое сходство следствий - это ложь (в том смысле, что из лжи следует что угодно).


                      1. 0xd34df00d
                        18.06.2022 20:47
                        #24451410

                        Понимаю. Но тогда предложите ваш метод выбора и критерий успеха, и объясните, почему ваш метод максимизирует ваш критерий.


            1. Refridgerator
              17.06.2022 06:40
              #24445834
              +1

              Именно так. Нейросеть — никакой не «искусственный интеллект» — а чисто математическая модель, аппроксимирующая 3d-функцию (т.е. набор 2d картинок) через интегральное преобразование, а классификация по параметрам (раса в данном случае) происходит чисто статистическими методами по неявно заданному распределению. Поэтому, если кому-то хочется конкретики, начать очевидно нужно с построения математической модели, явно описывающей исследуемое изображение — позвоночник, рёбра, их форму, пропорции и положение относительно друг друга. Далее группируем и по каждому параметру или их отношению также явно считаем распределение, которое аппроксимируем одним из стандартных, и в итоге получим небольшой набор дискретных параметров, вполне доступных для анализа интеллекту настоящему, и намного более осмысленный, чем структура нейросети.


              1. Goupil
                17.06.2022 12:50
                #24447060

                математической модели

                Строить мат модели живых обьектов традиционными редукционными способами - замучаетесь, биофизики этим балуются уже десятки лет с мелким успехом, именно как вы и предлагаете. Не выходит небольшого набора дискретных параметров.

                Перспективнее ИМХО учиться извелкать и интерпретировать модели из весов нейросетки.


                1. Refridgerator
                  17.06.2022 14:08
                  #24447384
                  +1

                  ИМХО биофизики просто математику плохо знают, потому и результаты у них мелкие. А с нейросетями математику знать не надо, скармливай ей побольше картинок и получай правдоподобный результат. Для компьютерного зрения в примитивных задачах — да, подходит, но до человеческих возможностей всё равно не дотягивает, не говоря уже о том, чтобы их превзойти. Нейросеть не делает волшебства, не умеет думать, не может выйти за пределы полученного набора данных — это просто тупой классификатор, в котором количество заменяет качество. Вот например человеку, чтобы научиться распознавать букву «А», не нужно скармливать миллион различных её начертаний, как это нужно для нейросети. Он может абстрагировать её до «трёх палочек, соединённых определённым образом», и даже абстрагировать это знание на все прочие символы, и даже математически его описать (в виде графа). Хотел бы я посмотреть, как подобного рода абстракции и алфавит к ним вытаскивать из весов узлов нейросети.

                  Классический пример восприятия мира при тупой классификации


                1. Refridgerator
                  17.06.2022 17:19
                  #24448284
                  +2

                  Конкретные мат.модели при анализе больших данных нужны в том числе и для того, чтобы исключить влияние факторов, для анализа не предназначенных. Это единственная возможность получить 100% уверенность в том, что (например) модель рентгеновского аппарата никак не повлияет на результаты статистики.

                  Распознавание речи, к слову, именно так и работает — там не подаётся сигнал с микрофона напрямую на нейросеть, а используется кепстральное преобразование. Однако я не видел и не слышал, чтобы ту же самую технологию использовали в ЭКГ — хотя тут и параллели очевидны, и данных с 12 датчиков можно насобирать побольше.


            1. kogemrka
              17.06.2022 11:22
              #24446736
              +2

              «если корень из возраста, умноженный на срок жизни в текущем доме, меньше 40, то отказать в кредите» — будет легче?

              Будет легче - можно будет хотя бы понимать "есть закономерность возврата кредита и пары (возраст, срок жизни).

              В случае с достаточно сложной нейронкой - может быть вообще непонятно, куда смотреть)

              Отдельные пиксели подсвечивать или saliency map делать? Не всегда помогает.


              1. 0xd34df00d
                17.06.2022 18:34
                #24448580

                Будет легче — можно будет хотя бы понимать "есть закономерность возврата кредита и пары (возраст, срок жизни).

                А потом у вас в дереве перед этим еще с десяток узлов, и все со всем связано.


                Или вы перед этим применили какой-нибудь PCA, и у вас вместо возраста и срока жизни линейная комбинация всех исходных факторов с какими-то весами, и тоже все со всем связано.


                Ну или вот даже вы это все поняли. Ну и дальше что, что вы с этим пониманием делать будете?


                Кстати, напомню, что, например, суду присяжных (по крайней мере, в США) не нужно объяснять свое решение, и ничего, как-то особых протестов от прогрессивной общественности нет.


            1. rg_software
              17.06.2022 12:49
              #24447052
              +1

              По-моему, все эти штуки обсуждаются в двух контекстах: 1) осмысленно/бессмысленно и 2) как оно с точки зрения закона.

              Поэтому если у вас в формуле будет "корень из возраста" а по закону, например, возраст учитывать нельзя, то да, толк есть, потому что будет очевидно, что решение принимается на основе запрещённых критериев.

              А про "осмысленно/бессмысленно" -- аналогично, если модель скажет, что на картинке рак, потому что рядом линейка лежит -- ну да, хорошо бы нам о таком знать заранее. А так-то и человек не может объяснить всю логику решений, иначе нам бы все эти нейросети и не нужны были, хватило бы if-else.


            1. Refridgerator
              17.06.2022 22:03
              #24449102
              +1

              если корень из возраста, умноженный на срок жизни в текущем доме, меньше 40
              Тут есть одна принципиальная разница. Когда мы используем аналитические функции, то совершенно точно знаем, что (в данном случае):
              1) функция гладкая,
              2) скорость роста функции монотонно убывает,
              3) функция не имеет пульсаций.

              В случае же нейросети степеней свободы на порядки больше и таких гарантий вам никто дать не может — и поэтому в частных случаях можно получить результаты очень далёкие от ожидаемых. One pixel attack тому наглядный пример.


              1. 0xd34df00d
                18.06.2022 00:00
                #24449412

                функция гладкая

                Вообще-то эта функция не очень гладкая, потому что у вас там есть порог. Более того, есть методы регуляризации (по L₁-норме, например, это где модули), где у вас вылезает негладкость.


                Да и нейросети есть с гладкими функциями, не обязательно везде релу пихать.


                скорость роста функции монотонно убывает,

                Аналогично для нейросетей, куда реже для обычной регрессии.


                функция не имеет пульсаций

                Не понял, что за пульсации, и чем они плохи?


                В случае же нейросети степеней свободы на порядки больше

                Именно, степеней свободы больше. Как только вы напихаете степеней свободы в вашу обычную модель побольше, у вас вообще может вылезти что-нибудь дикое, вроде интерполяционного многочлена Лагранжа. Очень гладко, но в итоге получается ерунда.


                1. Refridgerator
                  18.06.2022 12:03
                  #24450246

                  Вообще-то эта функция не очень гладкая, потому что у вас там есть порог
                  Вы же наверняка знаете, что значит «композиция функций»?)

                  Не понял, что за пульсации, и чем они плохи?

                  или

                  Они плохи там, где их никто не ждёт и где в них нет никакого смысла. Могут приводить не только к дискриминации по определённым признакам, но и к падению самолётов и прочим технологическим катастрофам.

                  Как только вы напихаете степеней свободы в вашу обычную модель побольше, у вас вообще может вылезти что-нибудь дикое, вроде интерполяционного многочлена Лагранжа
                  Вылезет у тех, кто плохо знает матчасть. А кто знает чуть получше, тот:

                  1) использует в качестве аргумента синус(х) или сигмоиду(х), а не х;
                  или 2) возьмёт многочлен со степенью в 2 раза больше и предварительно определит производные в интерполируемых точках;
                  или 3) использует многочлены Чебышева;
                  или 4) возьмёт рациональный многочлен;
                  или 5) использует свёртку с гауссиан-подобной функцией.


                  1. 0xd34df00d
                    18.06.2022 20:48
                    #24451414

                    Вы же наверняка знаете, что значит «композиция функций»?)

                    Знаю, и? В нейросетях тоже композиция функций.


                    Вылезет у тех, кто плохо знает матчасть. А кто знает чуть получше, тот [включает мозги]

                    О, смотрите, включать мозги надо даже с гладкими и прочими непульсирующими функциями. Похоже, гладкость и отсутствие пульсаций — не панацея. Удивительно!


          1. vconst
            17.06.2022 01:15
            #24445596
            +3

            Да еще, как можно

            Есть наука — антропология. Ей плевать на политику, на моду, на всякие тенденции типа BLM или наоборот

            Вот посадили вы в гипотетическую «китайскую комнату» не искин, а студента-первокурсника био/мед вуза и сказали ему: «это практика». Кидаете ему в ящик «in» промеры черепа и прочие параметры, он сверяет их с учебником и выкидывает в «out» результат.

            Будет ли он политически ангажирован? Будут ли его результаты — мистическими?
            Нет и нет, он просто следует совершенно конкретному алгоритму.

            ______

            Я расскажу реальную историю, которая произошла на первом курсе МБФ РГМУ, кафедре биохимии, в далеком 199х году.

            Шел семинар по биологии, конкретно — антропологии, по мотивам учебника Харрисона и Ко (Дж. Харрисона, Дж. Уайнера, Дж. Теннера и Н. Барникота «Биология человека» (1979)) и отличнейшей лекции, которую читал «извините, не смог быстро нагуглить кто», Алехин, или Андреев?

            Семинар вела веселая женщина, отличный биолог и педагог, фамилию уже не помню. С классической «задней парты» прозвучала фраза на тему «унтерменши, недочеловеки и всякие не арийцы». В ответ, профессора сказала, с юмором «А кто там смелый? Выходите, сейчас я вам промеры антропометрическим циркулем сделаю, НЕ как в нацисткой Германии и расскажу вам, какие расы смешались в вашем черепе». Повторю, сказано было с иронией, смехом и без малейшей попытки оскорбить студента (мы с в одной группе были, педагогу не было смысла нас ссорить с ним). «Классическая задняя парта» замолчала и больше ни одной расисткой фразы оттуда не звучало, вообще и абсолютно. ЧСХ — сами студенты тоже не обиделись и больше эту тему на ее семинарах не поднимали.

            ___

            В науке, в реальной науке, а не той ублюдочной политической суч(Щ)ности — всё уже много лет как измерено, поделено и взвешено. Да, есть различия между расами. Это просто — ФАКТЫ. Научные. Спорить с ними — это все равно что искать ошибки в справочнике Розенталя.


            1. Moskus
              17.06.2022 05:35
              #24445780
              +2

              Забудьте на секунду про антропологию. Речь о принципе работы "ИИ" вообще.


        1. FrolVII
          17.06.2022 13:09
          #24447138
          +1

          Интуиция - всего лишь результат накопленного опыта. Это как если у вас хранился бы где-то ответ для задачи, а решение почему-то не сохранилось (возможно - для экономии памяти). Когда вы следующий раз сталкиваетесь с подобной задачей, бумажку с ответом можно быстро найти и использовать, а вот решение сразу не восстановишь.

          Просто мозг не весь "опыт" хранит в виде четких представлений, которые можно взять с полки памяти и покрутить в сознании, рассмотрев со всех сторон и описав словами. Часть этого опыта лежит где-то чуток поглубже, и анализировать оный (разобрать все причины и следствия) человек толком не может, а вот использовать в выводах - пожалуйста. Хотя, как показывает практика, если долго копаться в своем сознании, то причины и следствия выводов, основанных на интуиции, иногда (как минимум) таки удается отыскать, восстановив решение той задачи, на которую хранился лишь ответ.


          1. Moskus
            17.06.2022 15:31
            #24447714
            +1

            На самом деле, это можно объяснить ещё проще. То, что чаше всего приписывают интуиции, является результатом операции сравнения и повторения.


          1. xsevenbeta
            19.06.2022 12:52
            #24452434

            Я тоже думаю что интуиция это не осмысленный и не обработанный (сознательно) опыт.


      1. domix32
        17.06.2022 00:08
        #24445448

        Ну вроде как неоднократно всплывали истории, когда речь шла о пост-ИИ параметрах, когда всплывают некие скрытые параметры, типа "кошачности"/"собачности" картинок про которые человек не мог дать однозначного ответа.

        Ну и тема расизма ИИ вроде раскрыта в последних абзацах, дабы раскрыть почему нужны агностики, а не вот эти вот гадатели по ребрам.


        1. vconst
          17.06.2022 00:38
          #24445518
          +4

          В рентгеновских снимках нет расизма, как нет его в вузовских учебниках по антропологии. Причём — учебниках первого курса. На втором уже изучают предметы поглубже, типа высокомолекулярной биохимии, которой плевать на политику и подобные мелочи


          1. Trrrrr
            17.06.2022 07:43
            #24445908
            -3

            Да легко может быть расизм. Очень зависит от способа сбора данных. Вкусовых предпочтениях разных слоев общества и тд. Сетки учаться обобщать, это в том числе означает что они учатся игнорировать разные аутлаеры если они очень редко предоставлены в датасете. Те например, по статистике большинство черных может быть сильно беднее белых, если этот bias (например что богатых черных очень мало в выборке) попадет в медицинский датасет то может произойти то что произошло.

            Кстати тот же Дробышевский считает что различия между рассами очень минимальные.


            1. Refridgerator
              17.06.2022 07:51
              #24445924
              +6

              Так а что тут плохого произошло? В медицине как раз наоборот — разделение по расам позволяет подобрать более эффективное лечение для каждого отдельного взятого случая. По-моему совершенно очевидно, что негры черные не потому что у них кожа черного цвета, а потому что химические процессы в целом в организме немного по-другому протекают. Разделение крови на группы никто же расизм не принимает?


              1. konst90
                17.06.2022 08:05
                #24445964

                Мне кажется, проблема здесь может быть в том, что кроме подбора лекарств есть ещё и их разработка. И неграм не понравится (и я их пойму), если фармкомпании будут работать не над лекарствами для людей вообще, а над лекарствами для белых. Повезло тебе родиться черным - сорян, таргетной терапии от рака твоей черной кожи не будет, лекарство только для белых.


                1. Refridgerator
                  17.06.2022 08:54
                  #24446072

                  Так разработка лекарств — это бизнес. Нужно и инвестиции влить, и продажами их после окупить. Ну ок, повезло мне родиться белым, и лекарство и придумано, и производится, и в аптеки поставляется — вот только курс лечения обойдётся по цене квартиры в Москве. Потому и я тоже останусь без лекарства, и не потому что чёрный, а потому что бедный.


                  1. konst90
                    17.06.2022 09:01
                    #24446100

                    Ну так для этого и существует медицинская страховка - либо государственная, либо полугосударственная, либо частная.


                    1. Refridgerator
                      17.06.2022 09:12
                      #24446118

                      Так и страхование — это тоже бизнес. Вы видели бомжей со страховками? Даже если медицина бесплатная и государственная, то она тоже спонсируется из бюджета за счёт налогов платёжеспособного населения. Вы готовы оплачивать лечение неработающим гражданам, которые и так уже живут исключительно за ваш счёт?


                      1. konst90
                        17.06.2022 09:24
                        #24446180

                        А почему у вас негры == неработающие?


                      1. Refridgerator
                        17.06.2022 09:35
                        #24446232

                        Не у нас, а у них. И не «негры == неработающие», а «неработающие == негры». На то у них там вроде бы есть свои исторические причины, я слышал.


                      1. ilmarin77
                        17.06.2022 22:58
                        #24449236

                        прикольно читаем новости науки: "исследование учёных из Йельского университета и университета Мэриланда показало, что универсальная государственная страховка в США могла-бы сохранить жизни больше чем 330'000 человек умерших от Ковида, а экономика США сэкономила-бы 105 ярдов $. " , статья: https://doi.org/10.1073/pnas.2200536119


                        И ещё прикольная новость 11и летней давности: "Страховка Medicaid отказалась оплачивать лечения рака груди мужчины, потому что он не женщина".


                      1. 0xd34df00d
                        18.06.2022 00:05
                        #24449422
                        +1

                        статья: https://doi.org/10.1073/pnas.2200536119

                        У этой статьи столько предположений, мягко скажем, неочевидных, что обсуждать её всерьёз потянет на отдельную статью.


                1. saege5b
                  17.06.2022 11:38
                  #24446804

                  Потом окажется что цель - мутированный белок.

                  А виноваты, разумеется, учённые-рассисты.


            1. svoezemtsev
              17.06.2022 10:57
              #24446624
              +1

              Дробышевский - не самый большой авторитет. Я бы даже сказал - наоборот.

              Могу порекомендовать книгу Ферле. Она хоть и "расистская", но доверия больше.


              1. Goupil
                17.06.2022 12:56
                #24447082

                Ферле имеет "степень бакалавра в области математики, физики, химии, степени магистра в области экономики и доктора в области юриспруденции... является композитором-любителем, а также автором монографий по экономике Австрии, естественному праву и теории анархизма". В отличие от Дробашевского он в лучшем случае держал в руках пластиковый череп из школьного курса анатомии. И к нему доверия больше?


    1. Aquahawk
      16.06.2022 23:07
      #24445296
      +9

      Когда объективная картина не соответствует повестке возникает: "Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов" это и есть самый настоящий расизм.


    1. artemisia_borealis
      17.06.2022 00:01
      #24445440

      Первое, что это напоминает, это ломброзианство, тоже не все глазами видели.

      Так себе идея оказалась.
      Генезис преступности привел Ч. Ломброзо к заключению, что должна существовать аналогия между карательной деятельностью государства, охраняющего социальную жизнь, и теми реакциями, которые обнаруживают как животные, так и растения на испытываемые ими внешние воздействия. Он оперировал понятием преступления не как юридическим, условным, меняющимся во времени и месте, а как понятием, относящимся к неизменным явлениям природы, объясняя преступление личностью преступника и не разделяя юридический и антропологический подходы к этому явлению.
      Надеюсь, что здесь получше.


  1. alisarin
    16.06.2022 15:23
    #24444036
    +11

    А поставить более точный опыт? Монголов от вьетнамцев эта сеть может отличить? А испанцев от финнов?
    И, само собой, учебник “Иммунология”, второе издание, 1986 год откровенно утверждал, что генетически иммунная система у разных рас разная.


    1. justPersonage
      16.06.2022 17:25
      #24444400

      генетически иммунная система у разных рас разная.

      Вроде и температура тела тоже разная. Или нет?


      1. DrPass
        16.06.2022 17:28
        #24444412
        +1

        Судя по всему, и форма грудной клетки.


        1. XaBoK
          16.06.2022 22:46
          #24445224
          -9

          Осталось выяснить у какой расы лучшая форма груди, а потом можно переходить и к другим органам... Иначе зачем эта сетка понадобилась учёным то.


    1. domix32
      17.06.2022 00:10
      #24445456

      Не уверен что в их краях будет достаточно размеченных данных для этого.


      1. alisarin
        18.06.2022 13:04
        #24450388

        В моем понимании этим исследователям все же недоставало остроумия - они могли не ретушировать свои фотографии, но делить их на фрагменты и проверять, так ли отрабатывает ИИ на материале только верхней или нижней половины фотографии, левой или правой стороны, вообще любых иных фрагментов, может в какой-то части снимка геометрия окажется более показательной как источник различия, когда в другой части - уже не столько ...


    1. Klenov_s
      17.06.2022 00:13
      #24445466

      Вы что такое говорите? Законодательно решено, что все люди одинаковые! Даже если им от этого будет хуже, они все равно одинаковые и нельзя делать никаких расовых разделений )


  1. Markscheider
    16.06.2022 15:24
    #24444038
    +5

    она сделала вывод, что люди с темной кожей всегда здоровее, чем белые пациенты, даже если у них одни и те же болезни. Потому что на них тратилось меньше денег.

    А вот тут к ИИ претензий быть не может. Вывод (для машины) совершенно логичный: человек тратит на здоровье меньше денег - значит меньше болеет. Тут надо пинать человека, который занимался изначальной постановкой задачи и условиями для оценки.

    По сабжу: давным-давно слышал байку про актера Джона Траволту. Известного, в числе прочего, своими танцевальными данными и отличной пластикой. Так вот, Джон, когда изучал теорию и практику танца, выяснил (не спрашивайте как), что у черных центр масс тела расположен иначе, нежели у белых и благодаря этому они танцуют так здорово. Ну и он сделал себе операцию по смещению центра масс стал копировать движения негров и в итоге немало преуспел в танцевальном искусстве.
    ХЗ байка или нет, но, возможно, все дело действительно в относительных пропорциях частей скелета.


    1. Goupil
      16.06.2022 15:31
      #24444060
      +1

      Другой пример, связанный со статьей, некоторые негритянские этносы отличаются тяжелыми костяком и небольшим процентом жировой клетчатки, отчего плохо держаться на воде и неохотно плавают, зато устойчивы к переломам.


      1. vtal007
        16.06.2022 17:41
        #24444464
        +19

        Как известно - черные лучше бегают, белые лучше стреляют :)


    1. DvoiNic
      17.06.2022 14:38
      #24447504

      — Как они ходят на таких каблучищах?! Как они сохраняют равновесие?!
      — У них центр тяжести в другом месте!
      © В джазе только девушки


      1. Markscheider
        17.06.2022 15:09
        #24447638
        +1

        В случае с девушками как раз все очевидно. И визуально, и анатомически.

        Более широкие, чем у мужчин, бедра (для деторождения), наличие в малом тазу сложной инфраструктуры с хорошим кровоснабжением - это все здорово увеличивает массу нижней половины тела. Ну и центр тяжести ожидаемо смещается.

        "Господа офицеры, никаких шуточек про грудь! " :)


        1. edo1h
          18.06.2022 16:19
          #24450864

          с хорошим кровоснабжением

          а как это влияет? плотность крови примерно равна плотности остального тела.


          я думаю, что тут больше влияет то, что у мужчин шире плечи.


  1. nUser123
    16.06.2022 15:26
    #24444046
    +3

    Скорее всего, фокус во взятых выборках снимков. Сделаю предположение, что выборка локализована внутри какой-то территории, где разные культуры и расы не смешиваются, а сосуществуют рядом. У них разный образ жизни, питание и прочее. В том числе разные наборы заболеваний.


    1. Sap_ru
      16.06.2022 15:50
      #24444128
      +1

      Это легко проверить подав на вход обученной модели информацию о людях из других регионов. Уверен, что это первое, что они сделали - проверили результат на независимых данных, что убедиться, что исходные данные не несли какой-то дополнительной скрытой информации.


      1. sets
        16.06.2022 16:13
        #24444182
        +8

        Уверен, что ничего подобного они не делали, а пользовались теми источниками данных, которые были у них под рукой. Данные из нескольких американских и канадских клиник и готово. Для начала, нужно как-то эти данные получить со всеми соответствующими формальностями. Тут же рядом с дружественными клиниками все налажено, а разбавить базу африканскими данными, чтобы «темнокожие» хорошо представляли негроидную расу, очень сложно. Нужно же найти кто эти данные даст, как-то договориться, оформить чтобы ничьи права не нарушить, с рентгеновскими снимками идёт же еще куча данных, рост-вес-возраст и тд, не каждая клиника в Африке готова такой датасет собрать.
        Если бы они действительно собирали дополнительные данные по всему миру, у них не вставало бы вопроса про пигментацию, можно было бы просто посмотреть результаты для темнокожих не негроидов.


        1. Paskin
          17.06.2022 07:30
          #24445878

          Данных CT - сколько угодно, в любом PACS (медицинская система хранения данных) есть функция анонимизированного экспорта - из метаданных убираются имя, фамилия, адрес и т.п. и готово.


    1. konst90
      16.06.2022 20:05
      #24444850
      +3

      С год назад была история, когда нейросеть учили на рентгеновских (кажется) искать ковид. В результате сетка привязывалась к почерку врача на снимке, сопроводительному тексту, положению пациента (у лежачих немного иначе выглядел снимок) и тому подобным вещам.


      1. JediPhilosopher
        16.06.2022 23:55
        #24445426
        +3

        Слышал похожую историю про определение рака кожи или чего-то подобного. Там сетка привязывалась к тому, что часть фотографий была сделана в больницах, а часть люди делали себе сами (и присылали врачу чтобы он определил, стоит ли им обращаться в больницу). Те кто таки фотографировался в больнице с большей вероятностью имели проблемы со здоровьем, в итоге сетка по факту просто научилась отличать фотки сделанные обычными людьми от фоток сделанных врачом (и вроде делала это по наличию линейки рядом с повреждением кожи, врач ее всегда прикладывал на фото для определения размера повреждения, а обычные люди - нет).

        Собственно именно для определения таких вот посторонних зависимостей и нужны подобные исследования. Чтобы понять, насколько результатам можно доверять в реальности, не вызваны ли они каким-то систематическим сдвигом исходных данных, не замеченных исследователями.


        1. Kasyan666
          17.06.2022 00:16
          #24445474
          +3

          Ну, а я слышал байку про определение танков на фотках. Не-танки были надерганы отовсюду, танки – были сфотканы на конкретном полигоне. Сетка научилась детектировать фон полигона.


    1. fio
      17.06.2022 10:26
      #24446454

      У меня мелькнула мысль, что искажение выборки может быть связанно с особенностями медицинской техники. Разные аппараты могут давать снимки с собственными особенностями, на которые и натаскивается ИИ.


      1. nUser123
        17.06.2022 11:52
        #24446850

        То есть условные негры обследуются на дешевых аппаратах, а белые - на недешевых? Такое оправдание расизма посредством ИИ.


  1. Alexey2005
    16.06.2022 15:27
    #24444052
    +61

    Если дать такому роботу что-то решать, то так можно и во времена рабовладения вернуться, или чего похуже.
    Все эти вопли про расизм ИИ лишь отвлекают внимание от реальной проблемы. Которая заключается в том, что в большинстве корпораций (особенно крупных) полностью отсутствует механизм апелляции, и пользователь практически бесправен перед корпоративной машиной.
    Скажем, если вам отказали в выдаче страховки, или банк отказался выдавать вам кредит, или видеохостинг заблокировал ваш аккаунт за «недопустимый контент», или какой-нибудь маркетплейс выписал бан без объяснения причин, то в большинстве случаев вы не можете сделать ни-че-го. Вариантов оспорить решение обычно не существует, даже если абсолютно очевидно, что оно бредово. И тут уж без разницы, искусственный интеллект принял это решение, или же вполне реальный индус/пакистанец, загруженный работой до полной потери соображения.
    Те усилия, которые тратятся на борьбу с мифическим «расизмом ИИ» было бы эффективнее потратить на ограничение произвола корпораций, обязав их иметь действующие механизмы апелляций, чтобы баны по откровенно бредовым причинам можно было бы оспорить.
    Тогда, кстати, и обучение ИИ в правильном направлении пойдёт живее, потому что все ложные срабатывания по результатам массовых апелляций очень быстро добавятся в обучающую выборку.


    1. edo1h
      16.06.2022 18:06
      #24444538

      полностью отсутствует механизм апелляции, и пользователь практически бесправен перед корпоративной машиной

      а какой может быть механизм апелляции, если решение принято ИИ и реальных причин никто не знает?


      но я с вами согласен в том, что проблему рассматривают слишком узко.
      если ИИ при приёме на работу будет предпочитать белых чёрным или мужчин женщинам — это считается дискриминацией. а если он будет предпочитать болельщиков спартака болельщикам динамо, то всё нормально.


      1. rg_software
        16.06.2022 19:29
        #24444756
        -1

        Ну тут всё просто: в законе прописываются "защищаемые категории", по которым нельзя дискриминировать. Если беспокоит дискриминация болельщиков динамо, пишите своему депутату.


      1. konst90
        16.06.2022 20:08
        #24444862
        +1

        А нормально ли, что принимающий решение банк (нейросеть - часть его инструментов) не знает и не может узнать, почему он принял это решение?


        1. GDragon
          16.06.2022 23:12
          #24445302
          +1

          Яндекс относительно отклоненных отзывов на маркете одно время активно отвечал "отзыв отклонён по результату анализа нейросетью, этот процесс автоматический и техподдержка на него повлиять не может."
          Т.е. дословно "это нейросетка, у нас лапки, она нас поработила и влиять мы на нее не можем."


          1. konst90
            17.06.2022 07:56
            #24445942
            +1

            Да, но даже в случае отзывов на товар это не очень норм. А когда дело касается финансовых вопросов или здоровья - тем более. "Ваша страховка стала дороже потому что мы не знаем почему, нейросеть так решила".


          1. BIG666
            17.06.2022 16:12
            #24447942
            +2

            Как-то создавал на Яндекс.Услуги задание на очистку пола от битума с оргалитом. Загружаю фотку пола, а Яндекс говорит, что на фотке какие-то ужасы и отказывается


      1. ferosod
        16.06.2022 23:19
        #24445328
        +1

        Если вам нужна именно эта работа, то ради неё вы можете начать болеть за другую команду.

        Перестать быть чернокожей женщиной технически тоже возможно, конечно, но сильно сложнее.


    1. gremlin244
      16.06.2022 21:44
      #24445058
      +1

      А каким вы видите решение проблемы, учитывая количество ежеминутно загружаемого контента? Даже если нанять, условно, лишнюю тысячу модераторов, ошибки человеческого фактора будут едва ли меньше чем ошибки нейронки. Я просто и есть тот самый модератор, и могу вас уверить, невозможно человеку со 100% точностью размечать контент. Всегда есть ошибки. Казалось бы очевидно нужна надстройка, в виде особо четко проверяющих, только у них тоже будут ошибки. И эта эскалация надстроек стремится в бесконечность.
      С тем что процесс апелляции должен быть проще я согласен, но насчет оперативности бана не уверен. Этож ошибка выжившего, вас забанили незаслуженно, а 9 других аккаунтов по делу, только они очевидно об этом умалчивают.


      1. Moskus
        16.06.2022 21:55
        #24445082

        Самый первый шаг в настоящем решении - это постановка вопроса в конкретных, а не субъективных терминах. Только при условии этого, можно переходить к дальнейшему поиску решения.

        И на этом этапе, скорее всего, выяснится, что конкретной проблемы не существует (а есть множество "пойди туда, не знаю куда", об общих чертах которых нет возможности договориться).

        А с задачами типа "ну надо же сделать что-нибудь" - это к политикам и базарным бабам, а не к инженерам.


      1. Alexey2005
        16.06.2022 22:31
        #24445172
        +1

        Проблема не в том, что есть ошибки. А в том, что вердикт модератора считается истиной в последней инстанции и не подлежит обжалованию. При том, что у людей от аккаунта может очень многое зависеть, и его потеря может стать крайне болезненной.
        Должна быть возможность подать апелляцию и получить вменяемый ответ, а не отписку «недопустимый контент», при том что вы в упор не видите, что же конкретно в вашем ролике может нарушать правила сервиса.


        1. GDragon
          16.06.2022 23:13
          #24445312

          Да, есть много сервисов с формализованной техподдержкой на письма в которую отвечают те же люди что модерируют контент.
          В итоге любое действие модератора, даже при наличии формальной возможности обжалования - непогрешимая истина в последней инстанции.


        1. askharitonov
          17.06.2022 00:00
          #24445438

          Наверное в первую очередь нужно стремиться к тому, чтобы от сервиса мало что зависело, и его ошибки или злоупотребления не могли бы сильно ни на что повлиять. Децентрализация и т.д.


          1. Moskus
            17.06.2022 00:38
            #24445520
            +1

            В общем случае, это верно. В частном - это может быть перекладыванием с больной головы на здоровую.


            1. vconst
              17.06.2022 00:47
              #24445542

              Это нивелируется большим объемом выборки, если снимков от пяти-щести порядков, то вклад личностей уже не имеет значения


        1. i86com
          17.06.2022 04:02
          #24445740

          Должна быть возможность подать апелляцию и получить вменяемый ответ, а не отписку «недопустимый контент»

          И как в таком случае ограничить ДДОС-атаку, в которой куча ботов загружает запрещённый контент, потом жалуется друг на друга, а потом требует подробного ответа (если на каком-то уровне будет юридически закреплено, что компания обязана отвечать на подобное)?

          Я вижу разве что вариант платной услуги «а подскажите, пожалуйста, что не так». Возможно, даже с частичным возвратом денег, если это была ошибка модератора/сервиса.


          1. Endeavour
            17.06.2022 12:25
            #24446996

            И как в таком случае ограничить ДДОС-атаку, в которой куча ботов загружает запрещённый контент, потом жалуется друг на друга, а потом требует подробного ответа (если на каком-то уровне будет юридически закреплено, что компания обязана отвечать на подобное)?
            Звучит как история про хакера и солонки.


    1. Paskin
      17.06.2022 07:39
      #24445898
      +3

      Я об этом как-то говорил на местной тусовке AI/ML-щиков. Если вам отказались давать кредит - это еще пол-беды, вы об этом хотя бы узнаете. А если у вас придорожный ресторан, и из-за ошибки (или намеренно) навигационное приложение направляет движение по другому шоссе - вы можете разориться до того, как поймете причину.


      1. Markscheider
        17.06.2022 11:21
        #24446730
        +1

        А если у вас придорожный ресторан, и из-за ошибки (или намеренно) навигационное приложение направляет движение по другому шоссе - вы можете разориться до того, как поймете причину.

        Реальная история из жизни.
        В МСК вокруг одного дома около метро постоянно ставили машины неместные. Приехали, поставили машину и поехали на работу на метро. То есть типа перехватывающая парковка стихийная. Жители дома, которым некуда было свои машины ставить, попытались сорганизоваться и поставить на въезде в придворовую территорию шлагбаум. Но то ли власти им отказали, то ли еще что - в общем, не выгорело.
        И тут начинается история почти в духе "Черного зеркала". Жильцы массово стали указывать в Яндекс-картах (или 2Гис, не важно), что на въезде во двор стоит шлагбаум. И после какого-то количества таких пометок, на карте ПОЯВИЛСЯ ШЛАГБАУМ, которого нет в реальности! И неместные автомобилисты, не знакомые с реальной ситуацией, перестали заезжать во двор.
        Решение неидеальное и временное, но история, я считаю, прямо киберпанк! :)


        1. Goupil
          17.06.2022 13:03
          #24447110
          +1

          Решение неидеальное и временное, но история, я считаю, прямо киберпанк! :)

          Это к вопросу о том, как будет выглядить "цифровой концлагерь", который старательно строят в разных странах. Никакого порядка и тотального контроля, постоянная война с алгоритмами и алгоритмов друг с другом. Подправив строчку в базе данных можно будет исчезнуть или поменяться так, как невозможно при традиционном документообороте.


        1. Wesha
          17.06.2022 21:18
          #24449006

          И после какого-то количества таких пометок, на карте ПОЯВИЛСЯ ШЛАГБАУМ, которого нет в реальности!

          "100000 леммингов не могут быть неправы!" (c) Яндекс.

          Но вообще-то паттерн знакомый.

          1970-е. ARPA объединяет компьютеры в сеть. Любой может общаться с любым, никакой авторизации, сеть-то военная, чужие здесь не ходят.
          1980-е. Сеть начинает распространяться в университеты.
          Студенты: "УРЯ, я могу зайти на любой компьютер!"
          Админы: "Тля!!!". Со временем появляется авторизация логин-пароль.
          1990-е. Обмен почтой по SMTP по-прежнему без всяких паролей, имя отправителя можно подставить какое угодно.
          Спамеры: "УРЯ!"
          Админы: "Тля!!!". Со временем появляются всевозможные авторизации для SMTP.
          2000-е. Протоколы RIP/BGP не имеют способа подтверждения отправителя. В результате любой не совсем дурак может послать пакет, который заставит роутер перенаправить трафик куда надо.
          Спецслужбы: "УРЯ!"
          Админы: "Тля!!!". Появляются протоколы с авторизацией.
          2010-е. Протокол SS7 не имеет авторизации. В результате любой не совсем дурак может перехватить звонок на требуемый номер телефона.
          Пранкеры и спецслужбы: "УРЯ!"
          Админы: "Тля!!!". (Но пока так ничего и не сделали).
          2020-е. Прокатив тележку телефонов по улице, можно создать пробку. Любой дурак может поставить на Яндекс-картах шлагбаум, авторизации-то никакой.
          .....
          2090-е: Чебурнет только по паспорту, отпечатку ладони и скану радужки.


        1. edo1h
          18.06.2022 16:24
          #24450876
          +2

          Жильцы массово стали указывать в Яндекс-картах (или 2Гис, не важно), что на въезде во двор стоит шлагбаум. И после какого-то количества таких пометок, на карте ПОЯВИЛСЯ ШЛАГБАУМ, которого нет в реальности!

          следующий шаг: обратиться к своему депутату с причитаниями «украли шлагбаум, помогите восстановить». на возражения «какой шлагбаум, его тут никогда не было» отвечать: «ну как же, вот даже на яндекс-картах»


  1. marvin77
    16.06.2022 15:37
    #24444078
    +17

    не вижу проблемы. если ИИ может видеть разницу - он может рекомендовать более эффективное лечение.


    1. Daemonis
      16.06.2022 15:41
      #24444108
      +23

      Да вообще какой-то бред. Должна ли нейросеть, определяющая беременность, различать мужчин и женщин?


      1. askharitonov
        17.06.2022 00:20
        #24445486
        +3

        Там наверное суть в чём: нейросеть может принимать решения, влияющие на судьбу конкретного человека основываясь на «средней температуре по больнице», например, считать его преступником потому что он визуально похож на ряд преступников. Причём даже если это понимать и постараться не давать нейросети соответствующую информацию, она всё равно может её вывести неочевидным для нас образом.


        1. Deosis
          17.06.2022 07:25
          #24445874
          +3

          Рассказ в тему:

          http://samlib.ru/s/shapiro_m_a/diskrim.shtml


          1. DrGluck07
            17.06.2022 10:35
            #24446522

            Всегда плюсую старую добрую Мирру. Жаль, что на нашей планете ни у кого не хватит яиц для такого законодательства.


        1. kogemrka
          17.06.2022 11:29
          #24446762
          +1

          Там наверное суть в чём: нейросеть может принимать решения, влияющие на судьбу конкретного человека

          Дык, проблема-то не техническая, а административная.

          Нейросеть просто не должна принимать решения, влияющие на судьбу человека.

          Точно так же, как "решения, влияющие на судьбу человека" не может принимать градусник, прибор для измерения давления или аппарат мрт.

          Нейросеть - это такой же "прибор". Выплёвывает показание врачу. А врач уже принимает решение и несёт ответственность

          Нейросеть, извините, посадить на электрический стул нельзя. Впрочем, как и градусник или аппарат мрт.

          Если, простите, судья прикажет дать человеку пожизненное на основании его агрегированного кредитного рейтинга - мы же будем обвинять и наказывать такого судью, а не алгоритмы расчёта кредитного рейтинга перестраивать.


          1. vadimr
            17.06.2022 15:07
            #24447632

            Ну мы же понимаем, что, например, когда нам приходит постановление об административном правонарушении за превышение скорости, то решение на самом деле принимает компьютер, а не тот инспектор, который формально подписывает сформированную компьютером бумажку. Это софистика.

            Ну, или если вы очень сильно блюдёте гуманистические идеи, можете считать, что решение принимали программисты и те, кто эту систему допускал к эксплуатации. Давно, допустим, мёртвые, а тогда какая разница?


            1. DvoiNic
              17.06.2022 15:10
              #24447642
              +1

              но ведь известны случаи, когда Газели приписывали скорость более 200 км/ч, и когда выписывали штраф а/м, перевозившемуся эвакуатором… компьютер «принимал решение», человек «формально подписывал»…


              1. vadimr
                17.06.2022 15:12
                #24447652

                Такое возможно, компьютер не является непогрешимым. Но человек-то всё равно по факту не причём. Этого человека можно формально наказать, но такое наказание в этой ситуации будет ведь просто бессмысленным ритуалом.


                1. DvoiNic
                  17.06.2022 15:49
                  #24447822

                  а «формальная подпись» тогда — не «бессмысленный ритуал»?


                  1. vadimr
                    17.06.2022 15:51
                    #24447840

                    Бессмысленный, конечно.

                    Пока что считается, что правосубъектностью может обладать только человек, и ещё чуточку животные. Очевидный пережиток прошлого.


            1. kogemrka
              17.06.2022 18:17
              #24448530
              +3

              то решение на самом деле принимает компьютер, а не тот инспектор,
              который формально подписывает сформированную компьютером бумажку. Это софистика.

              Подождите) Давайте расмотрим ваш замечательный пример и попытаемся понять - проблема, поставленная вами техническая или административная?

              "Решение" по вашим словам в этой ситуации принимает даже не нейросеть, а ровно один условный переход в коде. "if (скорость по прибору > config.allowed_speed + delta) выписать штраф;"

              Ну, а у нас в обществе есть целиком работающий на наши деньги социальный инстутитут, сотрудники которого ещё и присягу дают о том, что работают исключительно для нашей защиты и в наших интересах.

              Мы как общество этот институт своими руками построили, каждая копеечка зарплаты каждого сотрудника этого института каждый месяц оплачивается исключительно из наших с вами денег. И этому институту мы взяли и делегировали задачу принимать решения о штрафах.

              А этот социальный институт взял и позаимствовал у IT автоматизацию в объёме ровно одного IF'а для того, чтобы снять с себя кусочек работы (а заодно и кусочек ответственности).

              ---

              Давайте допустим, что этот самый социальный институт начинает прямо люто бешено злоупотреблять этой самой автоматикой и ответственность целиком на вот эту единственную строчку кода перекладывать.

              Это будет какая проблема? Административная (социальный институт, который мы построили, кормим своими деньгами, и каждый сотрудник которого дал присягу перед нами действовать в наших интересах начал делать фигню и надо с ним что-то делать) или техническая (о боже мой, нам нужно придумать другой язык программирования, чтобы IF'ы в нём каким-то волшебным образом не давали плохим людям злоупотрелять ими)?

              Мне кажется, всё-таки чисто административная.

              Давно, допустим, мёртвые, а тогда какая разница?

              Всё ещё административная проблема.


              1. vadimr
                17.06.2022 19:28
                #24448716

                Я тут вообще не вижу ни технической, ни административной проблемы. В обществе сложился консенсус, согласно которому люди делегировали волю по своему наказанию упомянутому Вами оператору IF. Социальный институт в его человеческой форме при этом можно вообще со временем аннулировать.

                Если вдруг кто читал трилогию Снегова “Люди как боги”, то там обрисована единственная (на мой взгляд) правдоподобная модель коммунистического общества, в котором, вкратце говоря, общественные проблемы решаются тем, что функции государственного управления переданы машине. В отношении поставленной цели, то есть с самим коммунизмом, вопрос ещё может дискутироваться, а вот в отношении средства, то есть ИИ – так, несомненно, и будет. Если батлерианский джихад недовольные не запилят.

                Люди хотят от Фемиды справедливости, а справедливость – это и есть захардкоженные IFы, материально воплощённые в компьютере. Глаза тётке завязали, весы в руку дали, а сама тётка уже и не нужна.


          1. askharitonov
            17.06.2022 18:47
            #24448620

            Нейросеть - это такой же "прибор". Выплёвывает показание врачу. А врач уже принимает решение и несёт ответственность

            Несёт ли врач ответственность за неверные показания приборов, которые например повлияли на неверный диагноз? Наверняка нет (а даже если несёт, это явно несправедливо). Так и здесь: нейросеть — это, условно говоря, тоже прибор, но мы привыкли в целом доверять приборам, даже зная, что потенциально они могут показывать неверные данные измерений. Но с нейросетью проблема такая, что ничего не докажешь. Прибор обычно можно перепроверить другим прибором (другого производителя, работающим по другому принципу и т.д.), но что представить как альтернативу какой-нибудь полицейской нейросети?

            Более того, может получиться так, что новые версии нейросети будут обучаться в том числе на ошибочных результатах, выданных предыдущими версиями: если человека признали виновным из-за того, что чаша весов склонилась не в его пользу из-за результатов, выданных нейросетью, то в данные для обучения следующей нейросети он попадёт как виновный. То есть, может ошибка будет всё более и более накапливаться...

            То есть, с одной стороны, нейросети позволяют упрощать принятие решений, а, с другой стороны, вероятно стоит заранее побеспокоиться о том, чтобы нейросети не применялись в определённых случаях. Причём вообще, а не так, чтобы «применялись с осторожностью»: надо чтобы они не влияли на результат. Ну или чтобы они могли применяться только в интересах человека: допустим, осудили человека, и один из этапов обжалования — апелляция к нейросети, которая может направить дело на новое рассмотрение, но чтобы она применялась последней, чтобы ни у одного судьи не было данных о том, что виновность подсудимого подтверждена нейросетью.


      1. Medeyko
        17.06.2022 08:15
        #24445980

        Да как Вы смеете вообще такой вопрос задавать!!! Конечно же нет, ведь маткосодержащий человек может пожелать, чтобы его идентифицировали как мужчину!!!


    1. Moskus
      17.06.2022 00:47
      #24445540
      +2

      Проблема, на самом деле, есть. Она в том, что поскольку "ИИ" оперирует, фактически, совпадениями (не отличая их от причинно-следственных связей) и обобщениями, но при этом мы не имеем возможности узнать, какими именно, не существует практической возможности удостовериться, что факторы, принятые во внимание, вообще связаны с явлением, эффект которого ИИ пытается предсказать или оценить.

      Ровно это же когнитивное искажение присуще людям, но почему-то о нем применительно к людям говорят весьма часто, а к ИИ - крайне редко.


      1. vconst
        17.06.2022 00:51
        #24445546
        -3

        О чем вы вообще???

        Есть обучающая выборка, может в ней 100к снимков, там есть данные: «снимок», «пол», «раса». Черный ящик нашел корреляцию. У него нет когнитивных искажений, он как ребенок — «говорю что вижу», без политики и моды

        Бритва Оккама


        1. Moskus
          17.06.2022 05:43
          #24445786
          +2

          Да хватит уже носиться с расизмом или его отсутствием, а также антропологией. Я нигде не отницаю, что узнавать расу по снимкам - возможно и нормально. Я говорю о более общей проблеме с тем, что "говорю, что вижу" - это признак имбецила, который, например, может не отличить игрушечную машину от настоящей, потому что это всё "фото машины", и так далее. Или наоборот, отказываться признавать машину, у которой три оси, а не две (потому что в обучающей выборке все такие были).

          Вы застряли в контексте, из рамок которого обсуждение уже давно вышло.


        1. Aleshonne
          17.06.2022 11:00
          #24446648
          +5

          Кроме очевидных данных «снимок», «пол», «раса» выборка может содержать и неочевидные.

          Можно, например, построить следующую цепочку:

          1. в США представители негроидной расы в среднем на треть беднее, чем европеоидной;

          2. вследствие этого, представители европеоидной расы обращаются в более дорогие клиники;

          3. более дорогие клиники используют более дорогие и более современные рентгеновские аппараты;

          4. нейросеть прекрасно различает снимки, сделанные RA100 Super Premium и RA20 Basic;

          5. имеется прекрасная корреляция между цветом кожи и моделью аппарата, которую и использует нейросеть.

          Это лишь один из возможных примеров лишних данных, на которые не обратили внимания исследователи, но которые были обработаны алгоритмом обучения нейросети.


          1. Goupil
            17.06.2022 13:16
            #24447172
            +1

            в США представители негроидной расы в среднем на треть беднее, чем европеоидной;

            И тут возникают тонкости, которые ML алгоритмам тоже не понятны. Афроамериканцы, которые потомки рабов, это весьма специфическая популяция, которая сильно отличается и от белых и от остальных африканцев и от черных потомков рабов на Карибах или например в Бразилии. Если брать современных выходцев из Африки, в первом или втором поколении, они часто благополучны и хорошо устроены - выходцы из Нигерии в среднем даже богаче чем средний американец и куда лучше образованы (и не мешаются с потомками рабов). Но опросник, где они указывают black в графе расы, этого не учитывает, не учтет это и алгоритм, который с одной стороны может не одобрить им кредит, с другой даст преференции, в которых они не нуждаются, отобрав у нуждающихся.


          1. edo1h
            18.06.2022 16:29
            #24450892

            имеется прекрасная корреляция между цветом кожи и моделью аппарата, которую и использует нейросеть.

            корреляция — да. но напомню:
            Но она угадывала расу человека (белый, темнокожий, азиат) с удивительной 98%-й успешностью


      1. alisarin
        18.06.2022 13:11
        #24450404

        То есть на ваш взгляд ИИ - некий "черный ящик", чьи решения закрыты от экспериментальной проверки? Вряд ли этот так, комплексы факторов, которые анализирует ИИ можно комбинировать по-разному, "тасовать колоду" и следом классифицировать реакцию. Просто еще не рожден такой предмет познания как "экспериментальный анализ реакций ИИ". Но в каком-то будущем такая идея все же кого-то озарит ))


    1. ITMatika
      17.06.2022 09:00
      #24446096
      +3

      Больной, не занимайтесь самолечением! ИИ сказал в морг - значит в морг!


  1. ZDn5nRF8BPse4b
    16.06.2022 15:45
    #24444118
    +29

    Бред какой-то. Почему статья вообще хотя раз про расизм упоминает? Выглядит как «азаза, тупые учоные против расизма, а на самом деле расизм праф!». Например, в США «расу» можно с похожей вероятностью определить по почтовому индексу и зарплате. А современные сайты вообще определяют конкретно вас из ДЕСЯТКОВ МИЛЛИАРДОВ других подключений по размеру монитора, браузерному движку, шрифтам, таймзоне, версии юблока и т. д. Уж «расу»-то нейросетка по тысячам мелких деталей определить способна точно. Вообще повода для удивления не вижу. Примерный возраст она наверняка тоже может определить (и эйджизма тут нет). И собиралось ли тело по XX или по XY-инструкциям (и сексизма или ещё чего тут тоже нет).


    1. Barefoot
      16.06.2022 16:49
      #24444286
      +18

      Интересно, сколько гендеров она сможет определить по рентгену? ????


      1. wataru
        17.06.2022 14:20
        #24447432
        +4

        Сколько в размеченной обучающей выборке укажут ученые — столько и определит.


    1. Zulkarnai
      17.06.2022 10:25
      #24446452

      проблема в другом. Наука сейчас придерживается мнения «ДНК всех людей, независимо от цвета их кожи и текстуры волос, совпадают на 99,9%, так что с генетической точки зрения понятие расы бессмысленно». А ИИ им говорит об обратном.


      1. kogemrka
        17.06.2022 11:38
        #24446800
        +3

        А ИИ им говорит об обратном.

        Это неправда.

        Из того, что ДНК большей частью совпадает не следует вообще никак отсутствие различий.

        Наше ДНК, извините, на 90% совпадает с кошачьей и на 60% с бананами.


  1. addewyd
    16.06.2022 15:47
    #24444126
    +31

    А если ИИ может отличить по обыкновенной фотографии белого от негра, это ИИ расист?
    А если мужчину от женщины, видимо сексист.
    А если не искусственный, я, например. Меня, наверное, тоже можно обозвать этими словами. Я же отличаю. В большинстве случаев.


    1. FreeNickname
      16.06.2022 17:41
      #24444460
      +26

      Рентгеновский снимок должен сам определить, мужской он, женский или небинарный, а мы обязаны уважать его решение.


    1. 0xd34df00d
      17.06.2022 01:04
      #24445580
      +1

      С определением женщины проблемы даже у недавно избранной верховной судьи США, а вы от ИИ этого хотите.


      1. vconst
        17.06.2022 01:18
        #24445600

        Это не у суда проблемы, а у того — кто пытается себя «определить»


        1. 0xd34df00d
          17.06.2022 01:36
          #24445628
          +1

          Нет, у суда.


          На слушаниях (которые confirmation hearings) кандидатки в ВС у неё спросили, мол, что такое женщина, на что она ответила, что не знает, так как не биолог.


          Кандидатку таки назначили, поэтому да, у суда.


          1. vconst
            17.06.2022 01:41
            #24445636
            +2

            Это уже извивы судебной казуистики, на теме модного блмства и прочей радужности. У биологии на этот счет сомнений нет


          1. Dima954
            17.06.2022 13:22
            #24447196
            +1

            Как для судьи, так прекрасный ответ, без сарказма.

            Вспомните Беспристрастного Свидетеля у Хайнлайна в "Чужом в чужой земле".


  1. Nehc
    16.06.2022 15:52
    #24444134
    +37

    Охренеть… Нейросеть выучила то, что ее просили выучить с точностью 98%. Вывод? Ну конечно же это доказывает, что системы ИИ часто могут отражать предубеждения людей, будь то расизм, сексизм или что-то еще! Ну а какой еще? Нельзя же честно признать, что вероятно существует некий объективный фактор в этих снимках, который сетью и усваивается! Нет, надо обязательно толкать телегу, что все люди одинаковые, а если нейросеть что-то там видит — это предубеждения обучающих ее расистов! Мне натурально страшно за будущее ML|DS, если нахождение надежной корреляции (позволяющей решать поставленную задачу с точностью в 98%) — объявляется предубеждением, нуждающимся в коррекции!


    1. MockBeard
      16.06.2022 16:20
      #24444196
      +9

      Да вообще непонятно, что так носятся с этими расами. Какая разница, какого цвета кожа, главное чтобы человек был адекватный.


      1. Goupil
        16.06.2022 16:57
        #24444304
        +2

        Для медицины раса - не пустой звук, а сложный фактор. Диабет у белого - не то же самое,ч то у азиата и черного. Как и пол собственно. Проблемы начинаются когда к чисто медицинским проблемам подмешивают социальные - например расчет цены страховки. Очень "приятно", будучи законоппослушным гражданином, получить цену на страховку в два раза больше лишь потому что повезло родиться не той расы.


        1. koreychenko
          16.06.2022 17:11
          #24444344
          +1

          Посмотрите как работает частное медицинская страхование в Германии. Я не уверен, что там учитывается раса, но возраст там учитывается точно. И пол. И сопутствующие заболевания. Как говорили мои знакомые немцы, что если угораздило вляпаться в частную страховку, то будешь каждый год платить всё больше и больше, пока у тебя почти весь доход не будет туда уходить.
          Никакого -изма, тупо бизнес. Если ты более больной, то у тебя больше шансы наступления страхового случая, а значит с тебя надо брать больше страховой взнос.


          1. de-Bill
            16.06.2022 21:28
            #24445020

            Так это "частная страховка". Которую можно поменять. Это как купить здоровенный внедорожник и жаловаться, что бензин жрет. Купи микролитражку!


            1. Moskus
              16.06.2022 21:45
              #24445062
              +2

              Аналогия в примере совершенно некорректная, потому что исходит из того, что заметной более выгодный вариант выбора обязательно существует. Это вовсе не обязательно так.

              Так что ваш "аргумент" - и некорректная аналогия, и подмена тезиса одновременно.


              1. de-Bill
                17.06.2022 17:37
                #24448352

                "Более выгодный вариант", конечно, существует. Просто надо немного приложить усилий, а не просто - пошел и купил. Если медстраховка со стоматологией и протезированием дорогая, то едут в страну с дешевой стоматологией и делают там. И даже очень состоятельные американцы едут делать пластические операции в разные страны. Аналогия с внедорожником/минивэном тоже корректна: ежедневно на работу ездить на малолитражке, а в отпуск в дебри/к морю всей семьей, брать в аренду.


                1. Moskus
                  17.06.2022 18:19
                  #24448538

                  Выкрутиться не получится, потому что "... едут в страну" означает, что варианта, на самом деле, нет.

                  Про автомобили - это вообще абсурд, потому что существуют задачи, когда "большой внедорожник" - единственный автомобиль, который подходит.

                  Я вообще не понимаю, ради чего приводить такие "аргументы", кроме как ради "дартаньянства", то есть чтобы показать, что вы знаете "правильный" ответ, а все остальные - дураки, не знают.


        1. Stas911
          17.06.2022 06:18
          #24445808
          +3

           Ну то, что цена автостраховки зависит от района и может отличаться чуть ли не вдвое в соседнем квартале никого же не удивляет?


          1. konst90
            17.06.2022 08:42
            #24446036

            Удивляет, но ОСАГО в России - глубоко больная тема, переделывать там надо примерно всё.


      1. DrPass
        16.06.2022 17:12
        #24444350
        +13

        Да вообще непонятно, что так носятся с этими расами. Какая разница, какого цвета кожа

        Да не скажите, давеча Галлий Мациус своего грека за 20 тыс. денариев продал, а я двух галлов по 200 продать не могу.


        1. peacemakerv
          17.06.2022 09:14
          #24446126
          +1

          Ну дак кому строптивые лягушатники с нестандартным техническим мышлением нужны...


    1. Hardcoin
      16.06.2022 18:06
      #24444536
      +2

      Вы невнимательно читали. Проблема в том, что они не знают, как нейросеть это сделала. Значит в другой задаче, где нужно, например, решить кому отдать квоту на операцию, ИИ может выбрать не того, кому лучше, а белого. И авторы задачи не смогут это определить. Конкретно к этой задаче у них претензий нет - нейросеть справилась и это отлично.


      1. unC0Rr
        17.06.2022 11:28
        #24446758
        +1

        ИИ может выбрать не того, кому лучше, а белого
        А что значит «лучше»? Как это вообще так, нейросеть учили выбирать, кому лучше, а она решила выбирать несмотря ни на что белых? Так это просто значит, что её учили выбирать белых.


        1. Hardcoin
          17.06.2022 11:36
          #24446794
          +1

          Не "несмотря ни на что", а давать им, например, пятипроцентное преимущество, которое обнаружат только спустя пару лет. Не потому, что "научили", как вы утверждаете, а как пробочный эффект.

          Попробуйте сделать пару сетей по мануалам, вам намного понятнее станет, о чем речь - предсказуемость и понятность результата при работе с нейросетями не очень велика. Фраза "чему научили, то она и делает" к нейросетям относится далеко не всегда.


  1. Lelant0s
    16.06.2022 16:26
    #24444212
    +4

    Расизм обитает в том же месте, что и разруха.


    1. Wesha
      17.06.2022 10:01
      #24446366
      +4

      Тут не так давно израильтяне устроили исследование. И оказалось (какой сюрприз), что

      из женщин получаются хреновые солдаты

      ...средний рост женщин на 12 см ниже среднего у мужчин, средний вес на 10 кг меньше, мышечная масса в среднем на 20 кг меньше. В процентах общая масса женщины в среднем на 20% меньше, чем у мужчин, масса мышц и скелета на 40-45% меньше, жировая масса на 20-25% больше. Масса без жира на сантиметр роста – 0.36 кг у мужчин, 0.26 кг у женщин. Величина мышечных волокон у женщин на 35% меньше, количество волокон – на 14% меньше. Мышечная масса верхней части тела у женщин на 50% меньше, чем у мужчин, нижней части – на 30%. Соответственно сила мышц у женщин по изометрическим измерениям это 50% в верхней части и 65% в нижней части, относительно мужчин. Площадь разреза плечевой кости у женщин на 25-35% меньше, бедренной кости – на 15% меньше. Площадь и объем позвонков на 25-30% ниже. Строение ног и таза – у женщин короче шаг, согласно исследованиям с повышением носимой нагрузки женщины, в отличие от мужчин, укорачивают шаг еще больше, увеличивают длительность времени, когда обе ноги на земле и т.д., в целом при ходьбе увеличенная кинетическая нагрузка, что является одной из причин повышенного травматизма. У женщин также кости голени на 12% тоньше и на 42% ниже сопротивление скручиванию.

      Важный параметр: плотность костей. У женщин в возрасте призыва плотность костей не намного ниже, чем у мужчин, это обычно проявляется в пожилом возрасте, но в целом женщины в три раза больше мужчин подвержены остеопорозу, а во время боевой подготовки действуют сразу несколько дополнительных факторов: усиленная физическая нагрузка, недостаток кальция и витамина D. Поэтому женщины гораздо больше подвержены стрессовым переломам (они же усталостные переломы - "шиврей маамац" - stress fracture) из-за накапливаемой микротравмы. Стрессовые переломы, особенно стопы и голени – бич боевых солдат, в 80-е годы процент пострадавших иногда достигал 30% от призыва. Проблема стрессовых переломов для службы в том, что при них солдат получает освобождение от физических нагрузок на 2-8 недель, в зависимости от степени перелома, а при высокой степени и больше. Поэтому часто это означает списание с КМБ либо командного курса. Иногда курс можно пройти позже или "догнать" в конце, иногда это невозможно по административным причинам, иногда солдат в результате вообще списывается с боевой службы. Для профилактики необходим достаточный сон и отдых, а также достаточное потребление кальция и витамина D – по всем этим параметрам у солдат серьезный недостаток, особенно у боевых. С этим явлением боролись, и заставляя командиров соблюдать часы сна, и внедрением большего количества молочных продуктов, и постепенно снизили процент до 5-10% у мужчин в боевых войсках в среднем, в зависимости от рода войск. Но у женщин этот процент при равных нагрузках всегда значительно выше, потому что по любой медицинской статистике женский пол это первый фактор риска. И кроме динамической нагрузки, как бег и прыжки, женщины страдают от стрессовых переломов даже из-за длительного стояния, чего не наблюдается у мужчин. Поэтому из-за важности этого параметра он всегда особо отмечается в исследованиях.

      У женщин ниже способность к аэробным и анаэробным нагрузкам – у них в среднем меньше объем сердца и легких, выработка сердца за единицу времени на 20-25% меньше, гемоглобин на 10-15% ниже, максимальное потребление кислорода на 20-25% меньше. По аэробным нагрузкам показатели женщин в среднем на 30% ниже, чем у мужчин, по анаэробным на 25%. Увеличение носимого веса, согласно исследованиям, замедляет выполнение десятикилометрового марша у женщин на 23-28% больше, чем у мужчин: округленно средний мужчина-солдат с максимальной скоростью пройдет 10 км с грузом в 30 кг за полтора часа, а женщина за два часа...


      1. 0xd34df00d
        17.06.2022 10:11
        #24446398

        Ну это же классическое purely economic factors.


      1. MockBeard
        17.06.2022 13:19
        #24447184

        Против биологии не попрешь.


        1. Wesha
          17.06.2022 20:17
          #24448840

          "Но попытаться можно!" (c) многие наши (в смысое американские) политики.

          "Мыши плакали, кололись..." и далее по тексту.


      1. Goupil
        17.06.2022 13:34
        #24447262

        У женщин выше иммунитет, выше устойчивость к кровопотерям, больше устойчивость к стрессам, высокая адаптивность организма. Под постоянными (!) нагрузками повышается уровень тестостерона - организм маскулинизируется, больше мыщцы, больше костей, больше злости.

        Но есть беда - маскулинизированная женщина хуже рожает и вскармливает детей, часто репродуктивная функция просто отрубается. Иногда необратимо. Учитывая сравнительно короткий репродуктивный период у женщин это скверно.

        В Израиле женщины почти не служат в боевых частях, в лучшем случае на КПП в тенечке, а обычно в офисе с бумажками.


  1. ihouser
    16.06.2022 16:28
    #24444214

    Тот ИИ не расистский а гипперобъективный.


  1. ilmarin77
    16.06.2022 16:32
    #24444230
    +6

    Вспоминается недавняя история с применение ИИ для диагностики Ковида. Вкратце, всё закончилось большим пшиком, потому как оказалось что результаты не применимы для клинической практики.

    В этом переводе тоже забыли написать одну маленькую, но важную особенность - учёные научились определять не вообще рассу человека, а то что он написал в своей форме в госпитале - один из вариантов "чёрный, белый, азиат, не известно" т.е как человек себя само идентифицирует когда заполняет вопросник в больнице. Это, кстати обсуждается в исходной статье в Ланцете.

    Общее правило, если в заголовке ведите что-то типа "ученые в шоке" то сразу в топку.


    1. knotri
      16.06.2022 22:36
      #24445196
      +1

      не вообще рассу человека, а то что он написал в своей форме в госпитале

      И че?

      1) А много людей врет о своей расе? Или не врет, но считает свою расу отличную от биологической?
      2) Даже если ответ на первый вопрос да, то внезапно ИИ достиг еще больших успехов, потому что по рентгену смог предсказать МНЕНИЕ людей о своей расе, а не биологическую расу.


      1. ilmarin77
        16.06.2022 22:46
        #24445222

        Да, практически научился мысли читать. Вот такой прогресс.


      1. 0xd34df00d
        17.06.2022 01:07
        #24445586

        А много людей врет о своей расе? Или не врет, но считает свою расу отличную от биологической?

        Смотря где. В США — да, много врет. Оказывается, что идентифицировать себя принадлежащим к меньшинствам достаточно выгодно, и к этому прибегают что абитуриенты, что политики, что активисты.


        Правда, это не на формах в госпитале.


        1. Moskus
          17.06.2022 05:46
          #24445790

          По заблуждению - тоже. Например, некоторые считают, что пуэрториканцы - все белые. Потому причисляют себя к White, Hispanic автоматически, зная, что предки - пуэрториканцы.


    1. bee4
      17.06.2022 10:30
      #24446502
      +1

      И что? Вы можете объяснить, как по рентгеновскому снимку можно с такой точностью определить, что там пациенты отмечали?
      Научность публикации определяется вовсе не её сенсационностью, а заголовки призваны завлечь пользователей и в данном случае "шок" - не такое уж и преувеличение.


      1. ilmarin77
        17.06.2022 15:59
        #24447884

        Просто отметка "чёрный","белый","азиат" в вопроснике это социальные данные, которые не связаны с биологией, потому как чисто чёрных в США скорее всего ~ 0.001 % , а все остальные это разные пропорции смесей разных рас.

        Просто в очередной раз оказалось, что машинное обучение смогло найти скрытые корреляция во входных данных.Потому как такое уже бывало много раз , и каждый раз оказывалось что это не настоящее детектирование биологических признаков, а какаят-то скрытая фигня которая присутствует в данных и делает систему бесполезной. Например, система находит не рассу, а детектирует модель рентгеновской установки, потому как в Штатах полно больниц в которых ~ 80% "чёрных" , которые не платят за дорогую медицину и им делают снимок на каком-нибудь старье, которое 20 раз уже чинили, а "белые" ходят в более дорогие больницы где стоят новые системы от GE и Siemens. А азиаты вообще предпочитают больницы где врачи тоже азиаты и установки там от Toshiba и Shimadzu.

        А учёным как раз хочется сделать систему которую такие корреляции не сбивают, собственно статья о том что система глубокого обучения опять зафакапилась, и не понятно как именно, но для пациентов применять пока нельзя. Пока не найдут способ это раз факапить.

        Специально для тех кто в танке, цитата с основными выводами в статье:
        "The results from our study emphasise that the ability of AI deep learning models to predict self-reported race is itself not the issue of importance. However, our finding that AI can accurately predict self-reported race, even from corrupted, cropped, and noised medical images, often when clinical experts cannot, creates an enormous risk for all model deployments in medical imaging."


        1. bee4
          17.06.2022 16:23
          #24448014
          +1

          Вы, как мне кажется, неверно понимаете приведенную цитату. Возможность модели определять расу по медицинским данным означает возможность результатов этого определения влиять на медицинские решения, что как бы типанехорошо по-умолчанию.

          Вы правы насчёт того, что косвенные социальные данные легко захватываются моделями - и применение таких моделей действительно не имеет никакого смысла - только вот обеспечить 98%-ую точность распознавания социальные данные неспособны - дело в том, что явно меньше 98% негров пользуются устаревшими рентгеновскими аппаратами - равно как и дофига, неполиткорректно говоря, white trash-a, которые тоже не имеют денег на нормальную страховку. А почему модель определяет и азиатов? Они, в основном, ходят в те же больницы, что и средние белые.

          Если ложных побед в этой области много, это не значит, что побед истинных не существует.


          1. ilmarin77
            17.06.2022 16:56
            #24448156

            конкретно оригинальная статья в Ланцете не об истинной победе.
            Ваши рассуждения о 98% негров - не в тему, это был просто мой умозрительный пример. Конкретно авторы статьи так и не смогли найти тот самый фактор который ИИ нашла чтобы определить "расу".


            1. Refridgerator
              17.06.2022 17:23
              #24448298

              Ну судя по статье, они не особо-то и старались. Даже просто пропорции поленились исказить, не говоря уже о FFT.


              1. ilmarin77
                17.06.2022 17:55
                #24448424
                +1

                Зато можно ещё опубликовать парочку статей на эту-же тему. Следующая будет называтся "в поисках скрытых факторов, определяющих расу", а потом будет ещё одна "новый способ подготовки данных успешно убирает корреляцию с расой". А потом коллеги из соседней лаборатории выпустят статью "всё-таки способ подготовки данных оставляет информацию о расе".

                И все довольны, и хирш у всех растёт, потому как теперь все четыре статьи надо будет процитировать во всех статьях о клиническом применение глубокого обучения на рентгеновских снимках.


  1. redf1sh
    16.06.2022 16:39
    #24444244
    +9

    Может ИИ научился отличать рентгеновские аппараты друг от друга по снимкам?


    1. Matshishkapeu
      16.06.2022 16:55
      #24444298
      +3

      Ага, снимки низкого разрешения из бесплатной больницы для негров, и снимки щуплых азиатов от всех остальных на качественном оборудовании дорогой больницы.


      1. koreychenko
        16.06.2022 17:12
        #24444352
        +9

        Сразу вспоминается боянистый боян, как нейросетка отличала гепардов от леопардов, а потом её подсунули леопардовый диван и всё встало на свои места :-)


        1. knotri
          16.06.2022 22:43
          #24445214
          +1

          Как вы думаете, если человеку (или животному?) который ни разу не видел диваны и даже не знает что такое существует, но прекрасно обучен выживать в дикой природе и умеет за доли секунды отличить гепарда от леопарда и принять разные решения для выживания показать леопардовый диван, как он отреагирует?


          1. ilmirus
            17.06.2022 03:55
            #24445732

            Там нейросетка и диваны умела определять, поэтому, чтобы её обхитрить, пришлось картинку повернуть на 90 градусов.


            1. vladkorotnev
              17.06.2022 05:33
              #24445774
              +3

              Да тут и безо всяких баек буквально недавно такое вылезало в ходе экспериментов у OpenAI :-)



              1. RaphZak
                17.06.2022 08:16
                #24445982
                +3

                А тут то что не так?

                Все верно определено. В первом случае большую часть картинки занимает яблоко, скорее всего сорта гренни смит.

                Во втором случае листок с надписью иПод


              1. Goupil
                17.06.2022 13:35
                #24447270

                "Если на клетке слона прочтёшь надпись «буйвол», не верь глазам своим."


    1. DistortNeo
      16.06.2022 21:36
      #24445044
      +3

      Да, может. Опять же, см. статью про фэйлы алгоритмов прогнозирования течения ковида.
      Задача: по рентгеновскому снимку сделать прогноз течения болезни.
      Ну нейросетка и сделала вывод: если снимок сделан в клинике, куда свозят тяжёлобольных, то и прогноз будет хуже.


  1. Vyacheslav_Rogozhin
    16.06.2022 16:46
    #24444276
    +2

    В одном из фантастическиз рассказов как раз про сложные взаимодействия двух рас некий расист уверенно определял афроамериканцев по особой форме плеч, в тексте описанной как "покатые". На чем и подловил своего знакомого, у которого цвет кожи был вполне себе белый, а вот происхождение отвечало негроидной расе... Насколько вижу по снимкам, плечи на них есть. Интересно, насколько автор того рассказа оказался наблюдательным))


  1. c_kotik
    16.06.2022 17:05
    #24444322
    -1

    Наш вывод о том, что ИИ может точно предсказывать расу, даже по зашумленным и искаженным изображениям, на самом деле создает огромный риск для всех развертываний таких моделей в медицинской визуализации.

    А тут я вижу вопль корпораций - зачем подстраиваться под очевидные и объективные факторы (половые, расовые различия с биологической точки зрения) в лечении, проще же продавать всем одну "гендерно/расово нейтральную" пилюлю.

    ЗЫ

    Да и найти мастера фотошопа и поиграть с формой/размером костей хотя бы на паре снимков (сделать из негра белого и обратно)... это точно ученые были?


    1. DEE_M_ON
      16.06.2022 23:38
      #24445374

      Да хотя бы изменить/выделить область снимка при скане, т.е. сделать акцент на какой-то конкретной области снимка, и уже будет понятно где слабое место в методике


    1. vconst
      16.06.2022 23:46
      #24445402

      Я про-фотошопер, 20 лет стажа, плюс вузовское мед-образование, хоть и не полное. Могу переделать любой снимок до полной его неузнаваемости, причем так — что многочасовая ретушь будет совершенно незаметна. Но смысл??

      Объясните мне, зачем кому-то напрягаться и менять снимки? Расовые различия очевидны и абсолютно бесспорны. Эти просто научный факт

      Теории заговоров — последнее пристанище дилетантов. Биология и все ее разделы — это область естественных наук, типа физики. С ними бесполезно спорить и они полностью вне политики. Отрицать расовые различия — это как спорить с законами Ньютона. Бесполезно.


      1. edo1h
        17.06.2022 06:49
        #24445840
        +4

        Расовые различия очевидны и абсолютно бесспорны

        так напишите авторам статьи по каким признакам можно различить снимки, что они мучаются?


      1. c_kotik
        17.06.2022 10:46
        #24446586

        Дело не в наличие/отсутствии различий, а в том, что ИИ на рентгене может найти различие, а люди нет. И в чем это различие тоже не могут ответить. Нужно опять помочь Даше-исследовательнице найти афроамериканца в темной комнате)


        1. Refridgerator
          17.06.2022 11:04
          #24446670
          -2

          Люди не могут, потому что не обладают рентгеновским зрением, чтобы это умение естественным образом развивалось в процессе жизнедеятельности. А профессиональный рентгенолог классифицирует отсматриваемые им снимки совсем по другим критериям, потому как задача определения расы по снимку ему не ставилась. Рентген обычно делают не просто так — а когда есть болезни и симптомы. Было бы странно в ответ на жалобы на боли в груди услышать «по снимку видно, что вы скорее негр, чем азиат».


  1. DirectoriX
    16.06.2022 17:32
    #24444422
    +12

    Если бы сетка научилась отличать разные породы кошек (относящихся к одному биологическому виду, но хорошо различимых внешне) — был бы прорыв в распознавании.
    Но поскольку сетка научилась отличать разные расы людей (относящихся к одному биологическому виду, но хорошо различимых внешне) — имеем скандал.


  1. Kelv13
    16.06.2022 17:34
    #24444434
    +3

    Легкоатлеты из института физкультуры рассказывали, что изучали строение скелета и мышц у легкоатлетов различных рас и выяснили, что у чернокожих спортсменов - другое строение "скелета" на уровне, что "рычаги разной длины". И сокрушались, что поэтому они имеют преимущество перед "белыми".


    1. vconst
      16.06.2022 23:48
      #24445412
      -2

      Не согласен
      По черепу, по фото — это легко. Но строение грудной клетки? Это реальный прорыв в антропологии

      Поймите вы простую вещь: это не политика, это биология


      1. DrPass
        17.06.2022 01:15
        #24445594

        Но строение грудной клетки? Это реальный прорыв в антропологии

        Ну как прорыв? Известных мелких физиологических отличий между расами немало, просто к ним добавится ещё одно, настолько мелкое, что невооружённым взглядом его до сих пор никто и не заметил (наверное).


  1. Vsevo10d
    16.06.2022 17:51
    #24444490
    +14

    Как же это бесит. Вот бы рассмотреть это в плане "неочевидные особенности строения скелета - новая задачка для антропологов". Нет, получаем "орущий soyjak.jpg" и притянутое за уши что "ИИ будет принимать расистские решения". Как будто уже сейчас эта сетка прикручена к роботу телемедицины, и он, узнав расу, сразу же скальпелем на лбу пациента вырежет, просите-с, N-WORD. Какие блин расистские решения, если решения как раз принимает врач, который из медицинской этики обязан лечить хоть негра, хоть массового педонекрокопрозоофила?

    Расизм в наше время уже хуже ведьм и мастурбации в средневековье. Нельзя доводить все до такого лысенковского абсурда, что объективных различий не существует, потому что это против политкорректной повестки и прочих линий партии. Еще немного, чтобы никого не оскорбить своей расой, все будут вынуждены при личном общении надевать нейтрального (например синего) цвета маски и перчатки. Хотя... постойте...


  1. MAXH0
    16.06.2022 18:09
    #24444544
    +5

    — Я полагаю, доктор, что вы отличите череп негра от черепа эскимоса?

    — Конечно.

    — Но каким образом?

    — Потому что это моя специальность. Различие бросается в глаза. Надглазная выпуклость, личной угол, изгиб челюсти…

    НО непонятно, а почему собственно шум стоит?


  1. rg_software
    16.06.2022 18:10
    #24444550
    +5

    Мне кажется, авторы набросили, а мы на это ведёмся. Тут надо вот чего иметь в виду: стандартная научная статья состоит из технической части и дискуссионной. В технической части авторы решают некоторую задачу и объясняют, как это делается. В данном случае речь идёт об интересной проблеме классификации по вот таким вот неочевидным входным данным. В дискуссионной части технический блок встраивается в более широкий контекст, то есть читателю объясняют, для чего вообще всё это нужно было делать.

    Дискуссионная часть не является строго научной: это всего лишь некое приглашение рассмотреть такие-то и такие-то связи и сферы применения. У статьи 20+ авторов, и кто-то решил, что будет грамотно приправить техническую часть вот таким соусом. Как мы видим, он не ошибся: статья докатилась и сюда, а учитывая всяческие околоэтические моменты, связанные с AI, скорее всего, цитировать статью будут охотно.

    При этом авторы сами выражаются весьма туманно: вот, видите, может иметь последствия! Но ничем конкретным не пугают, и правильно делают, ибо это вообще не фокус их статьи. А настоящий фокус -- именно в технической части, а не в рамочке, которая уже свою работу неплохо выполнила.


    1. nikolas78
      16.06.2022 19:57
      #24444828
      +4

      Я до сих пор не пойму, какие могут быть последствия в том, что ИИ отличает людей по их расе. Что от этого лечение изменится или как?


      1. vconst
        16.06.2022 23:49
        #24445418
        -1

        Пишите статью, а то выше 4 уже нельзя


      1. Alexey2005
        17.06.2022 01:22
        #24445608

        Пока это используется только для лечения, никаких особых последствий не будет. Они начнутся, когда кому-нибудь придёт в голову обучить на основе такого ИИ некий «жидодетектор», чтобы можно было в один клик прямо в смартфонном приложении определять принадлежность человека к некоторой расе.
        И ладно бы только к расе. А вдруг по каким-нибудь неявным корреляциям ИИ можно обучить отличать по фото скажем «ватников» от «либералов»?


      1. rg_software
        17.06.2022 05:44
        #24445788

        А разве этот вопрос кто-то обсуждает? Авторы пишут, что сам факт того, что расу можно определить вот таким вот косвенным образом может иметь опасные последствия, но не более того. Опять же, раздел Discussion -- именно приглашение к диалогу и последующим работам. Кому интересно, тот подхватит и разовьёт.


        1. nikolas78
          17.06.2022 15:33
          #24447724
          -1

          Авторы боятся, что ИИ будет принимать сексисткие решения:

          Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов в больницы и вообще в крупные структуры, пока не будем уверены, что они не принимают расистских или сексистских решений.

          Можете объяснить, как выглядят сексистские решения ИИ, обученного исключительно для распознавания болезней?

          И вопрос в никуда авторам исследования: зачем было давать ИИ-ту информацию о расе пациента?


          1. rg_software
            17.06.2022 17:49
            #24448404
            +1

            Я не знаю, откуда эта цитата. В статье её нет. Если кто-то из авторов так выразился в твиттере -- лучше спросить его, имеет право на мнение. В рамках научного дискурса никаких призывов я не нашёл.


            1. nikolas78
              17.06.2022 19:06
              #24448664

              Эта цитата из «нашей» статьи на Хабре (под которой мы общаемся, и которую обсуждаем).


              1. rg_software
                17.06.2022 19:12
                #24448680

                Хорошо. Я могу пофантазировать, конечно, но это будет всего лишь мой дилетантский комментарий к цитате неясного происхождения. Считайте, что я не вижу проблем в "сексистских" решениях ИИ в контексте излечения пациента.


                1. nikolas78
                  17.06.2022 19:18
                  #24448692

                  Тогда обращайте свой праведный гнев к virtual_explorer
                  Я то обсуждаю эту статью.


      1. c_kotik
        17.06.2022 10:51
        #24446594

        А почему нет, если дозировка/действующее вещество будет иметь различия в эффективности для разных рас. Да, это гипотетическое предположение и нужны исследования.... Но их сразу завернут по вполне понятным причинам.


  1. bbs12
    16.06.2022 19:58
    #24444832

    неужели расисты всех стран были правы

    В чем правы и при чем здесь расизм? Даже внутри одной расы имеются свои "подрасы" с характерными особенностями. ДНК и физиология разных рас определенно имеет некоторые различия, как минимум где-то присутствуют или отсутствуют гены, отвечающие за цвет кожи. Точно так же с высокой вероятностью должны быть различные генетические отличия, отвечающие за какие-то другие особенности строения организма. Просто потому что белая и черная расы были достаточно долго изолированы друг от друга, а это значит что и там и там в ДНК должны были накопиться разные мутации. Это же почти школьный факт по биологии видообразования.

    Проблема здесь в том, что Гитлер и Ко натворили много нехороших дел и теперь все бояться даже думать о таких вещах.


  1. Aspos
    16.06.2022 21:50
    #24445070

    Можно попробовать сделать GAN: одна сетка пытается подделать снимок так чтобы другая сетка ошибочно сказала "азиат".

    Потом уже сравнивать какие именно пиксели и как подделывались.


  1. 1A1A1
    16.06.2022 22:16
    #24445144
    +1

    А мулатов и прочих метисов первого, второго и далее поколений ИИ способен отличить? Или тупо цвет кожи влияет на контраст снимка?


  1. Alek_roebuck
    16.06.2022 22:45
    #24445216
    +2

    Любопытно, что американское деление на расы далеко от антропологического. Так, индийцев они классифицируют как "азиатов", в то время как на три четверти монголоидный мексиканец может запросто пойти по категории "белый испаноязычный". Также неграми (сперва из-за расизма и сегрегационных законов, теперь из-за "квот" affirmative action) могут считать человека, который негр только на четверть и даже меньше.

    То есть МЛ-модель, если она опиралась на антропологические признаки, сумела также правильно скомбинировать неявные подклассы в классы белый-азиат-негр, хотя сама "правильная" комбинация довольно искусственная.

    Любопытно было бы узнать, что там за подклассы. Будь это модель на деревьях, а не нейросеть, выяснить было бы проще.


  1. gleb_l
    16.06.2022 22:49
    #24445232
    +2

    Проблема не в том, что ИИ детектирует, что люди физиологически разные, а в том, что нам пытаются подать это, как повод для дискриминации. Это проблема нынешней политкорректности - нам на законодательном уровне пропагандируют идею о том, что все одинаковые, и предлагают бороться не с причиной, а следствием. НЕТ - все разные! И не только расы и мужчины и женщины, а вообще все - каждый индивидуум - белый, черный, желтый, прямой, косой, тупой, умный. Проблема в том, что независимо от того, кто перед нами, мы никогда не должны скатываться в риторику, описанную Жванецким - “зачем спорить с хромым об искусстве, если ему сразу сказать, что он хромой?”. Вот это и есть шовинизм.


  1. vconst
    16.06.2022 22:51
    #24445236

    Следующая «новость»:

    Нейросеть научилась отличать по фото кошек от котов. Казалось бы — при чем тут сексизм?!!


    1. MockBeard
      17.06.2022 15:12
      #24447656
      +1

      *Но пока только по фото сзади и с высоко поднятым хвостом )))


  1. vassabi
    16.06.2022 22:51
    #24445238

    то есть - археологи по скелетам могут определить возраст, пол и предположить принадлежность к расе, и это норм.

    А вот если нейросетка по рентгенам - то ужос-ужос, что же делать! (сарказм)


  1. mikhanoid
    16.06.2022 22:52
    #24445242
    +1

    Антропологи уже лет 100, если не дольше, определяют расы по строению скелетов - по остеометрическим признакам. Учёные, проводившие исследование, не в курсе?


    1. vconst
      16.06.2022 22:54
      #24445252
      +1

      Учёные, проводившие исследование, не в курсе?
      Картинка: <учёный изнасиловал журналиста>


  1. botyaslonim
    17.06.2022 01:00
    #24445566
    +3

    Долго пытался понять, что плохого в том, что ИИ научился различать то, что сделала различным сама природа? Из текста этой статьи так не понял, что плохого.
    Видимо, современная повестка настолько жёсткая, что требует отрекаться от самого очевидного: различий между белыми, неграми и азиатами.

    Что дальше? Шок контент "у мужчины на снимке отсутствовала вагина, хотя он выбрал гендер женщины"?


    1. vconst
      17.06.2022 01:19
      #24445604
      -1

      «Новостям» на Хабре — нужен хайп. Не знаю, кто именно из редакции это придумал :)

      Boomburum? :) Алексей? ))


      1. Boomburum
        17.06.2022 13:46
        #24447298
        +1

        Это не редакционный материал же, а в блоге компании.


  1. IamSVP
    17.06.2022 09:19
    #24446156

    а разве нельзя на тепловой карте подсветить атеншен или бекпропом глянуть, на что стригернулась сетка?!


  1. rehci
    17.06.2022 10:06
    #24446378
    +1

    Странно, первая идея, которая мне пришла в голову: теперь можно точнее ставить диагноз и назначать лечение, учитывая такие особенности. А эти ученые сразу начали говорить про расизм. Видимо каждый понимает результаты в меру своей испорченности.


  1. BiW
    17.06.2022 10:07
    #24446390
    +3

    Это поднимает тревожные вопросы о роли ИИ в медицинской диагностике и лечении: могут ли модели непреднамеренно проявлять расовую предвзятость при изучении подобных изображений?

    В этот момент пробил себе лицо ладонью. Повесточка настолько глубоко засела в мозгах некоторых людей, что свои собственные проблемы с головой они готовы приписывать бездушным компьютерам.


    1. Vitaly48
      17.06.2022 12:26
      #24447008

      Думаю тут проблема в том, что если у какой то этнической группы будет бОльший процент какой то болезни, и это попадёт в датасет. То нейронка увидет этот паттерн и будет его учитывать при выставлении диагноза


      1. tommyangelo27
        17.06.2022 12:49
        #24447056
        +2

        Осталось понять «почему это плохо»


        1. Vitaly48
          17.06.2022 12:57
          #24447090
          +1

          В одном из выпусков подкаста хабра обсуждали нейросеть которая училась определять то ли хасок, то ли волков. Потом оказалось что она выдаёт положтельный ответ если на фоне присутствует снег

          Так и здесь. Нейронка может определить какой то этнический признак как ключевой признак болезни


        1. Moskus
          17.06.2022 15:43
          #24447776

          Потому что в случае конкретного индивидуума, а не статистики по популяции, наличие когнитивного искажения подмены причинно-следственных связей корреляцией - это нехорошо. Но чтобы это понять, нужно понимать, почему это плохо и в случае принятия решения людьми, а в реальности это не все понимают.


          1. 0xd34df00d
            17.06.2022 18:41
            #24448606

            Но корреляции — это достаточно хорошая замена причинно-следственным связям в случае недостатка информации (а он у вас здесь есть).


            1. Moskus
              18.06.2022 08:57
              #24449906

              Достаточно - для чего? Во многих ситуациях стандарт "лучше не делать ничего, чем непонятно что" - валидный выбор. А корреляции - это "непонятно что".


              1. 0xd34df00d
                18.06.2022 20:50
                #24451418

                «Не делать ничего» — это точно такой же выбор, как и все остальные, и вам точно так же надо его обосновывать (и, кстати, поэтому я не понимаю, в чём проблема в проблеме вагонетки).


      1. BiW
        17.06.2022 13:03
        #24447108

        Я, конечно, не врач, но. по логике, так оно и должно быть, нет? Ну т.е. если у вашей этнической/возрастной/какой-либо еще группы есть какая-то предрасположенность, то это должно учитываться при постановке диагноза?


        1. Moskus
          17.06.2022 15:56
          #24447868

          Нет, не при постановке диагноза. А при определении возможных диагнозов. Потому что диагностика - это не гадание по тому, вероятность чего, как причины наблюдаемых симптомов - больше.


  1. wataru
    17.06.2022 14:09
    #24447386
    +4

    Какой к черту расизм, какие предубеждения? Расы — это не только цвет кожи же. Например, форма разреза глаз, форма лица. Не сложно допустить, что есть какие-то особенности строения склелета — просто вот та кость на миллиметр длинее у одной расы, а вон та той кости есть впадинка (тоже едва заметная для глаза). Нейросетке этого хватит.


    Вот то, что с этой находкой носятся и ученые шоке — вот это отражение человеческих предубеждений.


  1. greenTransistor
    17.06.2022 18:02
    #24448474
    +2

    Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов
    в больницы и вообще в крупные структуры, пока не будем уверены, что они
    не принимают расистских или сексистских решений.

    Расистские и сексистские решения могут принимать не алгоритмы, а люди, интерпретирующие и использующие результаты их работы. Определение расы по косвенным признакам можна использовать как во благо, подбирая более эффективные и/или безопасные препараты, учитывая различия в биохимии, так и во вред, ограничивая доступ к некоторым возможностям или устанавливая разные условия. Алгоритм классификации работает независимо от цели, с которой его применяют. Точно так же, как пистолет, который, находясь в руках грабителя или полицейского, будет либо угрозой, либо защитой.


  1. JTG
    18.06.2022 02:23
    #24449650
    +2

    — Нет, серьезно. Он там управлял системой подземки — никаких нареканий, идеальный работник, а потом однажды эта штука просто забыла запустить вентиляторы, когда было надо. Поезд заезжает на пятнадцать метров под землю, пассажиры выходят, воздуха нет, бум!

    — Эти штуки вроде как учатся на собственном опыте, правильно? — продолжает Джарвис. — Ну и все думали, что зельц научился запускать вентиляторы по какому-то очевидному признаку. Жару тела, движению, уровню углекислого газа, ну ты понимаешь. В результате выяснилось, что эта хрень просто смотрела за часами на стене. Прибытие поезда совпадало с предсказуемым набором паттернов на цифровом дисплее, поэтому она включала вертушки, когда видела один из них.

    — Ага. Точно, — Джоэл качает головой. — А какие-то вандалы часы разбили. Или что-то вроде того.

    (Питер Уоттс - Морские звезды)


  1. FatherYan
    19.06.2022 11:27
    #24452306

    Мне показалось, что многие комментаторы выше, неявно исходят из предположений, что человек (биологическая нейросеть), в отличие от электронной нейросети, всегда не предвзят и в состоянии объяснить, как он пришел к некоторому решению. Это очевидно не так.

    Судьи после обеда добрее. https://www.kommersant.ru/doc/1639006

    Люди сплошь и рядом "задним числом" придумывают "рациональное" объяснение своим решениям. Два разных человека на основе одних и тех же данных запросто могут выдать мнения/решения противоположные по смыслу. Люди постоянно ошибаются и, что самое неприятное, очень часто упорствуют в своих заблуждениях.

    Осмелюсь предположить (гипотеза, разумеется, требует проверки), что уже сейчас, в большинстве случаев, серьезная, обученная профессионалами, нейросеть выдает правильные решения в большем количестве случаев, чем человек. Да, психологически принять неправильное решение от "железяки" сложнее. Ну или решение, которое мы считаем неправильным, а логику рассуждений нам не предоставили. С ситуацией, когда подобные решения выдают нам другие люди сталкивались примерно 146% здесь присутствующих. Начальник/учитель/клиент... запросто может выдать очевидную бредятину без обоснований. Делаем так "патамушта я так сказал".

    Да нейросеть может ошибаться и будет ошибаться. Но люди ошибаются гораздо чаще. У нейросети не было и не могло быть тяжелого детства, дружбы/вражды с некоторой категорией людей, недостатка витаминов, солнечного света, гормонов, что влияет на настроение непредсказуемым образом.

    Предположим, что человек прав в 98% случаев, а нейросеть в 99%. Да 1% "попавших под раздачу" (несправедлива забанили, назначили не то лекарство, посадили в тюрьму...) обидно. Но если бы решение принимал человек, таких было бы в 2 раза больше. Разумеется это не означает, что не должно быть механизма апелляции. Он так же нужен как и при принятии решений людьми.