Люди, которые застали динозавров и пейджеры, могут помнить, что когда-то давно, диктуя сообщение девушке-оператору пейджинговой компании, можно было услышать в ответ «Это сообщение оскорбительно для получателя, отправлять его я не буду». И попробуй докажи, что это у вас с получателем такая внутренняя шутка.
С тех пор способов доставить получателю оскорбительное сообщение стало намного больше, а способов превентивно это остановить не так уж и много. Предлагаем вспомнить наиболее любопытные технологические попытки сделать интернет чуть более добрым местом.
Сколтех против неуместности
Буквально в прошлом месяце Сколковский институт науки и технологий презентовал нейросеть, призванную находить «неуместные» текстовые сообщения. Потенциальные сферы применения — определение некорректного поведения чат-ботов в переписках с клиентами, а также модерация сообщений и комментариев в социальных сетях.
Разработчики особо подчеркивают, что система способна определять именно «неуместные» комментарии (не путать с «токсичными»). В качестве примера они приводят чат-бота, который вежливо рекомендует пользователю покончить с собой. Токсичности нет, но это явно неуместно.
Упрощенно нейросеть действует так: у системы есть список из 18 потенциально опасных тем. Она способна понять, если разговор начал относиться к одной из них, и в таком случае начинает внимательно анализировать сообщения. Среди зон потенциальной опасности — религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления.
Авторы заявляют о точности системы в 89% случаев, хотя реальных кейсов ее использования пока нет. Но можно вспомнить один из предыдущих экспериментов Сколтеха. Тогда нейросеть написала около 14 тысяч сообщений в секциях комментариев под новостями в сфере IT. Главным результатом эксперимента тогда стало то, что многие пользователи посчитали комментарии уместными или даже смешными.
IT-университет Копенгагена против харрасмента
Исследователи университета в течение полугода оплачивали работу семерых максимально непохожих людей. Среди них были, например, дизайнер ПО, климатический активист, актриса и медицинский работник. Их задача была в следующем — они изучали тысячи сообщений в социальных сетях и выносили вердикт, являются ли они сексисткими или издевательскими.
Раз в неделю они собирались, чтобы обсудить сложные случаи. В общей сложности было проанализировано около 30 000 сообщений, 7 500 из которых были признаны оскорбительными. По словам исследователей, система на основе полученного и размеченного набора данных, может распознавать токсичное поведение в социальных сетях в 85% случаев. Реальными кейсами применения этой технологии исследователи пока не поделились.
Можно вспомнить инициативы многих социальных сетей по фильтрации потенциально оскорбительных комментариев и сообщений. Эти функции в том или ином виде запускали ВКонтакте, Twitter, Instagram, Tinder, TikTok и другие. Каких-то заметных успехов в борьбе с интернет-токсичностью каждая из этих инициатив не добилась, и все они были тихо свернуты, без каких-либо отчетов об успехах.
Facebook против издевательских мемов
В 2020 году Facebook выложил в открытый доступ набор данных, который должен был помочь исследователям ИИ в автоматическом режиме распознавать оскорбительные изображения и мемы. По задумке компании, датасет должен был облегчить решение сложной задачи — распознавания ненависти и зла в изображениях, которые несколько завуалированы.
Примеры таких мемов
В декабре 2020 года Facebook заявил, что считает результаты работы алгоритма достаточно хорошими, и обещал продолжить его развитие и использование в рамках социальной сети и дальше.
Jigsaw против всего мирового интернет-зла
Jigsaw — компания, принадлежащая Google, и в соответствии с информацией на сайте она «разрабатывает технологии, которые помогут человечеству справиться с глобальными проблемами, от цензуры и домогательств в интернете, до цифровых атак и вооруженного экстремизма».
Для уменьшения зла в мире Jigsaw предлагает решение Perspective. С помощью машинного обучения оно в реальном времени оценивает комментарии на степень их токсичности. Разработчики особо подчеркивают, что решение способно сделать это быстрее и точнее любого человека-модератора.
На сайте проекта в специальной форме можно проверить степень токсичности тех или иных слов, включая русские. Сразу отвечаем на два важных вопроса. Главное русское слово из трех букв состоит из зла ровно на 5.98 %, а популярное грубое приглашение отправиться в пешее путешествие — на 93.39 %.
Jigsaw не останавливает работу по улучшению своих алгоритмов и регулярно проводит конкурс среди разработчиков Jigsaw Multilingual Toxic Comment Classification. От его участников требуется улучшить алгоритм по поиску негативных и токсичных комментариев.
Perspective пользуются такие компании, как Reddit, The New York Times, Disqus и многие другие. Практически все они заявляют, что использование технологии помогло им значительно сократить количество токсичных комментариев. Так, газета Southeast Missourian заявляет, что технология уменьшила количество негативных комментариев на сайте на 96 %.
А The New York Times смогла увеличить количество статей, открытых для комментирования, до 80 %. До использования этой технологии на сайте для комментариев было открыто 10 % материалов. А директор по технологиям в Reddit Крис Слоу заявляет, что Perspective — это ценный инструмент для повышения уровня безопасности на ресурсе.
Одна из главных проблем всех этих инициатив — отсутствие единого стандарта для определения нежелательных сообщений. Варьируется и количество категорий, оно может составлять как четыре категории, так и 23. Кроме того, большинство таких исследований проводится на английском языке.
По данным некоммерческой организации Plan от 2020 года, более половины опрошенных женщин в 22 странах заявили, что подвергались преследованиям или насилию в интернете. В результате каждая пятая из них сократила его использование или вовсе прекратила «серфить» в сети. Чаще всего нападения происходят на Facebook, за которым следуют Instagram, WhatsApp и Twitter. Таким образом, не сегодняшний день проблема «злого интернета» все еще актуальна и далека от решения.
Комментарии (48)
Cost_Estimator
06.08.2021 14:53+3Для уменьшения зла в мире Jigsaw предлагает решение Perspective.
Та же фраза на других языках:
английский - 59.30%
испанский - 44.40%
китайский - 49.18%
Есть еще куда развивать NLP.
Еще один вариант попробовал )
Your mother sew. - 59.30%
Your mother sew - 51.96%
Your mother sew! - 51.21%
Does your mother sew? - 51.55%
Точка матери очень токсична. А если изменить принадлежность матери, токсичность упадет (Does our mother sew? дает 10.91%).
То же, но с другими членами семьи:
Your father sew. - 16.56%
Your father sew - 19.39%
Your father sew! - 15.08%
Влияние заглавных букв:
Your sister sew - 33.64%
your sister sew - 39.93%
Your brother sew - 15.12%
your brother sew - 10.65%
И этот алгоритм используется в Reddit и Disqus...
Kwent
06.08.2021 15:31Ну, во-первых, ваш пример в зависимости от контекста может быть токсичным, например, где шьет явно произносится (по аналогии с разговорной речью) как эвфемизм ("ой, а твоя мать вообще шьет всему району" там). Вы же не специально взяли слово шьет, ведь все всё понимают, правда?)
Во-вторых, твоя и наша тоже понятно, во всем известном ругательстве действительно твоя, а не наша, то есть даже нейтральная фраза "твоя мать шьет" более токсична, чем "наша мать шьет", если нас вынудить определить здесь оператор сравнения.
В-третьих, пунктуация это по сути интонация на письме. Если мы говорим о форумах, то точка там редкий гость и часто встречается для подчеркивания эмоций (резкости там, завершения разговора, передачи отрицательного настроения, например: "Ясно.")
В-четвертых, а какой порог-то? Если бахнуть порог 90%, то все ваши фразы нейтральны и все ок :)
Cost_Estimator
06.08.2021 15:55+1Контекст может влиять, но мне более странным кажется влияние регистра и знаков препинания - токенизация их удаляет же?
Кстати, еще одна особенность - влияние количества точек. И еще немного чисел. В основе - Your mother sew
В конце символы:
Точки (1, 2, 3...) - 59.30 55.83 55.56 53.76 55.09 55.16
Восклицание - 51.21 51.55 53.49 53.49 53.84 54.16
Вопрос - 43.68 44.07 43.31 43.37 44.67 44.68
А еще они не любят программистов. Упоминание F# токсично на 45.65%, фраза I learn F# на 53.49.
Kwent
06.08.2021 16:03+1Чувствую себя каким-то адвокатом дьявола, ну # же типичный пример символа замены как и @: f#ck
Ну и в моем мире <любая фраза>!!!!! такое себе, и чем больше восклицательных знаков тем страшнее
Нужно понимать, что сервис учился на размеченных людьми данных, а люди уже давно в подобных задачах работают хуже людей. Вот смотрите, как бы вы отранжировали фразы по токсичности с одной, двумя и тремя точками? И главное почему так? Или ваша позиция в том, что это задача принципиально нерешаема?
P.S. разницу в 5-10% я бы не считал значимой когда мы в середине интервалаЯ не совсем понимаю ваших претензий, как по мне работает ожидаемо и нормально, очевидно, что любое изменение фразы меняет ее токсичность (если нет, то могу объяснить), и мы видим что для сравнительно нейтральной фразы (с явным закосом под сложный тест) оценки действительно не высокие, он же не дает 99% ответ, правда? 50-60 это возможно не так уж и много, мы не знаем распределения, вдруг там вообще нормальное и 50 - максимально нейтральная фраза?
Cost_Estimator
06.08.2021 16:13+1Никаких претензий, просто наблюдение - сервис работает странно, хотели автоматизировать, а в итоге все равно, люди судят людей. Негативный оттенок глагола "шить" встречал только в русском языке. Сейчас вот специально перелопатил urbandictionary, там ни слова о негативном оттенке sew. Далее, токенизация. Алгоритм ей вообще не пользуется, уж не знаю, специально или нет.
О том, что шарп используют для сокрытия символа, я знаю. Но одного, не куска слова. F### все же отличается от F#.
Kwent
06.08.2021 16:21+1По поводу шить, я не про значение шить а про "твоя мать <что угодно>" в контексте может быть эвфемизмом, на этот он и агрится, просто "твоя мать <что угодно>" вероятнее что-то плохое чем "наша мать <что угодно>" для сервиса и для меня тоже.
По поводу странно - вы тестируете явно граничный случаи, а работает оно на обычных :) Ну и еще раз акцентирую, что 50-60% это много - вы сами себе придумали, мы не знаем какие пороги в том же reddite (как минимум я не знаю).
По поводу токенизации - ваши представления об NLP устарели, токенизация - вынужденное зло и если можно было бы делать без нее - делали бы сразу, сейчас в топ решениях ее в явном виде нет. Точнее она есть, но токен != слово (мне показалось вы это имеете ввиду) точка - тоже токен, а слово не всегда целиком является токеном, а иногда токен это несколько слов.
Scinolim
06.08.2021 17:11Для нейросети достоверность должна быть больше 90-95% чтобы считать сообщение токсичным (как и с любой другой классификацией). Всё что меньше — белый шум. На русском языке оно плохо обучено, но в любом случае упоминание «твоя мать {действие}» в любом контексте в комментариях под публичными новостями — явно грубо.
Kwent
06.08.2021 17:17у "нейросети" в общем случае нет процентов, будем честным, часто полученные выходы преобразуют некой функцией, чтобы результаты стали более понятны для человека, в этом случае, видимо, немного неудачно сделали :)
Scinolim
06.08.2021 17:24Обычно результат классификатора лежит в диапазоне значений вектора 0..1. Если ниже, чем 0.9, то в большинстве случаев это значит, что нейросеть не может уверенно классифицировать вход.
Kwent
06.08.2021 17:40В этой паре предложений столько предположений, которые мы не можем узнать и проверить :) Да и такого "обычно" нет, "обычно" - 0.5, а вот в моей сетке сейчас 0.72, все не так однозначно.
LynXzp
07.08.2021 03:39Для нейросети достоверность должна быть больше 90-95%
В зависимости ошибка какого рода более дорогая. Если это сайтик элитной сети школ с модерацией комментариев, то лучше сотни ложных срабатываний с оповещениями модератору, чем одно пропущенное сообщение.
fndrey357
08.08.2021 21:24Интересно, как эта хрень отреагирует на "Твой брат - прокурор, шьет" и "Твоему брату шьют".
ncr
06.08.2021 15:14+15С появлением интернета у человечества впервые в истории появилась возможность массово спускать пар виртуально, без рукоприкладства и последствий.
Казалось бы, живи и радуйся.
Но нет, это токсично и недопустимо, надо цензурировать и делать вид, что мы все добрые и пушистые.
А в том, что очередной подросток возьмет ружжо и спустит пар в ближайшей школе, конечно же, будут виноваты видеоигры.Scinolim
06.08.2021 17:21Основная направленность Percpective — избегать токсичности в публичных комментариях, в которых неуместны переходы на личности. А этот API всего лишь инструмент для движков форумов, на замену примитивному антимату.
unsignedchar
07.08.2021 12:59+5избегать токсичности в публичных комментариях, в которых неуместны переходы на личности
Если интересуют только нетоксичные комментарии — не проще ли живых людей до комментирования не допускать, нагенерировать нужных комментариевнейросетьюспециально обученными писателями?
sundmoon
22.09.2021 21:13У системы никаких "интересов", её цель дрессировка, именно дрессировка живых людей.
sibirier
06.08.2021 22:39+2… массово спускать пар без последствий
ну, не совсем без последствий. кибербуллинг до добра не доводит. кто-то может заявить «так это за дело», но это самосуд. виновных должны наказывать те, у кого есть на это полномочия (и после следствия, а не по прихоти любого обратившегося), а не все подряд. иначе так можно* затравить любого, даже невиновного.
* —пока ещё«есть возможность», а не «разрешено».
kortique
07.08.2021 15:55+2Я больше поверю, что привычка безнаказанно материться и оскорблять людей, сформированная в интернете, быстрее приведёт к привычке повторять этот опыт на постоянной основе, ибо уже станет для индивида нормой, чем фингал под глазом в дочатовские времена после первой неудачной попытки сострить о матери собеседника.
Если надо спустить пар - иди в зал. А если очень хочется кого-то унизить, то пожалуйста, но будь готов к ответственности.
engine9
07.08.2021 19:52+5Ну тут спорно, кстати. Есть инфа, что если прибегать к какой-то деятельности то она закрепляется через обыкновенное научение. Например, если человек через крик и оскорбления "выпускает" гнев, то он движется к тому чтобы чаще применять эту практику.
Мне эта тенденция (ограничивать высказывания людей) робо-цензурой напоминает лечение диареи путём затыкания ануса пробкой. А стоит учить людей справляться с обидой (подавляющее большинство людей не осознаёт, что эмоция обиды это продукт их собственного неуправляемого поведения и требований, но это отдельная тема для разговора). И еще хорошей "прививкой" против словесного насилия является восппитание. Но кого это волнует, проще озлобленных и обиженных загонять под гнёт лицемерной толерастии которая является лишь имитацией настоящей терпимости.
Tanner
06.08.2021 15:33+4Мне кажется, в каком-то разговоре с Джорданом "Лобстером" Питерсоном проскальзывало такое обобщение, что юмор -- это исходно консервативная вещь, так как юмор почти всегда основан на недосказанности, на каких-то общеизвестных вещах, которые, тем не менее, редко вербализуются. А социальные активисты, наоборот, постоянно объясняют что-то: 150 лет назад они объясняли, что такое пролетариат и эксплуатация, сейчас они объясняют, что такое апроприация и менсплейнинг. Объяснения -- это что-то противоположное юмору. Поэтому социальный активизм не бывает смешным.
Так вот, я думаю, может быть так, что социальные активисты, захватившие сегодня сферу IT, чувствуют идеологическую враждебность юмора, поэтому так серьёзно настроены бороться с ним.
Другое объяснение подобным эксцессам, которое приходит мне в голову: в IT работает очень много людей, которые воспринимают юмор иначе, чем большинство, просто в силу диагноза (диссоциальники, аутисты и т. д.). Они или не понимают, за какую безнадёжную задачу берутся, или, наоборот, формализация юмора для них является очень интересной задачей, профессиональным вызовом. В любом случае, антисоциальности своей работы они не осознают.
lealxe
06.08.2021 19:41Извините, первое объяснение хорошее, и второе тоже, но не согласен, что в этом есть что-то антисоциальное.
То есть я хорошо понимаю людей, которым, как вы сказали, интересна задача.
Проблема не в том, что кто-то разрабатывает системы фильтрации и оценки, и неважно, по какому признаку, проблема в том, что есть одна сторона/группа, принимающая решения, кому говорить, а кому молчать.
Если бы медиум для коммуникации с этой точки зрения был как Usenet, с индивидуальной системой фильтрации и оценки для каждого (как киллфайлы там), то проблемой это бы не было, даже наоборот - позволило бы такой системе существовать в современном интернете с огромным количеством злонамеренных людей и ботов.
Tanner
06.08.2021 20:51+3То есть убивает не оружие, убивает человек. Если я правильно понял ваш аргумент.
Но такие технологии, как описаны в этой статье -- это, похоже, такое особое оружие, которое даёт преимущество только одной стороне конфликта. Даже под открытыми лицензиями. По крайней мере, нам сейчас понятно, как всё это можно использовать в целях цензуры или слежки, а вот на благо отдельного человека -- нет, непонятно.
lealxe
06.08.2021 21:08Да, но еще смотрите последний абзац. Хотя, к сожалению, пока такого p2p-реддита вроде бы еще нет.
Я бы скорее сравнил это с ядерным оружием, которое с точки зрения некоторых сдерживает количество и масштаб войн на планете.
То есть если все централизованные платформы будут захвачены цензурой, то люди со временем поймут, для чего нужна децентрализация.
Kvakosavrus
06.08.2021 22:38+4Жуть какая. Ужасом и безнадежностью веет от таких статей.
vit1251
08.08.2021 04:57Так конечно, так как решение очевидно проблемы лежит в развитии культуры у людей. Психологическе здоровье этих самых комментаторов первоочередная цель. Понимание, что например оскорбление или токсичность это как ходить измазанными в дерьме или даже преступление (ударить кого-то это хулиганство, а вот гадость вполне нормально - хотя были в государственных законах какие-то подвижки в этом направлении). Сегодня в городах люди вроде прилично одеты, а среди молодежи полно модников, что им можно позавидовать. Странно, что в области коммуникации нет подобной культуры (только фантики и обертки)? А направление нейронных сетей это как фотошопить грязную одежду или скрывать ее за цензурой (черными квадратами) или не обращать на это внимание. Я ожидал от Facebook немного большего в конце концов там Марк он же учился в Гарварде и раз уж он позиционировал себя как меняющего формат общения, то можно было бы не останавливаться и продолжать движение.
unsignedchar
08.08.2021 11:58Странно, что в области коммуникации нет подобной культуры
Ничего странного на самом деле. Культура в общении IRL складывалась исторически в течение тысячелетий. И за несоблюдение культурных традиций можно ощутимо пострадать. А в общении в интернетах сложившихся традиций нет, сдерживающих факторов как в IRL тоже нет.vit1251
08.08.2021 23:08С историей конечно полным полно было воин и доказательств, что культура важна и ее нужно уважать, но я думаю, что память у людей короткая. Одно поколение и все уже опять с нуля чистенькие и поносят в разные стороны. Думаю, что культуру нужно прививать на уровне школы или вторая мысль, что наверное общение в интернете слишком доступное. Скажем если бы каждый окмментарий стоил бы денег, то наверное люди сто раз подумали что писать и кому писать. А если бы ввести ответственность например за оскорбление, то и вовсе комментарии будут крайне аккуратными. Я думаю, что вопрос постепенно назреет и станет рассматриваться как часть законодательства.
unsignedchar
09.08.2021 09:13Скажем если бы каждый окмментарий стоил бы денег
Если бы каждое слово стоило денег.. Хотя слово серебро, а молчание золото, например. Предки понимали толк а самоцензуре
А если бы ввести ответственность например за оскорбление
А как у нас по поводу ответственности за оскорбление IRL? За оскорбление некоторых можно получить по лицу, за других - по закону, а в основном нет никакой ответственности. И в интернетах так же.
vit1251
11.08.2021 18:29А как у нас по поводу ответственности за оскорбление IRL? За оскорбление некоторых можно получить по лицу, за других - по закону, а в основном нет никакой ответственности. И в интернетах так же.
Так в IRL тяжело заловить оскорбителя, так как нужно зафиксировать, а фиксировать нельзя, так как шпионская техника запрещена и выходит, что нужны свидетели, а свидетели тоже могут врать и т.д. А с Интернетами сам факт сообщения уже можно расценивать как сообщение и тут даже нейронные сети писать не нужно - ситуация на лицо. Другое дело, что люди сами должны дойти до этого ... Можно рассмотреть и противоположное движение людей, которые оскорбляют. Взять и спросить, а какую цель преследуют и скорее всего тут ответ будет один это агрессия направленная в себя из-за неудовлетворенности в каких-то собственных потребностях. От ущемленного эго и заканчивая обидой за то что наступили в транспорте за ногу.
unsignedchar
12.08.2021 00:10А с Интернетами сам факт сообщения уже можно расценивать как сообщение
Нельзя. Без нотариально заверенной цифровой подписи под каждым байтом невозможно доказать, что сообщение действительно отправлено Васей Пушкиным.
vit1251
12.08.2021 11:37Без нотариально заверенной цифровой подписи
Просто большая часть сервисов по прежнему работают в серой зоне (не производят достаточную проверку подлинности), а так многие сервисы вводят авторизацию по телефонному номеру и работают по защищенным каналам. Вопрос прнятия государством просто этого факта и я думаю, что рано или поздно мы получим такие системы. Вот уже ВКонтакте не позволяет без привязки к номеру телефона зайти и многие дургие сервисы. Так что нотариальные заверения цифровой подписью остались в прошлом, а настоящее уже на подходе. Думаю, что скоро популяризируют работу под персональными сертификатами (не знаю как точно их называют, но помню была клиентская авторизация в WebMoney ещё в 2000-е так организована).
unsignedchar
12.08.2021 11:55Тогда в серую зону уйдет управление сертификатами. Помните ту историю, когда продали квартиру с помощью цифровой подписи, полученной в немного подзрительном удостоверяющем центре? Насколько я помню, виноватых не было.
vit1251
12.08.2021 12:03Согласен. Сейчас мы видим начальный этап развития. Погодите еще вчера выход в Интернет происходил по модему через телефон. Я думаю, что нужно просто какое-то время.
t13s
10.08.2021 10:34+1Мне кажется, проблема рассматривается только с одной стороны: до активного развития этих ваших интернетов всяческие обиженки сидели дома и на "токсичность" (дома, на работе, etc...) "оскорблялись" молча. Сейчас же соцсети предоставляют отличную возможность обижаться публично, для чего много ума не требуется. Чем вышеуказанные персоны, собственно, и пользуются.
Чтобы осознать масштаб изменений, пересмотрите, например, Хауса (который снимался не очень-то и давно): там в каждой серии присутствуют примерно годовой бюджет расистских и сексистских шуток, который может позволить себе все медиа сегодня. А сейчас Гай Ричи выглядит ооочень смелым со своим джентельменским "ну, ты черный и ты урод".
ra3vdx
07.08.2021 01:21+4Ну, алгоритмы ФБ - притча во языцех. Можно схватить бан на месяц за использование слова "укроп" в рецепте окошки.
Что же касается токсичности и уровня озлобленности - для меня было ценным опытом сравнения комментариев в русскоязычном и англоязычном разделах ютюба.
IluhaSMV
07.08.2021 15:54Все эти попытки цензурить злые комментарии в интернете являются лишь борьбой со следствиями проблемы, а не с её причинами. Какие люди, такой интернет. Когда сами изменимся, только тогда интернет станет более приятным и добрыми местом.
funca
09.08.2021 23:21У комментов есть эффект положительной обратной связи. Люди имеют тенденцию подхватывать настрой и потом отвечать в том же духе, нередко повышая градус накала страстей. Поскольку они это повторяют из дня в день здесь есть и воспитательный момент. И тогда становится справедливым обратное: какой интернет, такие и люди. На моей памяти цензура в пабликах была всегда, начиная со времен анархо-фидонета.
Xuxicheta
08.08.2021 22:37Токсичность, агрессия - топливо для дискуссии. Сделайте полемику доброй и она заглохнет.
funca
09.08.2021 23:10Кстати хорошее замечание. Этим заметно выделяются полемики в рунете. Может поэтому весь остальной мир считает нас немного дикарями?
unsignedchar
10.08.2021 10:44В 99,99% под дискуссией понимается срачь. Многим нравится, никого насильно дискутировать не заставляют. Есть даже телевизионные ток шоу в подобных форматах.
teecat
09.08.2021 14:20И попробуй докажи, что это у вас с получателем такая внутренняя шутка.
Не смешно. Работал я в пейджинговой компании. Так вот — претензии получатель отправлял не тому, кто надиктовал, а к пейджинговой компании. ПРиходили с юристами, и да — им возмещали моральный ущерб. Так что ограничения — не шутки операторов
Manwe_SandS
10.08.2021 20:30в Сколково ставят в один ряд разговоры о политике и о самоубийствах, понятно.
sinc_func