Я (Aryn — arynme), и X (teleX) уже давно сидим в Telegram и пытаемся разобраться в нём, вплоть до используемых технологий и состава команды.
Около года назад мы начали тестировать лимит на сообщения в различных видах чатов Telegram. Так мы и узнали об описанной проблеме и последствиях.
Telegram безлимитен
Основа основ
Все полученные пользователем сообщения в личных чатах (обычные группы, с ботами и пользователями) хранятся в его «ящике». Также, «ящик» есть и у других типов чатов — супергрупп и каналов.
У обоих типов ящиков разные лимиты на количество сохраняемых сообщений. Судя из того, что «Telegram безлимитен», означает, что и «ящик» должен быть безлимитен.
Проблема
Как для ваших личных сообщений (все индивидуальные чаты с пользователями и ботами), так и для обычных групп существует единый общий «счетчик» входящих и исходящих сообщений. Этот счетчик, после достижения определенного лимита приведет к тому, что Telegram перестанет показывать Вам ваши сообщения после определенной даты.
Те, кто сталкивается с этой проблемой, являются активными пользователями Telegram и групповых чатов — сообществ и людей, наиболее зависимых от этого мессенджера. Возьмём, к примеру, популярного разработчика ботов, который «по ошибке» настроил своих ботов на отправку логов в личные сообщения, тем самым потеряв множество сообщений из важных личных чатов:
Никогда не засоряйте себе логами и другими ненужным мусором личные сообщения. И в целом храните всю важную информацию в отдельном канале, а если очень важная — тогда дублируйте на другие хранилища.
Я отправлял себе ботом информацию об ошибках. И в итоге он отправил их больше 200 тысяч. После чего у меня везде удалились сообщения с января по октябрь 21 года.
Через специальный бот я узнал, что у меня сейчас как раз 3 миллиона 200 тысяч сообщений. Видимо в телеграме лимит 3 миллиона, хотя раньше писалось о том, что лимит на сообщения был снят. Даже экспорт GDPR не загружает их. Каким‑то чудом потом на Telegram Mac клиенте загрузились сообщения, но медиа не загружаются всё равно.
Проблема не нова и есть не только у вышеупомянутого разработчика ботов, но и других личностей: (на скриншоте обращение к Павлу Дурову, где подписчики жалуются на удаление комментариев из постов канал Вячеслава Володина, подозревая ограничения на свободу слова)
Есть ещё один пример, где у канала Двач не открывались комментарии: (P.S.: комментарии и по сей день включены, просто адрес канала поменяли на более короткий - ru2ch)
Немного дополнительной информации
Вы можете проверить свой лимит сообщений, который Вы «потратили». Для этого необходимо отправить сообщение в Ваше «избранное», воспользовавшись одним из этих двух ботов: ArynIDBot или accountcountbot.
Если id сообщений будет больше 1 миллиона, то, вероятно, что определённая часть ваших сообщений утеряна. Бота можно использовать не только в «Избранном», но и в супергруппах и каналах. Главное запомнить, что в обычной группе будет показываться по-прежнему счётчик сообщений Вашего ящика. Чтобы в поиске найти все сообщения, достаточно в запросе написать «-» (дефис) или «+» (плюс).
Тесты
Для тестов на первый тип ящика мы отправляли teleX большое количество сообщений использую кучу созданных нами ботов.
Также, можно посмотреть как плавно пропадают сообщения в «Избранном»:
А для последующих тестов мы использовали кучу созданных нами ботов и отсылали сообщения в канал и в прикреплённый чат (супергруппа, WhereIsMessages). Начали мы тест 14 июля 2022 го, а закончили 21 сентября 2022-го (с длительными перерывами).
Что же из этого вышло?
Ещё во время тестов мы видели, как пропадают старые сообщения в чате. Мы удалили почти 1 миллион сообщений в надежде, что хотя бы часть сообщений вернётся обратно в групповой чат, но этого не произошло. После окончания тестов мы заметили как быстро менялся счетчик количества сообщений в чате при поиске: (временно)
На сегодняшний день сохранилось лишь около 900 тысяч сообщений.
Решена ли данная проблема с вводом топиков (форумов, тем)?
Нет. В них также действует лимит в 1 миллион сообщений. В них также пропадут старые сообщения, когда группа перевалит за миллион сообщений. Интересно то, что один популярный топик при высокой активности пользователей может затереть все предыдущие созданные топики. Мы проверяли данный лимит и на форумах. Пример данной группы — offtopicgroup
Виджет комментариев для сайтов
Telegram дает возможность использовать их виджет комментариев на вашем сайте, но даже в них есть тот же самый подвох. Давайте представим Хабр с этим виджетом.
Подвох этого виджета в том, что у нас по-прежнему ограничение в 1 млн, но это еще полбеды. Оказывается, что это ограничение распространяется на все страницы сайта. Получается, что если у Хабра произойдет на одной статье хабраэффект, то комментарии начнут пропадать во всех других статьях. Они начнут затираться. Таким образом, этот виджет комментариев мы бы не рекомендовали использовать на больших сайтах.
Ссылка на эксперимент: https://comments.app/view/xrNekuh3/
Как мы пытались решить проблему
Мы создали баг-репорт на официальном сайте Telegram.
После того, как мы начали распространять наш баг-репорт в крупных Telegram чатах и каналах, случилось чудо:
Команда Telegram удалила всю историю сообщений teleX до 2022 года. Он потерял все свои сообщения из-за того, что протестировал, подтвердил и рассказал о баге. У команды Telegram не должно быть прав удалять переписку пользователей. Это буквально то, что происходит, когда сообщения хранятся в открытом виде на серверах Telegram.
Также, Telegram и ранее пытался устранить эту проблему, но не получилось:
Поддержка же утверждает, что дело в используемых пользователями клиентах.
Заключение
В конечном счёте это вынуждает нас прибегать к обходным путям.
Активные пользователи Telegram должны помнить об этом ограничении и создавать отдельные каналы для своих мемов, музыки, логов и т.д.
Для многих крупных сообществ Telegram с тысячами подписчиков в супергруппах и каналах также создает проблему непрерывности, которая неизбежна: старые сообщения просто исчезают, а важная история безвозвратна. Обратите внимание, что с другими сервисами, ориентированными на сообщество, такими как Discord, это не проблема:
Команда Telegram не просто может читать все ваши сообщения в открытом виде из личных чатов, но еще может и удалять их. Также поэтому пока не используйте Telegram для хранения важной информации.
Фидбеки ожидаем в комментариях или в ArynFeedBot.
Комментарии (161)
serafims
00.00.0000 00:00+1Есть ли какие-то способы регулярного бекапа чатов на свой сервер?
DGG
00.00.0000 00:00+2Статья на Хабре:
https://habr.com/ru/post/354472/
Плюс есть возможность ручного бэкапа в десктопном клиенте Телеграма
bork
00.00.0000 00:00Возможность бекапа есть, а возможности восстановления истории из бекапа нет. Такой себе бекап...
m1skam
00.00.0000 00:00+2
kap1ik
00.00.0000 00:00+1Скажу вам - годное решение. И визуально Element мне на глаз красивее телеграмма. Но это больше для себя, так сказать локально, другим тоже придется его ставить, что бы увидеть все сообщения.
morijndael
00.00.0000 00:00+6Как человек, пользующийся элементом каждый день, я хочу сказать, что несмотря на красивенький внешний вид, в использовании это ужас редкостный.
У него поведение зависит буквально от фаз луны. Захотел — среагировал на /команду, захотел — отправил прям так
Он не умеет в зачёркивание тильдами в маркдауне, приходится писать <del> теги вручную. Но если фаза луны не соответствующая, то он их тупо заэкранирует, отослав как есть. Мне пока не удалось выявить закономерностей в этом, но по ощущениям вероятность там 50/50
Интерфейс меток о прочтении это отдельная сага. Казалось бы, очень удобно сразу видеть, кто до куда читал. Но гениальные дизайнеры сделали эти метки между сообщениями. В результате каждый раз, когда метка прыгает в новое место все сообщения дёргаются. Я не знаю, почему этим горе-фронтендерам никто не стукнул по рукам за такое, но дёргания в интерфейсе однозначно неприемлемы. Туда же тех, кто на десктопе придумал дёргать все сообщения вверх ради появления метки "печатает..." (а потом обратно вниз)
А ещё они уже фиг знает сколько в браузере не могут пофиксить кнопку сохранения картинки. Тупо вечная "расшифровка". Комический эффект в том, что расшифрованная картинка при этом уже успешно выводится на экран, но повторить тот же фокус дважды видимо невозможно, квантовая неопределённость разрушена
По отдельности каждый косяк фигня, но их много, и они не фиксятся уже очень долго, складываясь в отвратительный UX
Так что до телеграма элементу как до луны. Хотя в последнее время эта дистанция начала усиленно сокращаться...правда, с другой стороны
P.S. на компе намного больше зашёл Cinny. Умеет больше, работает предсказуемо, выглядит тоже приятно. На телефон пока альтернатив не нашла, терплю Элемент
Yuriy_krd
00.00.0000 00:00подпишусь под этим мнением. Элемент — это больше про красивый интерфейс, а не про стабильную работу.
Nnnnoooo
00.00.0000 00:00И даже красота очень относительна.
В продолжении багов — очень глючная работа с кроссподписью. Если работа с устройствами идет в нестабильной сети, то постоянные глюки с невозможностью расшифровать сообщение :(morijndael
00.00.0000 00:00Кроссподписи можно простить иногда глючную работу просто за тот факт, что она есть, и хоть как то работает
Единственная альтернатива Matrix в такой ситуации вас просто пошлет куда подальше со словами «This message was encrypted with OMEMO but not for your device». Без какого либо шанса на восстановление
saboteur_kiev
00.00.0000 00:00+1Есть ли какие-то способы регулярного бекапа чатов на свой сервер?
Тупо делаешь себе бота, добавляешь в чат, и даешь ему доступ к сообщениям.
Скрипт бота совершенно простой, можно на bash накидать - кидать все сообщения, которые он прочитал в чате в свой собственный лог/базу/с3 - куда хочешь.
ВСЕ.
FreeNickname
00.00.0000 00:00+25Даже экспорт GDPR не загружает их.
точнее, их восстановить на некоторое время может команда разработчиков Telegram
Ох, как они могут за это огрести, если информация правдива, и кто-нибудь из ЕС решит заморочиться)
L11R
00.00.0000 00:00+3Так если они реально удаляют контент с серверов (что наиболее вероятно, учитывая что Телеграм экономит на каждой копейке), то всё ок же. GDPR не обязывает ведь мессенджер хранить все сообщения, которые тот отправлял.
FreeNickname
00.00.0000 00:00+1Так там написано, что команда Telegram может временно восстановить доступ. То есть сообщения есть, но в выгрузку не попали. И это серьёзный косяк.
L11R
00.00.0000 00:00+1Мне кажется если они что-то и могут восстановить, то в ограниченный таймфрейм. У Телеграма и так на хостинг уходят десятки миллионов, при этом бизнес модели как таковой до сих пор нет (сомневаюсь, что премиум-пользователи покрывают все расходы). Дуров до сих пор живёт в кредит, расходуя деньги, полученные с продажи облигаций, которые скоро нужно будет возвращать.
FreeNickname
00.00.0000 00:00+1Ну, штраф в пару десятков миллионов евро их финансовому положению на пользу не пойдёт, а достаточно одного сообщения, не попавшего в выгрузку, но которое при этом "магически" можно восстановить. Не помню штрафы конкретно на это, но в целом штрафы по GDPR конские, и зачастую как раз в десятках миллионов.
arynyklas Автор
00.00.0000 00:00+1Тогда зачем Telegram хранит сотни файлов по несколько гигабайт загруженных в каналы, которые всё равно никто не скачивает?
dimka11
00.00.0000 00:00Стоит отметить, что файлы загружаются очень медленно, поэтому желания их скачивать нет никакого. Видимо используют самое дешевое и медленное хранилище
Hlad
00.00.0000 00:00+1Правильно ли я понял, что подписка на несколько особо активных новостных каналов способна грохнуть содержимое моих личных чатов?
arynyklas Автор
00.00.0000 00:00Это не так. У каждого каналов и супергруппы свой ящик
saaadel
00.00.0000 00:00А лежит ли Saves в своем "ящике", или вместе с личными сообщениями?
arynyklas Автор
00.00.0000 00:00-1Вместе со всеми личными сообщениями.
Ведь "Избранные" это бот, куда вы отправляете сообщения.
13werwolf13
00.00.0000 00:00+3разве бот? насколько я помню чат "избранное" это обычный чат в котором один участник.
arynyklas Автор
00.00.0000 00:00+3Это такой костыль в Telegram клиентах.
ShefEr
00.00.0000 00:00+7Избранное - это чат с самим собой, и точно не бот. Помню как в дремучие времена, так и отображалось будто я сам себе сообщения пишу.
Также проверил через создание папки с добавлением всех ботов - Избранного там не оказалось.
arynyklas Автор
00.00.0000 00:00-2Хорошо, возможно я что-то напутал
В любом случае, сообщения добавляются в ваш ящик.
prefrontalCortex
00.00.0000 00:00-4Вся суть Telegram: костыль на костыле и бесстыжий маркетинг.
DMGarikk
00.00.0000 00:00+17есть какойнить мессенджер без сути?
из всего днища (которым все пользуются, это важно кстати), телеграм самый адекватный.
p.s. очередной раз вспомнил как чуть не похерил всю историю вацапа когда менял телефон… бррр...prefrontalCortex
00.00.0000 00:00-14Без сути чего?
Telegram — самый корявый из мессенджеров, которыми я когда-либо пользовался.
Есть же божественный XMPP с федерацией и XEP-ами, но дуровский маркетинг на протяжении десятилетия всем гадил в мозг, и XMPP был незаслуженно забыт.DMGarikk
00.00.0000 00:00+5Без сути чего?
костыль на костыле и бесстыжий маркетинг. — без этого
Telegram — самый корявый из мессенджеров, которыми я когда-либо пользовался.
вас вацап или вайбер устраивает ?? или упасигосподи icq?
у них даже api нет адекватного, а принципы работы некоторых их них это вообще нечто античеловеческоеЕсть же божественный XMPP с федерацией и XEP-ами,
не важно что где есть, важно какой процент людей с которыми вы общаетесь сидят в полезном с вашей точки зрения мессенджере
К великому счастью для всех нас, в телеграм насыпалось достаточно народа чтобы не сидеть постоянно в вацапе с вайбером или упасигосподи в ВК… индивиды со скайпом к счастью совсем пропали
===
p.s. сейчас скучаю только по слаку… не любил его раньше но потеряв его внезапно осознал его приемущества
nuclight
00.00.0000 00:00+4Он не божественный, а имеет целую кучу архитектурных про@бов и техничческих проблем в реализации, в результате чего компании стали его закапывать еще задолго до дуровского маркетинга.
L11R
00.00.0000 00:00Можно долго говорить о том, как телеграм плох, но оно всё ещё в разы лучше в плане UX и быстродействия, чем тот же Element.
У Matrix тоже вагон архитектурных проблем и лагучий бек, который сейчас поспешно переписывают на Go.
Проблема Телеги тут возможно только в закрытом коде бека и отсутствии возможности влиять на направление разработки.
13werwolf13
00.00.0000 00:00+7я бы ещё понял если в пример был бы приведён matrix который повторяет xmpp только без его болячек.. сам по себе xmpp со своими xep'ами ужасен.
но и matrix тоже не безгрешен, наклепали 100500 клиентов которые не умеют и половины его функционала..телеграм хоть и корявый, но далеко не самый корявый, он даже в десятку лидеров не выбьется. вспомнить хотя бы vliber, line, whatsappm weechat.. они настолько богомерзкие что на их фоне даже телега смотрится как дар богов.
L11R
00.00.0000 00:00+3Так главное самый лучший клиент для Matrix -- Element, меркнет качеством UX на фоне любого клиента для Telegram.
У Телеги вагон проблем, но отрицать, что это фактически лучший мессенджер на рынке в плане реальног удобства -- абсурд.
13werwolf13
00.00.0000 00:00+1самый лучший клиент для Matrix -- Element
это даже не клиент а долбаная вебвьюха. как вообще можно тащить на свой комп электроноподобное гумно, особенно ради простого мессенджера.. нет уж увольте. пока продолжу пользоваться nheko, а когда neochat научится в шифрование мигрирую на него.
и это кстати проблема не только matrix но и большого кол-ва современного софта в целом. есть отличная идея, придуманы классные алгоритмы, всё здорово. но писать начинают на совсем неподходящих для задачи фреймворках и получается Г.
vikarti
00.00.0000 00:00+2Какие есть приличные мобильные клиенты кроме Conversations? С поддержкой пушей конечно же.
Проблему с зоопарком XEP'ов, которые поддерживаются в самых разных сочетаниях уже решили?(в Matrix вот поумнее сделали — вместо XEP'ов — добавления к общей спеке которые в итоге включаются в общую спеку и если проблемы или уже есть такое — это решается).
ThePaleEmperor
00.00.0000 00:00+6Телеграм не только самый корявый, но и самый коварный. Ни один мессенджер больше не претендует на такой уровень приватности и не декларирует безопасность и защиту опользователях на каждом шагу, при этом подлейшим образом подставляя пользователей.
Balling
00.00.0000 00:00+1Такер Карлсон жалуется, что NSA взломали его E2E Signal:
https://youtube.com/shorts/OYzPYE1iRa4?feature=share
M_AJ
00.00.0000 00:00Такое себе доказательство, учитывая что в данном случае потенциальных каналов утечки явно больше чем один. Это уже не говоря о том, что мы знаем об этом исключительно с его слов.
A1054
00.00.0000 00:00+7xmpp - это вообще-то не законченный мессенджер, а протокол.
И потом, я его помню, куча недоделок и глюков. Особенно когда дело касается XEPов.
Вы просто эмоциональны, у одних все соринки замечаете, а других бревна не видите.
iskatel
00.00.0000 00:00+4XMPP это протокол, а не мессенджер,
а Телеграмм - и протокол, и сервис (причём очень стабильный, несмотря на нагрузку), и мессенджер под все основные ОС.
Сравнивать эти вещи некорректно.
Кстати, найти хороший ХМРР сервис уже несколько лет назад было почти невозможно, и Дуров и Ко тут совершенно ни при чём, открытые ХМРР начали закрываться много лет назад, причём полной связности между всеми не было вообще никогда.
Holger108
00.00.0000 00:00+3Да не имеет значения, насколько коряв или нет Telegram (глюков не замечал, за исключением голосовой связи, для меня он лучший в остальном).
Телеграм по крайней мере в русском сегменте примечателен тем, что там есть уникальный контент, который потом расползается по сети. Есть много сообществ, которые обитают только там.
Так же, это не какая-то приблуда, которую знают полтора гика, даже люди 60+ имеют установленную Телегу и имеют ей пользоваться.
RTFM13
00.00.0000 00:00"Если вы пользуетесь чем-то в интернете бесплатно, значит вы и есть товар."
С другой стороны, платные не станут массовыми, от этого они будут еще более дорогими и менее полезными.
Есть надежда на p2p полностью (почти) децентрализованный чат который в принципе ничего не хранит, а использует сервера только для передачи зашифрованной информации и для обмена IP адресами. По аналогии с Syncthing, например. Но мне кажется все такие инициативы будут топить спецслужбы в кооперации с коммерческими соцсетями.
Пока для 99% пользователей главное - красивые смайлики, дело с места не тронется.
Andrusha
00.00.0000 00:00+2Инициатива с p2p провальна сразу тем, что эти самые сервера должен кто-то держать, ну то есть сами юзеры, если мы говорим о независимости от частных компаний (хотя зависимость-то всё равно будет, только от уже хостингов).
А постоянно работающий в фоне клиент будет высаживать батарею на глазах, мы это уже проходили не так давно - пока смартфоны не научились в PUSH-уведомления.
nuclight
00.00.0000 00:00+3Чего? Это не бот, это InputPeerSelf
arynyklas Автор
00.00.0000 00:00Извиняюсь, отвечал слишком впопыхах с браузера телефона.
В общем-то, избранное это диалог с самим собой, т.е пишем мы себе только в ящик, а при общении с другими пользователями мы пишем и в свой ящик, и в их. Соответственно, ограничение на лимит сообщений ящик действует и на избранное. Никаких исключений у чистильщика сообщений явно нет. Он без всякой жалости сносит сообщения даже в избранном, что и подтвердил эксперимент teleX
dartraiden
00.00.0000 00:00+8А разве в ПО может быть что-то безлимитное? В том смысле, что если количество "чего-то" где-то хранится, то оно имеет предел. Например, если оно хранится в виде unsigned 16-bit integer, то предел будет 65535.
mayorovp
00.00.0000 00:00+20Уже 64х-битного целого хватит для того, чтобы пронумеровать каждую секунду жизни (включая будущую) каждого живущего сейчас человека на Земле.
Так что если современное ПО куда-то и упирается — то точно не в ограничения нумерации.
dartraiden
00.00.0000 00:00+2Вот в этом и был, как сейчас говорят, пойнт моего комментария. То, что человек вряд ли столкнётся с исчерпанием чего-то в своей жизни, технически не делает "это" безграничным.
Плюс разработчики софта порой слишком оптимистичны ("640 килобайт хватит всем", "да зачем тут 64-битное целое, возьмём что поменьше")
SamaRazor
00.00.0000 00:00Впритирочку, если хватит вообще - юникстайм32 это 70 лет, а жителей больше 4.2 млрд уже.
Как раз щас около 8 млрд, среднюю жизнь взять за 70, да пополам - как раз что-то типа того и получается, удобно!
nuclight
00.00.0000 00:00Ну вообще-то не 70, а 136. Но он давно уже 64 на основных используемых системах.
mayorovp
00.00.0000 00:00Ну да, хватит впритирочку. Только ведь сообщения люди себе не каждую секунду отправляют, и вот уже образовался огромный запас идентификаторов сообщений на "несколько" будущих поколений :-)
saboteur_kiev
00.00.0000 00:00-1не хватит. Вам понадобиться несколько миллиардов 64-битных целых, чтобы нумеровать секунды каждого живущего человека.
А если возьмем микросекунды, то может и не хватить.mayorovp
00.00.0000 00:00Так ведь нумеровать-то нужно не секунды, а сообщения.
saboteur_kiev
00.00.0000 00:00Уже 64х-битного целого хватит для того, чтобы пронумеровать каждую секунду жизни (включая будущую) каждого живущего сейчас человека на Земле.
mayorovp
00.00.0000 00:00Ну так 60 х 60 х 24 х 365 х 72 х 8000000000 — это 18164736000000000000.
264 — это 18446744073709552000.Что не так-то? Зачем тут несколько миллиардов 64-битных целых?
Rarity64
00.00.0000 00:00+22Это напоминание нам всем о том, что хранение важной информации на сторонних серверах по-прежнему чревато последствиями.
mayorovp
00.00.0000 00:00+5Мораль: используйте телеграм не для хранения информации, а для уведомлений о её изменении.
dartraiden
00.00.0000 00:00+15Как мне кажется, мораль тут должны быть слегка другая: имейте резервные копии важной информации. Вы можете её хранить локально, и точно так же потерять из-за сбоя накопителя/стихийного бедствия/кражи/чего-то ещё.
Flat_Earth_Omen
00.00.0000 00:00+12Столкнулся с этим неделю назад, нашёл небольшой лайфхак, может кому полезно будет: если нажать на дату которая отображается в ленте в начале каждого дня, то откроется календарь и если в нём зажать нужную дату, то отобразятся сообщения за эту дату, но без прокрутки ленты, а как бы наложенной поверх превьюхой, внутри которой сообщения можно тоже прокручивать, но без возможности взаимодействия с ними. Там же будет кнопка "перейти к дате" и таким образом можно будет перейти к старым сообщениям. Но и без ложки дёгтя не обошлось, у календаря почему-то, в некоторых чатах, обрезается первый месяц и "докручивать" до первого сообщения приходится вручную. И ещё по какой-то причине, на планшете кнопка "перейти к дате" не работает, хотя на смартфоне всё срабатывает, а на ПК так и вовсе - сказка.
arynyklas Автор
00.00.0000 00:00Это разные проблемы. Описанные в вашем комментарии и нашим постом.
Flat_Earth_Omen
00.00.0000 00:00Хмм, интересно... У меня получилось так, что в личных чатах и некоторых группах, клиенты на разных устройствах перестали отдавать сообщения написанные раньше осени, хотя за месяц до этого я из этих же чатов пересылал сообщения за прошлую весну. ЕМНИП поиск по фразе и простой скроллинг от более поздних сообщений не позволяли их достичь, а вот через календарь получилось и при этом эти сообщения отдавались с задержкой, какбы подгружались. Проблема была на смартфоне и планшете, кэш и базы данных в ручную не числились, ограничений по использованию памяти не включал, была ли проблема на ПК не уверен. После "прогрузки" через календарь, такого больше не повторялось, так что воссоздать проблему не могу.
Balling
00.00.0000 00:00@arynyklas Ну вот еще один. Если что календарь в поиске находится. Кнопка слева снизу.
vaagnavanesyan
00.00.0000 00:00+9>Команда Телеграма не просто может читать все ваши сообщения в открытом виде из личных чатов, но еще может и удалять их
как автор пришел к такому выводу? Удалить сообщения пользователя за какой-то период != возможности их прочитать
aik
00.00.0000 00:00+6Если сообщения не шифруются, то и читать их тоже можно.
Adgh
00.00.0000 00:00+8Сообщения могут храниться зашифрованными, но никто не обещал шифровать метаданные, по которым можно строить их выборки.
aik
00.00.0000 00:00Они могут храниться зашифрованными, но у администрации вполне может быть свой ключ. Что бы она там не заявляла народу.
K0styan
00.00.0000 00:00Так они никогда и не заявляли, что сообщения в открытых, не секретных чатах шифруются.
ne555
00.00.0000 00:00+4Все сообщения Telegram всегда надежно зашифрованы. Сообщения в секретных чатах используют шифрование клиент-клиент, в то время как облачные чаты используют шифрование клиент-сервер/сервер-клиент и хранятся в облаке Telegram в зашифрованном виде. Это позволяет вашим облачным сообщениям быть безопасными и мгновенно доступными с любого из ваших устройств, даже если вы полностью потеряете свое устройство.
клиент-сервер/сервер-клиент == Алиса-mitim-Боб
K0styan
00.00.0000 00:00+3Принято.
Но с другой стороны такое описание пусть и не открытым текстом, но однозначно говорит, что "сервер" владеет ключами шифрования.
DMGarikk
00.00.0000 00:00+3да это и без описания понятно (хотя явно не всем), просто потому что 'логин' в телеграм это просто смс-ка (учитывая что доп.пароля по умолчанию нет), которая явно не может быть ключем шифрования.
Nikita22007
00.00.0000 00:00Ну так получается, что не шифровано.
Закрыть на ключ, а ключ привязать к этому же замку всё равно, что не закрывать.mayorovp
00.00.0000 00:00+1Более корректной аналогией будет ключ у почтальона. Да, почтальон может прочитать ваши квитанции (что там сейчас принято ещё открытыми отправлять?), но вот сосед — уже не может.
A1054
00.00.0000 00:00+2ключ не может не быть, ведь перед рассылкой сообщения расшифровываются.
Вопрос в другом - кому из персонала этот ключ доступен.
Скажем так, утверждать, что персонал может читать сообщения я бы не стал. Может может, а может и нет. Но тот, кто делает утверждение и должен его как-то обосновать.
sergeyns
00.00.0000 00:00+1Ну в целом для шарообразного мессенджера в вакууме - да, но мне кажется не стоит переоценивать стремление разработчиков/маркетологов/владельцев телеграмма к сохранению вашей приватности
Lagovi
00.00.0000 00:00+1Согласен, максимум что можно утверждать из публично доступной информации "кто-то в команде телеграм имеет доступ к ключам шифрования несекретных чатов". Может все кто хочет, включая уборщицу дубайского офиса, а может один Дуров.
imjustwatching
00.00.0000 00:00+6Вы понимаете маркетинговый термин "безлимит" который ориентирован на широкую публику слишком буквально. Наверняка имеется ввиду что вы можете заливать в чаты свои большие файлы сколько угодно и без ограничений, но они не обещают их хранить вечно.
И как уже сказали выше, хранить важную информацию в мессенджерах, это отложенный на завтра геморрой.
zartarn
00.00.0000 00:00+3Не совсем так. Раньше именно что количество было лимитированное. Потом ограничение на количество сообщений убрали.
Тут вот есть сводная информация по ограничениям https://limits.tginfo.me/ru-RUКоличество видимых сообщений (общий лимит между личными чатами, ботами и обычными группами)
Неограниченно. До 2018 года — до 1,000,000 сообщений.И про группы там:
Количество видимых сообщений в группе
От 500,000 до 1,000,000 последних сообщенийВ истории коммитов на гитхабе https://github.com/tginfo/Telegram-Limits думаю можно найти откуда конкретные цифры взялись
arynyklas Автор
00.00.0000 00:00+2Лимит, указанный на limits.tginfo.me был закомичен человеком, который его сам лично не проверял. Сайт является неофициальным.
В 2018 году действительно Дуров в Twitter писал, что якобы все исправлено, но как показал эксперимент в 2022 году — ничего не исправлено. Чистый маркетинг.
Balling
00.00.0000 00:00-3Все испавлено на серверной стороне. Баг в клиенте.
arynyklas Автор
00.00.0000 00:00+3Ваше утверждение основывается не на вашем опыте, а на слепом доверии. Мы проверяли, используя клиенты без всякого кэша Telethon, Pyrogram, т.е проверяли ответ сервера. Сервер отдает также лимитированое количество сообщений, что подтверждает: клиенты тут не при чем.
Будьте добры в следующий раз хотя бы попытайтесь проверить информацию. Клиенты получают информацию у сервера и им чаще всего незачем ее как-либо подменять, ограничивать в количестве получаемых данных.
Balling
00.00.0000 00:00Я говорю про https://habr.com/ru/post/723692/comments/#comment_25350232
Разные клиенты вполне могут иметь один и тот же баг.
Разве нельзя спросить Телеграм есть ли в их сервере старые сообщения?
imjustwatching
00.00.0000 00:00+2Если не читаете сообщение я вам повторю суть, есть маркетинг для широкой публики, а вы тут с буквальной логикой и математикой. Всё же понятно, нужно ярко выделиться на фоне конкурентов, например того же вотсапа, что у нас в нашем телеграмме Безлимитище, и по сути если просто пользоваться мессенджером по прямому назначению то так оно и есть, а если уже проверять через ботов и тому подобное, а правда ли безлимит, то всегда конечно вы упретесь в стенку. Никто бесплатно террабайты ваших данных хранить не будет, тем более в программе для обмена сообщений. Изучите слово "маркетинг" на будущее, меньше потратите времени на проверку всякой ерунды, больше останется времени на саморазвитие.
FoxWMulder
00.00.0000 00:00+1Вы правы про маркетинг, в остальном, я думал что на Хабре люди которым интересны такие нюансы в ПО. Это же интересно. Если есть ограничения, значит это не безлимит, даже если "использовать по назначению". Повторюсь, про маркетинг согласен. Или вы слово "безлимит" понимаете как-то иначе. Безлимит значит нет ограничения, а оно оказывается есть. Значит маркетинг обманывает пользователя. Значит не безлимит.
Я не то чтобы верил в сохранность данных в телеграме и конечно только ЗА бэкапы. Есть возможности куда как проще потерять эти данные, чем описанные в статье, но теперь будут знать: в любой момент у меня могут пропасть старые сообщения из Телеграма.
maximw
00.00.0000 00:00Эталонная душнота. Безлимита в принципе не существует, т.к. согласно современной космологии вселенная конечна.
Balling
00.00.0000 00:00Известная вселенная конечна, но учитывая, что она расширяется с ускорением и скорость там уже больше скорости света и все ещё растет (0.007% расстояния растут каждый миллион лет) ... Доказать конечность не выйдет.
FanatPHP
00.00.0000 00:00+8активными пользователями Telegram и групповых чатов
Вспоминается остроумная ремарка к описанию какого-то boot manager-a из HUMOR.FILTERED:
— Эта программа поможет установить на одном компьютере DOS, Windows, OS/2, Linux, Xeinx, NetWare, FreeBSD и много других операционок"
— Тому, у кого на компьютере стоит весь этот зоопарк, уже ничто не поможет.Я это к чему. Может быть, есть и другое решение проблемы? Например, немного снизить "активность пользования телеграм", перестать добавлять каналы каждого инфоцыгана, который попросил об этом, соблюдать элементарную информационную гигиену, добавляя только те каналы, которые реально читаешь. Да и просто get a life в конце концов. Вылзети носом из телефончика и посмотреть на мир вокруг. Он иногда не менее интересен. А там, глядишь, и даже такого мизерного лимита в 3 миллиона сообщений начнет хватать.
ThePaleEmperor
00.00.0000 00:00Команда Telegram не просто может читать все ваши сообщения в открытом виде из личных чатов, но еще может и удалять их.
А модераторы Telegram считаются частью команды?
Popadanec
00.00.0000 00:00+5Почитал и вспомнил свой последний кнопочный телефон. Там было ограничение кажется на 100смс. Из за чего приходилось старые/мусорные сообщения постоянно удалять, иначе новые не приходили.
K0styan
00.00.0000 00:00+3100 - это ещё много, в первых достаточно дешёвых, чтобы стать массовыми, телефонах иногда встроенной памяти под сообщения вообще не было, обходились памятью SIM-карты.
А у Ericsson-ов была циклическая перезапись, правда, только прочтённых сообщений.
garwall
00.00.0000 00:00+2А есть ли смысл так заморачиваться с подобным? Если я буду читать не отвлекаясь на сон, еду и прочие потребности из этого миллиона одно сообщение за три секунды, то в общей сложности у меня выйдет больше месяца непрерывного чтения.
nuclight
00.00.0000 00:00+4...что соответствует всего лишь 2 годам при часе в день на Telegram, то есть вполне реалистичному сценарию ежедневного использования, в который и уперлись при первых жалобах еще в 2017 году.
Ndochp
00.00.0000 00:00А если вы будете искать сообщение, которое точно было в этом канале лет 5 назад?
garwall
00.00.0000 00:00Ну вот. во-первых если что-то полезное, то я скорее всего сразу перешлю себе в избранное. Во-вторых вряд ли я что-то вспомню о том, что было лет пять назад. В-третьих - ну это очередная причина похаять телеграм, что сообщения, знания в нем (и в прочих социалкомессенджерах) не индексируются поисковиками, и следовательно умирают.
Ndochp
00.00.0000 00:00+1Да ладно, вот именно в телеге у меня такое спошь и рядом. Само сообщение мне до лампочки нет смысла тащить его в избранное, я просто помню, о чем я спорил/спрашивал в каком чате. И когда заходит снова разговор на эту тему — я иду в чат и ищу свой вопрос по ключевым словам, потом отправляю форвардом ответ в новую тему. Ну а то, что оказалось это 5 лет назад было — сюрприз. Вроде только вчера ;)
awaik
00.00.0000 00:00Интересно, а по общему размеру есть ограничения? Например если отправить 900 000 сообщений по 4 гига?
sergeyns
00.00.0000 00:00Вас провайдер переведет на безлимит 16kbit/sec. Ну или сам телеграм поставит скорость на залив ))). Безлимитно, но медленно ))
arynyklas Автор
00.00.0000 00:00Я слышал, что у Telegram есть и такой лимит, лимит на загрузку (в обе стороны) файлов, но сам ещё не проверял
tommyangelo27
00.00.0000 00:00+1Хм, а что, реально кто-то Телегу как хранилище использует? О_о
K0styan
00.00.0000 00:00+1Кто-то умудрялся туда аж свою медиатеку загрузить и использовать как облачный плеер.
Это, конечно, не столько про количество сообщений, сколько про объём, но тем не менее.
Balling
00.00.0000 00:00Ну например (разумеется аудио не atmos, там MQA flac): https://t.me/c/1503271595/1328
netricks
00.00.0000 00:00+3Было бы странно ожидать, что Телеграмм хранит всю историю от сотворения мира. Конечно, заманчиво использовать телеграмм как файлохранилще, но для этого всё же есть специализированные сервисы и средства
plFlok
00.00.0000 00:00-3Эм. Там разгадка куда проще. Ещё во времена "оупенсорса" движков вк в них были "метафайлы" (индексы) юзеров, имеющие фиксированный размер. И 99% бизнес-логики завязаны не на содержимое бд на диске, а на содержимое метафайлов. Переполняется метафайл - значит дальше в него грузится уже не всё.
arynyklas Автор
00.00.0000 00:00+1Самое интересное, что вероятно Вы смотрели репозиторий (https://github.com/vk-com/kphp-kdb), который на самом деле принадлежит не Vkontakte, а Павлу Дурову (проверить это можно по почте). И там же в репозитории в коммитах лежит внутренняя TL-схема (https://github.com/vk-com/kphp-kdb/blob/ce6dead5b3345f4b38487cc9e45d55ced3dd7139/TL/common.tl), где до сих пор есть функции, которые работают на актуальных серверах Telegram, что подтверждает использование этой кодовой базы на старте.
grishkaa
00.00.0000 00:00+2Старые сообщения не удаляются. Они продолжают существовать на сервере, но он не возвращает их наружу. Такова особенность БД, написанной олимпиадниками. ВК абсолютно точно имел (а может и до сих пор имеет?) аналогичную проблему с миллионом сообщений.
arynyklas Автор
00.00.0000 00:00+1В Хабре один из бэкэндеров ВКонтакте писал, что они увеличили лимит до 15 миллионов (https://habr.com/ru/company/vk/blog/342570/comments/#comment_10526606), что в целом более тяжелее достигнуть обычным пользователям. Правда, разработчикам ботов или пользователям популярных анонимных чат-ботов (эхоботов) достигнуть такой лимит по-прежнему не проблема, т.к боты пишут в ящик пользователя. У меня один бот 8 млн сообщений мне суммарно где-то понаписал.
yaguarundi
00.00.0000 00:00Если я поудаляю из "Избранного" кучу старых сообщений, отдалит ли это для меня достижение моего личного лимита?
Или лимит именно на "отправленные", а не на "хранимые" сообщения?
arynyklas Автор
00.00.0000 00:00Нет, удаление старых сообщений не поможет отдалить достижение лимита, поскольку сообщения похоже отрезаются по айдишникам. Удаление сообщений очевидно не декрементирует счетчик.
Лимит на отправленные и полученные сообщения. Поэтому очень важно следить, чтобы никакие боты, пользователи, легаси группы не спамили Вам.
Еще интересная особенность, что если у вас взаимный контакт между пользователем, то он может вызвать импорт аж 300 тыс сообщений, пока вы спите. И так он может делать приблизительно каждые 20 минут, тем самым вызвать преднамеренное достижение лимита, поэтому важно добавлять в контакты только доверенных людей.
Breathe_of_fate
00.00.0000 00:00Я правильно понимаю, что если я подписан на кучу каналов, то от бесполезных лучше избавиться?
ArhiTip
00.00.0000 00:00Это коммерческие компании в капиталистическом мире.
Любые их гарантии и заявления это ни разу не законы, а просто маркетинг. Средство извлечения прибыли. Конечно они будут изображать из себя святых, пока это продается.
А продавцов будут заставлять улыбаться, пока люди наивно на это ведутся.
Пора понять, что в любой момент все может закрыться, пропасть, быть ограничено. Как уже было с огромным количеством сервисов. Мне однажды вообще сервер форматнули по ошибке в крупном ДЦ во Франции,
Для критически важных данных, шифрования и т.п. только self-hosted и open source решения c обязательным резервированием.
M_AJ
00.00.0000 00:00+2Проблема self-hosted в том, что если это не холодные данные, то их очень сложно разнести физически, да и для холодных нужно иметь какое-то дополнительное место, с гарантией, что ваши диски не будут через 2 года выброшены при генеральной уборке. В итоге пожар, потоп или ограбление легко могут привести к тому, что ваши данные так же будут потеряны. Репликация в несколько независимых мест, пусть они и не self-hosted, выглядит на мой взгляд более надежно
sYsTem1337
00.00.0000 00:00-1Заголовок кликбейт, статья просто проверка на прочность терпения хранилища телеграмма, проверили, но никому в здравом уме не понадобится забивать телеграмм стольким количеством своего мусора, а для быта там вполне просторно. Так о чем статья то в итоге?
arynyklas Автор
00.00.0000 00:00+2Сразу видно, что вы и половину статьи даже не прочли. Когда Вячеслав Володин написал пост (https://t.me/vv_volodin/220) и люди начали массово комментировать. И в конечном счете, лимит легко был достигнут. Комментарии снесло. Люди обвиняли Володина, а виноват Telegram. Получается, что люди просто забивали мусором Телеграм? А не писали ли они свое мнение?
Я поспрашивал у всех своих друзей, чаще всего они уже за 3-4 года использования Telegram достигли этого лимита, выходит, что они тоже мусорят?
zzzzzzzzzzzz
00.00.0000 00:00-2Ну так на КДПВ же всё хоть и не точно, но очень ясно нарисовано. Без ограничений - это папка 4 Гб.
А дальше, видимо, unsigned long переполняется, и тю-тю... Если вы когда-то программировали микроконтроллеры, то можете словить позитивчик от воспоминаний про кольцевые буферы. А если пользователь - ловите позитивчик от программы, помогающей вам не тонуть в трясине прошлого, а жить настоящим.
fichten_saft
00.00.0000 00:00+1А photo_id у фотографий как будет храниться, никто не знает?
В плане: не исчезнет ли возможность в боте отправлять фотографии по Id через какое-то время/ количество сообщений?
Есть бэкап фотографий, которые сохраняются напрямую на сервер. Но проще работать с отправкой фото именно по id. Вот думаю, как это будет выглядеть через год-два
Бот создавался для ведения личной статистики, так сказать
arynyklas Автор
00.00.0000 00:00Они как раз обновляются не понятно когда и зачем.
Были такие случаи, когда в разных ДЦ работало как 3 месяца, так и 2 года
saboteur_kiev
00.00.0000 00:00В статье пытаются сорвать покровы, как будто непонятно, что хранить бесконечность невозможно. Было честно заявлено, что убрали лимит на отправку сообщений. Его и убрали, можно слать сколько хочешь.
Заявления что хранить будут все и вечно - никто не давал.
Я, как айтишник, могу сказать что все корректно.
Ну и реклама подозрительных ботов вся задача которых = показать айдишник последнего сообщения? Серьезно, для этого надо добавлять ботов?
Я вообще опасаюсь сторонних ботов себе в чаты добавлять.Balling
00.00.0000 00:00>Серьезно, для этого надо добавлять ботов?
Ну можно расшифровать дамп apk в android.
Lozzka
00.00.0000 00:00А есть ли ограничение на количество контента в гигабайтах в чате? Например если я буду загружать терабайты видео в чат, то может ли когда-нибудь прилететь бан?
SomeBannedGuy389529823049
00.00.0000 00:00+1Не судьба при приближении к лимиту (может зависеть скорости сообщений в чате, общей и текущей) показать уведомление (с опциями архивирования на стороне клиента)?
aik
А может просто не хранить информацию в мессенджере?
А кто-то сомневался?
a_faizova
в вайбере также, однажды в моей переписке появился некто, кто стер сообщение моего друга и написал - что-то вроде "ты офигел?" после этого вибером не пользуемся для личной переписки
aik
Я сомневаюсь, что это была администрация. Им нет смысла так палиться.
Больше похоже на то, что кто-то получил доступ к аккаунту.
a_faizova
возможно, но доверия уже нет
aik
Доверия изначально быть не должно. :)
mayorovp
Причем, вероятно, доступ был случайным: злоумышленнику тоже нет смысла так палиться.
aik
Да может просто хулиганы какие. Из тех, что звонили по телефону, матерились и бросали трубку.
Voot
Зумеры придумали телефонное хулиганство
aik
Ну да. Оригинальное-то сдохло практически после распространения определителей номеров.
В начале девяностых не одну байку слышал про то, что таких хулиганов, "работавших" с домашнего телефона, обладатель определителя вычислял и приходил бить морду.
DMGarikk
скорее с пропаданием телефонов-автоматов… мы из автомата звонили в детстве, чтобы определитель нас не вычислил
Maximuzz
но появилось новое, с подменой номера)
aik
Это достаточно дорогое удовольствие, чтобы его тратить на то, чтобы просто обругать собеседника.
Кстати, в те же девяностые ходила байка про антиаоны, которые не блокировали аон, а номер подменяли.
majiq
просто любопытная девушка нос засунула в переписку)
Steve_Key
Чтобы удалять, не обязательно читать.
Может просто скрипт по счётчику удаляет.
kap1ik
Просто кто-то надеялся) Или слепо верил