Без заголовка
Почему Вы 1-го числа не увидели в Яндекс.Новостях всех этих сообщений -- я не знаю, и не знаю способа в этом разобраться. (Только сейчас заметил -- у Вас же в основном постинге тоже есть упоминание этого сюжета: "Другие сюжеты на эту тему: Последние данные о землетрясении на Алтае 01.10.2003 09:04 (239)")
А вот это действительно загадка: ни я, ни новосибирцы, ни многие другие именно этого кластера не заметили. Потому что этот кластер каким-то чудесным образом (психологически?) терялся весь тот день, да и следующий тоже во многих других новостях. Нет, я не за то, чтобы делать как Гуголь (он регулярно бьет большие кластеры на меньшие куски, в результате у него одна новость распадается на кучу маленьких и забивает всю ленту напрочь -- это у него регулярно происходит с Ираком), но можно было бы подумать над самим механизмом презентации, чтобы таких "психологических эффектов" было меньше. Ну, (далее тупые "первые попавшиеся" мысли) -- кодировать количество новостей в кластере ("важность") размером шрифта, а место в позиции ("свежесть") так и оставить местом. Или писать рядом слова, по которым делалась таксономия (чтобы понять, что новости про землетрясение в Новосибирске нужно искать в кластере по Алтаю).
ailev> И не верить всем тем новосибирцам, которые по прессе пытались разобраться, что происходит?
tejblum> Опять же -- не знаю, были ли этой прессой Яндекс.Новости и в чем именно новосибирцы хотели по ним разобраться.
Яндекс.новости не является прессой. Яндекс.новости -- это бесстрастный механизм, помогающий анализировать особенности отражения прессой реальной жизни.
Новосибирцы смотрели прямо в прессу. И не видели объяснения ситуации, которе помогло бы им хоть как-то сориентироваться. Как я понимаю, дело еще и не в просто "упоминаниях", а в описании того, что происходит. А "происходит" главным образом безличный процесс, который в соседней ветке комментов неплохо описал zt.
А для этого не нужно каких-то умных "алгоритмов" и тем более не нужно смотреть на результаты кластеризации. Вот такой запрос
Шойгу << date="20031002"
находит новости с упоминанием Шойгу за 2-е октября. Посмотрим:
03/10/02 03/10/01 03/09/30
Шойгу 53 26 10
А куда могут новости пропадать? У меня этот же запрос выдал не 53, а 50 новостей (а за первое октября -- 26, как и у вас).
ailev> Т.е. сегодня масштаб Шойгу в прессе сопоставим с масштабом стихийного бедствия, что бесстрастно фиксируют алгоритмы.
tejblum> Итого: Шойгу, конечно, сопоставим с землетрясеним, но не дотягивает до него очень сильно, и утверждение, что о землетрясении стали писать только вместе Шойгу (как Вы это утверждаете), в корне неверно. О землетрясении писали 1-го числа, когда оно, собственно, случилось; 2-го октября уже был спад. А о Шойгу стали писать, когда его туда послал Путин, а землетрясение уже фактически кончилось (хотя я, конечно, согласен с тем, что интерес прессы к чиновникам сильно преувеличен).
У нас разное понимание "сопоставимости". Безличный механизм, связывающий прессу, Шойгу и землетрясения, безусловно есть -- и дело не в том, что пик писания про землетрясение не совпадает с пиком писания про Шойгу, а в сопоставимости самих размеров этих пиков и практическом переключении описания простого факта, что "тряслясь земля, есть разрушения" на массовое бытописание Шойгу, бросившегося на помощь.
Я никого тут не виню, я обсуждаю те извилистые пути, которые формируют общественное мнение и относительные веса событий в этом общественном сознании. Яндекс.новости тут вообще не при чем: это очень удобный и тоже бесстрастный инструмент, позволяющий простому человеку у себя дома тоже сделать исследование, ранее доступное только подписчикам НЭБ (там, правда, можно было еще графики рисовать по запросам типа вами приведенных -- очень удобно было видеть. Скажем, можно было попросить за пяток лет (чтобы включить два предвыборных периода) показать график относительного (чтобы не терять возможности сравнения из-за роста собственно текстового массива) упоминания Шойгу в прессе...
Собственно, дать широкой публике средства анализа информации, ранее доступные только очень узкому кругу "политтехнологов" -- это и есть задача вторичных интернет-медиа, к каковым я отношу и Яндекс.новости.