Обсуждение

Если измеримые показатели нормированы на дисперсию и применена процедура PCA, то возможные реально существующие шкалы будут выделены. (ну или можно применить многомерное шкалирование или t-sna). Эта процедура весьма эффективна. Например результаты тестирования знаний (например по линейке ответов да-нет) при наличии большой группы опрошенных можно оценить вообще не зная "правильных ответов". Полученная оценка даст отклонение в 10% от оценки выставленной по весам данным заданиям экспертами. :) Если какой то из "измеримых параметров" будет исключен, то за редчайшим исключением это никак существенно не повлияет на общую картину (например на туже оценку знаний не повлияет исключение нескольких вопросов теста). Практически всегда "измеряемые параметры" взаимозависимы и этого достаточно для оценки "шкал ценности".

>Рейтинги рассчитаны на "среднего человека", но кто из нас оказывается средним в предпочтениях?! люди с IQ=100 если вы обладаете IQ большим, чем 100 (что более чем вероятно ;)), то это не значит, что все вокруг вас тоже обладают IQ большим, чем 100

а я знаю на чем базируется показатель - меньше народа больше кислорода и поделись территорией с другом... только этим я могу объяснить почему у Эстонии за 80 а у РФ 60... если какая страна вымрет и развалится, то у неё будет 146, да оно и видно по показателю Украины, верной дорогой идут к соточке

Из своих мучений рейтингами вузов и внутренними рейтингами вынес три тезиса: 1. рейтинги с индикаторами это линейки для сравнения сложных систем, основная польза от рейтингов это возможность понять систему координат в которой формулируются цели систем которые рейтингуют. NB сами рейтинги и их индикаторы цели не формулируют, они скорее указывают в направлениях целей тех для кого рейтинги строят. 2. рейтинги основанные на опросах экспертов не значимы для анализа, если экспертов не спрашивают по аналогу модифицированного метода Delphi (то есть сперва про цели, а потом про средства, иначе получается первый прогноз RAND). 3. внутренние рейтинги это сильный инструмент позволяющий договорится о направлении развития организации если цели сложно понимаемы. Также польза от внутренних рейтингов в том, что они стимулируют нужное поведение если ценностные установки в организации разрушены. Использовать рейтинг для отсечения худущих это путь к разрушению мотивации лучших. Про Decision analysis, на туже поляну претендует квалиметрия, но у меня есть сомнения, стоят ли за обоими методы основанные на теории или это набор приемов при которых мы снижаем риск совершения логических ошибок.

Не удивлюсь, если на этой полянке штук десять дисциплин окажутся с разными именами и разными теоретическими основаниями (если вообще там теоретические основания будут находиться). Ибо проблема уже созрела и перезрела.

А проблема видится в отсутствии теоретического обоснования механизмов принятия решений пропагандируемых разными "сектами"?

Проблема мной видится только в том, что по факту живут и побеждают таблички с произвольным набором столбцов и непонятными коэффициентами, и нет этому конца. Trade-off studies в системной инженерии или выбор фотоаппарата в интернет-магазине, выбор лучшей архитектуры из нагенерённых в search-based engineering -- всё какое-то "на коленке". То есть вроде как "осмысленно и объективно", но для меня представляется каким-то необоснованным. Огромное количество людей принимают решения, но если даже для инженерии требований есть какие-то принципы типа "сделай case и сформулируй требования из него", то для принятия решений нет вообще никаких принципов, только обоснования табличками с коэффициентами "задним числом", просто чтобы документировать какие-то рассуждения. Мне, конечно, неважно -- чистые ли это эвристики, или подведена какая-то теория (в том числе, на базе системного подхода). Но хоть что-то нужно, кроме общих рассуждений. Эти "хоть что-то" разбросаны по разным практикам по чуть-чуть, но выковыривать их оттуда по кусочкам тяжело, а внятных целостных рекомендаций я нигде пока не нахожу. Может, плохо ищу. Системную инженерию я ведь тоже не сразу нашёл )))

Выскажу предположение, что подход изложенный в книге http://www.howtomeasureanything.com/ является хорошей основой для принятия решений, без табличек и с потенциалом быть скрещенным с MBSE. Обсуждение здесь подхода здесь http://lesswrong.com/tag/book_summary/ Русский перевод сделан по изданию 2007 года (у меня есть в электронном виде).

Вообще-то все решения принимаются исходя из какого-то "выигрыша" на основании какой-то статистики -- все методы в конечном счёте именно об этом. В любом случае, статистику нужно знать и понимать (что непросто). Я когда-то на химфаке столкнулся с тем, что никто вокруг меня не знал слов "регрессионный анализ" -- пока случайно не встретил кого-то с мехмата, кто дал наводку поглядеть в учебнике статистики (интернетов тогда ведь не было). Думаю, и сейчас все знают про статистику и её существование, но не применяют это знание. Ровно так же, как все знают про системный подход и его существоание, но по факту это знание не применяют. Может, и нужно обратить внимание на эту книжку: книжки по desicion analisys ещё более навороченны по алгоритмам, но меньше уделяют внимания статистике и не так откровенны в привязке решений к стоимости. Опять же, когда всем этим заниматься?!