Оценка значимости биномиальным распределением

[Anders]

Биномиальным распределением (БР) оценивается вероятность достижения одного из двух (k=2) возможных несовместимых исходов m раз в n испытаниях (попытках).

Вероятность рождения человека или какого-то иного события под одним из более, чем двух, возможных знаков (k>2) определяется полиномиальным распределением (ПР). Упрощенную оценку вероятности случайного наблюдения события в одном из k возможных знаков можно произвести посредством сведения ПР к биномиальной форме, но следует помнить, что такая оценка не является исчерпывающей и должна применяться корректно.

Биномиальное распределение оценивает вероятность m "попаданий" не в любой 1 из k знаков, а в данный конкретный знак. Поэтому БР корректно применять для оценки уровня значимости без поправки только в том случае, когда статистически проверяется гипотеза о влиянии какого-то одного конкретного знака, причем а) ОБОСНОВАННАЯ; б) НЕДВУСМЫСЛЕННО СФОРМУЛИРОВАННАЯ и в) ОБНАРОДОВАННАЯ ДО СТАТИСТИЧЕСКОЙ ПРОВЕРКИ, причем лучше всего г) ВЫДВИНУТАЯ НЕЗАВИСИМО, Т.Е. НЕ ТЕМ ЧЕЛОВЕКОМ, КОТОРЫЙ ДЕАЛАЕТ ВЫБОРКУ И ПРОВОДИТ СТАТИСТИЧЕСКУЮ ОЦЕНКУ.

Например: "В соответствии с астрологической теорией Птолемея об эссенциальных достоинствах светил проверяется гипотеза о том, что сигнификатором атлетических и бойцовских качеств в натальных картах спортсменов-атлетов и воинов является нахождение Марса в зодиакальном знаке Овна".

Если же гипотеза не проверяется, а выдвигается на основе статистики, то опровержению подлежит допущение о высокой вероятности случайного "попадания" событий не в данный, а в ЛЮБОЙ ИЗ ВОЗМОЖНЫХ знаков. Вероятность этого, естественно, выше и опровергнуть ее трудней. Для этого потребуется большее число "попаданий" в данный конкретный знак, но зато меньшее количество "промахов" в знаки, которые встречаются реже ожидаемого уровня. Другими словами, появляется больше шансов обнаружить и обосновать знаки, которые не влияют на изучаемый признак (событие).

Расчитывается вероятность m попадений в любой из k знаков точно также, но при этом количество испытаний в формуле БР уменьшается до (n-1), а число попаданий - до (m-1).

Лучше всего показывать в итоговых таблицах результаты оценки по обеим критериям.

18 сен, Сб, 2010 06:39

---

[/size]

Оценка БР по критерию "минус один" имеет особое значение для проверки гипотез структурного гороскопа так как, снимая вопрос о поправке на число возможных исходов, он позволяет существенно снизить коэффициент поправки на множественность испытаний (делитель приемлемого, порогового уровня значимости в бесконечно большом числе испытаний).

Обычно пороговый уровень значимости делиться на число допускаемых сочетаний z из k возможных исходов и на число альтернативных факторов, равноценных оцениваемому, способных претендовать на объяснение признака с тем же основанием, что и иследуемая гипотетическая причина.

Так, в некоторых астрологических традициях, к примеру, список влиятельных планетарных факторов до сих пор ограничивается 7 светилами (септенером). И не потому, что внешние планеты за орбитой Сатурна были в древности неизвестны (некоторые источники свидетельствуют, что о них знали). Здесь была своя "физическая" теория с простым критерием: существенно влияют лишь те светила, которые различимы на небе невооруженным глазом. Остальными можно пренебречь из-за их слабости. Так вот, в этом случае, если признать ход светил независящим друг от друга и рассматривать их как дополнительные "игральные кости" (что очевидно ошибочно), то по "тупой статистике" пороговый уровень значимости нужно делить на 7. Чем больше факторов допускает теория, тем хуже статистика.

Структурный гороскоп в этом смысле выгодно отличается от астрологии тем, что обходится без планет. Но Солнце, Земля (из-за суточного цикла) и в какой-то мере Луна из-за календарной привязки остаются в нем пока неисключаемыми альтернативными объясняющими факторами. Так что ПУЗ (пороговый уровень значимости) надо делить пополам как минимум.

В гипотезах монофакторного влияния знаков (z=1) оценка существенности БР с поправкой m и n на "минус один" позволяет не делить ПУЗ на k-знаков (это очень грубая, избыточная поправка), и тем самым шансы не выплеснуть вместе с водой ребенка, не прохлопать истину из-за перестраховки - повышаются.

[Л. Росток]

ну вот. Маленько передохну тут с вами. Расскажу за биномиальную жизнь, и вспомню чего-нибудь. С 2007 года много чего было...

Сейчас небольшая пауза: итог сегодняшней работы. Только что, как итог, подключил ( с энной попытки), протокол защищённого входа (SSH) на сайт, и включил там, на сайте, часы. Иначе нельзя: провайдер (хостер) отказывается без защиты (без спец.брони) подпускать кого-то к часам.
А часы на сайте нужны: современные системы многие функции выполняют по расписанию: пополнение индексов для поиска, очистку директорий, обновления разные...

И на этом форуме, кстати, есть часы, только тут их запускает поддержка.
Ну вот, пока они тикают (точнее, пока жду, что б они тикнули), у меня есть 2-х часовая пауза. Когда сработают, пойду дальше сайтом заниматься, а пока - можно тут с вами посижу, ок?

В первый раз я активно биномиальным, применительно к гороскопам, занялся в самом начале 2007. Потом обнаружил ещё парочку товарищей, склонных вдаваться в сложности этого дела, но уже тогда было ясно, что рассказы о вероятностных распределениях народу, промышляющему гороскопами, как минимум непонятны.
Выхода не было другого, как заняться популяризацией. Понятно, что лучше всего было это делать на заранее известных, простых ситуациях, и желательно графически. Чем и озадачился:

http://community.livejournal.com/goroscop/9967.html

Эмоций меня тогда переполняло... на десятерых бы хватило

Тогда не очень различал, где структурный гороскоп, а где астрология, часто все смешивал в одну кучу. Объект в тех публикациях был очень любимый нами и живой: смешные люди. По всем расчётам выходило, что Шуты так сильно подтверждают структурную теорию, что других доказательств принципиальной её верности нам больше и не требуется. Конечно, ни одними Шутами СГ-теория строится, есть и ещё. И прочие разделы тоже будут нуждаться в подтверждениях.

Но главное, основа, была, как говорится, налицо: есть универсальный материал безусловно на фактах доказывающий справедливость основных положений.

Нужно было как можно шире распространить результаты, найти аналогичные ситуации в других областях человеческой деятельности, собрать подробные данные.

Но как вдохновишь людей на сбор данных, на уточнение, если не покажешь им, зачем это делается? За три года я несколько статей написал, пытаясь объяснить, как и какие данные, и зачем нужны для обоснования и развития структурной идеи. Не все и не всегда поддерживали, некоторые делали что-то по своему. Будто и в природе нет никакой такой цели: достичь истины. Для иных людей есть какие-то игрушки, какие-то возможности комбинировать слова в предложения, иногда даже звучащие осмыслено, и им такого достаточно. Чаще всего так себя ведут именно астрологи, или заражённые этими идеями.
Не раз уже говорил, что последовательное и честное обоснование результатов, проверка действий не только умозрительно, а и практикой, опора на эксперименты, разумного человека приведёт к структурному гороскопу, и оттолкнёт от астрологии.

Но в большинстве тут любители, и хотя квалифицированные вполне ( в том смысле, хотя бы, что эти любители глубоко в теме), но часто народ к ответственности не готов, и поэтому от них никто и ничего серьёзного не ждёт. Каждый раз, когда Кваша просит написать статьи, или я призываю что-то сочинить для журналов, каждый раз видно, что из тысячи постоянных посетителей структурных ресурсов способны на это, что-то самостоятельно делать, от силы десять, максимум двадцать. А реально что-то делают - только или под нажимом просьб или по случаю.

Выход? тем, кто понимает масштаб и необозримость предстоящих работ, надо объяснять, просто и внятно объяснять людям, что они делают и зачем.
Тогда крохи инициативы будут усиливаться и проклёвываться...
Наш с вами окоп: это математика и компьютерные дела. В прошлый раз в конце 2007 года, я прервал свои занятия...
Сейчас объясню, почему.

Стараясь популярно объяснить народу смысл тестов по биномиальному распределению, я встретил, в качестве объекта, удобный материал: число подписчиков на виртуальные издания (рассылки) по знакам Зодиака. Их на Сабскрайбе, сервисе рассылок, таких было около пяти десятков, от разных контор и разных астрологов.
Для нас, гороскопистов, идея зависимости числа интересующихся гороскопами по разному для разных зодиаков не есть что-то странное, любой такое придумает сходу.

Ну, думаю, тут-то всех и привлеку, и объясню - и про нормальное и про биномиальное.
Подготовил схемы расчёта в экселе (из офиса 2000), и начал гонять данные. Эксель насчитывает, я складываю. Начал со скромных рассылок: где по 200, по 300 человек в месяц.
Месяц, примерно, считал, складывал, подписывал, рисовал графики. Что-то вырисовывалось, но как-то неуверенно. Постепенно добрался до "жирных" рассылок, которые по 2, по 3 тысячи подписчиков в месяц получали.

И тут всё застопорилось. Не считает программа, и всё! ерунду выдаёт явную... будто число подписчиков обнуляет, и все уровни достоверности просчитывает для какого-то меньшего значения.
(я ж графики аккуратно строил, поэтому и заметил, что расчёты стали уродоваться).
Пришлось самому запрограммировать функцию биномиального распределения, для конкретного случая, что б просто проверить - где же правда.
Но делать эту функцию универсальной, а потом ещё подключать её в эксел, это примерно такая же мутота, как у нашего знакомого с эфемеридами ... года на два работы... куча, горы инструкций - по разным программным системам... и это всё - до выхода следующей версии... потом всё снова переделывать, для новых правил.

И при всём этом меня угнетало:
- с одной стороны, эти попытки что-то делать правильно, обоснованно, никто не ждёт. Почти никто, исключая разве двух-трёх друзей с форумов, этим вообще не интересуется. А делать что-то, на этом пути математического моделирования, вообще - в лучшем случае ещё один только мог - Максимыч... Но он потом ушёл в другие интересы...

- другая сторона: я, получилось, наткнулся на ошибку в экселе... или что-то очень крупно, глобально, делал не так...
а как проверить? у меня есть уверенность, что я прав, а к кому пойдёшь, что б перепроверили? сходил на математические форумы Московского университета, ещё какие-то... там таких и слушать не желают.. свои разборки...
А на слова о гороскопе - реакция как на красную тряпку...

Короче, попав в полосу трудностей, и не имея никакой поддержки, просто оставил это, и занялся личными делами...

Через год знакомый принёс мне офис 2007, я его поставил - для пробы. Просто, желая проверить, что такое он, этот новый офис, и чем отличается. Вот и дал новому офису случайно уцелевший на рабочем столе файлик с тестовыми расчётами: кусочек для проверки применения биномиального распределения по данным подписки ( по гороскопам).
Это был тот самый кусочек, начиная с которого формулы перестали у меня год назад работать. Единственный сохранившийся от всех тех гор адских, многомесячных экспериментов с расчётами ... и он сразу показал нормальные результаты.
Т.е проблема всё-таки была в микрософт-офисе!

Все результаты и данные я уже получить повторно, вновь, не мог: Сабскрайб поменял за тот год правила публикации статистики, теперь и тех данных из архива не вытащить, и новых, в удобном для расчётов виде, не получить. Теперь на такую работу, только на сбор статистики, потребовалось бы несколько месяцев, вместо двух недель, как раньше.
Обидно, блин...

О!

Отчет о состоянии:

Выполнение регулярных процедур (задачи cron) Последний запуск 15 мин. 29 сек. назад

сработали часики на сайте! ну я пошёл...
А вы тут не скучайте... скоро станет весело...

[Anders]

Всем-всем привет! А Leo - два!
1. Я по-прежнему в теме, только сильно загружен.
2. В настоящее время доделываю статоценку выборок Azazello, а также свой материал по распределению "Кто есть кто". Все - на следующей неделе.
3. Нашел, наконец, удачный образец проведения статоценки и, главное, представления результатов:
http://www.astrosystem.ru/AstroSystem/Members/p11/a7
и другие статьи того же автора там же

[Л. Росток]

следующая неделя длинная оказалась у Anders (почти 2 года), а тут вновь стали поминать биномиальное распределение (по Бернулли) в "хвост и гриву".
Вот, даю ссылку на свою давнюю статью, где, как мне кажется, популярно описано, что это такое и как его "едят":

http://s-horoscope.ru/sg/sostoyatelnost ... yo-znaet#5

[Л. Росток]