Закон малых чисел. Закон малых чисел (интересный копипаст)

Этот свойство человека делать интуитивные оценки и игнорировать малый размер статистической выборки.

«Мы представляем на обсуждение тезис о том, что люди рассматривают выборку отобранную случайным образом из совокупности как высоко репрезентативную, то есть подобную всей совокупности во всех существенных характеристиках.

Следовательно, они ожидают, что любые две выборки, взятые из ограниченной совокупности, будут более подобны друг другу и совокупности, чем предполагает теория выборок, по крайней мере, для малых выборок.

Тенденция расценивать выборку как репрезентативную наблюдается в самых разнообразных ситуациях. Когда тестируемых просят создать случайную последовательность гипотетических подбрасываний монеты, например, они создают последовательности, где пропорция «орла» на любом коротком отрезке гораздо ближе к 0.50, чем предсказала бы теория вероятности […]

Таким образом, каждый отрезок полученной последовательности высоко репрезентативен по отношению к «справедливости» монеты. Подобные эффекты наблюдаются, когда тестируемые последовательно предсказывают события в созданном случайным образом ряде событий, как в экспериментах по изучению вероятности […] или в других последовательных играх с шансами. Тестируемые действуют так, как будто, каждый отрезок случайной последовательности должен отражать правильную пропорцию: если последовательность отклонилась от пропорции во всей совокупности, ожидается корректирующее отклонение в другом направлении. Это получило название ошибки игрока казино.

Суть ошибки игрока казино - неправильное представление о справедливости закона случайности. Игрок чувствует, что равнозначность сторон монеты даёт ему право ожидать, что любое отклонение в одном направлении будет скоро компенсировано соответствующим отклонением в другую сторону. Даже самая сбалансированная монета, однако, обладая ограничениями морали и памяти, не может при подбрасывании выдавать столь же равновероятные результаты, как того ожидает игрок в казино. Эта ошибка свойственна не только игрокам. […]

В этом разделе, мы увидели, что сторонник закона малых чисел ведёт свою научную деятельность следующим образом:

1. Он подвергает риску свои исследовательские гипотезы на небольших выборках, не осознавая, что шансы в его пользу чрезвычайно низки. Он переоценивает мощность.

2. Он необоснованно уверен в ранних тенденциях (например, в данных, полученных на первых нескольких испытуемых) и в стабильности наблюдений (например, в количестве и идентичности значимых результатов). Он переоценивает значимость.

3. В оценке повторных исследований, своих собственных или чужих, он имеет необоснованно высокие ожидания относительно воспроизводимости значимых результатов. Он недооценивает величину доверительных интервалов.

4. Он редко объясняет отклонение от ожидаемых результатов выборки изменчивостью выборок, потому что он находит «объяснение» любому несоответствию. Таким образом, он имеет мало возможностей распознать изменчивость выборок в действии. Поэтому его вера в закон малых чисел, навсегда останется непоколебимой».

Амос Тверски, Даниель Канеман, Вера в закон малых чисел / Д. Канеман, П. Словик, А. Тверски, Принятие решений в неопределённости: правила и предубеждения, Харьков, «Гуманитарный центр», 2005 г., с. 40-41 и 46.

Закон малых чисел

Исследование частоты рака почки, проведенное в 3141 округе США, выявило удивительную закономерность: самый низкий уровень заболеваемости обнаружен в сельских, малонаселенных округах, расположенных в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Что вы думаете по этому поводу?

Ваш разум в последние несколько секунд был очень активен, причем работала преимущественно Система 2. Вы планомерно искали в памяти информацию и формулировали гипотезы. Вам понадобились некоторые усилия: у вас расширились зрачки, измеримо участилось сердцебиение. Но и Система 1 не бездельничала: работа Системы 2 полагалась на факты и предложения, извлеченные из ассоциативной памяти. Вы, вероятно, отвергли мысль о том, что республиканские политические взгляды защищают от рака почки. Скорее всего, в итоге вы сосредоточились на том факте, что округа с низким уровнем заболеваемости в основном сельские. Остроумные статистики Говард Вейнер и Харрис Цверлинг, приводя в пример это исследование, прокомментировали: «Очень легко и соблазнительно сделать вывод, что низкий уровень заболеваемости - прямое следствие здоровой сельской жизни: воздух чистый, вода тоже, еда свежая и без добавок». Очень разумно.

Рассмотрим теперь округа с самым высоким уровнем заболеваемости раком почки. Эти нездоровые округа в основном сельские, малонаселенные и расположены в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Вейнер и Цверлинг в шутку комментируют: «Легко предположить, что высокий уровень заболеваемости - прямое следствие бедности сельской жизни: хорошая медицина далеко, пища жирная, злоупотребление алкоголем и табаком». Конечно же, что-то не так. Сельская жизнь не может служить одновременным объяснением и для высокого, и для низкого уровня заболеваемости раком почки.

Основной фактор здесь - не то, что округа сельские или в основном республиканские. Все дело в том, что население сельских округов малочисленно. Главный урок, который нужно усвоить, касается не эпидемиологии, а сложных отношений между нашим разумом и статистикой. Система 1 отлично приспособлена к одной форме мышления - она автоматически и без усилий опознает каузальные связи между событиями, иногда даже в тех случаях, когда связи не существует. Услышав об округах с высоким уровнем заболеваемости, вы немедленно заключили, что они чем-то отличаются, что у э той разницы есть объяснение. Однако, как мы увидим, Система 1 не слишком способна управляться с «чисто статистическими» фактами, которые меняют вероятность результатов, но не заставляют их случаться.

Случайное событие - по определению - не подлежит объяснению, но серии случайных событий ведут себя чрезвычайно регулярным образом. Представьте себе сосуд, наполненный небольшими шариками. Половина из них - красные, половина - белые. Затем представьте очень терпеливого человека (или робота), который вслепую достает по четыре шарика, записывает число красных, бросает их обратно и повторяет так много-много раз. Если обобщить результаты, то обнаружится, что сочетание «два белых, два красных» появляется почти в шесть раз чаще, чем «четыре белых» или «четыре красных». Это соотношение - математический факт. Результат многократного извлечения шариков из урны можно предсказать с той же точностью, как результат удара молотком по яйцу. Предсказать, как именно разлетятся осколки скорлупы, вы не сможете, но в целом вы уверены в результате. Впрочем, есть одно различие: удовлетворенное ощущение причинной связи, которое вы испытываете, думая о молотке и яйце, в случае с шариками напрочь отсутствует.

С этим связан и другой статистический факт, относящийся к примеру о раке. Из одного и того же сосуда два очень терпеливых экспериментатора по очереди достают шарики. Джек в каждой попытке вытаскивает по 4 штуки, а Джилл - по 7. Они оба делают отметку каждый раз, когда им достаются шарики одного цвета, все белые или все красные. Если достаточно долго этим заниматься, то Джек будет наблюдать такие результаты примерно в 8 раз чаще Джилл (ожидаемый процент составляет 12,5 и 1,56 % соответственно). И вновь ни молотка, ни причины, просто математический факт: наборы из 4 шариков чаще дают однородные результаты, чем наборы из 7.

А теперь представьте население США шариками в огромном сосуде, причем некоторые шарики помечены буквами «Р П», что говорит о раке почки. Вы извлекаете наборы шариков и по очереди населяете каждый округ. Выборки в сельских местностях меньше остальных. Как и в игре Джека и Джилл, экстремумы - то есть очень высокие и/или очень низкие уровни заболеваемости раком - с большей вероятностью окажутся в малонаселенных округах. Вот и вся история.

Мы начали с факта, который требует объяснения: уровень заболеваемости раком почки сильно меняется в зависимости от округа, и в этих изменениях есть закономерность. Я предложил статистическое объяснение: экстремумы (высокие и низкие показатели) вероятнее появятся в маленьких выборках, чем в больших. Это - не причина. Маленькое население округа не порождает рак и не спасает от него. Оно просто позволяет уровню заболеваемости быть намного выше (или намного ниже), чем в более многочисленной популяции. Истина состоит в том, что объяснять здесь нечего. На самом деле уровень заболеваемости раком не выше и не ниже нормы; если в округе маленькое население, она лишь кажется такой в отдельно взятом году из-за случайности выборки. Если повторить анализ на следующий год, мы заметим, что в целом ситуация с экстремумами в малых выборках та же, но округа, где в предыдущем году было много случаев рака, необязательно и на этот раз покажут высокий уровень заболеваемости. Если так, то разница между плотно населенными и сельскими округами не считается, это просто артефакты, то есть явления, порожденные исключительно каким-то аспектом метода исследования, в данном случае - различиями в размере выборки.

Вы, может, и удивились моему рассказу, но не восприняли его как откровение. Вам давно известно, что результаты исследований надежнее на больших выборках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утверждения:

Вы не придали значения признаку «малонаселенный», когда читали историю об исследовании частоты заболеваний раком.

Вы сильно удивились, узнав о разнице между выборками в 4 и 7 шариков.

Даже сейчас вам требуются определенные умственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же:

Большие выборки дают более точный результат, чем маленькие.

Маленькие выборки чаще больших дают экстремумы.

Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе.

Итак, вы знали, что результаты на больших выборках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.