Что такое оценка в статистике. Точечная оценка и ее свойства
Изучив эту главу, студент будет знать, что выборка может рассматриваться как эмпирический аналог генеральной совокупности, что с помощью выборочных данных можно судить о свойствах генеральной совокупности и оценивать ее характеристики, основные законы распределения статистических оценок, уметь производить точечные и интервальные оценки параметров генеральной совокупности методом моментов и максимального правдоподобия, владеть способами определения точности и надежности полученных оценок.
Виды статистических оценок
О параметрах генеральной совокупности мы знаем то, что они объективно существуют, но определить их непосредственно невозможно в силу того, что генеральная совокупность или бесконечна или чрезмерно велика. Поэтому может стоять вопрос только об оценке этих характеристик.
Ранее было установлено, что для выборки, извлеченной из генеральной совокупности, при соблюдении условий репрезентативности, можно определить характеристики, которые являются аналогами характеристик генеральной совокупности.
cjp Определение 8.1. Приближенные значения параметров распределения, найденные по выборке, называются оценкой параметра.
Обозначим оцениваемый параметр случайной величины (генеральной совокупности) как 0, а его оценку, полученную с помощью выборки, 0.
Оценка 0 является случайной величиной, поскольку любая выборка является случайной. Оценки, полученные для разных выборок, будут отличаться друг от друга. Поэтому будем считать 0 функцией, зависящей от выборки: 0 = 0(Х в).
ЩР Определение 8.2. Статистическая оценка называется состоятельной, если она стремиться по вероятности к оцениваемому параметру:
Это равенство означает, что событие 0=0 становится достоверным при неограниченном возрастании объема выборки.
В качестве примера можно привести относительную частоту некоторого события А, которая является состоятельной оценкой вероятности этого события в соответствии с теоремой Пуассона (см. формулу (6.1), часть 1).
Определение 8.3. Статистическая оценка называется эффективной, если она имеет наименьшую дисперсию при одних и тех же объемах выборки.
Рассмотрим оценку М х математического ожидания М х случайной величины X. В качестве такой оценки выберем X . Найдем математическое ожидание случайной величины X .
Сначала сделаем важное утверждение: учитывая то, что все случайные величины X, извлекаются из одной и той же генеральной совокупности X, а значит, имеют одно и то же распределение что и X, можно записать:
Теперь найдем М(Х в):
Таким образом, выборочная средняя является статистической оценкой математического ожидания случайной величины. Эта оценка является состоятельной поскольку в соответствии со следствием из теоремы Чебышева она сходится по вероятности к математическому ожиданию (6.3).
Мы установили, что в рассматриваемом случае математическое ожидание выбранной нами оценки (случайной величины) равно самому оцениваемому параметру. Оценки, обладающие таким свойством, занимают особое место в математической статистике, они называются несмещенными.
Определение 8.4. Статистическая оценка © называется несмещенной, если ее математическое ожидание равно оцениваемому параметру
Если это требование не выполнено, то оценка называется смещенной.
Таким образом, выборочная средняя является несмещенной оценкой математического ожидания.
Проведем анализ смещенности выборочной дисперсии D , если ее выбрать в качестве оценки генеральной дисперсии D x . Для этого проверим выполнимость условия (8.2) для?) :
Преобразуем каждое из двух полученных слагаемых:
Здесь было использовано равенство М(Х.) = М(Х 2), справедливое по той же причине, что и (8.1).
Рассмотрим второе слагаемое. С помощью формулы квадрата суммы п слагаемых получаем
учитывая снова равенство (8.1), а также то, что X. и X независимые случайные величины запишем
и окончательно получим:
Подставим полученные результаты в (8.3)
После преобразования получим
Таким образом, можно сделать вывод, что выборочная дисперсия является смещенной оценкой генеральной дисперсии.
Учитывая полученный результат, поставим задачу построить такую оценку генеральной дисперсии, которая удовлетворяла бы условию несмещенности (8.2). Для этого рассмотрим случайную величину
Легко видеть, что для этой величины условие (8.2) выполняется:
Заметим, что различие между выборочной дисперсией и исправленной выборочной дисперсией становятся незначительными при больших объемах выборки.
При выборе оценок характеристик случайных величин важно знать их точность. В некоторых случаях требуется высокая точность, а иногда достаточно иметь грубую оценку. Например, планируя перелет с пересадкой нам важно знать как можно точнее планируемое время прилета к месту стыковки авиарейсов. В другой ситуации, например, находясь дома и ожидая курьера с заказанным нами товаром, высокая точность времени его прибытия для нас не важна. В обоих случаях случайной величиной является время прибытия, а интересующей нас характеристикой случайной величины - среднее время в пути.
Оценки бывают двух видов. В первом случае ставится задача получить конкретное числовое значение параметра. В другом случае определяется интервал, в который с заданной вероятностью попадает интересующий нас параметр.
План лекции:
Понятие оценки
Свойства статистических оценок
Методы нахождения точечных оценок
Интервальное оценивание параметров
Доверительный интервал для математического ожидании при известной дисперсии нормально распределённой генеральной совокупности.
Распределение хи-квадрат и распределение Стьюдента.
Доверительный интервал для математического ожидании случайные величины, имеющей нормальное распределение при неизвестной дисперсии.
Доверительный интервал для среднего квадратического отклонения нормального распределения.
Список литературы:
Вентцель, Е.С. Теория вероятностей [Текст] / Е.С. Вентцель. – М.: Высшая школа, 2006. – 575 с.
Гмурман, В.Е. Теория вероятностей и математическая статистика [Текст] / В.Е. Гмурман. - М.: Высшая школа, 2007. - 480 с.
Кремер, Н.Ш. Теория вероятностей и математическая статистика [Текст] / Н.Ш. Кремер - М: ЮНИТИ, 2002. – 543 с.
П.1. Понятие оценки
Такие распределения,
как биномиальное, показательное,
нормальное, являются семействами
распределений, зависящими от одного
или нескольких параметров. Например,
показательное распределение с плотностью
вероятностей
,
зависит от одного параметра λ, нормальное
распределение
- от двух параметровm
и σ. Из условий исследуемой задачи, как
правило, ясно, о каком семействе
распределений идёт речь. Однако остаются
неизвестными конкретные значения
параметров этого распределения, входящие
в выражения интересующих нас характеристик
распределения. Поэтому необходимо знать
хотя бы приближённое значение этих
величин.
Пусть закон
распределения генеральной совокупности
определён с точностью до значений
входящих в его распределение параметров
,
часть из которых может быть известна.
Одной из задач математической статистики
является нахождение оценок неизвестных
параметров по выборке наблюдений
из генеральной совокупности. Оценка
неизвестных параметров заключается в
построении функции
от
случайной выборки, такой, что значение
этой функции приближённо равно
оцениваемому неизвестному параметруθ
.
Функция
называетсястатистикой
параметра θ
.
Статистической
оценкой
(в дальнейшем просто оценкой
)
параметраθ
теоретического распределения называется
его приближённое значение, зависящего
от данных выбора.
Оценка
является случайной величиной, т.к.
является функцией независимых случайных
величин
;
если произвести другую выборку, то
функция примет, вообще говоря, другое
значение.
Существует два вида оценок – точечные и интервальные.
Точечной называется оценка, определяемая одним числом. При малом числе наблюдений эти оценки могут приводить к грубым ошибкам. Чтобы избежать их, используют интервальные оценки.
Интервальной называется оценка, которая определяется двумя числами – концами интервала, в котором с заданной вероятностью заключена оцениваемая величина θ .
П. 2 Свойства статистических оценок
Величину
называютточностью
оценки
. Чем
меньше
,
тем лучше, точнее определён неизвестный
параметр.
К оценке любого параметра предъявляется ряд требований, которым она должна удовлетворять, чтобы быть «близкой» к истинному значению параметра, т.е. быть в каком-то смысле «доброкачественной» оценкой. Качество оценки определяют, проверяя, обладает ли она свойствами несмещённости, эффективности и состоятельности.
Оценка
параметраθ
называется несмещённой
(без систематических ошибок), если
математическое ожидание оценки совпадает
с истинным значением θ
:
.
(1)
Если равенство
(1) не имеет места, то оценка
называетсясмещённой
(с систематическими ошибками). Это
смещение может быть связано с ошибками
измерения, счёта или неслучайным
характером выборки. Систематические
ошибки приводят к завышению или занижению
оценки.
Для некоторых задач математической статистики может существовать несколько несмещённых оценок. Обычно предпочтение отдают той, которая обладает наименьшим рассеянием (дисперсией).
Оценка
называетсяэффективной
,
если она имеет наименьшую дисперсию
среди всех возможных несмещённых оценок
параметра θ
.
Пусть D
(
)
– минимальная дисперсия, а
– дисперсия любой другой несмещённой
оценки
параметраθ
.
Тогда эффективность оценки
равна
.
(2)
Ясно, что
.
Чем ближе
к 1, тем эффективнее оценка
.
Если
при
,
то оценка называетсяасимптотически
эффективной
.
Замечание
:
Если оценка
смещённая, то малости её дисперсии ещё
не говорит о малости её погрешности.
Взяв, например, в качестве оценки
параметраθ
некоторое число
,
получим оценку даже с нулевой дисперсией.
Однако в этом случае ошибка (погрешность)
может быть сколь угодно большой.
Оценка
называетсясостоятельной
,
если с увеличением объема выборки (
)
оценка сходится по вероятности к точному
значению параметраθ
,
т.е. если для любого
.
(3)
Состоятельность
оценки
параметраθ
означает, что с ростом n
объема выборки качество оценки
улучшается.
Теорема 1. Выборочная средняя является несмещённой и состоятельной оценкой математического ожидания.
Теорема 2. Исправленная выборочная дисперсия является несмещённой и состоятельной оценкой дисперсии.
Теорема 3. Эмпирическая функция распределения выборки является несмещённой и состоятельной оценкой функции распределения случайной величины.
является смещенной О. с. для дисперсии , так как 
; в качестве несмещенной О. с. для s 2 обычно берут функцию
См. также Несмещенная оценка.
За меру точности несмещенной О. с. а для параметра ачаще всего принимают дисперсию Da.
О. с. с наименьшей дисперсией наз. наилучшей. В приведенном примере среднее арифметическое (1) - наилучшая О. с. Однако если случайных величин X i
отлично от нормального, то О. с. (1) может и не быть наилучшей. Напр., если результаты наблюдений Х i
распределены равномерно в интервале (b, с
),
то наилучшей О. с. для математич. ожидания а=
(b+с
)/2 будет полусумма крайних значений
(3)
В качестве характеристики для сравнения точности различных О. с. применяют эффективность - дисперсий наилучшей оценки и данной несмещенной оценки. Напр., если результаты наблюдений Х i
распределены равномерно, то дисперсии оценок (1) и (3) выражаются формулами
и 
(4)
Так как оценка (3) наилучшая, то эффективность оценки (1) в данном случае есть
При большом количестве наблюдений побычно требуют, чтобы выбранная О. с. стремилась по вероятности к истинному значению параметра а,
т. е. чтобы для всякого e > 0
такие О. с. наз. состоятельными (пример состоятельной О. с,- любая , дисперсия к-рой при стремится к нулю; см. также Состоятельная оценка
).
Поскольку важную роль при этом играет стремления к пределу, то асимптотически наилучшими являются асимптотически эффективные О. с., то есть такие О. с., для к-рых при
Напр., если распределены одинаково нормально, то О. с. (2) представляет собой асимптотически эффективную оценку для неизвестного параметра , так как при дисперсия оценки и дисперсия наилучшей оценки асимптотически эквивалентны:
и, кроме того,
Фундаментальное значение для теории О. с. и ее приложений имеет тот факт, что О. с. для параметра аограничено снизу нек-рой величиной (этой величиной Р. Фишер (R. Fischer) предложил характеризовать количество информации относительно неизвестного параметра a, содержащийся в результатах наблюдений). Напр., если независимы и одинаково распределены с плотностью вероятности р(х; а
).и если - О. с. для нек-рой функции g(a).от параметра а, то в широком классе случаев
Функцию b(а) наз. смещением, а величину, обратную правой части неравенства (5), наз. количеством информации (по Фишеру) относительно функции g(a),
содержащейся в результате наблюдений. В частности, если а - несмещенная О. с. параметра а,
то,
причем количество информации nIa
в этом случае пропорционально количеству наблюдений (функцию I(а).наз. количеством информации, содержащейся в одном наблюдении).
Основные условия, при к-рых справедливы неравенства (5) и (6), - гладкость оценки акак функции от X i ,
а также от параметра амножества тех точек х,
где р( х, а
)=0. Последнее условие не выполняется, напр., в случае равномерного распределения, и поэтому дисперсия О. с. (3) не удовлетворяет неравенству (6) [согласно (4) эта дисперсия есть порядка n -2 , в то время как по неравенству (6) она не может иметь малости выше, чем п -1
].
Неравенства (5) и (6) справедливы и для дискретно распределенных случайных величин X i
нужно лишь в определении информации I(а). р(х; а
).заменить вероятностью события {Х=х}.
Если дисперсия несмещенной О. с. a* для параметра асовпадает с правой частью неравенства (6), то - наилучшая оценка. Обратное утверждение, вообще говоря, неверно: дисперсия наилучшей О. с. может превышать . Однако если , то дисперсия наилучшей оценки асимптотически эквивалентна правой части (6), т. е. . Таким образом, с помощью количества информации (по Фишеру) можно определить асимптотич. эффективность несмещенной О. с. а, полагая
Особенно плодотворным информационный подход к теории О. с. сказывается тогда, когда плотность (в дискретном случае - ) совместного распределения случайных величин пред-ставима в виде произведения двух функций h(x 1 ,х 2 ,...,х п
).[у( х 1 , х 2 ,..., х n
);а],
из к-рых первая не зависит от а,
а вторая представляет собой плотность распреде-деления нек-рой случайной величины Z=y
(X 1 , Х 2 ,..
., Х п
),
наз. достаточной статистикой
или исчерпывающей статистикой.
Один из наиболее распространенных методов нахождения точечных О. с.- моментов метод.
Согласно этому методу, теоретич. распределению, зависящему от неизвестных параметров, ставят в дискретное выборочное , к-рое определяется результатами наблюдений X i
и представляет собой распределение вероятностей воображаемой случайной величины, принимающей значения с одинаковыми вероятностями, равными 1/n (выборочное распределение можно рассматривать как точечную О. с. для теоретич. распределения). В качестве О. с. для моментов теоретич. распределения принимают соответствующие моменты выборочного распределения; напр., для математич. ожидания аи дисперсии s 2 метод моментов дает следующие О. с.: (1) и выборочную дисперсию (2). Неизвестные параметры обычно выражаются (точно или приближенно) в виде функций от нескольких моментов теоретич. распределения. Заменяя в этих функциях теоретич. моменты выборочными, получают искомые О. с. Этот метод, часто приводящий на практике к сравнительно простым вычислениям, дает, как правило, О. с. невысокой асимптотической эффективности (см. выше пример оценки математического ожидания равномерного распределения).
Другой метод нахождения О. с., более совершенный с теоретич. точки зрения,- максимального правдоподобия метод,
или наибольшего правдоподобия метод. Согласно этому методу, рассматривают функцию правдоподобия L(а), к-рая представляет собой функцию неизвестного параметра аи получается в результате замены в плотности совместного распределения аргументов x i
самими случайными величинами X i
; если X i -
независимы и одинаково распределены с плотностью вероятности р(x; а
), то
(если X i
распределены дискретно, то в определении функции правдоподобия Lследует плотности заменить вероятностями событий ). В качестве О. с. максимального правдоподобия для неизвестного параметра апринимают такую величину a, для к-рой L(a) достигает наибольшего значения (при этом часто вместо Lрассматривают т. н. логарифмическую функцию правдоподобия 
; в силу монотонности логарифма точки максимумов функций L(a).и l(a) совпадают). Примерами О. с. максимального правдоподобия являются оценки по наименьших квадратов методу.
Основное достоинство О. с. максимального правдоподобия заключается в том, что при нек-рых общих условиях эти оценки состоятельны, асимптотически эффективны и распределены приближенно нормально.
Перечисленные свойства означают, что если a есть О. с. максимального правдоподобия, то при
(если Xнезависимы, то ). Таким образом, для функции распределения нормированной О. с. 
имеет место предельное соотношение
Преимущества О. с. максимального правдоподобия оправдывают вычислительную работу по отысканию максимума функции L(или l).
В нек-рых случаях вычислительная работа существенно сокращается благодаря следующим свойствам: во-первых, если a* - такая О. с., для к-рой (6) обращается в равенство, то О. с. максимального правдоподобия единственна и совпадает с a*, во-вторых, если существует Z, то О. с. максимального правдоподобия есть функция Z.
Пусть, напр., независимы и распределены одинаково нормально так, что
поэтому
Координаты а= а 0
и s= s 0 точки максимума функции I( а,
s).удовлетворяют системе уравнений
Таким образом, и, значит, в данном случае О. с. (1) и (2) - оценки максимального правдоподобия, причем - наилучшая О. с. параметра а,
распределенная нормально (, ), а - асимптотически эффективная О. с. параметра s 2 ,
распределенная при больших пприближенно нормально (). Обе оценки представляют собой независимые достаточные статистики.
Еще один пример, в к-ром
Эта плотность удовлетворительно описывает распределение одной из координат частиц, достигших плоского экрана и вылетевших из точки, расположенной вне экрана (a - координата проекции источника на экран- предполагается неизвестной). Для указанного распределения математич. ожидание не существует, т. к. соответствующий расходится. Поэтому отыскание О. с. для аметодом моментов невозможно. Формальное применение в качестве О. с. среднего арифметического (1) лишено смысла, т. к. распределено в данном случае с той же плотностью р(х; a), что и каждый единичный результат наблюдений. Для оценки аможно воспользоваться тем обстоятельством, что рассматриваемое распределение симметрично относительно точки х=а
и, значит, а -
медиана теоретич. распределения. Несколько видоизменяя метод моментов, в качестве О. с. для апринимают т. н. выборочную медиану m, к-рая при является несмещенной О. с. для a, причем если пвелико, то m распределена приближенно нормально с дисперсией
В то же время
поэтому и, значит, согласно (7) асимптотич. эффективность равна . Таким образом, для того чтобы m была столь же точной О. с. для a, как и оценка наибольшего правдоподобия a, нужно количество наблюдений увеличить на 25%. Если затраты на эксперимент велики, то для определения аследует воспользоваться О. с. а, к-рая в данном случае определяется как уравнения
В качестве первого приближения выбирают a 0 =u и далее решают это последовательными приближениями по формуле
См. также Точечная оценка.
Интервальные оценки. Интервальной оценкой наз. такая О. с., к-рая геометрически представима в виде множества точек, принадлежащих пространству параметров. Интервальную О. с. можно рассматривать как точечных О. с. Это множество зависит от результатов наблюдений и, следовательно, оно случайно; поэтому каждой интервальной О. с. ставится в соответствие вероятность, в к-рой эта оценка "накроет" неизвестную параметрич. точку. Такая вероятность, вообще говоря, зависит от неизвестных параметров; поэтому в качестве характеристики достоверности интервальной О. с. принимают доверия - наименьшее возможное значение указанной вероятности. Содержательные стати-стич. выводы позволяют получать лишь те интервальные О. с., коэффициент доверия к-рых близок к единице.
Если оценивается один параметр a, то интервальной О. с. обычно является нек-рый (b, g).(т. н. ), конечные точки к-рого (b и g представляют собой функции от результатов наблюдений; коэффициент доверия со в данном случае определяется как вероятности одновременного осуществления двух событий {b < a} и (g > a}, вычисляемая по всем возможным значениям параметра a:
Если середину такого интервала принять за точечную О. с. для параметра a, то с вероятностью не менее чем со можно утверждать, что этой О. с. не превышает половины длины интервала . Иными словами, если руководствоваться указанным правилом оценки абсолютной погрешности, то ошибочное заключение будет получаться в среднем менее чем в 
случаев. При фиксированном коэффициенте доверия со наиболее выгодны кратчайшие доверительные интервалы, для к-рых математич. ожидание длины достигает наименьшего значения.
Если распределение случайных величин X i зависит только от одного неизвестного параметра а, то построение доверительного интервала обычно осуществляется с помощью какой-либо точечной О. с. а. Для большинства практически интересных случаев функция распределения разумно выбранной О. с. а монотонно зависит от параметра а. В этих условиях для отыскания интервальной О. с. следует в F(х; а )подставить х= a. и определить корни а 1 = a 1 (a, w) и а 2 =a 2 (a, w) уравнений
(9) где
[для непрерывных распределений ]. Точки с координатами и ограничивают доверительный интервал с коэффициентом доверия w. Разумеется, интервал, построенный столь простым способом, во многих случаях может отличаться от оптимального (кратчайшего). Однако если a - асимптотически эффективная О. с. для a, то при достаточно большом количестве наблюдений такая интервальная О. с. практически несущественно отличается от оптимальной. В частности, это верно для О. с. наибольшего правдоподобия, т. к. она распределена асимптотически нормально (см. (8)). В тех случаях, когда уравнений (9) затруднительно, интервальную О. с. вычисляют приближенно с помощью точечной О. с. максимального правдоподобия и соотношения (8):
где х -
корень уравнения
Если , то истинный коэффициент доверия интервальной оценки стремится к w. В более общем случае распределение результатов наблюдений X i
- зависит от нескольких параметров а, b,...
. В этих условиях указанные выше правила построения доверительных интервалов часто оказываются неприменимыми, т. к. распределение точечной О. с. a,
зависит, как правило, не только от a, но и от остальных параметров. Однако в практически интересных случаях О. с. a можно заменить такой функцией от результатов наблюдений X i
и неизвестного параметра я, распределение к-рой не зависит (или "почти не зависит") от всех неизвестных параметров. Примером такой функции может служить нормированная О. с. максимального правдоподобия ; если в знаменателе аргументы a, b,...
заменить их оценками максимального правдоподобия a, b,. . . , то предельное распределение останется тем же самым, что и в формуле (8). Поэтому приближенные доверительные интервалы для каждого параметра в отдельности можно строить так же,
как и в случае одного параметра.
Как уже отмечалось выше, если ,... - независимые и одинаково нормально распределенные случайные величины, то и s 2 - наилучшие О. с. для параметров a и s 2 соответственно. Функция распределения О. с. выражается формулой
и, следовательно, она зависит не только от a, но также и от s. В то же время распределение т. н. отношения Стьюдента
не зависит ни от a, ни от s, причем
где постоянная выбирается так, чтобы выполнялось равенство 
. Таким образом, доверительному интервалу
соответствует коэффициент доверия
Распределение оценки s 2 зависит лишь от s 2 , причем функция распределения О. с. s 2 аадается формулой
где постоянная D n-1 определяется условием 
(так наз. -распределением с п-1степенями свободы).
Так как с ростом s вероятность монотонно возрастает, то для построения интервальной О. с. применимо правило (9). Таким образом, если х 1
и x 2 - корни уравнений и = , то доверительному интервалу
соответствует коэффициент доверия w. Отсюда, в частности, следует, что доверительный интервал для относительной ошибки задается неравенствами
Подробные таблицы функций распределения Стьюдента и -распределения имеются в большинстве руководств по математич. статистике.
До сих пор предполагалось, что функция распределения результатов наблюдений известна с точностью до значений нескольких параметров. Однако в приложениях часто встречается случай, когда функции распределения неизвестен. В этой обстановке для оценки параметров могут оказаться полезными т. н. непараметрические методы статистики
(т. е. такие методы, к-рые не зависят от исходного распределения вероятностей). Пусть, напр., требуется оценить медиану ттеоретич. непрерывного распределения независимых случайных величин X 1 , Х 2 ,..., Х п
(для симметричных распределений совпадает с математич. ожиданием, если, конечно, оно существует). Пусть Y 1 - те же величины X i
но расположенные в порядке возрастания. Тогда, если k -
целое число, удовлетворяющее неравенствам n/2
, то 
Таким образом, - интервальная О. с. для тс коэффициентом доверия w=w n,k
. Этот верен при любом непрерывном распределении случайных величин X i .
Выше отмечалось, что выборочное распределение - точечная О. с. для неизвестного теоретич. распределения. Более того, функция Выборочного распределения F n
(x).- несмещенная О. с. для функции теоретич. распределения F(x).
При этом, как показал А.
Н. Колмогоров, распределение статистики
не зависит от неизвестного теоретич. распределения и при стремится к предельному распределению К(у),
к-рое наз. распределением Колмогорова. Таким образом, если у -
решение уравнения К(y)=w, то с вероятностью w можно утверждать, что функции теоретич. распределения F(у).целиком "покрывается" полосой, заключенной между графиками функций 
(при различие допредельного и предельного распределений статистики l n практически несущественно). Такую интервальную О. с. наз. доверительной зоной. См. также Интервальная оценка.
Статистические оценки в теории ошибок.
Теория ошибок - раздел математич: статистики, посвященный численному определению неизвестных величин по результатам измерений. В силу случайного характера ошибок измерений и, быть может, случайной природы самого изучаемого явления не все такие результаты равноправны: при повторных измерениях нек-рые из них встречаются чаще, другие - реже.
В основе теории ошибок лежит математич. , согласно к-рой до опыта совокупность всех мыслимых результатов измерения трактуется как множество значений нек-рой случайной величины. Поэтому важную роль приобретает О. с. Выводы теории ошибок носят статистич. . Смысл и содержание таких выводов (как, впрочем, и выводов теории О.
Полагая результат измерения Xслучайной величиной, различают три основных типа ошибок измерений: систематические, случайные и грубые (качественные описания таких ошибок даны в ст. Ошибок теория
).
При этом ошибкой измерения неизвестной величины аназ. X-а, математич. ожидание этой разности E( Х-а
)=b
наз. систематической ошибкой (если b=0, то говорят, что измерения лишены систематич. ошибок), а разность d=Х- а-b
наз. случайной ошибкой
. Таким образом, если приведено пнезависимых измерений величины a, то их результаты можно записать в виде равенств
где аи b- постоянные, a d i
- случайные величины. В более общем случае
где b i
- не зависящие от d i
случайные величины, к-рые равны нулю с вероятностью, весьма близкой к единице (поэтому всякое другое значение маловероятно). Величину b i
наз. грубой ошибкой.
Задача оценки (и устранения) систематич. ошибки обычно выходит за рамки математич. статистики. Исключения составляют т. н. метод эталонов, согласно к-рому для оценки bпроизводят серию измерений известной величины а(в этом методе b -
оцениваемая величина и а - известная систематич. ошибка), а также , позволяющий оценивать систематич. расхождения между несколькими сериями измерений.
Основная задача теории ошибок - отыскивание О. с. для неизвестной величины аи оценка точности измерений. Если систематич. ошибка устранена (b=0) и наблюдения грубых ошибок не содержат, то согласно (10) Х i
=a+d i
и, значит, в этом случае задача оценки асводится к отысканию в том или ином смысле оптимальной О. с. для математич. ожидания одинаково распределенных случайных величин X i .
Как было показано в предыдущих разделах, вид такой О. с. (точечной или интервальной) существенно зависит от закона распределения случайных ошибок. Если этот закон известен с точностью до нескольких неизвестных параметров, то для оценки, а также для оценки аможно применять, напр., метод максимального правдоподобия; в противном случае следует сначала по результатам наблюдений Х i
найти О. с. для неизвестной функции распределения случайных ошибок d i
("непараметрическая" интервальная О. с. такой функции указана выше). В практич. работе часто довольствуются двумя О. с. и (см. (1) и (2)). Если d i
распределены одинаково нормально, то эти О. с. наилучшие; в других случаях эти оценки могут оказаться малоэффективными.
Наличие грубых ошибок усложняет задачу оценки параметра а. Обычно доля наблюдений, в к-рых бывает невелика, а математич. ожидание ненулевых |b i
| значительно превышает (грубые ошибки возникают в результате случайного просчета, неправильного чтения показаний измерительного прибора и т. п.). Результаты измерений, содержащие грубые ошибки, часто бывают хорошо заметны, т. к. они сильно отличаются от других результатов измерений. В этих условиях наиболее целесообразный способ выявления (и устранения) грубых ошибок - непосредственный анализ измерений, тщательная проверка неизменности условий всех экспериментов, запись результатов "в две руки" и т. д. Статистич. методы выявления грубых ошибок следует применять лишь в сомнительных случаях.
Простейший пример таких методов - статистпч. выявление одного резко выделяющегося наблюдения, когда подозрительным может оказаться либо Y 1 =minX 1 , либо Y п =mахХ i (предполагается, что в равенствах (11) b=0 и закон распределения величин d i известен). Для того чтобы выяснить, обосновано ли предположение о наличии одной грубой ошибки, для пары Y 1 , Y n вычисляют совместную интервальную О. с. (доверительную ), полагая все b i равными нулю. Если эта О. с. "накрывает" точку с координатами (Y 1 , Y n ), то подозрение о наличии грубой ошибки следует считать статистически необоснованным; в противном случае гипотезу о присутствии грубой ошибки надо признать подтвердившейся (при этом обычно забракованное наблюдение отбрасывают, т. к. сколько-нибудь надежно оценить величину грубой ошибки по одному наблюдению статистически не представляется возможным).
Распределения в математической статистике характеризуется многими статистическими параметрами. Оценка неизвестных параметров распределения на основе различных данных выборки позволяет построить распределения случайной величины.
Найти статистическую оценку неизвестного параметра распределения -- найти функцию от наблюдаемых случайных величин, которая даст приближенное значение оцениваемого параметра.
Статистические оценки можно разделить на несмещенные, смещенные, эффективные и состоятельные.
Определение 1
Несмещенная оценка -- статистическая оценка $Q^*$, которая при любом значении объема выборки, имеет математическое ожидание, равное оцениваемому параметру, то есть
Определение 2
Смещенная оценка -- статистическая оценка $Q^*$, которая при любом значении объема выборки, имеет математическое ожидание, не равное оцениваемому параметру, то есть
Определение 4
Состоятельная оценка -- статистическая оценка, при которой при объеме выборки, стремящейся к бесконечности, стремится по вероятности к оцениваемому параметру $Q.$
Определение 5
Состоятельная оценка -- статистическая оценка, при которой при объеме выборки, стремящейся к бесконечности, дисперсия несмещенной оценки стремится к нулю.
Генеральная и выборочная средние
Определение 6
Генеральная средняя -- среднее арифметическое значений вариант генеральной совокупности.
Определение 7
Выборочная средняя -- среднее арифметическое значений вариант выборочной совокупности.
Величины генерального и выборочного среднего можно найти по следующим формулам:
- Если значения вариант $x_1,\ x_2,\dots ,x_k$ имеют, соответственно, частоты $n_1,\ n_2,\dots ,n_k$, то
- Если значения вариант $x_1,\ x_2,\dots ,x_k$ различны, то
С этим понятием связано такое понятие как отклонение от средней. Данная величина находится по следующей формуле:
Среднее отклонение обладает следующими свойствами:
$\sum{n_i\left(x_i-\overline{x}\right)=0}$
Среднее значение отклонения равно нулю.
Генеральная, выборочная и исправленная дисперсии
Еще одними из основных параметров является понятие генеральной и выборочной дисперсии:
Генеральная дисперсия:
Выборочная дисперсия:
С этими понятия связаны также генеральная и выборочная средние квадратические отклонения:
В качестве оценки генеральной дисперсии вводится понятие исправленной дисперсии:
Также вводится понятие исправленного стандартного отклонения:
Пример решения задачи
Пример 1
Генеральная совокупность задана следующей таблицей распределения:
Рисунок 1.
Найдем для нее генеральное среднее, генеральную дисперсию, генеральное среднее квадратическое отклонение, исправленную дисперсию и исправленное среднее квадратическое отклонение.
Для решения этой задачи для начала сделаем расчетную таблицу:
Рисунок 2.
Величина $\overline{x_в}$ (среднее выборочное) находится по формуле:
\[\overline{x_в}=\frac{\sum\limits^k_{i=1}{x_in_i}}{n}\]
\[\overline{x_в}=\frac{\sum\limits^k_{i=1}{x_in_i}}{n}=\frac{87}{30}=2,9\]
Найдем генеральную дисперсию по формуле:
Генеральное среднее квадратическое отклонение:
\[{\sigma }_в=\sqrt{D_в}\approx 1,42\]
Исправленная дисперсия:
\[{S^2=\frac{n}{n-1}D}_в=\frac{30}{29}\cdot 2,023\approx 2,09\]
Исправленное среднее квадратическое отклонение.
Пусть требуется изучить количественный признак генеральной совокупности. Допустим, что из теоретических соображений удалось установить, какое именно распределение имеет признак. Возникает задача оценки параметров, которыми определяется это распределение. Например, если наперед известно, что изучаемый признак распределен в генеральной совокупности по нормальному закону, то необходимо оценить математическое ожидание и среднеквадратическое отклонение, т. к. эти два параметра полностью определяют нормальное распределение. Если имеются основания считать, что признак имеет распределение Пуассона, то необходимо оценить параметр , которым это распределение определяется. Обычно имеются лишь данные выборки, полученные в результате наблюдений: , , ... , . Через эти данные и выражают оцениваемый параметр. Рассматривая , , ... , как значения независимых случайных величин , , ... , , можно сказать, что найти статистическую оценку неизвестного параметра теоретического распределения - это значит найти функцию от наблюдаемых случайных величин, которая и дает приближенное значение оцениваемого параметра.
Итак, статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых случайных величин. Статистическая оценка неизвестного параметра генеральной совокупности одним числом называется точечной . Ниже рассматриваются следующие точечные оценки: смещенные и несмещенные, эффективные и состоятельные.
Для того, чтобы статистические оценки давали хорошие приближения оцениваемых параметров, они должны удовлетворять определенным требованиям. Укажем эти требования. Пусть есть статистическая оценка неизвестного параметра теоретического распределения. Допустим, что по выборке объема найдена оценка . Повторим опыт, т. е. извлечем их генеральной совокупности другую выборку того же объема и по ее данным найдем оценку и т. д. Получим числа , , ... , , которые будут различны между собой. Таким образом, оценку можно рассматривать как случайную величину, а числа , , ... , - как ее возможные значения.
Если оценка дает приближенное значение с избытком, тогда найденное по данным выборок число (
) будет больше истинного значения . Следовательно, и математическое ожидание (среднее значение) случайной величины будет больше, чем , т. е. . Если дает приближенное значение с недостатком, то .
Таким образом, использование статистической оценки, математическое ожидание которой не равно оцениваемому параметру, привело бы к систематическим ошибкам. Поэтому нужно потребовать, чтобы математическое ожидание оценки было равно оцениваемому параметру. Соблюдение требования устраняет систематические ошибки.
Несмещенной называют статистическую оценку , математическое ожидание которой равно оцениваемому параметру , т. е. .
Смещенной называют статистическую оценку , математическое ожидание которой не равно оцениваемому параметру.
Однако ошибочно считать, что несмещенная оценка всегда дает хорошее приближение оцениваемого параметра. Действительно, возможные значения могут быть сильно рассеяны вокруг своего среднего значения, т. е. дисперсия величины может быть значительной. В этом случае найденная по данным одной выборки оценка, например, , может оказаться весьма удаленной от своего среднего значения , а значит, и от самого оцениваемого параметра . Приняв в качестве приближенного значения , мы допустили бы большую ошибку. Если потребовать, чтобы дисперсия величины была малой, то возможность допустить большую ошибку будет исключена. Поэтому к статистической оценке предъявляются требования эффективности.
Эффективной называют статистическую оценку, которая (при заданном объеме выборки ) имеет наименьшую возможную дисперсию. При рассмотрении выборок большого объема к статистическим оценкам предъявляется требование состоятельности.
Состоятельной называют статистическую оценку, которая при стремится по вероятности к оцениваемому параметру. Например, если дисперсия несмещенной оценки при стремится к нулю, то такая оценка оказывается и состоятельной.
Рассмотрим вопрос о том, какие выборочные характеристики лучше всего в смысле несмещенности, эффективности и состоятельности оценивают генеральную стреднюю и дисперсию.
Пусть изучается дискретная генеральная совокупность относительно количественного признака. Генеральной средней
называется среднее арифметическое значений признака генеральной совокупности. Она может быть вычислена по формулам или 
, где - значения признака генеральной совокупности объема , - соответствующие частоты, причем .
Пусть из генеральной совокупности в результате независимых наблюдений над количественным признаком извлечена выборка объема со значениями признака 
. Выборочной средней
называют среднее арифметическое выборочной совокупности. Она может быть вычислена по формулам или 
, где - значения признака в выброчной совокупности объема , - соответствующие частоты, причем .
Если генеральная средняя неизвестна и требуется оценить ее по данным выборки, то в качестве оценки генеральной средней принимают выборочную среднюю, которая является несмещенной и состоятельной оценкой. Отсюда следует, что если по нескольким выборкам достаточно большого объема из одной и той же генеральной совокупности будут найдены выборочные средние, то они будут приближенно равны между собой. В этом состоит свойство устойчивости выборочных средних .
Заметим, что если дисперсии двух совокупностей одинаковы, то близость выборочных средних к генеральным не зависит от отношения объема выборки к объему генеральной совокупности. Она зависит от объема выборки: чем объем выборки больше, тем меньше выборочная средняя отличается от генеральной.
Для того, чтобы охарактеризовать рассеяние значений количественного признака генеральной совокупности вокруг своего среднего значения, вводят сводную характеристику - генеральную дисперсию. Генеральной дисперсией
называют среднее арифметическое квадратов отклонений значений признака генеральной совокупности от их среднего значения , которая вычисляется по формулам: 
, или 
.
Для того, чтобы охарактеризовать рассеяние наблюденных значений количественного признака выборки вокруг своего среднего значения , вводят сводную характеристику - выброрчную дисперсию. Выборочной дисперсией
называют среднее арифметическое квадратов отклонений наблюденных значений признака от их среднего значения , которая вычисляется по формулам: 
, или 
.
Кроме дисперсии, для характеристики рассеяния значений признака генеральной (выборочной) совокупности вокруг своего среднего значения пользуются сводной характеристикой - средним квадратическим отклонением. Генеральным средним квадратическим отклонением называют квадратный корень из генеральной дисперсии: . Выборочным средним квадратическим отклонением называют квадратный корень из выборочной дисперсии:
Пусть из генеральной совокупности в результате независимых наблюдений над количественным признаком извлечена выборка объема . Требуется по данным выборки оценить неизвестную генеральную дисперсию . Если в качестве оценки генеральной дисперсии принять выборочную дисперсию, то эта оценка будет приводить к систематическим ошибкам, давая заниженное значение генеральной дисперсии. Объясняется это тем, что выборочная дисперсия является смещенной оценкой ; другими словами, математическое ожидание выборочной дисперсии не равно оцениваемой генеральной дисперсии, а равно 
.
Легко исправить выборочную дисперсию так, чтобы ее математическое ожидание было равно генеральной дисперсии. Достаточно для этого умножить на дробь . В результате получим исправленную дисперсию, которую обычно обозначают через . Исправленная дисперсия будет несмещенной оценкой генеральной дисперсии: 
.
2. Интервальные оценки .
Наряду с точечным оцениванием статистическая теория оценивания параметров занимается вопросами интервального оценивания. Задачу интервального оценивания можно сформулировать следующим образом: по данным выборки построить числовой нитервал, относительно которого с заранее выбранной вероятностью можно сказать, что внутри этого интервала находится оцениваемый параметр. Интервальное оценивание особенно необходимо при малом числе наблюдений, когда точечная оценка в значительной мере случайна, следовательно, мало надежна.
Доверительным интервалом
для параметра называется такой интервал, относительно которого можно с заранее выбранной вероятностью , близкой к единице, утверждать, что он содержит неизвестное значение параметра , т. е. 
. Чем меньше для выбранной вероятности число , тем точнее оценка неизвестного параметра . И наоборот, если это число велико, то оценка, произведенная с помощью данного интервала, мало пригодна для практики. Так как концы доверительного интервала зависят от элементов выборки, то значения и могут меняться от выборки к выборке. Вероятность принято называть доверительной вероятностью (надежностью). Обычно надежность оценки задается наперед, причем в качестве берут число, близкое к единице. Выбор доверительной вероятности не является математической задачей, а определяется конкретной решаемой проблемой. Наиболее часто задают надежность, равную ; ; .
Приведем без вывода доверительный интервал для генеральной средней при известном значении среднего квадратического отклонения при условии, что случайная величина (количественный признак ) распределена нормально:
где - наперед заданное число, близкое к единице, а значения функции приведены в приложении 2.
Смысл этого соотношения заключается в следующем: с надежностью можно утверждать, что доверительный интервал (
) покрывает неизвестный параметр , точность оценки равна . Число определяется из равенства , или . По таблице (приложение2) находят аргумент , которому соответствует значение функции Лапласа, равное .
Пример 1 . Случайная величина имеет нормальное распределение с известным средним квадратическим отклонением . Найти доверительные интервалы для оценки неизвестной генеральной средней по выборочным средним, если объем выборок и задана надежность оценки .
Решение. Найдем . Из соотношения получим, что . По таблице (приложение 2) находим . Найдем точность оценки 
. Доверительные интервалы будут таковы: 
. Например, если , то доверительный интервал имеет следующие доверительные границы: ; . Таким образом, значения неизвестного параметра , согласующиеся с данными выборки, удовлетворяют неравенству 
.
Доверительный интервал для генеральной средней нормального распределения признака при неизвестном значении среднего квадратического отклонения задается выражением 
.
Отсюда следует, что с надежностью можно утверждать, что доверительный интервал 
покрывает неизвестный параметр .
Имеются готовые таблицы (приложение 4), пользуясь которыми, по заданным и находят вероятность , и обратно, по заданным и можно найти .
Пример 2 . Количественный признак генеральной совокупности распределен нормально. По выборке объема найдена выборочная средняя и исправленное среднеквадратическое отклонение . Оценить неизвестную генеральную среднюю при помощи доверительного интервала с надежностью .
Решение. Найдем . Пользуясь таблицей (приложение 4) по и находим: . Найдем доверительные границы:
Итак, с надежностью неизвестный параметр заключен в доверительном интервале .
3. Понятие статистической гипотезы. Общая постановка задачи проверки гипотез .
Проверка статистических гипотез тесно связана с теорией оценивания параметров. В естествознании, технике, экономике часто для выяснения того или иного случайного факта прибегают к высказыванию гипотез, которые можно проверить статистически, т. е. опираясь на результаты наблюдений в случайной выборке. Под статистическими гипотезами подразумеваются такие гипотезы, которые относятся или к виду, или к отдельным параметрам распределения случайной величины. Так, например, статистической является гипотеза о том, что распределение производительности труда рабочих, выполняющих одинаковую работу в одинаковых условиях, имеет нормальный закон распределения. Статистической будет также гипотеза о том, что средние размеры деталей, производимые на однотипных, параллельно работающих станках, не различаются между собой.
Статистическая гипотеза называется простой , если она однозначно определяет распределение случайной величины , в противном случае гипотеза называется сложной. Например, простой гипотезой является предположение о том, что случайная величина распределена по нормальному закону с математическим ожиданием, равным нулю, и дисперсией, равной единице. Если высказывается предположение, что случайная величина имеет нормальное распределение с дисперсией, равной единице, а математическое ожидание - число из отрезка , то это сложная гипотеза. Другим примером cложной гипотезы является предположение о том, что непрерывная случайная величина с вероятностью принимает значение из интервала , в этом случае распределение случайной величины может быть любым из класса непрерывных распределений.
Часто распределение величины известно, и по выборке наблюдений необходимо проверить предположения о значении параметров этого распределения. Такие гипотезы называются параметрическими .
Проверяемая гипотеза называется нулевой гипотезой и обозначается . Наряду с гипотезой рассматривают одну из альтернативных (конкурирующих) гипотез . Например, если проверяется гипотеза о равенстве параметра некоторому заданному значению , т. е. : , то в качестве альтернативной гипотезы можно рассмотреть одну из следующих гипотез: : ; : ; : ; : , где - заданное значение, . Выбор альтернативной гтпотезы определяется конкретной формулировкой задачи.
Правило, по которому принимается решение принять или отклонить гипотезу , называется критерием . Так как решение принимается на основе выборки наблюдений случайной величины , необходимо выбрать подходящую статистику, называемую в этом случае статистикой критерия . При проверке простой параметрической гипотезы : в качестве статистики критерия выбирают ту же статистику, что и для оценки параметра .
Проверка статистической гипотезы основывается на принципе, в соответствии с которым маловероятные события считаются невозможными, а события, имеющие большую вероятность, считяются достоверными. Этот принцип можно реализовать следующим образом. Перед анализом выборки фиксируется некоторая малая вероятность , называемая уровнем значимости
. Пусть - множество значений статистики , а - такое подмножество, что при условии истинности гипотезы вероятность попадания статистики критерия в равна , т. е. 
.
Обозначим через выборочное значение статистики , вычисленное по выборке наблюдений. Критерий формулируется следующим образом: отклонить гипотезу , если ; принять гипотезу , если . Критерий, основанный на использовании заранее заданного уровня значимости, называют критерием значимости . Множество всех значений статистики критерия , при которых принимается решение отклонить гипотезу , называется критической областью ; область называется областью принятия гипотезы .
Уровень значимости определяет размер критической области . Положение критической области на множестве значений статистики зависит от формулировки альтернативной гипотезы . Например, если проверяется гипотеза : , а альтернативная гипотеза форимулируется как : (), то критическая область размещается на правом (левом) “хвосте” распределения статистики , т. е. имеет вид неравенства: (), где и - те значения статистики , которые принимаются с вероятностями соответственно и при условии, что верна гипотеза . В этом случае критерий называется односторонним , соответственно правосторонним и левосторонним. Если альтернативная гипотеза формулируется как : , то критическая область размещается на обоих “хвостах” распределения , т. е. определяется совокупностью неравенств и ; в этом случае критерий называется двухсторонним .
На рис. 30 показано расположение критической области для различных альтернативных гипотез. Здесь - плотность распределеиня статистики критерия при условии, что верна гипотеза , - область принятия гипотезы, 
.
Таким образом, проверка параметрической статистической гипотезы при помощи критерия значимости может быть разбита на следующие этапы:
1) сформулировать проверяемую () и альтернативную () гипотезы;
2) назначить уровень значимости ; как не согласующуюся с результатами наблюдений; если , то принять гипотезу , т. е. считать, что гипотеза не противоречит результатам наблюдений.
Обычно при выполнении п. п. 4 - 7 используют статистику, квантили которых табулированы: статистику с нормальным распределением, статистику Стьюдента, статистику Фишера.
Пример 3 . По паспортным данным автомобильного двигателя расход топлива на 100 км пробега составляет 10 л . В результате изменения конструкции двигателя ожидается, что расход топлива уменьшится. Для проверки проводятся испытания 25 случайно отобранных автомобилей с модернизированным двигателем, причем выборочное среднее расходов топлива на 100 км пробега по результатам испытаний составило 9,3 л . Предположим, что выборка расходов топлива получена из нормально распределенной генеральной совокупности с средним и дисперсией. При условии, что верна гипотеза критической области для исходной статистики, т. е. равна уровню значимости. Найти вероятности ошибок первого и второго рода для критерия с такой критической областью. имеет нормальное распределение с математическим ожиданием, равным и дисперсией, равной . Вероятность ошибки второго рода найдем по формуле (11.2):
Следовательно, в соответствии с принятым критерием 13,6% автомобилей, имеющих расход топлива 9 л на 100 км пробега, классифицируются как автомобили, имеющие расход топлива 10 л .
4. Теоретические и эмпирические частоты. Критерии согласия.
Эмпирические частоты - частоты, полученные в результате опыта (наблюдения). Теоретические частоты расcчитываются по формулам. Для нормального закона распределения их можно найти следующим образом:
, (11.3)
