Статистически устойчивый анализ данных: тест Уилкоксона / forpes.ru

Главная
Статистически устойчивый анализ данных: тест Уилкоксона

Статистически устойчивый анализ данных: тест Уилкоксона +11

17.03.2021 08:46

ampopov 0 1600 Источник

В практике обработки результатов наблюдений распределение генеральной совокупности неизвестно либо (для непрерывных случайных величин) отличается от нормального распределения, так что применение классических статистических методов необоснованно и может привести к ошибкам. В этом случае применяют методы, не зависящие (или свободные) от распределения генеральной совокупности – непараметрические методы.

В статье с единой точки зрения обсуждаются три часто встречающихся на практике одновыборочных теста: тест знаков, t-тест и тест Уилкоксона (Signed-Rank Wilcoxon test) – непараметрической процедуры, мощность которой сравнима с мощностью t-теста в случае нормально распределенной выборки, и превышает мощность t-теста в случае, если распределение выборки имеет «более тяжелые хвосты» по сравнению с нормальным распределением.

1. Определим модель для параметра положения (location model) следующим образом. Пусть $X_1, X_2,\ldots,X_n$ – обозначает случайную выборку, полученную по следующему закону

$X_i=\theta+e_i,$

где предполагается, что случайные ошибки $e_1,e_2,\ldots,e_n$ – это независимые и одинаково распределенные случайные величины с непрерывной плотностью распределения f(t) , симметричной относительно нуля.

2. При условии симметрии любой параметр положения X_i , включая среднее и медиану, равен $\theta$ . Рассмотрим гипотезу

$H_0:\theta=0,~~~H_a:\theta>0.$

3. Для проверки данной гипотезы рассмотрим три часто используемых на практике теста: тест знаков, t-тест и тест Уилкоксона.

3.1. Классический тест знаков (sign test) основан на статистике

$S=\sum_{i=1}^nsign(X_i),$

где sign(t)=-1,0,1 для t<0,t=0,t>0 соответственно. Пусть

$S^+=\#_i\{X_i>0\}.$

Тогда S=2S^+-n . Здесь предполагается, что ни одно из значений X_i не равно нулю (на практике, равные нулю значения из выборки исключают, а объем выборки корректируют). При условии H_0 , статистика S^+ имеет биномиальное распределение с числом испытаний и вероятностью успеха 1/2 . Пусть s^+ – наблюдаемая величина S^+ тогда p-value для теста знаков равно $P_{H_0}(S^+\geq s^+)=1-F_B(s^+-1;n;0.5)$ , где F_B(t;n;p) – функция биномиального распределения с параметрами и (R функция pbinom возвращает значения cdf для биномиального распределения).

Заметим, что в тесте знаков распределение статистики при нулевой гипотезе H_0 не зависит (свободно) от вида распределения f(t) .

3.2. Следующий традиционный t-тест (t-test) основан на сумме наблюдений. По аналогии можно записать

$T=\sum_{i=1}^nsign(X_i)\cdot|X_i|.$

Заметим, что распределение статистики зависит от плотности распределения f(t) . Обычно t-тест записывают в форме t-отношения

$t=\frac{\bar{X}}{s/\sqrt{n}},$

где $\bar{X}$ и соответственно, выборочное среднее и стандартное отклонение. Если выборка получена из нормального распределения, то статистика имеет t-распределение Стьюдента с n-1 степенью свободы. Пусть t_0 наблюдаемое по выборке значение . Тогда p-value для t-теста равно $P_{H_0}(t\geq t_0)=1-F_T(t_0;n-1)$ , где $F_T(t;\nu)$ – функция t-распределения Стьюдента c $\nu$ степенью свободы (R функция pt возвращает значения cdf для t-распределения). Это точное значение p-value в случае нормального распределения, в противном случае это аппроксимация.

3.3. Отличие t-теста от теста знаков состоит в том, что статистика t-теста является функцией расстояний элементов выборки относительно нуля в дополнение к их знакам.

Выбранная нами статистика теста Уилкоксона (signed-rank Wilcoxon test) хороша тем, что использует лишь ранги этих расстояний. Обозначим R|X_i| ранг X_i среди всех $|X_1|,\ldots,|X_n|$ , упорядоченных от меньшего значения к большему. Тогда статистика Уилкоксона имеет вид

$W=\sum_{i=1}^nsign(X_i)\cdot R|X_i|.$

В противоположность статистике t-теста, статистика , также как и рассмотренная ранее статистика при условии нулевой гипотезы H_0 не зависит от вида f(t) .

Распределение статистики не может быть выведено в виде законченной формулы и при ее расчете используется итерационный алгоритм. Обычно, наряду со статистикой , составляют сумму рангов положительных элементов выборки W^+ , то есть

$W^+=\sum_{X_i>0}R|X_i|=\frac{1}{2}W+\frac{n(n+1)}{4}.$

Тогда p-value для теста Уилкоксона равно $P_{H_0}(W^+\geq w^+)=1-F_{W^+}(w^+-1;n)$ , где $F_{W^+}(x;n)$ – функция распределения статистики Уилкоксона для выборки размера (R функция psignrank возвращает значения cdf распределения W^+ ).

4. Техника построения доверительных интервалов широко используется при решении практических задач. Каждый из рассмотренных выше тестов: тест знаков, t-тест и тест Уилкоксона имеет соответствующую оценку и доверительный интервал для параметра положения $\theta$ . Рассмотрим далее имеющиеся результаты.

4.1. Оценкой параметра положения $\theta$ , связанной с тестом знаков является выборочная медиана

$\hat{\theta}=med\{X_1,X_2,\ldots,X_n\}.$

Для $0<\alpha<1$ соответствующий доверительный интервал для $\theta$ с доверительной вероятностью $(1-\alpha)100\%$ задается в виде $\left(X_{(c_1+1)},X_{(n-c_1)}\right)$ , где $X_{(i)}$ – -ая порядковая статистика выборки, c_1 – $\alpha/2$ квантиль биномиального распределения с параметрами и p=1/2 . Этот доверительный интервал не зависит от вида распределения ошибок e_i . Отметим, что из-за дискретности биномиального распределения для каждого значения существует ограниченный набор значений $\alpha$ .

4.2. Оценкой параметра положения $\theta$ , связанной с t-тестом является выборочное среднее $\bar{X}$ . Классический доверительный интервал в этом случае имеет вид $\bar{X}\pm t_{\alpha/2,n-1}\cdot[s/\sqrt{n}]$ , где $t_{\alpha/2,n-1}$ – $\alpha/2$ квантиль t-распределения Стьюдента с n-1 степенью свободы. Данный доверительный интервал зависит от вида распределения ошибок e_i .

4.3. Оценкой параметра положения $\theta$ , связанной с тестом Уилкоксона является оценка Ходжеса-Лемана (Hodges-Lehmann)

$\hat{\theta}_W=\mbox{med}_{i\leq j}\left\{\frac{X_i+X_j}{2}\right\}.$

Парные средние $A_{ij}=(X_i+X_j)/2$ , $i\leq j$ называются средними Уолша (Walsh averages) выборки. Пусть $A_{(1)}<\cdots<A_{(n(n+1)/2)}$ упорядоченный набор средних Уолша. Тогда $(1-\alpha)100\%$ доверительный интервал для $\theta$ имеет вид $\left(A_{(c_2+1)}, A_{(n(n+1)/2-c2)}\right)$ , где c_2 – $\alpha/2$ квантиль signed-rank Wilcoxon распределения. Этот доверительный интервал не зависит от вида распределения ошибок e_i при условии их симметрии относительно нуля. Отметим, что размах значений W^+ – множество $\left\{0,1,…,n(n+1)/2\right\}$ имеет порядок n^2 . Поэтому, для умеренных по размеру выборок, тест Уилкоксона менее зависим от дискретного характера распределения статистики критерия, то есть выбранный уровень значимости $\alpha$ в этом случае ближе к найденному.

5. В качестве практического примера рассмотрим данные об объеме продаж (в штуках) для восьми товарных позиций в двух магазинах A и B за неделю. Ответим на вопрос, в каком магазине спрос на товары выше?

Составим выборку, каждый элемент которой представляет собой разницу в продажах соответствующей товарной позиции в магазинах A и B. Пусть $\theta$ характеризует центральное значение выборки. Следующая R сессия показывает результат применения теста Уилкоксона и t-теста для проверки правосторонней гипотезы $H_0:\theta=0,H_a:\theta>0.$

> Store_A <- c(82, 69, 73, 43, 58, 56, 76, 65)
> Store_B <- c(63, 42, 74, 37, 51, 43, 80, 62)
> response <- Store_A - Store_B

> wilcox.test(response, alternative = "greater", conf.int = TRUE)

	Wilcoxon signed rank exact test

data:  response
V = 32, p-value = 0.02734
alternative hypothesis: true location is greater than 0
95 percent confidence interval:
   1 Inf
sample estimates:
(pseudo)median 
          7.75 

> t.test(response, alternative = "greater", conf.int = TRUE)

	One Sample t-test

data:  response
t = 2.3791, df = 7, p-value = 0.02447
alternative hypothesis: true mean is greater than 0
95 percent confidence interval:
 1.781971      Inf
sample estimates:
mean of x 
     8.75

Тест Уилкоксона wilcox.test() возвращает статистику W^+ , p-value теста, оценку Ходжеса-Лемана для $\theta$ и $95\%$ доверительный интервал для $\theta$ . Т-тест t.test() имеет аналогичный синтаксис и результаты. Как видно, обе процедуры отвергают нулевую гипотезу на уровне 0.05 , то есть можно сказать, что спрос на продукцию в магазине A выше.

Подведем итог, из трёх рассмотренных в статье тестов для практического применения рекомендуется тест Уилкоксона. Он требует минимум предположений о характере распределения генеральной совокупности, сравним по мощности с t-тестом в случае нормального распределения и превышает мощность t-теста в случае симметричного непрерывного распределения с «более тяжелыми хвостами» по сравнению с нормальным распределением.

Статистически устойчивый анализ данных: тест Уилкоксона +11

Комментарии (0)