Содержание
- Короткий ответ
- Что такое статистическая мощность
- Ошибки I и II рода простыми словами
- Почему часто используют мощность 80% или 90%
- Как мощность влияет на размер выборки
- Размер эффекта иногда важнее самой мощности
- Что происходит, если выборка слишком маленькая
- А если просто набрать очень много пациентов?
- От чего ещё зависит расчёт выборки
- Superiority и non-inferiority — это разные задачи
- Для диагностических медизделий расчёт может быть другим
- Не забудьте про выбывания
- Откуда взять ожидаемый эффект и вариабельность
- Что делать, если данных ещё нет
- Можно ли пересчитать мощность после исследования
- Практическая последовательность
- Частые вопросы
При планировании клинического исследования медицинского изделия разработчик рано или поздно сталкивается с вопросом: сколько пациентов или наблюдений нужно включить в исследование? Ответ «чем больше, тем лучше» неправильный. Слишком маленькая выборка может не обнаружить реальный эффект. Чрезмерно большая — потребует лишних ресурсов и способна сделать статистически значимой разницу, которая практически не имеет клинического значения. Один из ключевых параметров, который связывает дизайн исследования и размер выборки, — статистическая мощность.
Как эта статья соотносится с другими материалами серии. О том, от каких факторов вообще зависит размер выборки, с числовыми примерами — статья «Сколько пациентов нужно для КИ медизделия». О полной методологии расчёта по ГОСТ Р ИСО 14155-2022 — «Расчёт выборки для КИ медизделия: методика и обоснование». Здесь мы разбираем глубже одно конкретное понятие — саму мощность: что она означает, откуда берутся 80% и 90%, и почему её нельзя рассматривать в отрыве от размера эффекта.
Короткий ответ
Суть в четырёх предложениях. Статистическая мощность — это вероятность обнаружить эффект заданного размера, если этот эффект действительно существует (Power = 1 − β, где β — вероятность ошибки II рода); у исследования нет мощности «вообще» — она всегда определяется относительно конкретного ожидаемого эффекта. Значения 80% и 90% — распространённая статистическая практика (ICH E9 традиционно устанавливает β на уровне 10–20%), но не универсальное регуляторное требование: ни российские, ни ЕАЭС правила не устанавливают единого нормативного порога мощности для клинических исследований медицинских изделий. При прочих равных чем выше требуемая мощность, тем больше нужна выборка, но размер эффекта часто важнее самой мощности — недооценка ожидаемого эффекта или переоценка вариабельности данных способна сделать формально правильно рассчитанное исследование фактически недостаточно мощным. Статистическая значимость (p < 0,05) не равнозначна клинической значимости, а отсутствие статистической значимости не равнозначно доказанному отсутствию эффекта — для интерпретации результата нужно смотреть не только на p-value, но и на оценку эффекта и доверительный интервал.
Что такое статистическая мощность
Формально: Power = 1 − β, где β — вероятность ошибки II рода, то есть ситуации, когда реальный эффект существует, но исследование его не обнаруживает.
Представим, что новое медицинское изделие действительно сокращает среднее время процедуры на 10 минут по сравнению с применяемым методом. Если исследование имеет мощность 80% относительно такой разницы, это означает, что при заданных статистических предпосылках дизайн рассчитан так, чтобы с вероятностью 80% обнаружить эффект такого размера, если он действительно существует. Оставшиеся 20% соответствуют риску ошибки II рода.
У исследования нет мощности «вообще». Она определяется относительно конкретного эффекта, который исследование должно обнаружить. Поэтому фраза «мощность нашего исследования составляет 80%» без описания гипотезы и ожидаемого эффекта говорит значительно меньше, чем может показаться.
Ошибки I и II рода простыми словами
| Реальность | Исследование обнаружило эффект | Исследование не обнаружило эффект |
|---|---|---|
| Эффект существует | Верный результат — мощность 1 − β | Ошибка II рода — β |
| Эффекта нет | Ошибка I рода — α | Верный результат |
Ошибка I рода — ложноположительный результат: исследование показывает эффект, которого в действительности нет. Ошибка II рода — ложноотрицательный: эффект существует, но исследование его не обнаружило. Именно вероятность избежать второй ситуации и характеризует статистическая мощность.
Почему часто используют мощность 80% или 90%
В расчётах выборки часто встречаются значения мощности 80% и 90%. Это связано с принятой статистической практикой: ICH E9 указывает, что вероятность ошибки II рода традиционно устанавливают на уровне 10–20%, что соответствует мощности 80–90%.
Но из этого нельзя делать вывод «для исследования медицинского изделия регулятор требует мощность не менее 80%». Российские и ЕАЭС требования говорят о достаточности количества наблюдений для статистической достоверности, воспроизводимости результатов и научной обоснованности выводов. Единого нормативного порога мощности для всех исследований медицинских изделий нет. Поэтому 80% или 90% — не автоматическая отметка «правильного» исследования; выбранную мощность необходимо рассматривать вместе с остальными предпосылками расчёта.
Как мощность влияет на размер выборки
При прочих равных чем выше требуемая мощность, тем больше должна быть выборка — если исследователь хочет снизить вероятность пропустить существующий эффект, ему потребуется больше наблюдений.
Ориентировочно: переход от 80% к 90% мощности при неизменных остальных параметрах способен увеличить необходимую выборку примерно на треть (около 34% при двустороннем α = 0,05).
Но мощность — только один параметр расчёта. Размер выборки также зависит от уровня значимости α, ожидаемого эффекта, вариабельности показателя, дизайна исследования, числа групп, соотношения участников между ними, односторонней или двусторонней гипотезы и ожидаемого числа выбываний. Поэтому нельзя сказать «для исследования медицинского изделия нужно 100 пациентов», не зная его дизайна.
Размер эффекта иногда важнее самой мощности
Предположим, разработчик сравнивает новое изделие с существующим и рассчитывает выборку исходя из того, что новое устройство сократит время процедуры на 20 минут — расчёт показывает, что достаточно относительно небольшой выборки.
Но что произойдёт, если реальная разница составляет всего 5 минут? Исследование, рассчитанное на обнаружение гораздо более крупного эффекта, может оказаться недостаточно мощным для выявления реального результата. Поэтому до расчёта выборки необходимо определить эффект, который исследование должно уметь обнаружить.
Статистическая значимость не равна клинической
При очень большой выборке статистически значимой может стать совсем небольшая разница. Исследование может показать p < 0,05, но обнаруженная разница между изделиями окажется настолько малой, что не будет иметь практического значения для врача или пациента. Поэтому при планировании исследования необходимо ориентироваться не просто на любую обнаруживаемую разницу, а на клинически обоснованный эффект — в статистике для этого используются, в частности, понятия target difference и минимального клинически значимого различия (MCID).
Что происходит, если выборка слишком маленькая
Представим, что реальное различие между двумя изделиями существует, но в исследовании участвовало слишком мало пациентов. Случайная вариабельность может оказаться настолько большой относительно объёма данных, что статистический тест не покажет значимого результата — получаем p > 0,05.
Но из этого нельзя автоматически заключить, что эффекта нет. Это означает лишь, что при выбранном анализе не удалось отвергнуть нулевую гипотезу. В недостаточно мощном исследовании причиной может оказаться ошибка II рода. Поэтому результат «статистически значимых различий не обнаружено» не равнозначен результату «доказано отсутствие клинически значимого различия». Для интерпретации результата необходимо смотреть не только на p-value, но и на оценку эффекта и доверительный интервал.
А если просто набрать очень много пациентов?
Это тоже не оптимальное решение. Чрезмерная выборка может сделать статистически значимой клинически несущественную разницу. Кроме того, исследование требует времени, денег, работы исследовательских центров и участия людей. Задача расчёта выборки — не получить максимально возможное n, а определить достаточный и научно обоснованный объём данных для ответа на заранее сформулированный вопрос: расчёт ведётся на обнаружение клинически значимого эффекта, а не любого сколь угодно малого различия.
От чего ещё зависит расчёт выборки
Если первичная конечная точка — непрерывная величина (время процедуры, давление, лабораторный показатель), для расчёта обычно потребуются ожидаемая разница между группами, стандартное отклонение, уровень значимости и требуемая мощность.
Если результат бинарный (осложнение произошло или не произошло) — важными параметрами становятся ожидаемые частоты события в сравниваемых группах. При редких событиях необходимая выборка может быть очень большой.
Формула расчёта определяется не только желаемой мощностью, но и тем, какой именно вопрос задаёт исследование и какой показатель выбран первичной конечной точкой.
Superiority и non-inferiority — это разные задачи
В исследовании superiority задача — показать превосходство одного метода или изделия над другим по заданному критерию.
В исследовании non-inferiority вопрос другой: показать, что новое изделие не хуже сравниваемого более чем на заранее установленную величину — non-inferiority margin, которая должна быть обоснована до анализа результатов и непосредственно влияет на расчёт выборки.
Взять расчёт выборки из исследования superiority и механически перенести его в дизайн non-inferiority нельзя. Существует и третий вариант — equivalence, когда исследование должно показать, что различие находится внутри заранее определённых границ эквивалентности.
Для диагностических медизделий расчёт может быть другим
Не каждое клиническое исследование медизделия сводится к сравнению средних или частоты осложнений. Для диагностического изделия ключевыми показателями могут быть чувствительность, специфичность, площадь под ROC-кривой (AUC), показатели согласованности результатов.
В таких исследованиях выборка рассчитывается с учётом выбранной диагностической метрики, а распространённость заболевания способна существенно влиять на общее количество обследуемых пациентов — если для оценки чувствительности требуется определённое количество пациентов с заболеванием, а заболевание встречается лишь у небольшой доли обследуемых, общая выборка может оказаться значительно больше числа пациентов, непосредственно используемых для оценки чувствительности.
Не забудьте про выбывания
Расчёт показал, что для анализа нужны 100 участников — это ещё не означает, что набрать нужно ровно 100. Часть участников может выбыть, не завершить исследование или оказаться недоступной для анализа.
Например, если для анализа необходимо 100 участников и ожидается 10% выбываний: 100 / 0,9 ≈ 112 участников. Просто прибавить к 100 десять человек было бы недостаточно: 10% от уже увеличенного количества — не то же самое, что 10% от исходных 100.
Откуда взять ожидаемый эффект и вариабельность
Исходные параметры можно обосновывать данными предыдущих исследований, опубликованной литературой, пилотными исследованиями, реестрами и real-world data, а также экспертными предпосылками, если они надлежащим образом обоснованы.
Главная опасность — выбрать слишком оптимистичные значения. Если разработчик завысит ожидаемый эффект или недооценит вариабельность, математический расчёт может дать небольшую выборку. Формально формула будет применена правильно, но исходные предпосылки сделают исследование слабее, чем кажется. Хороший расчёт выборки — это прежде всего обоснование исходных параметров, а не нажатие кнопки в статистической программе.
Что делать, если данных ещё нет
Если надёжных данных об ожидаемом эффекте или вариабельности недостаточно, возможные подходы: пилотное или feasibility-исследование, использование консервативных предпосылок и научное обоснование выбранного размера выборки. Главное — не подбирать удобный ожидаемый эффект только потому, что с ним получается приемлемое количество пациентов. Неопределённость исходных данных сама является частью статистического планирования и должна учитываться при выборе дизайна.
Можно ли пересчитать мощность после исследования
Здесь важно различать две ситуации.
Пересмотр размера выборки может быть частью заранее предусмотренного дизайна. ICH E9 допускает пересчёт размера выборки в определённых ситуациях, если такая процедура спланирована и надлежащим образом документирована.
Другое дело — рассчитать post hoc power уже после получения результата и попытаться с её помощью объяснить, почему исследование оказалось статистически незначимым. Такой подход считается малоинформативным: наблюдаемая post hoc-мощность тесно связана с уже полученным p-value и практически не добавляет новой информации. Для интерпретации результата полезнее оценивать величину эффекта и её доверительный интервал.
Мощность прежде всего нужна для планирования исследования, а не для оправдания его результата задним числом. Если вам уже пришло замечание эксперта к расчёту выборки — это отдельная, более чувствительная ситуация, разобранная в статье «Замечание к расчёту выборки: как пересчитать и ответить эксперту».
Практическая последовательность
Такая последовательность согласуется с международной практикой планирования клинических исследований медизделий, отражённой, в частности, в руководстве ICH E9 и в MDCG 2024-3 «Guidance on content of the Clinical Investigation Plan for clinical investigations of medical devices» (март 2024) — действующем руководстве Medical Device Coordination Group для клинических исследований по правилам EU MDR. Это международный ориентир, а не прямое требование российской или союзной регуляторики, но он хорошо описывает общепринятую логику построения статистического раздела.
Начинать со слов «нам нужно исследование на 50 пациентах» неправильно. Сначала определяется, какой вывод должно позволить сделать исследование, а уже затем рассчитывается количество наблюдений, необходимое для этого вывода.
Частые вопросы
Требует ли регулятор мощность не менее 80% для исследований медизделий?
Нет. Ни российские, ни ЕАЭС требования не устанавливают единого нормативного порога мощности. 80% и 90% — распространённая статистическая практика (традиция ICH E9), а не обязательное требование.
Что важнее — мощность или размер эффекта?
Оба параметра взаимосвязаны, но размер эффекта часто более чувствителен: недооценка ожидаемого эффекта резко увеличивает требуемую выборку, тогда как изменение мощности с 80% до 90% влияет менее драматично (ориентировочно +34%).
Означает ли p > 0,05, что эффекта нет?
Нет. Это означает лишь, что при выбранном анализе не удалось отвергнуть нулевую гипотезу — причиной может быть как реальное отсутствие эффекта, так и недостаточная мощность исследования (ошибка II рода).
Можно ли рассчитать мощность после получения результатов исследования (post hoc power)?
Технически можно, но это считается малоинформативным — post hoc-мощность тесно связана с уже полученным p-value и не добавляет новой информации. Для интерпретации результата полезнее оценка эффекта и доверительный интервал.
Одинаковый ли расчёт выборки для superiority и non-inferiority исследований?
Нет. Для non-inferiority нужна дополнительно обоснованная граница (non-inferiority margin), которая напрямую влияет на расчёт — механически перенести расчёт из superiority-дизайна нельзя.