Да, именно, это выборки из нормального распределения

Ну он то другое писал, блин. Что сам факт достаточно большой выборки позволяет найти различие. В принципе. Пофиг есть оно там или нет

С одинаковым средним

Если вкратце когда много условий которые вы хотите сравнить друг с другом

Например если у вас есть красные улитки и зелёные улитки. Половина красных/зелёных едят яблоки днём и ночью и половина - груши тоже днём ночью
И вы хотите между собой сравнить
Красных с яблоками днём, красных с грушами днём, красных с яблоками ночью итд

А вы что-то писали про то что выборки разные должны быть? Перечитайте свое сообщение))

Вот

Более того, если повторить это много раз, то p-value будет распределен равномерно и примерно в 5% p value будет меньше .05. Это именно то, как должны работать статистические тесты

А потом применяется поправка и это сжирается ещё сильнее

По большому счету это та ситуация в которой вы делаете анову/регрессию которая говорит вам что различия где-то тут есть но не говорит где именно.
И тут два варианта:
Либо вы железобетонно проверяете только то что обещали не теряя мощности без поправок (у вас гипотеза про зелёных и красных улиток вот вы только этот контраст и делаете)
Или вы сравниваете все со всем делая поправки и теряя мощность

Недобросовестные люди делают втрое без поправок и подучившиеся выдают за изначальную гипотезу как будто это planned comparison (не надо так)

Понял. Но как выше сказано, поправка на множественное сравнение уже встроена

Да, все верно, я имел в виду именно следующее:
1) если эффект есть, пусть даже и маленький, то статистические тесты всегда его найдут, это вопрос мощности -> размера эффекта
2) в природе нормальные распределения практически не встречаются

Значит, при достаточном размере выборки тесты на нормальность всегда будут давать отклонения от нормальности за редкими исключениями (одно из них симулированные данные из нормального распределения)

Да, но если вы добросовестный человек, то вы сравниваете отдельные контрасты т-тестами которые релевантны вашей априори гипотезе и больше не трогаете ничего вообще. В этой ситуации можно не применять поправок и не терять мощности

Или трогаете и честно пишете что это exploratory analysis

С пунктом вторым бы поспорил. В биомедицинских исследованиях оно встречается редко, в природе - не думаю

2. Не верю, если нарвать пучок травы, то длины травинок будут распределены нормально

Я очень далек от ботаники, но...
Допустим. Мы берем разные сорта или один? Если разные, то уже не будет нормальности

Один конечно

Идем дальше. Одно время года? Один климат?

Нам либо постоянно нужно сужать условия, либо в какой-то момент сказать: окей, мы берем вот эти вот разные условия. И они будут влиять сами сильнее других. И не получится идеально нормального распределения.

Это уже разговор о том, что идеальных объектов в природе не существует.

Да, именно. Это довольно очевидная вещь, отсюда и то, что идеальных нормальных распределений в природе не существует