molbiol.ru -> Ответ в Помогите нормализовать данные

Последние 10 сообщений [ в обратном порядке ]

guest: great	Отправлен 31.10.2018 17:22
	Positive site, where did u come up with the information on this posting?I have read a few of the articles on your website now, and I really like your style. Thanks a million and please keep up the effective work. http://www.peakfor.com
Boreal	Отправлен 27.03.2017 09:54
	(Den-N @ 25.03.2017 03:01) Проблемы не нашёл, всё "работает". С кубическим корнем ожидаемо похуже, но формально тоже приемлемо. Спасибо за работу, очень информативно, Вы нам очень помогли!!!
Den-N	Отправлен 24.03.2017 21:01
	(Boreal @ 24.03.2017 07:30) Файл с данными Проблемы не нашёл, всё "работает". С кубическим корнем ожидаемо похуже, но формально тоже приемлемо.
ИНО	Отправлен 24.03.2017 13:08
	Хотелось бы больше узнать о методике проведения измерений.
Boreal	Отправлен 24.03.2017 04:30
	Файл с данными
Boreal	Отправлен 24.03.2017 04:24
	(Den-N @ 24.03.2017 01:31) Преобразования. Бокс - Кокс хорош тем, что преобразует к нормальности настолько, насколько позволяют сами данные. Но плох тем, что для каждого набора данных получается своё собственное преобразование. Если однотипных наборов данных несколько, лучше иметь одинаковое преобразование, чтобы с ним провести всё исследование целиком. Наряду с Б-К я бы попробовал преобразование кубического корня: оно подходит для показателя "масса" чисто теоретически. Если принять равную плотность образцов, то масса будет линейной функцией от объёма корней. В свою очередь объём - это произведение трёх размеров (длина х ширина х высота). В процессе развития организма они изменяются скоррелированно и при нормальном распределении любого из размеров их объём будет распределяться приблизительно в кубической зависимости. Поэтому для объёма и массы для нормализации может подойти и простой кубический корень. Спасибо, будем пробовать кубический корень. (Den-N @ 24.03.2017 01:31) Почему в каком-то наборе получились непонятные эффекты - не ясно. Можете подшить к сообщению данные по этому набору целиком. Прикрепляю данные по массе корней на двух площадках в разные месяцы Данные в виде объекта R: plot time state mass 1 u m A 140.1 2 u m A 82.5 3 u m A 129.4 4 u m A 461.1 5 u m A 127.4 6 u m A 281.3 Где: plot (u-unburned, b-burned) time (m-may; jn-june;.....o-october) всего 6 уровней фактора (месяцев) state (A - alive; D-dead)
Boreal	Отправлен 24.03.2017 03:33
	(PS2004R @ 23.03.2017 20:14) Вы корни копаете и взвешиваете? Отдельно мертвые, отдельно живые. Ну так что непонятно в ответе? Процент (долю) "мертвых", процент "живых" посчитайте от массы _общей_ "всех корней". А так у вас естественно странные распределения получаются. Ну вот например, "исследуем" сколько в каждой "деревне" "блондинов" и сколько "брюнетов". Не взирая на "размер деревни" считаем и тех и других "по головам"... и получаем "странные ненормируемые распределения" (в случае если у нас в деревне может быть и 10 человек, и 1010). Это в порядке гипотезы. Спасибо за интересную гипотезу и идею анализа данных, однако нашей задачей является сравнение сезонной динамики (с апреля по октябрь) массы корневой системы в контрольном лесу и на гари. Исходя из этого, доли мертвых и живых можно использовать как дополнительный параметр. Однако первостепенной задачей является установление изменения массы живых и мертвых по месяцам на разных площадках.
Boreal	Отправлен 24.03.2017 03:16
	(ИНО @ 24.03.2017 04:47) Подозреваю, что под GLM Boreal имел в виду обобщенные линейные модели, а не общие (в контексте работы с R). Да, совершенно верно.
ИНО	Отправлен 23.03.2017 22:47
	Подозреваю, что под GLM Boreal имел в виду обобщенные линейные модели, а не общие (в контексте работы с R).
Den-N	Отправлен 23.03.2017 19:31
	(Boreal @ 23.03.2017 13:49) Я решил проверить как влияет трансформация на результаты ДА. 1 провел 2-х факторный ДА по ненормальным данным, 2 сделал анализ остатков ДА, который выдал р=0,007; Потом я провёл трансформацию данных и подал их снова на ДА, аналогичный анализ остатков ДА по трансформированным данным показал р=0,0001 . Это как? По поводу GLM. Все современные пакеты считают ANOVA через GLM. Это позволяет избежать проблем с разложением дисперсии в неравномерных комплексах. GLM - обобщение регрессионного и дисперсионного анализа через регрессионную технику. Поэтому для равномерных и пропорциональных дисперсионных комплексов результаты по классическому алгоритму ДА и по GLM будут полностью идентичными. Преобразования. Бокс - Кокс хорош тем, что преобразует к нормальности настолько, насколько позволяют сами данные. Но плох тем, что для каждого набора данных получается своё собственное преобразование. Если однотипных наборов данных несколько, лучше иметь одинаковое преобразование, чтобы с ним провести всё исследование целиком. Наряду с Б-К я бы попробовал преобразование кубического корня: оно подходит для показателя "масса" чисто теоретически. Если принять равную плотность образцов, то масса будет линейной функцией от объёма корней. В свою очередь объём - это произведение трёх размеров (длина х ширина х высота). В процессе развития организма они изменяются скоррелированно и при нормальном распределении любого из размеров их объём будет распределяться приблизительно в кубической зависимости. Поэтому для объёма и массы для нормализации может подойти и простой кубический корень. Почему в каком-то наборе получились непонятные эффекты - не ясно. Можете подшить к сообщению данные по этому набору целиком. А вообще, чем больше факторов в ДА, тем он робастнее. Т.е. двухфакторный более устойчив к отклонениям от нормальности и к неоднородности дисперсий, трёхфакторный - соответственно ещё устойчивей. Поэтому лично я не проверяю фанатично в больших комплексах нормальность остатков. Проверяю, но больше не с целью выполнить именно требования ДА, как прописано в каких-то руководствах, а чтобы избежать получения ложных значимых взаимодействий факторов, которое являются артефактом эффекта шкалы. Если глубже - то чтобы "развязать" зависимость величины дисперсии от среднего значения , которые в асимметричных распределениях коррелируют. Поэтому смотрю, чтобы распределение остатков было более-менее симметричным и колоколообразным только по гистограммам.
Посмотреть тему (откроется в новом окне)

Иконка сообщения*	[ Без иконки ]
Введите имя
подсказка [] вст. закрывающие теги* Включить смайлики?* *	[quote=Boreal,22.03.2017 09:54][snapback]1660823[/snapback] Здравствуйте, уважаемые коллеги! Имеется массив данных по сезонной динамике массы живых и мертвых(фактор state) корней на двух разных площадках(фактор plot), в разные месяцы (фактор time). Задача провести 3-х факторный ДА. Однако данные распределены ненормально. Трансформация Бокса-Кокса ничего не даёт: в тесте Шапиро-Уилка р до трансформации был 0,0001, после стал 0,03, то есть близко но ещё не то. Как нормализовать? Непараметрические аналоги ДА не подходят ввиду отсутствия адекватных апостериорных тестов. Нужно нормализовать, помогите. Работаем в R. Вот кусочек таблицы plot,time,state,mass u,m,A,483.1 u,m,A,49.4 u,m,A,53.5 u,m,A,142.7 u,m,A,92.2 u,m,A,235.4 u,m,A,106.5 u,m,A,148.8 u,m,A,100.4 u,m,A,504.5 u,m,D,50.4 u,m,D,109.6 u,m,D,62.7 u,m,D,93.2 u,m,D,124.8 u,m,D,233.9 u,m,D,163.1 u,m,D,34.6 u,m,D,84.6 u,m,D,148.3 b,m,A,65.7 b,m,A,17.8 b,m,A,101.4 b,m,A,26.0 b,m,A,119.7 b,m,A,89.2 b,m,A,116.2 b,m,A,142.2 b,m,A,65.7 b,m,A,41.3 b,m,D,229.3 b,m,D,89.2 b,m,D,199.2 b,m,D,140.6 b,m,D,107.5 b,m,D,180.4 b,m,D,223.7 b,m,D,240.0 b,m,D,189.6 b,m,D,230.8 [/quote] размер сообщения / макс. размер: / 15360