О биологической статистике

Случалось ли вам «корректировать» результаты стат.обработки данных?



Случалось, скажем так, "раскорректировать" их обратно - но это люди не по злому умыслу делали, а по незнанию (надеюсь...)



Название у темы уникальное , подходит для брошюры "Все о сексе для подростков".

Это называется не "корректировать", а "вешать самому себе лапшу на уши".



Что-то я не понимаю. Действительно 4 человека выбрало "Бывало, если я абсолютно уверен в результате, а в статистике не очень"?! Куда я попал... часом не сумасшедший ли дом? Или просто некий оригинал из каких-то непонятных соображений проголосовал четыре раза с разных ИП?



Researcher Faces Prison for Fraud in NIH Grant Applications and Papers
Eli Kintisch

"In the most extensive scientific misconduct case the National Institutes of Health (NIH) has seen in decades, a researcher formerly at the University of Vermont College of Medicine in Burlington has admitted in court documents to falsifying data in 15 federal grant applications and numerous published articles. Eric Poehlman, an expert on menopause, aging, and metabolism, faces up to 5 years in jail and a $250,000 fine and has been barred for life from receiving any U.S. research funding..."
"...After DeNino filed a formal complaint, a university investigative panel looked into Poehlman's research and uncovered falsified data in three papers. These included a much-cited 1995 Annals of Internal Medicine study that suggested hormone replacement therapy could prevent declines in energy expenditure and increases in body fat during menopause. In that paper Poehlman presented metabolic data on 35 women taken 6 years apart. Most of the women did not exist, according to the statement Poehlman signed. (In 2003 the paper was retracted.) Poehlman left Vermont in 2001, before the investigation ended, for the University of Montreal. He left there in January and now lives in Montreal..."

http://www.sciencemag.org/cgi/content/full...tdate=4/30/2005 ( http://www.sciencemag.org/cgi/content/full/307/5717/1851a?maxtoshow=&HITS=10&hits=10&RESULTFORMAT=&titleabstract=fraud&searchid=1114963161105_2234&stored_search=&FIRSTINDEX=0&fdate=10/1/1995&tdate=4/30/2005 )



Когда я вижу, что результаты статистической обработки выглядят подозрительно, я проверяю исходные и все промежуточные данные - как правило нахожу ошибки - и если очевидно, в чем ошибка, то исправляю, если нет то переделываю или (если это невозможно или нет времени) изымаю эти данные из матрицы. Уже несколько лет я храню все данные в Аксессе и для управления ими пишу кучу всяких модулей, запросов и т.п. Это всё легко позволяет проследить, что откуда пошло и найти ошибки. Часто они возникают в результате ошибок в кодах. Есть конечно опасность, что может возникнуть ошибка, результаты которой мне подозрительными не покажутся, но вероятность очень низкая, так как я по нескольку всё проверяю всё равно. Впрочем, никто не застрахован от ошибок при ведении расчетов на бумаге, в Экселе (без централизации), а отследить их сложнее.
Если ошибок не обнаруживается, то принимаю всё, как есть, несмотря на странность.



2 ssh
Респект, у меня не хватило пороху, а впечатление было абсолютно такое же - я даже наверх посмотрела, чтобы убедиться, что это наш форум.



Когда применяют неподходящий стат. метод (напр., достоверность различий считают по Стьюденту, не глядя на распределение переменной), то и в самом деле можно получить нелепый результат - по цифрам вроде есть отличия, а по достоверности нет, или наоборот. Но ведь вы не в лесу живете, всегда можно найти кого-то, кто вам объяснит, в чем дело.





Хотелось бы отметить уважаемым дискуссантам, что представлены 4 разных варианта ответа.
Вопрос действительно неоднозначный- насколько исследователь вправе доверятся собственному видению полученных данных или же он должен покорно ( или как вариант слепо) следовать сухим математическим заключениям, плюс-минус=однозначно.
Да и вряд ли тут есть оригиналы, занимающиеся голосованием под разными логинами. Да и какой в этом прок? Вероятно, результаты действительно отражают неоднозначность однозначных оценок .
Сам я в голосовании не участвую, просто хочу посоветоваться с мнением других и определится со своим.



Должен сказать (как человек, иногда имеющий дело с опросниками), что вопросы подобраны весьма удачно

Но еще было бы интересно послушать голосовавших за разные пункты, хотя бы в анонимной форме. Ведь наверняка у выбравших "бывало, если я абсолютно уверен в результате, а в статистике не очень" есть какое-то, хотя бы интуитивное, обоснование своих действий?





Вы биологическим протоколам как следуете, покорно или слепо? Наверное, если уж что-то меняете, то разумно, а не вливая буфер, к-рый Вам интуитивно нравится, вот только фермент в нем практически теряет активность. Вот здесь мы и приехали - чтобы изменить протокол и не вляпаться, надо как минимум иметь какую-то специальную подготовку (ну, например, выпускник-биохимик поменяет и поймет, почему стало лучше или хуже, а врачам лучше брать готовые наборы и не рыпаться).

Тесты мат. статистики - это и есть протоколы, сухие только для тех, кто применяет их слепо, не пытаясь понять, каким графическим представлениям соответстует тот или иной тест. Они все из картинок вышли, и вот когда Вы считаете и параллельно строите соответствующие графики (в каждом модуле статпакета нужные кнопки натыканы), разрыв между видением исходных данных и цифрой в конце исчезает. А чтобы это делать, нужно хотя бы немного почитать, информации навалом - популярной, специальной, промежуточной, весь интернет утыкан.

А вообще представьте себе математика, который решил заняться ПЦР и вместо циклера бодро взял микроволновку. Ну такое у него видение данного метода, в конце концов там переменное тепловое поле, здесь переменное волновое, почему он должен следовать вашему сухому протоколу? А в статье написал: использовали общепринятый протокол, выход 0 целых хрен десятых, и на этом построил новую теорию эволюции .





Все из жизни.



Все это правильно, но, похоже, большинство относится к статистике как к заведомо ненужной и очень скучной формальности. Это неудивительно - биологи ведь традиционно плохо понимают в математике, и эта негативная корреляция имеет место, мне кажется, во всем мире. На Западе азы статистики обычно (кажется...) преподают уже в школах, так что там это не так страшно...

Вообще-то статистика - штука достаточно хитрая, и нужно не только знать основные принципы, но и при всякой возможности консультироваться со специалистами. Иначе можно легко попасть впросак. Например, я постоянно обнаруживаю у людей, работающих с большим числом переменных, непонимание того, что нельзя использовать результаты применения стат. теста к каждой переменной по отдельности, если переменных много, без коррекции уровня значимости. (До сих пор такие ляпы пропускают и некоторые вроде бы приличные журналы.)

Что при этом можно получить, очень хорошо иллюстрирует творчество отца и сына Ам*** из Уфы. Как-то к нам на кафедру был прислан толстенький двухтомник материалов некоей конференции, в каждой (или почти каждой) статье которого один из них был соавтором (!). Большинство "работ" было сделано на основе расчета коэффициента корреляций между кучей показателей, и всегда некоторые оказывались значимыми. А тематика была весьма и весьма своеобразной (напр., одна из значимых корреляций обнаружилась между каким-то белком в моче и "показателем преданности фирме"!). То, что результаты часто были "значимыми", неудивительно - при уровне значимости 0.05 и сотне тестов можно получить в среднем до 5 "значимых результатов" при полном отсутствии реальных связей между показателями...

Через некоторое время после появления сборника (над которым многие коллеги потешались, хотя и далеко не все понимали, в чем фишка) явился и один из Ам***, так что у меня была возможность немного с ним пообщаться. По тому впечатлению, которое удалось составить, он скорее фанатик, чем жулик. На вопрос о том, пытались ли они воспроизводить результаты какой-нибудь работы (из примерно полутора или двух сотен, если мне не изменяет память), он насупился и заявил, что у них в Уфе очень трудно с финансированием, их очень зажимают, и нужно как быстрее идти вперед, пока совсем не задавили, так что не до такой роскоши. А когда я попытался сделать заход насчет того, что нужно вводить какие-то поправки к уровню значимости, когда у них такое огромное число коэффициентов корреляции, он стал возмущаться - мол, мы все делаем правильно, и кто вы вообще такой, чтобы катить бочку на уникальные и прорывные исследования.

Однако самое забавное то, что в статистике до совсем недавнего времени не было хороших инструментов для таких поправок! По сути дела, единственным универсальным стандартным инструментом была т.н. поправка Бонферрони (деление уровня значимости на число переменных) - это архиконсервативный метод, который во многих случаях делает выявление значимых результатов попросту невозможным. Лишь очень немногие представляют себе, как работать с рандомизационными методами, которые могут частично снимать проблему, но обычно отсутствуют в стандартных статпакетах. А многие ли слышали про False Discovery Rate control? Боюсь, что на этом форуме таких может почти что и не найтись - эта штука стала всерьез развиваться только в самые последние годы, хотя она имеет хорошие шансы через несколько лет полностью вытеснить поправку Бонферрони из большинства областей, где та применяется.

Кстати, один из мощных алгоритмов такого рода (одновременно используется рандомизация и FDR control) встроен в "BRB ArrayTools" мб, кто-н ими тут пользуется? http://linus.nci.nih.gov/BRB-ArrayTools.html ( http://linus.nci.nih.gov/BRB-ArrayTools.html ) ; статья: E.L.Korn, J.F.Troendle, L.M.McShane, R.Simon (2004) Controlling the number of false discoveries: application to high-dimensional genomic data. Journal of Statistical Planning and Inference, 124(2):379-398. (Ну и понаписал я тут... самому надо работать больше, а не на форумах сидеть, блин )



"Пишемъ- что наблюдаемъ.
Чего не наблюдаемъ- не пишемъ" ((С) И.Ф. Крузенштернъ)

И мы вот- так же.



"Пишемъ- что наблюдаемъ.
Чего не наблюдаемъ- не пишемъ" ((С) И.Ф. Крузенштернъ)"
Человек и пароход....





Безнадежно устаревшая парадигма!
Как насчет:
" - Ты суслика видишь?
- Нет...
- И я не вижу... а он есть!" (с) "ДМБ"




Все что вы хотели знать о статистике, но боялись спросить.

В. Мне кажется, что мой критерий не очень мощный. Поэтому стесняюсь выступать на конференциях. Боюсь, что все будут смеяться. Где можно провести увеличение мощности критерия?
О. Ну это обычное заблуждение начинающего статистика. Часто дело не в мощности критерия, а в умении им пользоваться. Я знал людей у которых критерий был совсем слабеньким, но какие фокусы они им проделывали! В принципе мощность критерия можно увеличить, но в специализированной клинике и после обязательной консультации специалиста.

В. Мне 20 лет. У меня маленькая выборка, а нравится журнал с большим импакт-фактором. Наверное, у нас несовместимость, он не обращает на меня внимание. Что же делать?
О. Не расстраивайтесь. Во-первых, выборка – дело наживное. Почти у всех девочек вашего возраста выборка еще развивается. Старайтесь постепенно увеличивать ее. Главное не переусердствовать в первые годы научной жизни. А импакт-факторы бывают и дутыми.

В. Я активно занимаюсь статистикой уже год. У меня два постоянных партнера: Statistica 6.0 и SSPP. Но летом нужно ехать в деревню к родителям. Там нет компа. Скажется ли воздержание на моем здоровье?
О. Нечего страшного не будет в том, что немного поработаете руками. Иногда это даже полезно.

В. У меня на графике появляются какие-то точки, это опасно?!
О. Проводите дискриминацию два раза в день и обязательно проверьте выборку на нормальность.

В. Мама говорит, что если часто заниматься статистикой, то на руках волосы вырастут, а я ничего не могу с собой поделать. Правда ли это?
О.




Вот. И отсюда следует вопрос из темы - должен ли я доверять излишне консервативному методу? Ведь не зря уже столько лет на страницах журналов не утихает спор билогов с математиками по поводу коррекции результатов множественых сравнений. И чья вина в отсутствии адекватных методов?
К тому же не совсем ясна применимость Бонферрони к конкретным ситуациям. Ограничиваться ли рамками одного эксперимента или вовлекать все исследование и т.д. Не все так просто.


Если не ошибаюсь, статистические пакеты ссылаются на работу Хочберга 95 года. Самое интересное, что абсолютно все костыли к Бонферрони - и Сидак, и Хочберг, и Холм, и FDR, - все имеют абсолютно элементарнейшее представление в математическом смысле. Хоть на бумажке считай. Но почему для билогов об этом не пишут? Я, например, до всего этого должен был доходить сам. Но ведь это время. Время, отнятое от основного исследования.


Не знал, посмотрю. Пока что результатом моих трехлетних разборок со статистикой стала программка в экселе. Ибо оказалось проще написать это все самостоятельно, чем пытаться выискивать в различных стат. пакетах.
А Westfall-Young вообще встречается только в пакетах анализа чипов. Монте-Карло тоже оказалось проще самому написать. Почему? Ну ведь не трудно лишнюю кнопочку добавить в пакет. А биологам приятно. И не будет потом разборок о правильности и применимости.

ЗЫ: И еще. Всегда хотел спросить у статистика - ведь хи-квадрат и фишер тоже, вообще говоря, параметрические методы? И 99% современных статей просто неверны, применяя эти критерии без проверки распределения данных? Получается, только Монте-Карло и можно применять?



vb, супер! Собственного сочинения?
А что есть продолжение? Как-то оборвалось на вопросе, а не ответе.



Я знаю коллег, у которых в результатах, связанных с культивированием (!)разброс результатов - не более 5%.

Рассказать волшебный рецептик?


Ставится большой избыток опытов, из которых статистически обрабатываются те, кот. входят в указанный интервал.

Картинки прекрасные, хоть и подозрительные (очень уж маленькие доверительные интервалы). Вот только я сильно сомневаюсь, что это хорошо



Признаюсь я слегка озадачен результатами голосования… получается, что около 50 процентов (46 на данный момент) из проголосовавших, все-таки допускают возможность лично подправить статистику... Не буду уточнять, осуждаю я или разделяю такой подход... но, во всяком случае, буду это учитывать при чтении статей.





Если бы только со статистикой это...
И с самим фактом получения результатов во многих статьях бывает несоответствие. В этом я убедился, пытаясь использовать методики, условия экспериментов или ПЦР-праймеры из буржуйских статей. Такие вещи часто не идут и идти не могут даже теоретически.
При колабораторстве и доверительных отношениях авторы могут просто в переписке предупредить - "не пытайтесь использовать из статьи вот это, а посмотрите вот то". В худшем случае делаешь как написано и, если не получается, анализируешь, а может ли "это" работать. Я как-то уже упоминал о чудо-праймерах к известному гену, когда были из 2 тпн выбраны именно те два олига с феноменальной само- и взаимокомплементарностью при низкой температуре отжига, которые в теории работать никогда не должны. И так для двух генов. И с протоколами реакций часто полный бред. Я думаю, многие коллеги могли бы привести еще море примеров.
Как Вам такое

Кстати, к чести соотечественников, относительно праймеров в отечественных статьях я такого не встречал. Наоборот, иногда приводят не относящуюся к делу, но выдающую планы на будущее подноготную в виде добавок с 5'-конца).

И кажется ли Вам корректной избирательная обработка результатов, сильно заужающая разброс? Возможно, она даже точнее передает закономерность. В конце концов при нормальной статобработке совсем выпадающие результаты отбюрасываются как артефакты, но должен же быть предел.



Есть еще один способ получения и публикации артефактов. Этим у нас грешат иммунологи и культуральщики - "статистически обрадатывают" 8 дорожек одного планшета, или нескольких планшетов, раскапанных в одном опыте. В общем статобработка по правилам, если не считать, что "достаточная выборка" взята из одного места (в прямом и переносном смысле). Вот этим ужо страдают отечественные ученые. Хотя, вероятно на западе многие делают статистику точно так же, что видно по некоторым результатам.
В общем, как известно, есть ЛОЖЬ, есть БОЛЬШАЯ ЛОЖЬ, и есть СТАТИСТИКА.

Как-то я уже писал о статье коллег из солнечного Магадана, регулярно публикующих статьи по этногенетике в журнале "Генетика", что-то типа "Митохондриальный портрет восточных славян". Так вот, там с точностью до сотых (для такого исследования результат феноминальный, это меня и поразило), писалось о встречаемости среди жителей России стандартных митохондриальных генетических маркеров. При том там украинцы, русские... жители каких-то регионов. Только размер выборки не был указан. Так вот, подсчитав все это исходя из результатов (с десятыми и сотыми - это с великолепной точностью воспроизводится в целые). Так вот, оказалось что всех их, и украинцев (двое из которых, судя по фамилиям - авторы) и русских и татар, финно-угров ... в сумме было 21 А в их статьях еще ссылки на статьи какого-то английского дельца, который, судя по результатам, тоже тот еще шулер...

А ведь какие там фундаментальные выводы! Они могут войти в анналы и антропологии (все это переностится на о родство, происхождение и миграции народов), истории, аж эволюции человека.

Коллеги, please, дополните мои примеры статистических манипуляций своими или напишите, что там, где Вы работаете, такого нет.



построение S-образного графика еффект(доза) по 4 точкам с еффектами типа 0,0,100,100, вычисление ED50 по нему

применение критерия Стьюдента к заведомо ненормально распределенным данным




Ну праймеры, не садящиеся на исследуемый ген даже теоретически мне встречались. В конце концов, это могло быть элементарной опечаткой/ошибкой. А вот давно встреченная статья, где рестриктаза, режущая нужный сайт узнавания, находящийся в середине апликона, совершенно случайно резала этот же апликон еще в паре мест, а у авторов красивые картинки на геле "как должно быть" - это как назвать? Жалею, что был тогда молодым и статью просто выбросил.

А по статистике... Кстати, интересный вопрос, сколько значащих цифр у целого числа? Не у приближенного, записанного с точностью до целых - с ним все понятно, а именно целого по определению? И зачем округлять частное от деления двух целых чисел? Вы сомневаетесь в 63 знаке дроби 1/3? У вас есть основания считать, что там будет не тройка? Всегда вот мучал такой глупый вопрос



зависит от природы целого числа. Обычно там распределение Пуассона



Тоже очень нравится построение сигмоиды по 4 точкам. Причем в очень неплохих журналах встречается, недавно даже по 4 точкам сигмоиду с 5 параметрами встретил. Вообще весь fitting нелинейных кривых отдает караулом. Не подскажет ли кто хороших критериев?
Вопрос о выкидывании данных из небольшой выборки (которая не может быть большой), кстати, скорее все же не статистика, а что-то ближе к интуиции.



Выкинуть данные из небольшой выборки можно легко, если есть много подробностей проведения опыта. Можно вспомнить, что где-то что-то было не так как обычно. Тут главное - себя не обманывать

А про нелинейный фиттинг мне так советовали - сводить все к линейному...



Nastja: спасибо. Не обманывать себя - главное. Увы, иногда и у замечательных и внутренне честных ученых бывают проколы.



Так, с целыми разобрались, спасибо, а как насчет более раннего вопроса с хи-квадратом и фишером?




Тоже мне, удивили. Калибровочную прямую – по двум – вот высший пилотаж (не в статье, правда, видела).



Ха, я по одной видел. Подразумевалось, что вторая - ноль. Зато много померили. Тоже в статью не удалось.



Молодец. Возьми с полки... ну, что хочешь выбери.



А чего там есть? Могу ведь и тако-о-о-е выбрать...
Построение сигмоиды (пусть 3 параметра) по 4 точкам равноценно построению прямой по двум точкам. С 5 параметрами по 4 точкам - абсурд. Число степеней свободы меньше на 1 числа измерений.
К сожалению, сам сейчас вынужден оставить на потом часть результатов из-за большой ошибки измерения.



Все. Виртуальная потому как.



Тогда все. А с реальной потом. Когда будет.
Сейчас вот приходится смотреть полностью записи и пометки, чтобы можно было найти, где выпадают значения. Выборка мала - особенность направления, вряд ли может быть повторена - особенность много чего, обьекта, а не субьекта. Вот и перебираю заметки, в чем согласен с Nastja. Хотя, конечно, разные подходы - где-то рациональнее повторить сто раз, где-то - приходится разбирать, что есть.



Хи-квадрат - это непараметрический метод для дискретных переменных (могут принимать только целые значения), а Фишеров несколько. Есть Fisher exact test - разновидность хи-квадрат, а есть тест Фишера на достоверность различий дисперсий двух сравниваемых параметрических (т.е. нормальных) распределений.
А кунсткамера статистических ляпов в биологич и мед статьях уже есть - http://www.biometrica.tomsk.ru ( http://www.biometrica.tomsk.ru ).

ЕС50 по 4 точкам рассчитать можно. Постройте сигмоиду (кривую Больцмана) и прологарифмируйте обе оси, получится практически прямая. А для прямой 4 точки маловато, конечно, но не смертельно.



Любопытный сайтик, спасибо. "Часть материалов сайта доступна только подписчикам" - она там платная что ли?



http://www.morris.umn.edu/~sungurea/intros...rningtools.html ( http://www.morris.umn.edu/~sungurea/introstat/nonparametric/learningtools.html )
Во чего нашел. Хотя я бы сказал, что это хи-квадрат - разновидность точного Фишера. Ну да ладно.
Тогда на повестке дня остаются только множественные сравнения

А тот сайт года три назад был хорошим. С тех пор они почти все сделали платным и он стал почти бесполезным. Хотя я оттуда достаточно много материалов сохранил.



Да, и ценник отсутствует - вся инфа по мылу. Года 3 назад все было бесплатное.



LK: спасибо. А если нужен 1-2 параметра + один усредняется для нескольких кривых и рассматривается как 1 (все значения кривой нормируются на 1 как max)? Можно сформулировать задачу в письме или здесь подробно? У меня не EC50, правда.
Aglaya: с линеаризацией замечательно, похоже, если значения различаются сильно.



у меня дипломница принесла рисунок фореза амплификата после пцр. сама сделала. я ее обругал и выгнал. на следующий год другая рассказала, что ей на кафедре посоветовали нарисовать белковый форез, т.к. "ваша картинка не очень красивая". я ох...ел.





нет времени. можешь продолжить сам.



У меня вообще впечатления, что кафедры только этим и занимаются. ИМХО, надо запретить обучающим кафедрам вести научную работу. На одной мед. генетики тоже посоветовали форезы покрасивей сделать в фотошопе, на другой химики масс-спектры подрисовывают.

ЗЫ: Про Бонферрони тема сдулась?





Лучше здесь сначала попробовать (если не окажется, что конкретные цифры нужны, как у aga).

Про Бонферрони не сдулась. На мой взгляд, для биологов эта проблема в основном психологическая. Достоверность корреляц связи - это как бы прогноз на следующий раз (когда будет поставлен такой же опыт, обследована похожая выборка людей и т.д.). Пока не сделаешь эти следующие попытки, невозможно утверждать, что между коррелирующими величинами действительно есть связь. Можно только предполагать.

А на биометрике зря ввели платный раздел. Теперь все выглядит так - платите бабки, или мы вашу работу выставим в Кунсткамере. Конечно, математикам тоже есть нужно, но раньше этот сайт сближал биологов и математиков, а теперь наоборот.



LK: да, можно по 4 точкам посчитать ЕД50 при логарифмировании обеих осей, но не в том случае, если все значения на графике фактически являются либо -бесконечность, либо +бесконечность

множественные сравнения - мне пока ANOVA хватало.



Присоединяюсь к всеобщему недовольству насчет фактического закрытия бОльшей части Биометрики... кстати, есть ли тут кто-нить, кто туда ходил за деньги? Мне кажется, вряд ли у них теперь много посетителей... Лучше бы рекламу статпакетов и книжек ставили.

Не понимаю, а в чем тут может быть отличие от любого другого применения статистических методов? Имхо, результат стат. теста - всегда как бы прогноз на все последующие случаи, и чем он надежнее (чем лучше сработала статистика), тем с бОльшей уверенностью можно доверять результату в целом, т.е. считать его "научным". (Причем эту уверенность дают именно стат. методы - без них можно работать лишь "на глазок", со всеми неизбежными зрительными иллюзиями, самообманом и т.п.)

2 avial : Почему разработчики стат. пакетов никак не допрут до того, чтобы вводить в них в удобном виде поправки на множественные сравнения - хрен их знает. Мб, потому, что это еще неустоявшаяся область... хотя, впрочем, в Статистике нет даже и кнопочки "Бонферрони"... Хотя основная идеологическая статья, насколько я могу судить, была действительно в 1995 году, но конкретные воплощения тестов с тех пор сильно развивались, и до сих пор вроде бы есть некоторые неясности (в частности, если я не ошибаюсь, обычно исходят из того, что различия не очень сильно скоррелированы между переменными, что часто нарушается на практике). Если посмотреть алгоритмы в статье Korn et al. (см выше), то там они уже довольно навороченные - сильно отличаются от ранних алгоритмов и даже от Benjamini, Krieger, Yekutieli (2004) ( http://www.math.tau.ac.il/~yekutiel/papers/kby22.pdf ( http://www.math.tau.ac.il/~yekutiel/papers/kby22.pdf ) - тут как раз очень простой метод, кажется, можно считать даже действительно вручную; но он совсем уж подозрительно либерален). Еще проблема - из-за больших различий разных критериев по мощности на практике можно получить чрезвычайно разные результаты с разными тестами (сам я пока использовал только пару непересекающихся методов, но есть статьи по нейроимиджингу и ЭЭГ, где сравниваются разные методы). А кстати, Вы сказали "статистические пакеты ссылаются на работу Хочберга 95 года" - а не могли бы вспомнить, какие именно?

"Ограничиваться ли рамками одного эксперимента или вовлекать все исследование и т.д." - да, это забавный вопрос... статистик, наверное, сказал бы: а на какой конкретно вопрос вы хотите ответить? но чтобы вопрос сформулировать, лучше иметь готовые примеры... вроде бы их нетрудно наваять, но пока что вся эта наука (не статистика, а альтернативы к Бонферрони), похоже, в слишком зачаточном состоянии. Есть какие-то неплохие книжки по рандомизационным методам, даже хорошо написанные. Кажется, вот эта очень грамотная и читабельная: Eugene S. Edgington, Marcel Dekker (1995) Randomization Tests. Базовые принципы там вроде бы должны быть (увы, внимательно почитать ее у меня не было возможности). Но она была написана десять лет назад, так что, естественно, никакого FDR



2 vb
Интересно, и зачем эта диломница теряла время на такое. Вообще имхо в эпоху цифровой фотографии и цифровых камер поставить и заснять хороший форез, даже переставить несколько раз, обычно значительно проще, чем качественно подправить существующий (не говоря уж о рисунке полностью), даже при наличии художественного таланта.



Вообще, для мед. генетики и ассоциативных исследований проблема множественных сравнений стоит довольно остро.

2ssh
В SAS об этом довольно подробно расписано http://www.id.unizh.ch/software/unix/statm...ap43/sect14.htm ( http://www.id.unizh.ch/software/unix/statmath/sas/sasdoc/stat/chap43/sect14.htm )
Именно отсюда я и взял формулки для экселя. И ссылки вроде тоже из него.
Westfall-Young мне показался самым простым из "пермутационных", по крайней мере, алгоритмически. Но его я вообще нашел только в нескольких презентациях. Собственно, книжку их не смотрел пока, но хочу. Ибо перспективно




Да в том-то и дело, что ни в чем. Только Вы продвинутый пользователь , а обычно биологи и медики именно этого и не понимают (я по своему институту сужу, по статьям, ну и результаты голосования впечатляющие). Кнопку "Бонферрони" сделать можно, только проблема останется прежняя - что с поправкой достоверное, то уже как бы доказано. Кстати, в Статистике есть кнопка "изменить уровень значимости" (на 0,01 или 0,001, скажем). Делите 0,05 на число переменных и выставляете себе новый уровень.


Обычно концентрации или дозы берут с определенным шагом, ну скажем через порядок, если наобум. С десятичными логарифмами это все хорошо поджимается. Только не подумайте, что я призываю ограничиваться 4-мя точками .



Могу представить. То же в нейроимиджинге. Хорошо, что это стало осознаваться

За ссылку - спасибо! (Я стараюсь собирать все, что относится к этой теме.) Видимо, САС - первый крупный пакет, в котором что-то в этом роде появилось? (В последней версии Статистики вроде бы ничего не было.) Увы, к практически удобным он не относится, хорошо хоть алгоритмы хорошо расписаны.

Но, насколько я понял, "наука с тех пор ушла вперед". К сожалению, в пакете, про который я писал выше - http://linus.nci.nih.gov/BRB-ArrayTools.html ( http://linus.nci.nih.gov/BRB-ArrayTools.html ) - процедура коррекции p закопана где-то довольно глубоко, но там она наиболее развита - в частности, одновременно используется FDR control и рандомизация. Алгоритм описан в статье Korn et al., на которую я тоже давал ссылку, но его довольно трудно воспроизводить самостоятельно. Процедура Benjamini and Hochberg (1995), описанная в Вашей ссылке, слишком упрощенная, мне особенно не нравится, что "they are guaranteed to control the false discovery rate only with independent p-values that are uniformly distributed under their respective null hypotheses". Я сделал простенькую програмку в Матлабе по более развитому варианту этого алгоритма (Yoav Benjamini, Abba M. Krieger and Daniel Yekutieli (2004). Adaptive Linear Step-up Proceudres that control the False Discovery Rate http://www.math.tau.ac.il/%7Eyekutiel/papers/kby22.pdf ( http://www.math.tau.ac.il/%7Eyekutiel/papers/kby22.pdf ) ; более простое и ясное изложение процедуры есть в Hemmelmann C, Horn M, Susse T, Vollandt R, Weiss S. New concepts of multiple tests and their use for evaluating high-dimensional
EEG data. J Neurosci Methods. 2005 Mar 30;142(2):209-17), если кому-н мб полезна, могу выслать. Но она дает подозрительно либеральные результаты...

Я думаю, в этой области сейчас что-то новое будет появляться каждые несколько месяцев.



Ну да, только хуже Бонферрони ничего нет, не считая вообще отсутствия всякой коррекции...




Во-во. Они мне этим и не понравились. Суть - все равно варианты Бонферрони со всеми его недостатками. Поэтому сейчас на рандомизацию и Монте-Карло больше смотрю.
Да и вообще как-то мировая мысля в этом направлении сдвигается.

Кстати, вот этой книжки ни у кого нет в электронном виде? Westfall, P.H. and Young, S.S. (1993), Resampling-Based Multiple Testing: Examples and Methods for p-Value Adjustment, New York: John Wiley & Sons, Inc.



Рандомизация существует очень давно, а FDR - это совсем новая идея, она антитеза FWE (family-wise error), каковую по смыслу часто не нужно контролировать. Хотя это сильно зависит от задачи. Что касается допущений, то вроде бы последующие версии от них стали уходить, кроме того, на моделях показывали, что влиянием отклонений от них можно пренебрегать (опять же, мб, не для всякой задачи). Вышепомянутый Корн с коллегами, как я уже сказал, это совмещение обоих подходов.



Это все, конечно, хорошо, но я даже при попытке объяснения самой идеи коррекции наталкиваюсь на стену непонимания. Тут бы Бонферрони ввести в обиход, об остальном даже заикаться боюсь
Ну жалко людям выбрасывать на помойку важное научное открытие из-за какого-то там Бонферрони.

За ссылки спасибо, пойду читать. Хотя бы для самообразования и для ощущения, что "все правильно сделал"



Очень точно сказано!



Ну что же господа коллеги. Можно подвести некоторый приблизительный итог данного опроса. Из 43 проголосовавших на данный момент примерно половина (47%) вполне допускает возможность творческого вмешательства в сухие циферки отчетов. Что по мнению другой половины (правда бОльшей) и есть ни что иное как фальсификация научных данных. Интересно следует ли из этого то, что около половины опубликованных статей имеют «некоторые неточности» в материалах?



Можно ли считать, что из 1000 опубликованных исследований с p-value 0.01, десять - игра случая?




Именно-именно! Половина и есть! Если без конкретики, то надо было недавно просмотреть литературу по влиянию длины повтора в кодирующей части гена на риск развития заболеваний, ассоциированных с этим явлением. Вроде бы, понятен механизм действия длинного или короткого (относительно наиболее частых вариантов нормы) аминокислотного тракта, эксперименты на клеточных культурах со сравнением активности белкового продукта опубликованы и т.д. Но меня в первую очередь интересовали цифры отношения шансов и их доверительные интервалы в разных case-control study. Количество статей с положительным результатом оказалось почти равно таковым с отрицательным (причем иногда практически для одной и той же популяции). Вроде бы межпопуляционные различия не должны были влиять столь значительно, это же не просто сцепленный с чем-то маркер, все-таки связано с функциональными свойствами продукта этого гена........Ну стал смотреть статьи детально...и нашел много занимательного. БОльшая часть статей с отсутствием ассоциации характеризовалась следующим: качественные порядковые данные обсчитывались необоснованным применением критерия Стьюдента (в результате чего авторы, например, радостно сообщали, что средняя длина повтора составила 23,45 тринуклеотида), размер выборки 30-40 больных и столько же контроля (хотя можно было заранее рассчитать чувствительность и увидеть, что и сотни будет мало) и т.п. В общем, одним абстрактам в этом деле веры нет.....



Все-таки статью "Влияние А на Б" не всюду возьмут. В хорошие журналы без, скажем, мутантов-knockout-ов с четким фенотипом или других косвенных доказательств не попадешь. Уже явно подделывать надо что-то. Хотя бывают и проколы несознательные - нет дополнительных контролей, например.



Мой Учитель 3 года назад написал книгу "КОЛИЧЕСТВЕННАЯ ЭПИЗООТОЛОГИЯ: основы прикладной эпидемиологии и биостатистики". Два года ее издавали, даже частично за его деньги. После этого, он написал вторую книгу, развернув ряд аспектов. До сих пор не издана. Начав писать третью книгу и слыша все чаще и чаще от коллег слова:"... кроме тебя это все равно никто не понимает ..." послал братьев ветеринаров далеко и на долго. Мало того, что мы отстали на 50 лет в методологии, так еще и учиться не хотим. А кто дергается, мордой об стол ... Тарас Денисович - вот наш учитель. А лучшие лекарства БАДы!!!



Тарас Денисович интересно кто это такой????
Наверное имеется ввиду великий русский учоный ( украинского происхождения )
Трафим денисович Лысенко?????
Про украинского происхождения заминствовано у Мак-1 ....



Кстати насчет критериев......Сегодня слышал разговор коллеги с врачом по поводу обсуждения совместных результатов по его (врача) выборке.
Врач: Я тут забил в свою таблицу Ваши данные по метилированию промотора ...., у меня получилось другое р.
Она: А каким критерием пользовались?
Врач: В смысле?
Она: Ну Фишером, хи-квадрат, я это имею в виду.
Врач: Эээ..Я в STATISTICA 6.0. считал.
Она: Да бог с ней, с программой. Там должна быть обычная таблица 2х2, которую надо двусторонним Фишером..
Врач: Ну уж это я не знаю, а только у меня почему-то вышло не так.

И т.д.



Узок круг этих революционеров, страшно далеки они от народа ...
В.И. Л.

А теперь представьте, господа, что при расчете прогнозов численности рыбы, по которым потом расчитывают квоты на вылов ВААЩЕ не используется вариационная статистика...



Касательно моих наблюдений (а проколы и у самого бывали - прошу не путать с сознательными подтасовками) - народ НЕ УМЕЕТ пользоваться даже элементарными критериями, не понимает область их применений. Для выборок с не нормальным распределением не следует применять даже Стьюдента - пихают в ANOVA. Я, примкнув в свое время к обработке чужих результатов, настоял на фи-преобразовании данных (сравнивались доли методами "классического" дисперсанализа) - дык, по-моему, так никто и не понял, зачем это понадобилось. В другом случае "ящики с усами" по Тьюки представлялись как результат окончательной обработки данных, в третьем... Представляете картинку: 4 кривые изменения некой величины во времени, соответствующие 4 экспериментальным животным. Абсолютные значения для каждого животного свои, но форма кривых, в общем, одна и та же. Абсолютные значения как таковые никому не интересны и ничего, кроме того, насколько удачен был контакт клетки с электродом, не отражают, интересна лишь динамика. Девочка-аспирантка пытается построить усредненную кривую (именно средним арифметическим по 4 зверям для каждой отметки по времени), но у одного зверя одна точка пропущена, на отметке данные только для трех. Она усредняет, естественно, результирующая точка "выпрыгивает", кривую перекашивает. Я говорю - "надо бы сначала отнормировать, а потом усреднять" - но так и не смог, в общем, объяснить ей, почему она была не права .

Еще вопрос:
Кто-нибудь юзал в качестве стат-пакета GNUmeric и если да, то каковы впечатления?




Это гибрид Тараса Григорьевича с Трофимом Денисовичем. Оттого и не кусают результаты такие.



а мне интересно если мы делаем эксперимент в котором учитываем 10 параметров, то мы вводим поправку бонферони. А если мы проводим десять похожих экспериментов в которых учитываем 1-2 параметра то не вводим.... Это мотивирует ограничивать число параметров. Например, можно сделать предварительный эксперимент и повторить на большей выборке но с меньшим числом параметров. А кто-то выбросит "лишние" параметры чтобы уменьшить "негативное" влияние поправки на P-value.

Сохранение статистических показателей в независимых экспериментах, на чуть менее однородной выборке (нелинейные мыши, люди и т.д.) должно свидетельствовать об устойчивости модели. А нет какой-нибудь поправки на устойчивость результатов? Все-таки когда мы берем линейных мышей, проводим эксперимент в один день и все максимально синхронизировано, потом на одной плашке в нескольких повторностях каждую пробу тестируем, затем народ выбрасывает "статистические выбросы"и перебирает методики позволяющие получить прогнозируемый результат... В природе нет настолько однородных объектов. Может нужно учитывать и нижнюю границу дисперсии показателей при которой результаты тоже стоит считать недостоверными?





Это все мотивирует "не делать попарных сравнений" и "не заменять эксплораторные методы проверкой статгипотез"

А повторные эксперименты безусловно хорошо, и вообще воспроизводимость эксперимента необходимый признак, что бы эксперимент можно было отнести к научной деятельности.

PS С "наблюдениями" безусловно все сложнее



1.

Не согласен. Во всех учебниках пишут, что методы статистики не дают однозначного результата в применении к медико-биологическим исследованиям. Всегда есть вероятность, что критерий выдаст достоверность там, где её нет. И вообще критерий не выдаёт достоверность (формулировка звучит примерно "с вероятностью 97% имеющиеся данные не противоречат гипотезе"). Грубо говоря, если в одном исследовании р=0,04 (вероятность 96%), но плохо понятно, что это значит, и в чём причина, то это можно публиковать; а в другом исследовании р=0,06 (вероятность 94%), и это всё хорошо объясняется, и это перспективно, и это (условно) прорыв в науке, то публиковать нельзя, т.к. р>0,05. А пока там выборку увеличиваешь, тебя обойти могут.
2. Критерий надо правильный выбирать, а это почти никто не делает. У меня у колллег в эксперименте 10 человек подопытных и 10 контрольных. Спокойно критерием стьюдента считают без проверки на нормальность. Отчёты пишут, статьи. И никто не придирается. р же хороший получился, причём честно, без "подгонки". А то, что это не корректно, никто не смотрит.
3. В аспирантуре ходил на занятия по философии науки. Пришел к выводу, что успешный учёный, это тот, который:
а. Искренне верит в то, что он что-то новое ценное открыл
б. Убедил в этом научное сообщество.
А вот каким образом он убедил сообщество (при условии соблюдения пунка а), не важно. Подгонял статистику, громче всех кричал, сажал оппонентов в тюрьмы/расстреливал. Если сам верит, и других убедил, значит молодец.



Vovchick, признайтесь честно, это сейчас был такой троллинг? Если же нет, то мне становится страшно за российскую науку, по крайней мере, ту ее область, в которой проводите исследования Вы.



Я сейчас к фундаментальной науке имею очень опосредованное отношение. Хотя и НС, но в более прикладной области развожу деятельность. И сейчас как раз стараюсь внедрять и просвещать по поводу статистики. И софт для этого у меня сейчас хороший стоит.
А по существу-то какие претензии? Что вижу (видел) о том и пою: биологи и медики в математике плохо разбираются, хотя формально статистику все "проходили". Многие некорретно критерии используют (если 10 опытных и 10 контрольных человек, то надо критерий Мана-Уитни использовать, а не Стьюдента), многие (кому в лаборатоии статистического софта не купили) статистику просто рисуют (они бы сами лучше ничего не "рисовали", но проверяющие просят). Мало кто понимает, что р<0,05 (0,01; 0,001) само по себе (отдельно от всего остального) доказательством являться не может (и это во всех учебниках пишут). И это проблема науки не только в РФ. В Германии с тем же сталкивался.
PS. Сейчас задумался, вот с фактом именно "подгонки" ни разу не сталкивался. Сталкивался только с тем, что статистику просто "рисовали". Но это меня возмущает гораздо меньше, чем случаи, когда статистика честно но бездумно считалась.
PSS. С пунктом 3 предыдущего поста меня, конечно, понесло. Тогда просто про Лысенко рассуждали: он искренне верил в свои идеи, распространял их как мог (а возможности были). Ну неграмотный просто был, но старался, и в чём-то преуспел.



Отрадно, что Вы хотя бы от от этих философских догматов окреклись. Не знаю уж в чем там преуспел Лысенко (вроде что-то там в агрикультуре хлопчатника полезное изобрел), но вот СССР из-за весьма конкретно приостал в биологии. Был ли он успешным ученым? Разумеется, еще каким! Так что тут с вышеупомянутыми философскими критериями все порядке. Проблема в том, что личный успех исследователя и его вклад в копилку мирового знания далеко не всегда коррелируют между собой. В моем понимании задача исследовательской деятельности - второе, а не первое.

Прикладная статистика - не самый элегантный, но единственно известный способ, уйти от субъективизма в выводах. Конечно не всегда ее применение необходимо, например, для простого вывода что днем светлее чем ночью, совсем не обязательно замерять освещенность и анализировать данные статистическими методами, это и так очевидно. Но к сожалению, очевидные открытия в большистве своем уже сделаны, нынешнему поколению исследователей приходится копать там, где ничего очевидного на первый взгляд нет. И, допустим, замечена закономерность, кажется что лекарство А немного эффективнее лекарства Б. Но как доказать самому себе и окружающим, что это не просто кажется, а с большой вероятностью и есть на самом деле? Только статистическими методами.

Весьма смелое и спорное заявление, которое ИМХО показывает, что "просвещать по поводу статистики" Вам покамест рановато, самим малость просветиться надо бы. Процесс этот долгий и муторный (особенно для человека с не математическим складом ума, по себе знаю: сколько лет уже грызу гранит этот, а выгрыз только малюсенький кусочек), но иначе никакой "хороший софт" не поможет.

А то, что многие некорректно статметоды используют, в том числе в буржуйских странах, - есть такая беда, но равняться на них не стоит.

Это зря, в таких случаях надо просто рвать и метать. А вот если кто-то по незнанию, а не по злому умыслу, что-то некорректно применил, то как смягчающее обстоятельство можно назвать отсутствие нормального преподавания данного предмета в биологически вузах. Нас тоже, помнется, одному только Стьюденту с Маном-Уитни учили, и проверке нормальности хи-квадратом.




Понятно, что тут больше конкретики надо. В данном конкретном случае я "почти уверен" в Ман-Уитни)) А вот в том, что Стьюдента там нельзя использовать, я на 100% уверен.



А я вот "почти уверен" что в данном конкретном случае в зависимости от конкретной постоновки задачи надо использовать бутстреп или рандомизацию. У Вилкоксона-Мана-Уитни тоже есть ряд существенных ограничений, о которых, правда, вспоминают гораздо реже, чем в случае со Стьюдентом. А вообще, строго говоря, эти два критерия проверяют разные гипотезы.



Тут ещё вопрос по поводу учёного-по-професии и учёного-по-призванию. И учёных-по-призванию сейчас только следовые количества (до XIX века все были только по призванию). Учёного-по-призванию нельзя в рамки загонять. Он какое-то новое явление видит, описывает его, очень увлечён. А тут его останавливают, говорят, что статистику надо считать и т.д. А для него какая статистика, когда тут ТАКОЕ происходит? Вот он статистику и рисует (чтоб отстали, а разбираться со статистикой некогда). И это меня почти не возмущает. Если это действительно стоящее открытие, его другие люди 100 раз перепроверят по всем формальным правилам. И нечего время талантливого исследователя на это тратить.
А вот учёный-по-профессии (которых сейчас подавляющее большинство) должен отрабатывать свой оклад, свои гранты и т.д. Он должен всё строго и формально делать: статистику высчитывать, выступать на конференциях, отчёты писать, заявки на гранты (по всем правилам, вплоть до запятой). Он, в частности, должен перепроверять открытия учёного-по призванию. И вот то, что он при помощи критерия Стьюдента перепроверят любую гипотезу, меня как раз и возмущает. Т.е. человек фактически деньги получает за то, что всё формализует, и при этом неправильно формализует.

PS. Я от философских догм не открестился. Просто не вижу смысла о "догмах" спорить. Просто хочу добавить, что помимо Лысенко (учёного с самым большим индексом цитирования в России в ХХ веке), был, например, Мендель. Он в жизни написал всего пару статей в журналы с очень маленьким тиражом. И только сильно после его смерти его законы "переоткрыли", а толь ко потом нашли те статьи и признали его первенство. В чём был смысл его деятельности, если он никого ни в чём не убедил?



Приводить труды Менделя в качестве аргумента против применения статистики в биологии - весьма оригинальный ход, я бы даже сказал, экстравагантный. Жгите дальше!

Во многих случаях, для того чтобы доказать, что это "ТАКОЕ" происходит в природе а не в голове "ученого по призванию", без статистики (реальной. а не "нарисованной") не обойтись. Конечно, далеко не всегда это так, например, для утверждения о том. что колорадский жук ест картофель достаточно простого наблюдения. Но вот для того, чтобы адекватно оценить урон от этого дела картофелеводству статистика необходима. А провести независимую проверку в биологии, в отличие, например, от физики, далеко не всегда представляется возможным, живая природа - река, в которую нельзя войти дважды, и совсем не факт, что явление, описанное исследователем, сохранится к моменту перепроверки. Часто приходится в той или иной мере полагаться на авторитет автора и верить ему на слово, при этом надеясь, что подкреплено оно реальными данными, а не липовыми, как Вы безответственно предлагаете.





Внезапно Стьюдент впервые продемонстрировал свой метод на выборках с n в районе 10 (оригинальную статью в англ. вики можно найти). И вообще про анализ малых выборок есть куча статей, которые реально удивляют (ибо нас в универе учили столбиком считать эти критерии, например...). Прикрепил одну. Я после нее долго репу чесал и понял, что вообще нуб (коим и отаюсь).



Файл/ы:

skovlund2001.pdf Размер:: 157.04к кол-во скачиваний: 247

Респект, у меня не хватило пороху, а впечатление было абсолютно такое же - я даже наверх посмотрела, чтобы убедиться, что это наш форум.



Случалось, скажем так, "раскорректировать" их обратно - но это люди не по злому умыслу делали, а по незнанию (надеюсь



И как же Вы смогли узнать истинные данные?



SINCE LAUNCHING AMB CASINO ( https://123goal.app/amb-casino/ ) HIS INVASION OF UKRAINE, RUSSIA'S FC SLOT ( https://123goal.app/fc-slot/ ) PRESIDENT VLADIMIR PUTIN 88KTC ( https://123goal.app/123dic-123bet-123betting/ ) HAS FACED AN UNPRECEDENTED 11HILO ( https://123goal.app/11hilo/ ) GLOBAL RESPONSE, FROM CULTURAL BOYCOTTS TO 123GOAL ( https://123goal.app/ ) COUNTRIES RADICALLY 123VEGA ( https://123vega.net/ ) TRANSFORMING THEIR ALLBET ( https://123vega.net/allbet-%E0%B8%84%E0%B8%B2%E0%B8%AA%E0%B8%B4%E0%B9%82%E0%B8%99-%E0%B8%84%E0%B9%88%E0%B8%B2%E0%B8%A2%E0%B9%83%E0%B8%AB%E0%B8%A1%E0%B9%88-%E0%B8%97%E0%B8%B3%E0%B9%84%E0%B8%A1%E0%B8%84%E0%B8%99%E0%B8%AA/ ) FOREIGN POLICIES. BUT THE สูตรสล็อต ( https://123vega.net/%E0%B9%81%E0%B8%88%E0%B8%81%E0%B8%9F%E0%B8%A3%E0%B8%B5-%E0%B8%AA%E0%B8%B9%E0%B8%95%E0%B8%A3%E0%B8%AA%E0%B8%A5%E0%B9%87%E0%B8%AD%E0%B8%95/ ) LONGER THE CONFLICT CANDY BURST ( https://123vega.net/candy-burst/ ) GOES ON, THE MORE SIGNS THERE ปั่นสล็อต ( https://123vega.net/%E0%B8%9B%E0%B8%B1%E0%B9%88%E0%B8%99%E0%B8%AA%E0%B8%A5%E0%B9%87%E0%B8%AD%E0%B8%95-%E0%B8%AA%E0%B8%B9%E0%B8%95%E0%B8%A3%E0%B8%AA%E0%B8%A5%E0%B9%87%E0%B8%AD%E0%B8%95/ ) ARE OF DIVISIONS.



South Korea 123VEGA ( https://123vega.net/ ) and the US launched WAZDAN ( https://123vega.net/wazdan/ ) eight missiles WM CASINO ( https://123vega.net/wm-casino/ ) on Monday, in AFFILIATE ( https://123vega.net/affiliate-%E0%B8%A5%E0%B8%B4%E0%B8%87%E0%B8%84%E0%B9%8C%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%97%E0%B8%A3%E0%B8%B1%E0%B8%9E%E0%B8%A2%E0%B9%8C/ ) response to a ลิงค์รับทรัพย์ ( https://123vega.net/%E0%B8%A5%E0%B8%B4%E0%B8%87%E0%B8%84%E0%B9%8C%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%97%E0%B8%A3%E0%B8%B1%E0%B8%9E%E0%B8%A2%E0%B9%8C-123vega/ ) volley of ballistic missiles fired by North Korea the 123GOAL ( https://123goal.app/ ) previous day. It comes 88KTC ( https://123goal.app/123dic-123bet-123betting/ ) as Pyongyang continues FC SLOT ( https://123goal.app/fc-slot/ ) to escalate its AMB CASINO ( https://123goal.app/amb-casino/ ) missile tests. South 11HILO ( https://123goal.app/11hilo/ ) Korea's president Yoon Suk-yeol.



Saxon Mullins 123VEGA ( https://123vega.net/ ) says she once had PRAGMATIC PLAY ( https://123vega.net/pragmatic-play-%E0%B8%84%E0%B9%88%E0%B8%B2%E0%B8%A2%E0%B8%AA%E0%B8%A5%E0%B9%87%E0%B8%AD%E0%B8%95%E0%B9%83%E0%B8%AB%E0%B8%A1%E0%B9%88%E0%B9%84%E0%B8%9F%E0%B9%81%E0%B8%A3%E0%B8%87/ ) romantic dreams of what her 'first time' would ICONIC GAMING ( https://123vega.net/iconic-gaming/ ) be like. In none was หวยปิงปอง ( https://123vega.net/%E0%B8%AB%E0%B8%A7%E0%B8%A2%E0%B8%9B%E0%B8%B4%E0%B8%87%E0%B8%9B%E0%B8%AD%E0%B8%87-%E0%B8%84%E0%B8%B7%E0%B8%AD%E0%B8%AB%E0%B8%A7%E0%B8%A2%E0%B8%AD%E0%B8%B0%E0%B9%84%E0%B8%A3/ ) she paralysed by fear in a Sydney ปั่นสล็อต ( https://123vega.net/%E0%B8%9B%E0%B8%B1%E0%B9%88%E0%B8%99%E0%B8%AA%E0%B8%A5%E0%B9%87%E0%B8%AD%E0%B8%95-%E0%B8%AA%E0%B8%B9%E0%B8%95%E0%B8%A3%E0%B8%AA%E0%B8%A5%E0%B9%87%E0%B8%AD%E0%B8%95/ ) alleyway, aged 18, with a 123GOAL ( https://123goal.app/ ) man she had met only minutes earlier. Ms 88KTC ( https://123goal.app/123dic-123bet-123betting/ ) Mullins has always maintained FC SLOT ( https://123goal.app/fc-slot/ ) this incident - in 2013 - was rape. It spurred AMB CASINO ( https://123goal.app/amb-casino/ ) her to push for legal 11HILO ( https://123goal.app/11hilo/ ) reform in Australia, after a long court battle ended with a judge finding the man involved did not realise she hadn't consented to sex.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)