Большое спасибо за ответ (особенно в воскресенье. Но я, видимо, плохо сформулировала вопрос. Что считать (не КАК проидентифицировать предикторы) оптимальной моделью - ту, что дает максимальный процент идентификации категории Х, или ту, что делает это с минимальным количеством предикторов?
В первом случае, подразумемается, что предикторы не коррелируют между собой, естественно.
Ансамбль нежелателен с практической точки зрения.
Делить данные на test и training тоже нежелательно, их не так много, можно, конечно пробудстраппить, но сначала все-таки хочется определиться с первым вопросом.

  #PS2004R

2) а вот тут, если можно, поподробнее Грубенько: какая модель предпочтительнее:
модель 1: Y= x1+x2, AIC=100, correct classification: sensitivity 60%, specificity 80%
модель 2: Y= x1, AIC=100, correct classification: sensitivity 62%, specificity 78%
Y - binary variable
обе - объяснимы, с равной степенью здравого смысла.

Не одна из этих моделей не "безнадежно плоха", но общий процент классификации 65 и 70% - это разница и, похоже, я склоняюсь к тому, чтобы примириться с наличем х2, невзирая на AIC, BIC, etc.

  с перекрывающимися доверительными интервалами...

  1) model 1: AUC=0.93 (CI: 0.84-1.02)
    model 2: AUC=0.86 (CI: 0.72-1.01)

2) что считать "практически значимой областью"? И как это формализовать?