Пожалуйста, поясните, что Вы имеете в виду.

GetCoef <- function (nc=6) {
     DFr <- DFp[,sample(ncol(DFp), nc)]
     m <- lm(Y ~ ., data=DFr)
     a<-summary(m)$coefficients
     a[a[,3]<=0.05,1]
}
nr <- 1000
sumC <- rep(0, ncol(DFp)+1)
names(sumC) <- c("(Intercept)", names(DFp))
replicate(nr, {
    res <- GetCoef(6)
    sumC[names( sumC) %in% names(res)] <- sumC[names( sumC) %in% names(res)] + 1
})

  Имею вектор Y и таблицу DFp из более 100 предикторов. Хочу подсчитать, сколько раз каждый предиктор оказывается статистически значимым из 1000 subset-ов, составленных из 6 случайных переменных:
Т.к. sample() "рассыпает порядок следования переменных, накопление единичек происходит не у тех переменных. Поправьте меня, пожалуйста.

ind <- intersect(names(sumC), names(res))
sumC[ind] <- sumC[ind] + 1

  Это так задумано у вас? "g2>0" и  "g2==0"

  Давайте подойдём к этому вопросу проще.
Уберём базу данных типа .dbf, поле в нём "с условием" в символьном формате.
введём переменные
mkr=1; nkr=3; g1=1; g2=1
lwv <-  "(mkr>0 & nkr==3 & g1>0 & g2>0)"   
Как lwn преобразовать в логическое выражение?
В виде
law <- функция(lwv)
и далее
if (law) {...}

  например вот так http://dplyr.tidyverse.org/reference/filter_all.html

PS ну или закат солнца вручную eval(parse(text="(mkr>0 & nkr==3 & g1>0 & g2>0)")) , если конечно "преобразовать в логическое выражение" означает "вычислить".

выбрать метод факторизации итеративный, который работает с порциями данных

  Извиняюсь за офф-топ. Мой вопрос не по биологии, а скорее просто по R
Мне нужно объединить два набора данных, используя compare linkage для вычисления весов. Первый набор данных имеет 2,5 миллион строк, второй набор данных - 300 000 строк. Оба набора данных имеют только одну переменную (ido), и я должен соединять по этой переменной. Это простая операция, если вы используете небольшое количество строк, но мне нужно работать с наибольшим количеством строк. Поэтому я пишу код:


поскольку объемы большие я получил ошибку
cannot allocate vector of size 845.3 Gb

Т.е. не хватает оперативной памяти, я стал гуглить вопрос , и нашел, что кто-то уже спрашивал об этом здесь
http://molbiol.ru/forums/lofiversion/index...02724-2200.html
Ответ одного пользователя
подскажите, а как это реализовать работу с пропорциями

Мой сервер
Intel Xeon CPU E5-1650 v4@ 3.60ghz
128 gb ram
10 tb hdd
windows 2012 R2x64

ссылка на файлы

http://dropmefile.com/6YaH2
Помогите, пожалуйста.

  ido это просто столбец, в двух файлах всего один ключевой столбец
если не качает
попробуйте пожалуйста,
https://www.sendspace.com/file/shkot0
хотя у меня ссылка работает

здесь меньше наблюдений, думал если буду удалять, что-то да получится, но нет, просто чуть меньше cannot allocate vector of size 24.3 Gb

> str(df_01)
'data.frame': 30654 obs. of  1 variable:
$ ido: Factor w/ 17471 levels "\"ДАТЧИК ЛОТКА \"\"ЛИЦОМ ВВЕРХ......",..: 9366 12182 11451 11451 6910 6909 6907 6908 6906 15423 ...
> str(df_02)
'data.frame': 216572 obs. of  1 variable:
$ ido: Factor w/ 157878 levels "- Расцепитель независимый РН-47 на DIN-рейку",..: 30 32 38 39 42 43 44 45 46 47 ...
>
но я не могу удалять, все должны быть строки.

  1. Как минимум прочитайте файлы не преобразуя эти переменные в факторы.
так они сами как факторы читаются, это ж текстовые данные.
Как мне их сделать на "факторными"?

  Прошу прощение за беспокойство не могу победить ошибку
df_01=data.table::fread("C:/Users/Admin/Desktop/pot.csv", sep=";", dec=",",stringsAsFactors=FALSE)
#View(df_01)
str(df_01)
df_01=df_01[rowSums(is.na(df_01)) == 0,]
df_02=data.table::fread("C:/Users/Admin/Desktop/1.csv", sep=";",dec=",",,stringsAsFactors=FALSE)
#View(df_02)
df_02=df_02[rowSums(is.na(df_02)) == 0,]
str(df_02)

> rpairs_jar <- compare.linkage(df_02, df_01,
+                              strcmp = c("ido"),
+                              strcmpfun = jarowinkler)

Error in if (n > 0) c(NA_integer_, -n) else integer() :
  missing value where TRUE/FALSE needed

Ошибка связана с NA, но я их поудалял.
Что мне делать?

  Я сразу скачал openrefine и посмотрел видео. Проблема в том, что после такого как он кластеризует ,мы уже работает не с реальными прайсовыми позициями, а с кластерами
и уже линкуем кластера. Я просто Вам не ответил. Таким образом мы теряем много строк
Пример
бумага А4
Бумага А0(Ватман)
Это разные позиции, но после кластеризации,это будет считаться одним и тем же.

  Подскажите, пожалуйста, как закрыть окна открытые с помощью функции x11()?
OS windows 10

  Подскажите, пожалуйста, корретно ли Бустинг считать алгоритмом, который объединяет модели в композицию.
Например строятся несколько моделей, которые измеряют признак. Например, построил несколько регрессионных моделей и все достаточно точно измеряют зависимую переменную, КМД варьируется от 0.9-0.95.
Так вот можно ли бустингом объединить мои модели в композиции и будет ли это работать Это можно как-то обосновать?

  Здравствуйте, помогите, пожалуйста, решить проблему с использованием пользовательских функций для трансформации корпуса (tm_map пакета tm).

Пользовательская функция:
mystem <- function(doc) {
  sdoc <- system('C:/Users/Downloads/mystem-3.1-win-64bit/mystem -ln -e cp1251', intern=T, input=doc)
  sdoc <- str_replace(sdoc, '\\?', '')
  sdoc <- str_replace(sdoc, '\\|.*$', '')
  sdoc <- paste(sdoc, collapse=" ")
  sdoc
}

Пример использования:
data_cor <- Corpus(VectorSource(as.character(c("Раз два три", "четыре пять шесть"))))
data_cor_t <- tm_map(data_cor, mystem)

Результат:
> data_cor[[1]]$content
[1] "Раз два три"
> data_cor[[2]]$content
[1] "четыре пять шесть"

> data_cor_t[[1]]$content
[1] "раз два три четыре пять шесть"

Т.е. проблема в том, что функция paste приводит к тому, что документы корпуса склеиваются в один.

Тот же результат, если использовать упрощенную функцию:
mystem <- function(x) {
  doc <- paste(x, "@", collapse = " ")
  doc
}

> data_cor_t[[1]]$content
[1] "Раз два три @ четыре пять шесть @"

Использование content_transformer(FUN) и PlainTextDocument тоже не помогают.

В чем тут дело?

dead <- cbind(df$погибло, df$выжило)
anova(glm(dead ~ доза , family = binomial(link=probit), data=df),
      glm(dead ~ log10(доза), family = binomial(link=probit), data=df), test = "Chisq")
Analysis of Deviance Table
Model 1: dead ~ доза
Model 2: dead ~ log10(доза)
  Resid. Df Resid. Dev Df Deviance Pr(>Chi)
1      124    161.34                   
2      124    141.94  0  19.409

  1. Не совсем понятно чего Вы ожидаете получить от paste().

2. Оберните применяемую функцию в content_transformer(), по идее тогда обработка ограничиться текстом документа.

  1. Функция Mystem разбивает текст на слова. Если слова в текст не соединять, то получается результат следующий (т.е. количество документов увеличивается до количества слов):
> data_cor_t[[1]]$content
[1] "раз"

2. С content_transformer() пробовала - никакого эффекта.

Ниже код и результат:
data_cor <- Corpus(VectorSource(as.character(c("Раз два три", "четыре пять шесть"))))
mystem <- function(doc) {
  sdoc <- system('C:/Users/Downloads/mystem-3.1-win-64bit/mystem -ln -e cp1251', intern=T, input=doc)
  sdoc <- str_replace(sdoc, '\\?', '')
  sdoc <- str_replace(sdoc, '\\|.*$', '')
  sdoc <- paste(sdoc, collapse=" ")
  sdoc
}
f <- content_transformer(function(x) mystem(x))
data_cor_t <- tm_map(data_cor, f)
data_cor_t[[1]]$content

> data_cor_t[[1]]$content
[1] "раз два три четыре пять шесть"

  Очень не хочется маяться с логарифмами

Как оценить значимость D = 19.4 и показать, что снижение остаточной ошибки мало.
Или не мало....

но я по прежнему не понимаю что Вы хотите от paste()

  Приведу на примере, как работает mystem и зачем нужно использовать paste.

data_cor <- Corpus(VectorSource(as.character(c("Раз два три", "четыре пять шесть"))))
doc <- data_cor[[1]]$content

> doc
[1] "Раз два три"

sdoc <- system('C:/Users/Downloads/mystem-3.1-win-64bit/mystem -ln -e cp1251', intern=T, input=doc)
sdoc <- str_replace(sdoc, '\\?', '')
sdoc <- str_replace(sdoc, '\\|.*$', '')

> sdoc
[1] "раз" "два" "три"

Получается, что на выходе стемминга совокупность слов, которые нужно обратно собрать в документ. Если этого не сделать, то на выходе будет не 2 документа, а 6 документов.

mystem <- function(doc) {
  sdoc <- system('C:/Users/Downloads/mystem-3.1-win-64bit/mystem -ln -e cp1251', intern=T, input=doc)
  sdoc <- str_replace(sdoc, '\\?', '')
  sdoc <- str_replace(sdoc, '\\|.*$', '')
  sdoc
}
data_cor_t <- tm_map(data_cor, content_transformer(mystem))
> data_cor
<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 2

> data_cor_t
<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 6

  А чем Вас не устраивает приведенное мной решение?

  К сожалению, скоростью. Я похожий вариант пробовала.

> system.time(tm_map(data_cor, content_transformer(function(x) sapply(x, mystem))))
пользователь      система      прошло
        0.03        0.14        6.36

> system.time(Corpus(VectorSource(lapply(1:length(data_cor_t), function(i) mystem(data_cor_t[[i]]$content)))))
пользователь      система      прошло
        0.01        0.11        6.36

> system.time(tm_map(data_cor_t, stemDocument, language = "russian"))
пользователь      система      прошло
          0            0            0

Последний вариант - это стандартная функция стемминга Портера. Но она не устраивает тем, как приводит слова к первоначальной форме.

  
покажите, сколько теперь на 30 документах?