Какие бывают дорвеи:

1) Из полностью генеренного текста, с долей ключевика и разных всяких частей речи в нужных пропорциях.

2) Сделанные из нормального текста со вставками ключевых слов или фраз в текст (или заменами части слов на ключевик).

3) Сделанные из блоков нормального контента на левую тему и блоков текста с ключевиками, тоже нормального и человеческого.

Дорвеи первого типа, полностью генеренные. Плюс для дорвейщика: уникальность текста – он действительно уникален. Минус для человека: бред полный написан. Но главное – их легче определять. Например, у поисковиков есть специальные эвристики, наборы правил для нормализации (приведения слова к нормальной форме) – причем простенькие. Это называется стемминг. Лежат в открытом доступе.

Логично, что и прикидку по падежам, числам, склонениям и т.п. робот поисковика может с хорошей вероятностью угадать, не залезая в словарь. И рассогласования. например, в числе существительного и прилагательного, стоящих рядом, отловить. И многое другое того же рода.

Понятно, что включать звоночек модератору автомат будет только при тотально неграмотном тексте (в пределах документа, раздела, сайта…). А для снижения нагрузки можно не по каждому термину документа эту проверку делать, а только по тем, которых заметная доля (в тех же пределах, сайта или документа) или просто тех, которые на странице больше 1 раза встречаются.

Дорвеи третьего типа. Плюс для человека – язык нормальный, человеческий. Минус для дорвейщика: неуникальность фраз, предложений, блоков текста. Причем если “левый” контент еще можно натырить из разных мест и сделать его малоповторяющимся, то с текстом с ключевиками такое не пройдет.

Ну способы ловли неуникальных фрагментов описаны, например, у И. Сегаловича. Ставим длину шингла поменьше, ищем в пределах сайта… Определяем, что ключевой текст размазан тонким слоем по сайту.

Их, в общем-то, и банить не надо, пессимизировать достаточно.

Ну и дорвеи второго типа. Посложнее, т.к. здесь и куски текста более уникальные, и ошибок в согласовании меньше (допустим даже, что их нет!, т.е., дорвейщик и падеж правильный поставил, и вместо существительного существительное влепил – все по уму).

Однако ж юзер, читая текст, легко определит дорвей. А для робота маркером может быть, конечно, не отсутствие смысла в тексте, а наличие большого количества пар слов, которые не употребляются (редко употребляются) в нормальной жизни. Типа “зеленая турфирма”, “радостный ноутбук” и т.п. Только есть закавыка – слов много, а их пар – еще больше…

На это есть решение. Во-первых, данные о частоте употребления тех или иных слов хранятся. Берем “часто употребительные” слова, отдельно по частям речи. Планку на “часто” ставим исходя из общего объема расчетов и объема, выделенного под хранении информации о парах слов. Дальше по выбранным словам строим заведомо подъемное количество пар слов (в нормальных формах) и пробиваем, насколько часто в базе встречается каждая.

Дальше смотрим на статистику и ставим еще одну планку, отделяющую “разумные” пары слов и выбрасывающую “неразумные”.

Ну и по документу (разделу, сайту…) смотрим, сколько среди “значимых” слов есть “разумных” и “неразумных” пар. И если неразумных много – звоним в звоночек модератору…

***

Все. Остается только ждать.

PS Кстати, текст, генеренный с использованием цепей Маркова, не берется такими способами… Упс. Но зато в этот текст по своему хотению кейвордов напихать сложно.