Нейротекст — это текст, который написала нейросеть и который узнают по набору повторяющихся приёмов: фальшивым контрастам «не X, а Y», ровному ритму предложений, канцеляриту, пустым оценкам и отсутствию проверяемых фактов. Мы проверили по 15 таким признакам 700 текстов, которые нейросеть написала по нашему заданию, потом переписали все 700 и проверили ещё раз. Ниже каждый признак: что это, чем он вредит, как его исправить, как найти вручную и сколько раз он встретился в наших текстах.
Я веду Telegram-канал «ProSEO для Бизнеса», где разбираю SEO и работу с нейросетями на реальных замерах. Эта статья расширенная версия одного из постов канала: здесь больше методики, проверка вручную и ответы на частые вопросы.
Как мы проверяли 700 текстов
Мы взяли 700 текстов категорий каталога промышленного оборудования, в сумме 280 тысяч слов. Все 700 текстов написала нейросеть по одному заданию, и в этой первой версии они стояли на сайте. Через три недели мы переписали все 700 простым языком и проверили ещё раз тем же скриптом. Поэтому по нескольким признакам видно не только как часто ошибается нейросеть, но и что происходит с ошибкой после редактуры.
Скрипт считает признаки автоматически: ищет конструкции по шаблонам, измеряет разброс длины предложений, делит число слов на длину текста. У шести проверок есть числовой порог, он показан на иллюстрации ниже.
Пороги проверок, у которых граница задана числом
Шесть проверок из пятнадцати считают текст ошибочным только после превышения порога: больше пяти троек на 1000 слов, больше одного тире в абзаце, больше 2,5 оговорок на 1000 слов, одно слово занимает больше 3,5% текста, цифры отсутствуют больше чем в половине абзацев, нет цифры в первом абзаце.
Числа первой проверки мы сверили с файлом результатов скрипта, числа повторной проверки посчитали тем же способом. Для десяти признаков в статье есть счёт. Ещё пять мы не считали, потому что наше задание запрещает их заранее, и нейросеть просто не получает такой возможности. Об этом сказано в каждом пункте.
Как часто каждая ошибка встречается в 700 текстах до редактуры
Столбец показывает, в скольких из 700 текстов ошибка встретилась хотя бы один раз. Чаще всего нейросеть делает фальшивый контраст: он есть в 664 текстах.
Признаки машинного текста
Первые восемь признаков не делают текст неправильным по смыслу. Они делают его узнаваемо машинным: читатель на третьем абзаце понимает, что писала нейросеть, и начинает меньше доверять всему, что написано дальше.
1. Фальшивый контраст
Фальшивый контраст — это конструкции «не X, а Y», «X, а не Y» и «не только…, но и». Нейросеть подаёт мысль через отрицание мнения, которого никто не высказывал. Вместо «число зависит от схемы» она пишет «число задаёт схема, а не марка», хотя читатель про марку и не думал.
Редакторы Википедии, которые вычищают из энциклопедии машинные тексты, собрали список признаков ИИ-текста и вынесли этот приём в отдельный раздел. Один такой оборот звучит эффектно. Когда их три в одном абзаце, читатель распознаёт машину, а полезных утверждений в тексте не прибавляется, растёт только длина.
Как исправить. Мысль утверждается прямо, одним предложением. Если отрицание действительно нужно, оно выносится в отдельное предложение. Например, «сорванная резьба в раме означает ремонт рамы, а не замену колеса» превращается в «сорванная резьба в раме означает ремонт рамы. Колесо менять не нужно».
Как проверить вручную. Найдите в тексте сочетания «, а не», «не только» и «не просто», затем прочитайте каждое предложение и спросите себя, говорил ли кто-нибудь обратное.
Фальшивый контраст оказался самым частым признаком: он нашёлся в 664 текстах из 700, то есть в 95%. После переписывания число таких конструкций во всех 700 текстах упало с 2 121 до 238, в девять раз.
2. Ровный ритм
Ровный ритм — это когда почти все предложения в абзаце одной длины и идут одно за другим. Мы измеряем, насколько сильно длина предложений отличается друг от друга, и считаем текст машинным, если разброс слишком мал.
Машинный и живой ритм предложений
Сверху длины предложений почти одинаковы, и текст читается как метроном. Снизу длинные и короткие предложения чередуются, и внимание удерживается. Числа на столбцах придуманы для наглядности, это не замер.
Текст с ровным ритмом читается как метроном, и внимание на нём быстро гаснет. По этому же признаку нейросеть узнают детекторы: GPTZero объясняет, что модель строит фразы по одному правилу. У человека длина и строй фраз скачут, у модели почти не меняются.
Как исправить. Чередуйте длину: после длинного предложения ставьте короткое, после него среднее. Дробить длинные предложения на одинаковые короткие нельзя, потому что разброс от этого становится ещё меньше.
Как проверить вручную. Возьмите абзац и запишите число слов в каждом предложении. Если числа различаются меньше чем на три-четыре слова, ритм слишком ровный. Это грубый ориентир, но он ловит самые заметные случаи.
Ровный ритм нашёлся в 501 тексте из 700, то есть в 72%.
3. Перечисления ровно по три
Это перечисления из трёх пунктов, которые повторяются раз за разом: «для рамного внедорожника, микроавтобуса и грузовой оси». Тройка звучит законченно, поэтому нейросеть выбирает её по умолчанию. В том же списке Википедии отмечено, что тройками модель придаёт поверхностному разбору вид полного.
Как исправить. В перечислении должно быть столько пунктов, сколько их есть на самом деле, будь их два, четыре или пять.
Как проверить вручную. Найдите перечисления с двумя запятыми и союзом «и» перед последним пунктом. Если таких больше пяти на 1000 слов, а это примерно шесть-семь тысяч знаков, тройки стали шаблоном.
Больше пяти троек на 1000 слов нашлось в 93 текстах из 700, то есть в 13%. Перечни чисел вроде «406, 425 и 432 мм» мы не считали, потому что это данные из каталога.
4. Лишние тире
Ошибка в том, что в одном абзаце стоят два или три длинных тире. Редакторы Википедии заметили, что нейросеть ставит длинное тире там, где человек поставил бы запятую, двоеточие или скобки, и делает это по шаблону рекламного текста. Абзац от этого становится рваным.
Как исправить. В абзаце остаётся не больше одного длинного тире, остальные заменяются двоеточием, скобками или новым предложением.
Как проверить вручную. Найдите в тексте символ «—» и посмотрите абзацы, где он встречается дважды и чаще.
Это правило нарушено в 84 текстах из 700, то есть в 12%.
5. Канцелярит
Канцелярит — это обороты вроде «является», «рекомендуется», «необходимо», «следует», «данный», «осуществляется». Слово придумал Корней Чуковский в 1962 году, а Нора Галь посвятила борьбе с канцеляритом книгу «Слово живое и мёртвое» и назвала его мертвечиной. Текст с канцеляритом читается как инструкция по технике безопасности: оборот прячет, кто и что делает, и мысль тонет.
Как мы исправляем канцелярит и фальшивый контраст
Слева фразы с канцеляритом и фальшивым контрастом, справа те же мысли, переписанные глаголом действия и прямым утверждением.
Как исправить. Замените оборот глаголом действия и прямым утверждением. Фраза «для детальной проверки модуля управления рекомендуется обратиться в сервисный центр» превращается в «модуль управления проверяют в сервисном центре».
Как проверить вручную. Найдите слова «является», «осуществляется», «рекомендуется», «необходимо», «следует» и «данный». Каждое найденное слово можно заменить конкретным глаголом.
До переписывания канцелярит нашёлся в 43 текстах из 700. После переписывания таких текстов стало 79, почти вдвое больше. Почему так вышло, разбираем в конце статьи.
6. Штампы
Штампы — это слова-пустышки, которые подходят к любому тексту на любую тему: «играет важную роль», «стоит учитывать», «широкий спектр», «в эпоху», «на сегодняшний день». В Википедии есть отдельный перечень «ИИ-словаря», то есть слов, которые после 2022 года стали встречаться в текстах заметно чаще, потому что ими злоупотребляют нейросети.
Как исправить. Вычеркните штамп вместе с предложением, если без него смысл не меняется. Если меняется, замените штамп фактом.
Как проверить вручную. Найдите «играет важную роль», «стоит учитывать», «широкий спектр», «в эпоху» и «на сегодняшний день». Составьте собственный список из фраз, которые вы чаще всего вычёркиваете, и проверяйте по нему каждый новый текст.
В 700 текстах штампов из нашего списка не нашлось, потому что задание, по которому писала нейросеть, их прямо запрещает. Без такого запрета нейросеть вставляет их почти в каждый абзац.
7. Обещания вместо ответа
Это вступления вроде «в этой статье мы рассмотрим», «давайте разберёмся», «расскажем». Человек пришёл на страницу за ответом, а первая фраза обещает ответ когда-нибудь потом.
Nielsen Norman Group советует писать для сайтов перевёрнутой пирамидой: самое важное ставится в начало, чтобы читатель мог бросить чтение в любой момент и всё равно унести главное. Обещание в первой строке занимает место, где должен стоять ответ.
Перевёрнутая пирамида
В перевёрнутой пирамиде главный ответ стоит в самом начале текста, подробности идут следом, а справочные сведения в самом конце.
Как исправить. Удалите обещание и начните с ответа на вопрос из запроса.
Как проверить вручную. Прочитайте первые два предложения и спросите себя, получил ли читатель ответ. Найдите «в этой статье», «давайте» и «рассмотрим».
В 700 текстах таких вступлений нет: задание требует начинать с ответа. В текстах, написанных без такого задания, они встречаются постоянно. Вот типичное начало из блога, который мы разбирали: «В этой статье мы рассмотрим особенности деликатной стирки, ее преимущества и правила использования».
8. Риторические вопросы
Риторический вопрос — это вопрос, на который автор не ждёт ответа, например: «Кто из нас не сталкивался с внезапными проблемами техники в самый неподходящий момент?» Он разгоняет текст и откладывает ответ.
Максим Ильяхов в «Советах» Бюро Горбунова уточняет, что сам по себе вопрос не ошибка: вопрос вредит, когда стоит на месте содержания. В машинных текстах он почти всегда стоит именно там.
Как исправить. Превратите вопрос в утверждение или сразу после вопроса дайте ответ.
Как проверить вручную. Найдите знак «?» в первых абзацах и проверьте, отвечает ли на каждый вопрос следующее предложение.
В 700 текстах риторических вопросов нет, их тоже запрещает задание.
В тексте нет фактов: что это значит для читателя и поисковика
Следующие пять признаков опаснее предыдущих. Текст может быть гладким, но в нём нечего проверить и нечего процитировать. Нейросетевые ответы в поиске собираются из коротких проверяемых фактов, поэтому абзац без единого факта в такой ответ не попадает.
9. Первый абзац без единой цифры
Ошибка в том, что в первом абзаце нет ни одной цифры: ни размера, ни срока, ни условия. Часто вместо ответа там стоит определение из учебника, например: «Деликатная стирка – это специальный режим стиральной машины, разработанный для бережного ухода за тонкими и чувствительными тканями».
Цифры в тексте и цитирование нейросетями
Слева доля наших 700 текстов, где первый абзац без цифры. Справа прирост видимости в ответах нейросетей от цифр, цитат и ссылок на источники по исследованию Принстона.
Первый абзац читают все, кто открыл страницу, а дальше читают уже не все. По той же перевёрнутой пирамиде в первом абзаце должен стоять ответ на вопрос из запроса. Если ответа нет, он уезжает вниз, и читатель уходит раньше, чем до него доберётся.
Как исправить. Первое предложение должно отвечать на запрос и содержать цифру или условие.
Как проверить вручную. Откройте первый абзац и найдите в нём цифру. Если цифры нет, проверьте, есть ли хотя бы условие вида «если… то…».
Первый абзац без единой цифры был в 570 текстах из 700, то есть в 81%. После переписывания таких текстов стало 455, на 20% меньше.
10. Больше половины абзацев без единой цифры
Абзацы рассуждают, но ничего не утверждают так, чтобы это можно было проверить: в них нет размеров, сроков, условий.
Исследователи Принстона проверили на большом наборе запросов, какие правки текста поднимают сайт в ответах генеративного поиска. Лучше всего сработали добавленные цифры, цитаты и ссылки на источники: они дали от 30 до 40% прироста видимости. Человеку нужна та же опора, потому что абзац с цифрой можно проверить и запомнить.
Как исправить. В каждый абзац добавьте хотя бы один проверяемый факт: размер, срок, условие, название стандарта.
Как проверить вручную. Пройдите по абзацам и отметьте те, где нет ни одной цифры. Если отмечена больше половины, текст пересказывает общие места.
Больше половины абзацев без единой цифры оказалось в 429 текстах из 700, то есть в 61%.
11. Пустые оценки без цифры
Это слова «качественный», «надёжный», «эффективный», «оптимальный», «современный» в предложении, где нет ни одной цифры. Например: «Современные средства разработаны с учетом особенностей различных материалов». Из этой фразы непонятно, о каких средствах и каких материалах идёт речь.
Google в гайде о полезном контенте первым делом спрашивает автора, даёт ли его текст оригинальную информацию или анализ. Фраза, которую можно без изменений вставить на сайт любого конкурента, такой информации не даёт.
Как исправить. Замените оценку фактом: что именно лучше, насколько и по какому замеру.
Как проверить вручную. Найдите «качественный», «надёжный», «эффективный», «оптимальный» и «современный». Рядом с каждым словом должна стоять цифра или название.
Пустые оценки нашлись в 24 текстах из 700, то есть в 3%.
12. Оговорки вместо фактов
Это слова «как правило», «обычно», «зачастую», «возможно», «скорее всего». Мы считаем ошибкой, когда их больше 2,5 на 1000 слов. Каждая оговорка размывает утверждение: читатель не понимает, когда оно верно, а когда нет, и процитировать такой текст нельзя.
Например: «Возможно, проблема более серьезная и требует профессионального вмешательства». Вместо оговорки нужно назвать условие: при каком признаке проблема серьёзная и что именно тогда делать.
Как проверить вручную. Найдите перечисленные слова и посчитайте их. Больше двух-трёх на 1000 слов уже много.
Оговорок сверх нормы оказалось в 92 текстах из 700, то есть в 13%.
13. Изменчивые данные в тексте
Это данные, которые меняются со временем, но вписаны прямо в текст: цены, число моделей в разделе («в разделе 233 модели»), остатки, сроки акций, скидки. Например: «Стоимость ремонта может возрасти до 60 000 рублей и более».
Через месяц-два такой текст начинает врать, потому что цена выросла, моделей стало больше, а акция закончилась. Человек видит, что текст расходится с карточкой товара, и перестаёт доверять сайту. Поисковик и нейросеть при этом цитируют устаревшую цифру от имени компании.
Как исправить. Изменчивые данные должны жить в карточках товаров, фильтрах и прайсе, которые обновляются из учётной системы автоматически. В тексте остаётся ссылка на этот источник.
Как проверить вручную. Найдите цифры рядом со словами «руб.», «₽», «в наличии», «скидка», «акция» и «моделей». Каждую такую цифру спросите: изменится ли она через месяц.
В 700 текстах изменчивых данных нет, потому что этот запрет стоит в задании с самого начала.
Нейросеть пишет под ключевые слова и под объём
Последние два признака появляются, когда нейросети дают задание в духе старого копирайтинга: вот список ключевых слов, вот объём в знаках, пиши.
14. Переспам
Переспам — это когда одно слово занимает больше 3,5% текста. Так бывает, когда нейросети дают список ключевых слов и требуют вставить их побольше.
Google прямо относит набивку ключевыми словами к нарушениям своих правил о спаме и приводит пример: одну и ту же фразу повторяют так часто, что текст звучит неестественно. У Яндекса за переоптимизированные тексты с 2017 года отвечает алгоритм «Баден-Баден». А в ответах нейросетей, по данным того же исследования Принстона, набивка ключевыми словами заметного прироста видимости не дала.
Как исправить. Сократите повторы синонимами и местоимениями, если слово занимает больше 3,5% текста.
Как проверить вручную. Загрузите текст в любой счётчик частоты слов и посмотрите верх списка. Служебные слова в расчёт не берите.
Переспам нашёлся в 8 текстах из 700, это 1%. Так мало потому, что наше задание задаёт для каждого слова верхнюю границу частоты.
15. Раздутый объём
Это текст, который заметно длиннее страниц, стоящих в выдаче по тому же запросу. Нейросеть легко набирает объём водой и повторами, если в задании написано «не меньше N знаков».
В том же гайде о полезном контенте Google спрашивает автора, не пишет ли он под определённое число слов, потому что слышал, будто у поисковика есть предпочтительный объём, и сам отвечает, что такого объёма нет. В длинном тексте ответ просто теряется.
Как исправить. Объём берут со страниц из выдачи по запросу. Всё, что длиннее медианы выдачи и не добавляет фактов, вычёркивается.
Как проверить вручную. Откройте десять первых страниц из выдачи, посчитайте их объём и сравните со своим текстом.
В нашем задании норма объёма снимается со страниц из выдачи, поэтому нейросеть не получает команды «пиши побольше». В блоге, который мы разбирали и где такой нормы не было, большинство статей оказались длиннее конкурентов из выдачи, а по медиане вдвое.
Что показало переписывание всех 700 текстов
Что изменилось, когда мы переписали все 700 текстов
Фальшивых контрастов стало в девять раз меньше, пустых первых абзацев на 20% меньше, а канцелярита стало почти вдвое больше.
Мы переписывали 700 текстов с одной задачей: сделать их понятнее, убрать жаргон и «говорящие» подзаголовки. Задачи вычистить все 15 признаков у этой правки не было. Результат получился поучительный.
Фальшивых контрастов стало в девять раз меньше, а текстов с пустым первым абзацем на 20% меньше. Зато канцелярита стало почти вдвое больше: редактор, упрощая живые обороты, местами заменял их казёнными. Например, фраза «поменять их местами нельзя» превратилась в «замена одного типа другим не допускается».
Отсюда главный вывод для всех, кто правит тексты, свои или нейросетевые. Правка одной ошибки легко порождает другую, поэтому проверять текст по всему списку нужно после каждой правки, даже если правка была небольшой.
С чего начать правку
Признаки неравноценны. Если времени мало, начните с пунктов 9–13: цифры, оценки, оговорки и изменчивые данные. Они определяют, можно ли вообще процитировать ваш текст в поиске и в ответе нейросети. Затем идут пункты 1–4: фальшивые контрасты, ритм, тройки и тире. Они определяют, поверит ли читатель, что текст написал человек. Остальные пункты правятся по ходу работы. Такой порядок предложили мы сами, исходя из того, на что влияет каждый признак. Замеров за ним нет.
Раздатка из доклада «Ваши SEO-тексты не работают» с этим списком из 15 проверок на одной странице лежит в боте канала. Бот выдаёт её после подписки на канал: забрать раздатку.
Вывод
Нейротекст можно найти по списку из 15 конкретных признаков, и каждый признак проверяется вручную за несколько минут. В наших 700 текстах чаще всего встретились фальшивый контраст (95%), первый абзац без цифры (81%) и ровный ритм (72%). Самые опасные для поиска признаки связаны с отсутствием проверяемых фактов. Проверять текст нужно после каждой правки, потому что переписывание одного признака может усилить другой, как случилось у нас с канцеляритом.
Частые вопросы
Накажет ли Google за текст, написанный нейросетью?
В материале Google об ИИ-контенте о штрафах за сам факт использования нейросети не говорится. Там сказано, что массовое создание страниц без пользы для читателей может нарушать правила Google о спаме, а проверять факты в таких текстах нужно вручную, потому что генеративные модели порождают текст и не извлекают факты. Поэтому наш список начинается с признаков, из-за которых у текста нет фактов.
Достаточно ли проверить текст детектором?
Детектор показывает вероятность, что текст написан машиной, и по большей части опирается на однородность фраз. Он не скажет, какие именно абзацы править и есть ли в тексте факты. Список из 15 признаков даёт конкретные места для правки, поэтому полезнее.
Можно ли проверить свой текст без скриптов?
Можно. Для каждого признака выше есть проверка вручную: поиск по тексту, счёт слов в предложениях, просмотр первого абзаца. Скрипт нужен только тогда, когда текстов сотни.
Почему после правки стало больше канцелярита?
Редактор упрощал живые обороты и местами заменял их казёнными, например «поменять их местами нельзя» на «замена одного типа другим не допускается». Задачи вычистить канцелярит у правки не было, и проверка после правки это показала.
Автор: Дмитрий, Telegram-канал «ProSEO для Бизнеса».
Источник