Действительно ли гуманизаторы ИИ работают? Мы протестировали их и вот что обнаружили

Во-первых, у нас были ChatGPT и другие генеративные предварительно обученные преобразователи, которые создавали текст, сгенерированный ИИ. Далее у нас были детекторы ИИ, которые использовали ИИ для определения того, используют ли люди искусственный интеллект. Гуманизаторы ИИ — следующий шаг в эволюции искусственного интеллекта — используют ИИ для изменения текста ИИ, чтобы другой ИИ не заметил, что он сгенерирован ИИ. Если это звучит безумно, что ж, возможно, так оно и есть. Однако на рынке есть десятки инструментов AI Humanizer, которые обещают сделать именно это.

Итак, что же делают гуманизаторы? ИИ-гуманизаторы переписывают сгенерированный ИИ текст, чтобы создать контент, который инструменты обнаружения не могут идентифицировать как машинописный. В контенте, созданном ИИ, есть «подсказки», на которые обращают внимание детекторы, например, использование наиболее распространенных слов и фраз, отсутствие вариаций тона и наличие предложений одинаковой длины. Поэтому гуманизаторы пытаются обойти эти подсказки, заменяя распространенные слова менее распространенными, перефразируя предложения и меняя тон или длину предложений.

Каждый AI Humanizer будет иметь свой собственный алгоритм, поэтому некоторые из протестированных нами алгоритмов создавали достаточно человечное письмо, а некоторые выдавали нечитаемую тарабарщину. Процесс тестирования более подробно описан в разделе «Методология» вместе со списком всех 10 опробованных нами гуманизаторов.

Самый простой способ проверить эффективность гуманизаторов ИИ — пропустить текст через программное обеспечение для обнаружения ИИ. Это инструменты, предназначенные для выявления и оценки того, был ли контент создан искусственным интеллектом. Детекторы используют алгоритмы для выявления закономерностей, несоответствий или маркеров, указывающих на то, что они были созданы ИИ.

Smodin, Quillbot и Undetectable AI предлагают функции AI Detection и AI Humanizer. Некоторые результаты AI Humanizers даже не прошли через их собственные детекторы AI. Инструмент обнаружения искусственного интеллекта Smodin присвоил гуманизированному тексту 0%-ную человеческую оценку, хотя Quillbot был полностью обманут и посчитал его 100%-ным человеческим. Оценки обнаружения не одинаковы для разных детекторов искусственного интеллекта. Я поместил гуманизированный текст, полученный от Quillbot, через инструмент Quillbot AI Detection, и он дал оценку 100% AI. Необнаруживаемому ИИ удалось пройти собственное (и чужое) обнаружение ИИ.

Другие гуманизаторы ИИ, результаты которых были отмечены AI Detectors, включали Humanize AI, который был признан 80% ИИ при обнаружении ИИ Sapling, и WriteHuman, который получил 100% оценку ИИ на Quillbot.

Однако возможность пройти тест на обнаружение ИИ — это еще не все. Очеловеченный текст может быть на 100% человечным с помощью программного обеспечения для обнаружения, но при этом оставаться роботизированным, нечитаемым или откровенной тарабарщиной. Гуманизированный текст Undetectable AI хорошо зарекомендовал себя детекторами, но содержал бессмысленные предложения вроде «LinkedIn Premium — это просмотры по подписке на профили, которые улучшают LinkedIn в обучении».

Читабельность часто не соответствует оценке контента, созданной человеком. Гуманизированный текст Смодина хорошо зарекомендовал себя некоторыми инструментами обнаружения ИИ, но содержал фразы, которые звучали явно менее человечно, чем то, что изначально писал ChatGPT. Гуманизированный текст от Humbot набрал 40% и 25% на различных детекторах искусственного интеллекта, что позволяет предположить, что текст считался скорее человеческим, чем нет. Однако его фактический текст был искажен и имел мало общего с исходным текстом. Он переписал фразу «Нажмите на свой Apple ID» на «Нажмите на свой Apple ID».

Я не мог предсказать, какие результаты будут лучшими в тестах на обнаружение. ContentShake AI предоставляет несколько вариантов гуманизированного вывода, включая «Перефразировать», «Обычный» и «Улучшить». Я обнаружил, что вариант «Перефразировать» наименее приятен для чтения. Он изменил заголовок «Понимание LinkedIn Premium» на «Понимание LinkedIn Premium», что совершенно не передает того же значения. Хотя он не получил хороших оценок, он все же получил более высокие оценки, чем результаты, созданные в обычном и улучшенном режимах, хотя этому человеку они показались гораздо лучше написанными.

Как человек-писатель, я бы предпочел, чтобы меня не заменил робот, но мне нужно отдать должное паре гуманизаторов с искусственным интеллектом, которые показали себя довольно хорошо. Surfer SEO и AI Text Humanizer создали прекрасно читаемый текст. Не было никаких раздражающих странных вариантов синонимов или искаженных структур предложений. Однако вывод AI Text Humanizer нуждается в доработке, поскольку в тексте пропущены знаки препинания, такие как запятые, и он проскальзывает между британским и американским написанием, в результате чего слово «отмена» пишется двумя разными способами в одной и той же статье. И Surfer, и AI Text Humanizer прошли тесты на обнаружение искусственного интеллекта, при этом Quillbot объявил, что оба текста на 100% являются человеческими. Конечно, полученный текст все равно был скучным, потому что исходный текст был скучным, а эти продукты не созданы для того, чтобы его было приятнее читать.

Я попытался создать что-то более интересное в ChatGPT, используя подсказку, в которой указывалось, что оно должно быть «остроумным, дружелюбным и увлекательным» и «читаться так, как будто один друг дает совет другому». Такой подход немного усложняет обнаружение написания ИИ, и его оценка до гуманизации составляла 54% ИИ. Он набрал 29% после того, как его переписал Surfer, что оказалось не таким успешным, как его первая попытка. Версия AI Text Humanizer сумела получить оценку AI 0%. В обоих случаях гуманизированный текст был не намного лучше оригинала ChatGPT, но и не хуже.

Гуманизаторы, которые мы пробовали, похоже, не понимали смысла статьи в целом, и многие вносили изменения, которые не имели никакого смысла в контексте приведенного нами примера. Многие гуманизаторы просто брали слова из текста и выполняли цифровой эквивалент копирования и вставки из тезауруса.

Merlin (то самое программное обеспечение, которое получило самый низкий балл в нашем обзоре AI Detector) заменил предложение «Однако по мере развития потребностей некоторые пользователи могут решить прекратить свою подписку» на этот излишне сложный эквивалент: «Тем не менее, с радикальными изменениями в жизни, многие пользователи, возможно, предпочтут прекратить подписку в соответствии со своей стратегией, ориентированной на потребности». Результат такого рода похож на эпизод из сериала «Друзья», когда Джоуи обнаруживает, что пользуется тезаурусом, и переписывает: «Они приятные, приятные люди с большими сердцами». как «Они влажные, заранее обладающие гомо сапиенсами с полноразмерными аортальными насосами».

Я попробовал вручную заменить слова в образце текста, используя опцию синонимов Word. Это довольно трудоемкий способ маскировки контента, созданного ИИ (он требует большого количества щелчков правой кнопкой мыши), но мне было любопытно узнать, повторит ли он результаты гуманизаторов ИИ. Результаты не были разными. Мой обновленный текст был немного менее ненормальным, чем версия Джоуи, и получил 57% ИИ на детекторе ИИ Quillbot. Это была та же оценка, которую мы получили за гуманизированный текст от ContentShake AI, и она выше, чем оценки Quillbot или WriteHuman. Однако у гуманизаторов есть и другие хитрости, помимо простой замены слов. Они меняли порядок предложений и переписывали целые фразы. Некоторые допустили грамматические ошибки, но трудно сказать, было ли это преднамеренной уловкой с целью обмануть детекторы ИИ или ограничением программного обеспечения.

Да и нет. Они все наверняка что-то делают. Каждый из гуманизаторов переписывал текст по-своему, и вы можете повторять процесс сколько угодно раз на каждом гуманизаторе и каждый раз получать разные результаты. Как мы выяснили в нашей статье о детекторах ИИ, оценки ИИ будут сильно различаться в зависимости от того, какой детектор вы — или человек, проверяющий вашу работу — решите использовать. Чтобы избежать обнаружения, вам нужно точно знать, с каким детектором вы столкнулись (или быть готовым пропустить свой гуманизированный текст через десятки детекторов).

Если вы полны решимости генерировать текст с помощью большой языковой модели искусственного интеллекта, такой как ChatGPT, лучше всего переписать копию самостоятельно, чтобы избежать обнаружения. Кроме того, вы можете использовать ChatGPT, чтобы создать общий план вашей темы и написать на ее основе свою статью. Хотя использование ИИ для написания за вас должно сэкономить время, гуманизированный текст ИИ необходимо тщательно проверить, чтобы убедиться, что он хорошо читается, имеет смысл и сохраняет смысл того, что вы пытались сказать.

Использование этих инструментов также усугубляет проблему регрессии ИИ, когда большие языковые модели ИИ все чаще обучаются на контенте, сгенерированном ИИ, что приводит к еще более однородному и безвкусному контенту ИИ.

Для написания этой статьи мы протестировали 10 гуманизаторов: Quillbot, Smodin, Undetectable AI, Humanize AI, ContentShake AI, Surfer SEO, AI Text Humanizer, Merlin, WriteHuman и Humbot. Мы придерживались бесплатных планов, все из которых имели ограничения на использование и требовали перехода на платный план при регулярном использовании. Я использовал один и тот же фрагмент текста ChatGPT во всех гуманизаторах. Это была созданная ИИ часть LinkedIn, которую я использовал при тестировании детекторов ИИ, хотя мне пришлось сократить ее там, где она превышала лимит символов в свободном плане гуманизатора.

Тестируя результаты с помощью программного обеспечения для обнаружения ИИ, я пытался использовать различные детекторы ИИ, чтобы получить разные результаты. Однако я был ограничен ограничениями на использование бесплатных планов детектора AI. Я часто использовал Quillbot, потому что он получил высокую оценку в нашей статье «Обнаружение искусственного интеллекта» и позволяет неограниченное бесплатное использование. Если я указал оценку обнаружения ИИ и не указал, какой детектор я использовал, то это Quillbot.

В заключение я хотел бы заверить вас, что эту статью написал неискусственный писатель-человек. Я также предполагаю, возможно, наивно, что вы, читатель, еще один человек, а не робот. В Интернете могут быть статьи, написанные ИИ, гуманизированные ИИ и проверенные ИИ, которые полностью потребляются ИИ-ботами, но не здесь.