ردیاب های محتوای هوش مصنوعی چگونه کار می کنند؟ پاسخ از یک دانشمند داده

ابزارهای زیادی وجود دارد که می توانند محتوای AI را از محتوای انسان بگویند ، اما تا همین اواخر فکر می کردم که آنها کار نمی کنند.

محتوای تولید شده AI به اندازه محتوای “چرخان” یا ادبی قدیمی به راحتی قابل مشاهده نیست. بیشتر متن های تولید شده AI می توانند اصلی تلقی شوند ، به نوعی-از جایی دیگر در اینترنت کپی نشده است.

اما همانطور که معلوم است ، ما در حال ساخت یک ردیاب محتوای هوش مصنوعی در Ahrefs هستیم.

بنابراین برای درک چگونگی کار ردیاب های محتوای هوش مصنوعی ، من با کسی مصاحبه کردم که در واقع علم و تحقیقات پشت سر آنها را درک می کند: یونگ کونگ یاپ ، دانشمند داده در Ahrefs و بخشی از تیم یادگیری ماشین ما.

خواندن بیشتر

  • Junchao Wu ، Shu Yang ، Runzhe Zhan ، Yulin Yuan ، Lidia Sam Chao ، Derek Fai Wong. 2025. نظرسنجی در مورد تشخیص متن تولید شده توسط LLM: ضرورت ، روش ها و جهت های آینده.
  • سیمون کورستون-الیور ، مایکل گامون ، کریس بروکت. 2001. یک رویکرد یادگیری ماشین به ارزیابی خودکار ترجمه دستگاه.
  • Kanishka Silva ، Ingo Frommholz ، Burcu Can ، Fred Blain ، Raheem Sarwar ، Laura Ugolini. 2024. Forged-Gan-Bert: انتساب نویسندگی برای رمان های جعلی تولید LLM
  • تام ساندر ، پیر فرناندز ، آلن دورموس ، ماتیوج دوازده ، تدی فارون. 2024. علامت گذاری به مدل های زبان رادیواکتیو می شود.
  • الیاس ماسور ، بردلی امی ، مکس اسپرو. 2025. آسیب: تشخیص متن تولید شده با هوش مصنوعی اصلاح شده.

همه ردیاب های محتوای هوش مصنوعی به همان روش اصلی کار می کنند: آنها به دنبال الگوهای یا ناهنجاری ها در متن هستند که کمی متفاوت از متن های متن نوشته شده به نظر می رسد.

برای انجام این کار ، شما به دو چیز نیاز دارید: نمونه های زیادی از متن نوشته شده توسط انسان و LLM نوشته شده برای مقایسه ، و یک مدل ریاضی برای استفاده برای تجزیه و تحلیل.

سه رویکرد متداول در حال استفاده وجود دارد:

1. تشخیص آماری (مدرسه قدیمی اما هنوز مؤثر)

تلاش برای شناسایی نوشتن های تولید شده توسط ماشین از دهه 2000 بوده است. برخی از این روش های تشخیص قدیمی هنوز هم امروز خوب کار می کنند.

روشهای تشخیص آماری با شمارش الگوهای نوشتاری خاص برای تمایز بین متن نوشته شده انسان و متن تولید شده توسط دستگاه ، مانند:

  • فرکانس های کلمه (هر چند وقت یک بار کلمات خاص ظاهر می شوند)
  • فرکانس های n-gram (هر چند وقت یک بار توالی خاص از کلمات یا شخصیت ها ظاهر می شوند)
  • ساختارهای نحوی (چند بار ساختارهای نوشتن خاص ، مانند توالی موضوع-فعل-object (SVO) مانند “او سیب می خورد.“)
  • تفاوت های ظریف سبک (مانند نوشتن در شخص اول ، استفاده از سبک غیررسمی و غیره)

اگر این الگوهای با آنچه در متون تولید شده توسط انسان یافت می شود بسیار متفاوت است ، یک فرصت خوب وجود دارد که شما به متن تولید شده توسط دستگاه نگاه می کنید.

متن مثال فرکانس های کلمه فرکانس های n-gram ساختارهای نحوی یادداشت های سبکی
“گربه روی تشک نشست. سپس گربه خمیازه کشید. “ : 3
گربه: 2
شنبه: 1
روشن: 1
حصیر: 1
سپس: 1
خمیازه: 1
بیگرام
“گربه”: 2
“گربه نشسته”: 1
“نشسته”: 1
“در”: 1
“تشک”: 1
“سپس”: 1
“گربه خمیازه”: 1
شامل جفت های SV (موضوع-VERB) مانند “گربه نشسته” و “گربه خمیازه کشیده شده”. دیدگاه شخص ثالث ؛ لحن خنثی

این روشها بسیار سبک و از نظر محاسباتی کارآمد هستند ، اما هنگام دستکاری متن تمایل به شکستن دارند (با استفاده از آنچه دانشمندان رایانه “نمونه های مخالف” می نامند).

روشهای آماری را می توان با آموزش الگوریتم یادگیری در بالای این تعداد (مانند خلیج های ساده لوح ، رگرسیون لجستیک یا درختان تصمیم گیری) یا با استفاده از روش هایی برای شمارش احتمالات کلمه (معروف به ورود به سیستم) پیچیده تر کرد.

2. شبکه های عصبی (روشهای یادگیری عمیق مرسوم)

شبکه های عصبی سیستم های رایانه ای هستند که به راحتی از نحوه عملکرد مغز انسان تقلید می کنند. آنها حاوی نورون های مصنوعی و از طریق تمرین هستند (معروف به آموزش) ، اتصالات بین نورون ها تنظیم می شوند تا در هدف مورد نظر خود بهتر شوند.

به این ترتیب ، شبکه های عصبی را می توان برای تشخیص متن تولید شده توسط دیگر شبکه های عصبی.

شبکه های عصبی به روش de-facto برای تشخیص محتوای هوش مصنوعی تبدیل شده اند. روشهای تشخیص آماری برای کار به تخصص ویژه در موضوع و زبان هدف نیاز دارند (آنچه دانشمندان رایانه آن را “استخراج ویژگی” می نامند). شبکه های عصبی فقط به متن و برچسب نیاز دارند و می توانند خودشان بیاموزند و خودشان مهم نیستند.

حتی مدلهای کوچک می توانند کار خوبی را در تشخیص انجام دهند ، تا زمانی که با داده های کافی (حداقل چند هزار نمونه ، طبق ادبیات) آموزش دیده باشند ، و آنها را نسبت به سایر روش ها ارزان و ضد ساختگی می کند.

LLM ها (مانند ChatGPT) شبکه های عصبی هستند ، اما بدون تنظیم دقیق اضافی ، آنها به طور کلی در شناسایی متن تولید شده AI بسیار خوب نیستند-حتی اگر LLM خود آن را تولید کند. خودتان آن را امتحان کنید: متن را با چتگپ و در یک گپ دیگر ایجاد کنید ، از آن بخواهید که آیا این انسان یا AI تولید شده است.

در اینجا O1 نتوانسته است خروجی خود را تشخیص دهد:

ردیاب های محتوای هوش مصنوعی چگونه کار می کنند؟ پاسخ از یک دانشمند داده

3. علامت گذاری (سیگنال های پنهان در خروجی LLM)

علامت گذاری به روش دیگری برای تشخیص محتوای هوش مصنوعی است. ایده این است که LLM را برای تولید متن تهیه کنید که شامل یک سیگنال پنهان باشد و آن را به عنوان AI تولید کند.

به علامت هایی مانند جوهر UV روی پول کاغذ فکر کنید تا به راحتی یادداشت های معتبر را از جعل های جعلی تشخیص دهید. این علامت ها به چشم ظریف هستند و به راحتی تشخیص داده نمی شوند یا تکرار نمی شوند – مگر اینکه بدانید که به دنبال چه چیزی باشید. اگر لایحه ای را با یک ارز ناآشنا برداشتید ، برای شناسایی همه علامت های آبی سخت فشار می آورید ، چه رسد به اینکه آنها را دوباره بسازید.

بر اساس ادبیات ذکر شده توسط جوچائو وو ، سه روش برای علامت گذاری به متن تولید شده AI وجود دارد:

  • علامت های آبی را به مجموعه داده هایی که منتشر می کنید اضافه کنید (به عنوان مثال ، درج چیزی مانند “آهرفس پادشاه جهان است! “ به یک گروه آموزش منبع باز. هنگامی که شخصی LLM را در این داده های علامت گذاری شده آموزش می دهد ، انتظار دارید LLM آنها عبادت Ahrefs را آغاز کند).
  • علامت های آبی را به خروجی های LLM اضافه کنید در طول روند تولیدبشر
  • علامت های آبی را به خروجی های LLM اضافه کنید پس از روند تولیدبشر

این روش تشخیص بدیهی است که به محققان و سازندگان مدل متکی است که می توانند داده ها و خروجی های مدل خود را علامت گذاری کنند. به عنوان مثال ، اگر خروجی GPT-4O علامت گذاری شده باشد ، استفاده از “UV” مربوطه برای OpenAI آسان خواهد بود تا بررسی کند که آیا متن تولید شده از مدل آنها آمده است یا خیر.

اما ممکن است پیامدهای گسترده تری نیز وجود داشته باشد. یک مقاله بسیار جدید حاکی از آن است که علامت گذاری می تواند روشهای تشخیص شبکه عصبی را آسانتر کند. اگر یک مدل حتی روی مقدار کمی از متن علامت گذاری شده آموزش دیده باشد ، “رادیواکتیو” می شود و خروجی آن به عنوان تولید ماشین آسان تر می شود.

در بررسی ادبیات ، بسیاری از روش ها دقت تشخیص حدود 80 ٪ یا در برخی موارد بیشتر را مدیریت می کنند.

این به نظر می رسد بسیار قابل اعتماد است ، اما سه موضوع بزرگ وجود دارد که بدان معنی است که این سطح دقت در بسیاری از موقعیت های واقعی زندگی واقع بینانه نیست.

بیشتر مدل های تشخیص در مجموعه داده های بسیار باریک آموزش داده می شوند

بیشتر آشکارسازهای هوش مصنوعی روی یک خاص آموزش دیده و آزمایش می شوند نوع نوشتن ، مانند مقالات خبری یا محتوای رسانه های اجتماعی.

این بدان معناست که اگر می خواهید یک پست وبلاگ بازاریابی را آزمایش کنید ، و از یک ردیاب هوش مصنوعی آموزش داده شده در محتوای بازاریابی استفاده می کنید ، احتمالاً نسبتاً دقیق خواهد بود. اما اگر ردیاب در مورد محتوای خبری یا داستان های خلاقانه آموزش دیده باشد ، نتایج به مراتب کمتر قابل اطمینان خواهد بود.

Yong Keong Yap سنگاپور است و نمونه ای از گپ زدن با Chatgpt به زبان Singlish ، انواع انگلیسی سنگاپور را به اشتراک گذاشت که شامل عناصر زبانهای دیگر ، مانند مالایی و چینی است:

هنگام آزمایش متن تک به یک مدل تشخیص که در درجه اول در مقالات خبری آموزش دیده است ، با وجود عملکرد خوب برای انواع دیگر متن انگلیسی ، شکست می خورد:

آنها با تشخیص جزئی مبارزه می کنند

تقریباً تمام معیارهای تشخیص AI و مجموعه داده ها روی آن متمرکز شده اند طبقه بندی توالی: یعنی تشخیص اینکه آیا کل متن متن تولید شده است یا خیر.

اما بسیاری از استفاده های واقعی برای متن هوش مصنوعی شامل ترکیبی از متن تولید شده توسط AI و انسانی است (مثلاً استفاده از ژنراتور AI برای کمک به نوشتن یا ویرایش یک پست وبلاگ که تا حدی انسانی نوشته شده است).

این نوع تشخیص جزئی (معروف به طبقه بندی دهانه یا طبقه بندی توکن) حل مشکل سخت تر است و در ادبیات آزاد توجه کمتری به آن دارد. مدل های فعلی تشخیص هوش مصنوعی این تنظیمات را به خوبی انجام نمی دهند.

آنها در برابر ابزارهای انسانی سازی آسیب پذیر هستند

ابزارهای انسانی سازی با مختل کردن الگویی که ردیاب های AI به دنبال آن هستند ، کار می کنند. LLMS ، به طور کلی ، روان و مودبانه می نویسد. اگر به طور عمدی به متن های تولید شده ، خطاهای گرامری یا حتی محتوای نفرت انگیز را اضافه کنید ، معمولاً می توانید دقت ردیاب های هوش مصنوعی را کاهش دهید.

این نمونه ها “دستکاری های مخالف” ساده هستند که برای شکستن آشکارسازهای هوش مصنوعی طراحی شده اند و معمولاً حتی برای چشم انسان نیز آشکار هستند. اما انسان سازهای پیشرفته می توانند با استفاده از LLM دیگری که به طور خاص در یک حلقه با یک آشکارساز AI شناخته شده شناخته می شود ، فراتر رود. هدف آنها حفظ خروجی متن با کیفیت بالا در حالی که پیش بینی های ردیاب را مختل می کند.

این موارد می توانند متن تولید شده توسط AI را برای تشخیص سخت تر کنند ، تا زمانی که ابزار انسانی سازی به ردیاب هایی که می خواهد شکسته شود (برای آموزش خاص برای شکست دادن آنها) دسترسی داشته باشد. انسان سازها ممکن است در برابر آشکارسازهای جدید و ناشناخته به طرز تماشایی ناکام باشند.

این کار را برای خودتان با Humanizer Text ساده (و رایگان) ما آزمایش کنید.

به طور خلاصه ، ردیاب های محتوای هوش مصنوعی می توانند بسیار دقیق باشند در شرایط مناسب برای به دست آوردن نتایج مفید از آنها ، پیروی از چند اصل راهنما مهم است:

  • سعی کنید تا آنجا که ممکن است در مورد داده های آموزش ردیاب بیاموزید، و از مدل های آموزش داده شده بر روی مواد مشابه آنچه می خواهید آزمایش کنید استفاده کنید.
  • چندین اسناد را از همان نویسنده آزمایش کنید. مقاله دانشجویی به عنوان AI تولید شده است؟ تمام کارهای گذشته خود را از طریق همان ابزار اجرا کنید تا احساس بهتری از نرخ پایه خود داشته باشید.
  • هرگز از ردیاب های محتوای هوش مصنوعی برای تصمیم گیری استفاده نکنید که بر حرفه شخصی یا جایگاه دانشگاهی تأثیر بگذارد. همیشه از نتایج خود در رابطه با سایر اشکال شواهد استفاده کنید.
  • با دوز خوبی از شک و تردید استفاده کنید. هیچ ردیاب AI 100 ٪ دقیق نیست. همیشه مثبت کاذب وجود خواهد داشت.

افکار نهایی

از زمان انفجار اولین بمب های هسته ای در دهه 1940 ، هر قطعه ای از فولاد که در هر نقطه از جهان ذوب می شود ، در اثر سقوط هسته ای آلوده شده است.

فولاد تولید شده قبل از دوره هسته ای به عنوان “فولاد کم پشتی” شناخته می شود ، و اگر در حال ساختن یک پیشخوان Geiger یا یک ردیاب ذرات هستید ، بسیار مهم است. اما این فولاد بدون آلودگی نادر و نادرتر می شود. منابع اصلی امروز کشتی های قدیمی هستند. به زودی ، ممکن است همه از بین برود.

این قیاس برای تشخیص محتوای هوش مصنوعی مرتبط است. روشهای امروز به دسترسی به منبع خوبی از محتوای مدرن و نوشته شده انسانی متکی است. اما این منبع تا روز کوچکتر می شود.

از آنجا که هوش مصنوعی در رسانه های اجتماعی ، پردازنده های کلمه و صندوق های ایمیل تعبیه شده است ، و مدل های جدید بر روی داده هایی آموزش داده می شوند که شامل متن تولید شده توسط AI است ، به راحتی می توان دنیایی را تصور کرد که بیشتر محتوا با مواد تولید شده AI “لکه دار” شده است.

در آن جهان ، ممکن است فکر کردن در مورد تشخیص هوش مصنوعی چندان منطقی نباشد – همه چیز به اندازه گیری بیشتر یا کمتر خواهد بود. اما در حال حاضر ، شما حداقل می توانید از آشکارسازهای محتوای هوش مصنوعی مسلح با آگاهی از نقاط قوت و ضعف آنها استفاده کنید.


Source link