آیا ChatGPT، Bard و Dolly 2.0 بر روی محتوای دزدان دریایی آموزش دیده اند؟

مدل‌های زبان بزرگ (LLM) مانند ChatGPT، Bard و حتی نسخه‌های منبع باز بر روی محتوای عمومی اینترنت آموزش داده می‌شوند. اما نشانه‌هایی نیز وجود دارد مبنی بر اینکه هوش مصنوعی‌های محبوب ممکن است بر روی مجموعه داده‌های ایجاد شده از کتاب‌های دزدی دریایی آموزش ببینند.

آیا Dolly 2.0 بر روی محتوای دزدان دریایی آموزش دیده است؟

Dolly 2.0 یک هوش مصنوعی منبع باز است که به تازگی منتشر شده است. هدف دالی دموکراتیک کردن هوش مصنوعی با در دسترس قرار دادن آن برای همه کسانی است که می خواهند با آن چیزی بسازند، حتی محصولات تجاری.

اما یک مشکل حفظ حریم خصوصی با تمرکز فناوری هوش مصنوعی در دستان سه شرکت بزرگ و اعتماد به آنها با داده های خصوصی وجود دارد.

با توجه به انتخاب، بسیاری از کسب و کارها ترجیح می دهند داده های خصوصی را در اختیار اشخاص ثالثی مانند Google، OpenAI و Meta قرار ندهند.

حتی موزیلا، شرکت مرورگر و برنامه منبع باز، در حال سرمایه گذاری بر روی رشد اکوسیستم AI منبع باز است.

هدف پشت AI منبع باز بدون شک خوب است.

اما در مورد داده هایی که برای آموزش این مدل های زبانی بزرگ استفاده می شود، مشکلی وجود دارد، زیرا برخی از آن ها شامل محتوای غیرقانونی هستند.

کلون منبع باز ChatGPT، Dolly 2.0، توسط شرکتی به نام DataBricks ایجاد شده است (درباره Dolly 2.0 بیشتر بدانید)

Dolly 2.0 بر اساس یک مدل زبان بزرگ منبع باز (LLM) بنا شده است پیتیا (که توسط یک گروه منبع باز به نام، EleutherAI).

EleutherAI هشت نسخه از LLM ها با اندازه های مختلف را در خانواده Pythia LLM ایجاد کرد.

یکی از نسخه های Pythia، یک نسخه 12 میلیارد پارامتری، نسخه ای است که توسط DataBricks برای ایجاد Dolly 2.0 و همچنین با مجموعه داده ای که DataBricks خود ایجاد کرده است (مجموعه مجموعه ای از پرسش ها و پاسخ هایی است که برای آموزش هوش مصنوعی Dolly 2.0 استفاده شده است. دستورالعمل ها)

نکته در مورد EleutherAI Pythia LLM این است که با استفاده از مجموعه داده ای به نام Pile آموزش داده شده است.

مجموعه داده Pile از مجموعه های متعددی از متون زبان انگلیسی تشکیل شده است که یکی از آنها مجموعه داده ای به نام Books3 است. مجموعه داده Books3 شامل متن کتاب‌هایی است که دزدی دریایی شده و در یک سایت دزدان دریایی به نام bibliotik میزبانی شده‌اند.

این چیزی است که اطلاعیه DataBricks می گوید:

Dolly 2.0 یک مدل زبان پارامتری 12B است که بر اساس خانواده مدل EleutherAI pythia است و منحصراً بر اساس یک دستورالعمل جدید و باکیفیت تولید شده توسط انسان به دنبال مجموعه داده‌ها تنظیم شده است که در بین کارکنان Databricks جمع‌سپاری شده است.

Pythia LLM با مجموعه داده Pile ایجاد شد

مقاله تحقیقاتی Pythia توسط EleutherAI که ذکر می کند Pythia با استفاده از مجموعه داده Pile آموزش داده شده است.

این یک نقل قول از مقاله تحقیقاتی Pythia است:

ما 8 سایز مدل را هر کدام در Pile و Pile بعد از کپی برداری آموزش می دهیم و 2 نسخه از مجموعه را ارائه می دهیم که می توان آنها را با هم مقایسه کرد.

Deduplication به این معنی است که آنها داده های اضافی را حذف کردند، این فرآیندی برای ایجاد یک مجموعه داده تمیزتر است.

پس در Pile چیست؟ یک مقاله تحقیقاتی Pile وجود دارد که توضیح می دهد که چه چیزی در آن مجموعه داده وجود دارد.

در اینجا نقل قولی از مقاله تحقیقاتی برای Pile آمده است که در آن آمده است که آنها از مجموعه داده Books3 استفاده می کنند:

“علاوه بر این، ما چندین مجموعه داده با کیفیت بالا را ترکیب می کنیم: Books3 (پرس، 2020)…”

پیوندهای مقاله تحقیقاتی مجموعه داده Pile به یک توییت توسط Shawn Presser، آنچه در مجموعه داده Books3 وجود دارد می گوید:

فرض کنید می‌خواهید یک مدل GPT در سطح جهانی، درست مانند OpenAI، آموزش دهید. چگونه؟ شما هیچ داده ای ندارید

حالا شما انجام دهید. حالا همه انجام می دهند.

ارائه «کتاب 3»، با نام مستعار «همه کتاب‌شناسی»

– 196640 کتاب
– به صورت txt ساده
– دانلود قابل اعتماد و مستقیم، برای سال ها: https://the-eye.eu/public/AI/pile_preliminary_components/books3.tar.gz”

بنابراین … نقل قول بالا به وضوح بیان می کند که مجموعه داده Pile برای آموزش Pythia LLM استفاده شده است که به نوبه خود به عنوان پایه ای برای Dolly 2.0 AI منبع باز عمل می کند.

آیا Google Bard در زمینه محتوای دزدان دریایی آموزش دیده است؟

واشنگتن پست اخیراً مروری بر مجموعه داده عظیم Clean Crawled Corpus Google (که در اینجا به عنوان مقاله تحقیقاتی C4 – PDF نیز شناخته می‌شود) منتشر کرده است که در آن آنها متوجه شده‌اند که مجموعه داده‌های Google نیز حاوی محتوای غیرقانونی است.

مجموعه داده C4 مهم است زیرا یکی از مجموعه داده هایی است که برای آموزش LaMDA LLM Google استفاده می شود، نسخه ای از آن چیزی است که Bard بر اساس آن ساخته شده است.

مجموعه داده واقعی Infiniset نام دارد و مجموعه داده C4 حدود 12.5٪ از کل متن مورد استفاده برای آموزش LaMDA را تشکیل می دهد. استناد به آن حقایق در مورد بارد را می توان در اینجا یافت.

مقاله خبری واشنگتن پست منتشر شد:

سه سایت بزرگ patents.google.com شماره 1 بودند که حاوی متنی از پتنت های صادر شده در سراسر جهان است. wikipedia.org شماره 2، دایره المعارف آنلاین رایگان. و scribd.com شماره 3، یک کتابخانه دیجیتالی فقط با اشتراک.

همچنین در بالای لیست: b-ok.org شماره 190، بازار بدنام کتاب های الکترونیکی دزدی که از آن زمان توسط وزارت دادگستری ایالات متحده مصادره شده است.

حداقل 27 سایت دیگر که توسط دولت ایالات متحده به عنوان بازارهای دزدی دریایی و تقلبی شناسایی شده بودند در مجموعه داده ها حضور داشتند.

نقص در تحلیل واشنگتن پست این است که آنها به نسخه ای از C4 نگاه می کنند، اما نه لزوماً نسخه ای که LaMDA روی آن آموزش دیده است.

مقاله تحقیقاتی مجموعه داده C4 در ژوئیه 2020 منتشر شد. ظرف یک سال پس از انتشار مقاله تحقیقاتی دیگری منتشر شد که نشان داد مجموعه داده C4 علیه افراد رنگین پوست و جامعه LGBT تعصب دارد.

مقاله پژوهشی با عنوان مستندسازی مجموعه‌های متنی وب بزرگ: مطالعه موردی در مجموعه عظیم خزنده پاک (مقاله پژوهشی PDF در اینجا).

توسط محققان کشف شد که مجموعه داده حاوی احساسات منفی علیه افرادی با هویت عرب بود و اسنادی را که با سیاه‌پوستان، اسپانیایی‌ها و اسنادی که به گرایش جنسی اشاره می‌کردند، حذف کردند.

محققان نوشتند:

بررسی ما از داده‌های حذف‌شده نشان می‌دهد که اسناد مرتبط با نویسندگان سیاه‌پوست و اسپانیایی تبار و اسنادی که تمایلات جنسی را ذکر می‌کنند، به‌طور قابل‌توجهی با فیلتر کردن فهرست بلاک C4.EN کنار گذاشته می‌شوند و بسیاری از اسناد حذف‌شده حاوی محتوای غیر توهین‌آمیز یا غیرجنسی هستند. به عنوان مثال، بحث های قانونی در مورد ازدواج همجنس گرایان، مطالب علمی و پزشکی).

این محرومیت نوعی آسیب تخصیصی است … و نابرابری نژادی موجود (زبان محور) و همچنین انگ زدن به هویت های LGBTQ+ را تشدید می کند.

علاوه بر این، پیامد مستقیم حذف چنین متنی از مجموعه داده‌های مورد استفاده برای آموزش مدل‌های زبانی این است که این مدل‌ها زمانی که بر روی متن افراد دارای هویت اقلیت اعمال می‌شوند ضعیف عمل می‌کنند و به طور موثر آنها را از مزایای فناوری مانند ترجمه ماشینی یا جستجو حذف می‌کند. ”

نتیجه‌گیری شد که فیلتر کردن «کلمات بد» و سایر تلاش‌ها برای «پاک کردن» مجموعه داده‌ها بیش از حد ساده است و رویکردی ظریف‌تر را تضمین می‌کند.

این نتیجه‌گیری‌ها مهم هستند زیرا نشان می‌دهند که به خوبی شناخته شده بود که مجموعه داده C4 ناقص است.

LaMDA در سال 2022 (دو سال پس از مجموعه داده های C4) توسعه یافت و مقاله تحقیقاتی LaMDA مرتبط می گوید که با C4 آموزش داده شده است.

اما این فقط یک مقاله تحقیقاتی است. آنچه در زندگی واقعی روی یک مدل تولید اتفاق می‌افتد، می‌تواند بسیار متفاوت از آنچه در مقاله تحقیقاتی است، باشد.

هنگام بحث در مورد یک مقاله تحقیقاتی، مهم است که به یاد داشته باشید که گوگل به طور مداوم می گوید آنچه در یک پتنت یا مقاله تحقیقاتی است لزوماً آن چیزی نیست که در الگوریتم گوگل استفاده می شود.

گوگل به احتمال زیاد از این نتایج آگاه است و غیرمنطقی نیست که فرض کنیم گوگل نسخه جدیدی از C4 را برای مدل تولیدی توسعه داده است، نه فقط برای رفع نابرابری در مجموعه داده، بلکه برای به روز کردن آن.

گوگل نمی گوید آنچه در الگوریتم آنها وجود دارد، یک جعبه سیاه است. بنابراین نمی‌توانیم با قطعیت بگوییم که فناوری زیربنای Google Bard بر روی محتوای غیرقانونی آموزش داده شده است.

برای روشن‌تر شدن موضوع، Bard در سال 2023 با استفاده از نسخه سبک وزن LaMDA منتشر شد. گوگل تعریف نکرده است که نسخه سبک وزن LaMDA چیست.

بنابراین هیچ راهی برای دانستن اینکه چه محتوایی در مجموعه داده‌های مورد استفاده برای آموزش نسخه سبک وزن LaMDA وجود دارد که به Bard قدرت می‌دهد، وجود ندارد.

فقط می توان حدس زد که از چه محتوایی برای آموزش بارد استفاده شده است.

آیا GPT-4 از محتوای دزدان دریایی استفاده می کند؟

OpenAI در مورد مجموعه داده های مورد استفاده برای آموزش GPT-4 بسیار خصوصی است. آخرین باری که OpenAI از مجموعه داده‌ها نام برد، در مقاله تحقیقاتی PDF برای GPT-3 منتشر شده در سال 2020 است و حتی در آنجا نیز تا حدودی مبهم و مبهم است که در مجموعه داده‌ها وجود دارد.

وب‌سایت TowardsDataScience در سال 2021 مروری جالب از اطلاعات موجود منتشر کرد که در آن به این نتیجه رسیدند که در واقع از برخی محتوای غیرقانونی برای آموزش نسخه‌های اولیه GPT استفاده شده است.

آنها می نویسند:

ما شواهدی پیدا می‌کنیم که نشان می‌دهد BookCorpus مستقیماً محدودیت‌های کپی رایت را برای صدها کتاب که نباید از طریق مجموعه داده رایگان توزیع می‌شدند، نقض کرده است.

به عنوان مثال، بیش از 200 کتاب در BookCorpus به صراحت بیان می‌کنند که «نمی‌توان آن‌ها را برای مقاصد تجاری یا غیرتجاری تکثیر، کپی و توزیع کرد».

نتیجه گیری اینکه آیا GPT-4 از محتوای غیرقانونی استفاده می کند دشوار است.

آیا استفاده از محتوای غیرقانونی مشکلی دارد؟

ممکن است تصور شود که استفاده از محتوای غیرقانونی برای آموزش یک مدل زبان بزرگ و سود بردن از استفاده از آن محتوا، غیراخلاقی است.

اما قوانین واقعاً ممکن است این نوع استفاده را مجاز کنند.

از Kenton J. Hutcherson، وکیل اینترنتی در Hutcherson Law پرسیدم که نظر او در مورد استفاده از محتوای غیرقانونی در زمینه آموزش مدل های زبان بزرگ چیست.

به طور خاص، من پرسیدم اگر کسی از Dolly 2.0 استفاده می کند، که ممکن است تا حدی با کتاب های دزدی ساخته شده باشد، آیا نهادهای تجاری که برنامه های کاربردی با Dolly 2.0 ایجاد می کنند در معرض ادعاهای نقض حق نسخه برداری قرار می گیرند؟

کنتون پاسخ داد:

ادعای نقض حق چاپ از سوی دارندگان حق چاپ کتاب های دزدی به احتمال زیاد به دلیل استفاده منصفانه با شکست مواجه خواهد شد.

استفاده منصفانه از استفاده های متحول کننده آثار دارای حق چاپ محافظت می کند.

در اینجا، کتاب‌های دزدی به عنوان کتابی برای خواندن افراد مورد استفاده قرار نمی‌گیرند، بلکه به عنوان ورودی مجموعه داده‌های آموزشی هوش مصنوعی استفاده می‌شوند.

مثال مشابهی با استفاده از ریز عکسها در صفحات نتایج جستجو وارد بازی شد. تصاویر کوچک برای جایگزینی صفحات وبی که پیش‌نمایششان را می‌کنند، وجود ندارند. آنها عملکرد کاملاً متفاوتی را ارائه می دهند – آنها صفحه را پیش نمایش می کنند.

این استفاده متحول کننده است.»

Karen J. Bernstein از Bernstein IP نظر مشابهی را ارائه کرد.

«آیا استفاده از محتوای غیرقانونی استفاده منصفانه است؟ استفاده منصفانه یک دفاع رایج در این موارد است.

مفهوم دفاع از استفاده منصفانه فقط تحت قانون کپی رایت ایالات متحده وجود دارد.

استفاده منصفانه تحت یک تحلیل چند عاملی که دیوان عالی در یک مورد برجسته در سال 1994 بیان کرد، تحلیل می‌شود.

در این سناریو، این سؤال وجود دارد که چه مقدار از محتوای غیرقانونی از کتاب‌ها برداشته شده است و چه کاری با محتوا انجام شده است (آیا «تحول‌کننده» بوده است)، و اینکه آیا چنین محتوایی بازار را از پدیدآورنده حق چاپ می‌گیرد یا خیر.

فناوری هوش مصنوعی با سرعتی بی سابقه در حال پیشرفت است و ظاهراً هفته به هفته در حال پیشرفت است. شاید در بازتابی از رقابت و درآمدهای بادآورده‌ای که از موفقیت به دست می‌آید، گوگل و OpenAI در مورد نحوه آموزش مدل‌های هوش مصنوعی خود به طور فزاینده‌ای خصوصی می‌شوند.

آیا آنها باید در مورد چنین اطلاعاتی بازتر باشند؟ آیا می توان به آنها اعتماد کرد که مجموعه داده های آنها منصفانه و غیر مغرضانه است؟

استفاده از محتوای غیرقانونی برای ایجاد این مدل‌های هوش مصنوعی ممکن است به‌عنوان استفاده منصفانه از نظر قانونی محافظت شود، اما فقط به این دلیل که فرد می‌تواند به این معنی است که باید این کار را انجام دهد؟

تصویر برجسته توسط Shutterstock/Roman Samborskyi

سئو PBN | خبر های جدید سئو و هک و سرور