امروزه بیش از حد اطلاعات یک چالش مهم برای بسیاری از سازمان ها و افراد است. پیگیری پیامها و اسناد چت دریافتی که هر روز به صندوق ورودی ما میرسند میتواند بسیار دشوار باشد. این با افزایش کار مجازی تشدید شده است و همچنان یک چالش باقی می ماند زیرا بسیاری از تیم ها به یک محیط کاری ترکیبی با ترکیبی از افرادی که هم به صورت مجازی و هم در دفتر کار می کنند، تبدیل می شوند. یکی از راهحلهایی که میتواند اضافه بار اطلاعات را برطرف کند، خلاصهسازی است – به عنوان مثال، برای کمک به کاربران برای بهبود بهرهوری و مدیریت بهتر اطلاعات، اخیراً خلاصههای تولید شده خودکار را در Google Docs معرفی کردهایم.
امروز، ما مشتاق هستیم که خلاصههای مکالمه را در Google Chat برای پیامها در Spaces معرفی کنیم. وقتی این خلاصهها در دسترس باشند، کارتی با خلاصههای تولید شده بهطور خودکار نشان داده میشود که کاربران با پیامهای خوانده نشده وارد Spaces میشوند. این کارت شامل فهرستی از خلاصه ها برای موضوعات مختلف بحث شده در Spaces است. این ویژگی توسط پیشرفتهترین مدل خلاصهسازی انتزاعی ما، Pegasus، فعال شده است، که خلاصههای مفید و مختصری را برای مکالمات گپ ایجاد میکند و در حال حاضر برای مشتریان منتخب تجاری Google Workspace در دسترس است.
خلاصههای مکالمه خلاصهای مفید از مکالمات در Spaces ارائه میکنند و به کاربران اجازه میدهند به سرعت پیامهای خوانده نشده را دریافت کنند و به مرتبطترین رشتهها پیمایش کنند. |
مدل سازی خلاصه سازی مکالمه
هدف از خلاصهسازی متن، ارائه خلاصههای مفید و مختصر برای انواع مختلف متن، مانند اسناد، مقالهها یا مکالمات گفتاری است. یک خلاصه خوب نکات کلیدی را به طور خلاصه پوشش می دهد و روان و از نظر گرامری صحیح است. یکی از روشهای خلاصهسازی، استخراج بخشهای کلیدی از متن و الحاق آنها به یکدیگر در یک خلاصه (یعنی خلاصهسازی استخراجی) است. رویکرد دیگر استفاده از تکنیک های تولید زبان طبیعی (NLG) برای خلاصه کردن با استفاده از کلمات و عبارات بدیع است که لزوماً در متن اصلی وجود ندارند. این به عنوان خلاصه انتزاعی نامیده می شود و نزدیکتر به نحوه خلاصه کردن متن توسط شخص در نظر گرفته می شود. با این حال، یک چالش اصلی با خلاصهسازی انتزاعی این است که گاهی اوقات برای تولید خلاصههای دقیق و گرامری درست، بهویژه در برنامههای کاربردی دنیای واقعی تلاش میکند.
مجموعه داده مجموع انجمن
اکثر مجموعه دادههای خلاصه انتزاعی و تحقیقات بر روی اسناد متنی تک گوینده، مانند اخبار و مقالات علمی تمرکز دارند، که عمدتاً به دلیل فراوانی خلاصههای نوشته شده توسط انسان برای چنین اسنادی است. از سوی دیگر، مجموعه دادههای خلاصههای نوشته شده توسط انسان برای انواع دیگر متن، مانند چت یا مکالمات چند گوینده، بسیار محدود است.
برای رفع این مشکل، ForumSum را ایجاد کردیم، مجموعهای از مجموعه دادههای خلاصه و با کیفیت بالا با خلاصههای نوشته شده توسط انسان. مکالمات موجود در مجموعه داده از طیف گستردهای از انجمنهای عمومی اینترنتی جمعآوری شدهاند، و برای اطمینان از کیفیت بالا و محتوای ایمن، پاکسازی و فیلتر میشوند (جزئیات بیشتر در مقاله).
نمونه ای از مجموعه داده ForumSum. |
هر گفته در مکالمه در یک خط جدید شروع می شود، حاوی نام نویسنده و متن پیام است که با دو نقطه از هم جدا شده است. سپس به حاشیه نویسان انسانی دستورالعمل های دقیق داده می شود تا خلاصه 1-3 جمله ای از مکالمه را بنویسند. این دستورالعملها چندین بار تکرار شدند تا اطمینان حاصل شود که حاشیهنویسها خلاصههایی را با کیفیت بالا مینوشتند. ما خلاصههایی را برای بیش از شش هزار مکالمه با میانگین بیش از 6 سخنران و 10 بیان در هر مکالمه جمعآوری کردهایم. ForumSum دادههای آموزشی با کیفیتی را برای مشکل خلاصهسازی مکالمه ارائه میکند: دارای موضوعات متنوع، تعداد سخنرانان و تعداد سخنانی است که معمولاً در یک برنامه چت با آن مواجه میشویم.
طراحی مدل خلاصه سازی مکالمه
همانطور که قبلاً نوشتیم، ترانسفورماتور یک معماری مدل محبوب برای کارهای ترتیب به دنباله است، مانند خلاصه سازی انتزاعی، که در آن ورودی ها کلمات سند و خروجی ها کلمات خلاصه هستند. پگاسوس ترانسفورماتورهای ترکیبی را با پیشآموزش خود نظارتی که برای خلاصهسازی انتزاعی سفارشی شدهاند، ترکیب کرد و آن را به یک مدل عالی برای خلاصهسازی مکالمه تبدیل کرد. ابتدا Pegasus را روی مجموعه داده ForumSum تنظیم می کنیم که ورودی کلمات گفتگو و خروجی کلمات خلاصه است. دوم، ما از تقطیر دانش برای تقطیر مدل پگاسوس به یک معماری ترکیبی از یک رمزگذار ترانسفورماتور و یک رمزگشای شبکه عصبی بازگشتی (RNN) استفاده میکنیم. مدل به دست آمده دارای تأخیر و ردپای حافظه کمتری است در حالی که کیفیت مشابه مدل پگاسوس را حفظ می کند.
کیفیت و تجربه کاربری
یک خلاصه خوب در عین حال که روان و از نظر گرامری صحیح است، ماهیت مکالمه را نشان می دهد. بر اساس ارزیابی انسانی و بازخورد کاربر، ما آموختیم که مدل خلاصه سازی در بیشتر مواقع خلاصه های مفید و دقیقی تولید می کند. اما گاهی اوقات این مدل خلاصه هایی با کیفیت پایین تولید می کند. پس از بررسی مشکلات گزارش شده توسط کاربران، متوجه شدیم که دو نوع اصلی خلاصه با کیفیت پایین وجود دارد. اولین مورد، انتساب نادرست است، زمانی که مدل اشتباه می کند که کدام شخص یا نهاد یک عمل خاص را گفته یا انجام داده است. مورد دوم، ارائه نادرست است، زمانی که خلاصه تولید شده مدل، مکالمه چت را نادرست یا در تضاد است.
برای رسیدگی به خلاصههای با کیفیت پایین و بهبود تجربه کاربر، ما در چندین زمینه پیشرفت کردهایم:
- بهبود مجموع انجمن: در حالی که ForumSum نمایش خوبی از مکالمات چت ارائه می دهد، ما متوجه الگوها و سبک های زبان خاصی در مکالمات چت گوگل شدیم که با ForumSum متفاوت است، به عنوان مثال، نحوه ذکر کاربران دیگر و استفاده از اختصارات و نمادهای خاص. پس از بررسی نمونههای گزارششده توسط کاربران، به این نتیجه رسیدیم که این الگوهای زبانی خارج از توزیع به خلاصههایی با کیفیت پایین کمک میکنند. برای رفع این مشکل، ابتدا قالببندی و پاکسازی دادهها را انجام دادیم تا در صورت امکان، عدم تطابق بین گفتگوهای چت و ForumSum را کاهش دهیم. دوم، ما داده های آموزشی بیشتری را به ForumSum اضافه کردیم تا این عدم تطابق سبک را بهتر نشان دهیم. در مجموع، این تغییرات منجر به کاهش کیفیت پایین خلاصه ها شد.
- تحریک کنترل شده: برای اطمینان از اینکه خلاصهها بیشترین ارزش را برای کاربران ما به ارمغان میآورند، ابتدا باید مطمئن شویم که مکالمه چت ارزش خلاصهسازی را دارد. به عنوان مثال، متوجه شدیم که وقتی کاربر به طور فعال درگیر مکالمه است و پیام های خوانده نشده زیادی ندارد، یا زمانی که مکالمه خیلی کوتاه است، تولید خلاصه ارزش کمتری دارد.
- تشخیص خلاصه های با کیفیت پایین: در حالی که دو روش بالا خلاصههای با کیفیت پایین و کم ارزش را محدود میکردند، ما هنوز روشهایی را برای شناسایی و پرهیز از نمایش چنین خلاصههایی به کاربر در هنگام تولید ایجاد کردیم. اینها مجموعهای از اکتشافات و مدلها برای اندازهگیری کیفیت کلی خلاصهها و اینکه آیا آنها از مسائل مربوط به نسبت نادرست یا ارائه نادرست رنج میبرند، هستند.
در نهایت، در حالی که مدل ترکیبی پیشرفتهای قابل توجهی در عملکرد ارائه میکرد، تأخیر در تولید خلاصهها هنوز برای کاربران قابل توجه بود که Spaces را با پیامهای خوانده نشده باز کردند. برای رسیدگی به این مشکل، هر زمان که پیام جدیدی ارسال، ویرایش یا حذف شد، خلاصههایی را تولید و بهروزرسانی میکنیم. سپس خلاصهها بهصورت موقتی ذخیره میشوند تا اطمینان حاصل شود که وقتی کاربران Spaces را با پیامهای خوانده نشده باز میکنند، به راحتی ظاهر میشوند.
نتیجه گیری و کار آینده
ما برای کمک به کاربران Workspace خود برای بهبود بهرهوری خود در Spaces هیجانزده هستیم که از مدرنترین مدلهای خلاصهسازی انتزاعی استفاده کنیم. اگرچه این پیشرفت بزرگی است، ما معتقدیم فرصتهای زیادی برای بهبود بیشتر تجربه و کیفیت کلی خلاصهها وجود دارد. جهتهای آیندهای که ما در حال بررسی آن هستیم شامل مدلسازی و خلاصهسازی بهتر مکالمات درهم تنیده که شامل موضوعات متعدد است، و توسعه معیارهایی است که سازگاری واقعی بین مکالمات چت و خلاصهها را بهتر اندازهگیری میکند.
سپاسگزاریها
نویسندگان مایلند از بسیاری از افرادی که در سراسر Google به این کار کمک کردند تشکر کنند: احمد چاودوری، الخاندرو الیزوندو، آنمول توکرل، بنجامین لی، چائو وانگ، کریس کارول، دان کیم، جکی تسای، جنیفر چو، جسی اسلیتر، جان سیپل، کیت مونتگومری، ماالیکا منوهاران، مهدیس مهدیه، میا چن، میشا خلمان، پیتر لیو، رابرت دیرزینگ، سارا رید، وینی یونگ، یائو ژائو و یونگهوی وو.