یادگیری ساده خود نظارتی اهداف دوره ای – وبلاگ تحقیقاتی گوگل

ارسال شده توسط دانیل مک داف، دانشمند پژوهشی کارکنان، و یوژه یانگ، محقق دانشجوی گوگل

یادگیری از داده های دوره ای (سیگنال هایی که تکرار می شوند، مانند ضربان قلب یا تغییرات دمای روزانه در سطح زمین) برای بسیاری از کاربردهای دنیای واقعی، از نظارت بر سیستم های آب و هوا گرفته تا تشخیص علائم حیاتی، حیاتی است. به عنوان مثال، در حوزه سنجش از دور محیطی، یادگیری دوره‌ای اغلب مورد نیاز است تا بتوان تغییرات محیطی، مانند الگوهای بارش یا دمای سطح زمین را پخش کرد. در حوزه سلامت، یادگیری از اندازه‌گیری ویدئویی نشان داده است که علائم حیاتی (شبه) دوره‌ای مانند فیبریلاسیون دهلیزی و قسمت‌های آپنه خواب را استخراج می‌کند.

رویکردهایی مانند RepNet اهمیت این نوع کارها را برجسته می کند و راه حلی را ارائه می دهد که فعالیت های تکراری را در یک ویدیو تشخیص می دهد. با این حال، اینها رویکردهای نظارت شده ای هستند که برای ثبت فعالیت های تکراری به مقدار قابل توجهی داده نیاز دارند که همگی برای نشان دادن تعداد دفعات تکرار یک عمل برچسب گذاری شده اند. برچسب‌گذاری چنین داده‌هایی اغلب چالش‌برانگیز و نیازمند منابع فشرده است، و محققان را ملزم می‌کند تا اندازه‌گیری‌های زمانی استاندارد طلایی را که با روش مورد علاقه (مثلاً تصاویر ویدئویی یا ماهواره‌ای) همگام‌سازی شده‌اند، به صورت دستی ثبت کنند.

روش دیگر یادگیری خود نظارتی (SSL) (به عنوان مثال، SimCLR و MoCo v2)، که از مقدار زیادی از داده‌های بدون برچسب برای یادگیری نمایش‌هایی که پویایی‌های زمانی دوره‌ای یا شبه دوره‌ای را ثبت می‌کنند، استفاده می‌کنند، در حل وظایف طبقه‌بندی موفقیت نشان داده‌اند. با این حال، آنها تناوب ذاتی (یعنی توانایی تشخیص اینکه آیا یک فریم بخشی از یک فرآیند دوره ای است) در داده ها را نادیده می گیرند و در یادگیری نمایش های قوی که ویژگی های دوره ای یا فرکانس را ثبت می کنند، ناکام می مانند. این به این دلیل است که یادگیری دوره ای ویژگی هایی را نشان می دهد که از تکالیف یادگیری رایج متمایز است.

شباهت ویژگی ها در زمینه نمایش های دوره ای در مقایسه با ویژگی های ایستا (مثلاً تصاویر) متفاوت است. برای مثال، ویدیوهایی که با تأخیرهای زمانی کوتاه جبران می‌شوند یا معکوس می‌شوند، باید مشابه نمونه اصلی باشند، در حالی که ویدیوهایی که با یک عامل افزایش یا کاهش یافته‌اند. ایکس باید با نمونه اصلی با ضریب متفاوت باشد ایکس.

برای پرداختن به این چالش‌ها، در «SimPer: یادگیری خود نظارتی ساده اهداف دوره‌ای» که در یازدهمین کنفرانس بین‌المللی بازنمایی‌های یادگیری (ICLR 2023) منتشر شد، یک چارچوب متضاد خود نظارتی برای یادگیری اطلاعات دوره‌ای در داده‌ها معرفی کردیم. به طور خاص، SimPer از ویژگی های زمانی اهداف دوره ای استفاده می کند یادگیری خود متضاد زمانی، که در آن نمونه‌های مثبت و منفی از طریق افزایش‌های متناوب-غیر متغیر و تناوب-متغیر از یکسان نمونه ورودی ما پیشنهاد می کنیم شباهت ویژگی های دوره ای که به صراحت چگونگی اندازه گیری شباهت را در زمینه یادگیری دوره ای تعریف می کند. علاوه بر این، ما یک افت کنتراست کلی طراحی می کنیم که از دست دادن InfoNCE کلاسیک را به یک نوع رگرسیون نرم گسترش می دهد که تضاد روی برچسب های پیوسته (فرکانس) را امکان پذیر می کند. در مرحله بعد، نشان می‌دهیم که SimPer به طور موثر بازنمایی ویژگی‌های دوره را در مقایسه با روش‌های پیشرفته SSL می‌آموزد، و ویژگی‌های جذاب آن از جمله کارایی بهتر داده، استحکام نسبت به همبستگی‌های جعلی، و تعمیم به تغییرات توزیع را برجسته می‌کند. در نهایت، ما هیجان زده هستیم که مخزن کد SimPer را با جامعه تحقیقاتی منتشر کنیم.

چارچوب SimPer

SimPer یک چارچوب یادگیری خود متضاد زمانی را معرفی می کند. نمونه های مثبت و منفی از طریق افزایش متناوب-غیر متغیر و تناوب-متغیر از یک نمونه ورودی به دست می آیند. برای مثال‌های ویدیویی موقت، تغییرات متناوب دوره‌ای برش، چرخش یا چرخش است، در حالی که تغییرات متغیر تناوب شامل افزایش یا کاهش سرعت یک ویدیو است.

برای تعریف صریح چگونگی اندازه گیری شباهت در زمینه یادگیری دوره ای، SimPer شباهت ویژگی های دوره ای را پیشنهاد می کند. این ساختار به ما اجازه می دهد تا آموزش را به عنوان یک کار یادگیری متضاد فرموله کنیم. یک مدل را می توان با داده ها بدون هیچ برچسبی آموزش داد و سپس در صورت لزوم تنظیم دقیق کرد تا ویژگی های آموخته شده را به مقادیر فرکانس خاص ترسیم کند.

با توجه به یک دنباله ورودی ایکس، می دانیم که یک سیگنال دوره ای مرتبط زیربنایی وجود دارد. سپس تبدیل می کنیم ایکس برای ایجاد یک سری نمونه های تغییر یافته سرعت یا فرکانس، که هدف دوره ای زیربنایی را تغییر می دهد و در نتیجه نماهای منفی متفاوتی ایجاد می کند. اگرچه فرکانس اصلی ناشناخته است، ما به طور موثر برچسب‌های شبه سرعت یا فرکانس را برای ورودی بدون برچسب x طراحی می‌کنیم.

معیارهای تشابه مرسوم مانند شباهت کسینوس بر نزدیکی شدید بین دو بردار ویژگی تأکید می‌کنند و به ویژگی‌های تغییر یافته شاخص (که نشان‌دهنده مهرهای زمانی مختلف)، ویژگی‌های معکوس‌شده و ویژگی‌هایی با فرکانس‌های تغییر یافته حساس هستند. در مقابل، تشابه ویژگی دوره‌ای باید برای نمونه‌هایی با جابجایی‌های زمانی کوچک و یا شاخص‌های معکوس بالا باشد، در حالی که وقتی فرکانس ویژگی تغییر می‌کند، یک تغییر شباهت پیوسته را ثبت می‌کند. این را می توان از طریق یک متریک شباهت در حوزه فرکانس، مانند فاصله بین دو تبدیل فوریه، به دست آورد.

برای مهار تداوم ذاتی نمونه‌های تقویت‌شده در حوزه فرکانس، SimPer یک افت کنتراست تعمیم‌یافته را طراحی می‌کند که از دست دادن InfoNCE کلاسیک را به یک نوع رگرسیون نرم گسترش می‌دهد که تضاد روی برچسب‌های پیوسته (فرکانس) را امکان‌پذیر می‌کند. این آن را برای کارهای رگرسیون مناسب می کند، جایی که هدف بازیابی یک سیگنال پیوسته، مانند ضربان قلب است.

SimPer دیدگاه های منفی از داده ها را از طریق تبدیل در حوزه فرکانس ایجاد می کند. دنباله ورودی ایکس دارای یک سیگنال دوره ای مرتبط زمینه ای است. سیم پر تبدیل می شود ایکس برای ایجاد یک سری نمونه های تغییر یافته سرعت یا فرکانس، که هدف دوره ای زیربنایی را تغییر می دهد و در نتیجه نماهای منفی متفاوتی ایجاد می کند. اگرچه فرکانس اصلی ناشناخته است، اما ما به طور موثر برچسب های شبه سرعت یا فرکانس را برای ورودی بدون برچسب طراحی می کنیم. ایکس (تقویت های متغیر دوره ای تی). SimPer تبدیل‌هایی را انجام می‌دهد که هویت ورودی را تغییر نمی‌دهند و آن‌ها را به‌عنوان افزایش‌های متناوب-تغییر تعریف می‌کند. پ، بنابراین دیدگاه های مثبت متفاوتی از نمونه ایجاد می شود. سپس، این نماهای افزوده شده را به رمزگذار ارسال می کند f، که ویژگی های مربوطه را استخراج می کند.

نتایج

برای ارزیابی عملکرد SimPer، ما آن را با طرح‌های پیشرفته SSL (مانند SimCLR، MoCo v2، BYOL، CVRL) در مجموعه‌ای از شش مجموعه داده‌های یادگیری دوره‌ای متنوع برای وظایف رایج در دنیای واقعی در تجزیه و تحلیل رفتار انسان، محک زدیم. سنجش از دور محیطی و مراقبت های بهداشتی به طور خاص، در زیر نتایجی را در مورد اندازه‌گیری ضربان قلب و شمارش تکرار تمرین از ویدیو ارائه می‌کنیم. نتایج نشان می‌دهد که SimPer از طرح‌های SSL پیشرفته در تمام شش مجموعه داده بهتر عمل می‌کند، و عملکرد برتر آن را از نظر کارایی داده، استحکام نسبت به همبستگی‌های جعلی و تعمیم به اهداف نامرئی برجسته می‌کند.

در اینجا ما نتایج کمی را روی دو مجموعه داده نماینده با استفاده از SimPer که از قبل با استفاده از روش‌های مختلف SSL آموزش داده شده و روی داده‌های برچسب‌گذاری شده دقیق تنظیم شده، نشان می‌دهیم. ابتدا SimPer را با استفاده از Univ از قبل آموزش می دهیم. مجموعه داده Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy (UBFC)، مجموعه داده های فوتوپلتیسموگرافی انسانی و پیش بینی ضربان قلب، و مقایسه عملکرد آن با روش های پیشرفته SSL. مشاهده می کنیم که SimPer از روش های SimCLR، MoCo v2، BYOL و CVRL بهتر عمل می کند. نتایج روی مجموعه داده شمارش کنش انسانی، Countix، مزایای SimPer را نسبت به روش‌های دیگر تأیید می‌کند، زیرا به طور قابل توجهی از خط پایه نظارت شده بهتر عمل می‌کند. برای نتایج ارزیابی ویژگی و عملکرد در سایر مجموعه‌های داده، لطفاً به مقاله مراجعه کنید.

نتایج SimCLR، MoCo v2، BYOL، CVRL و SimPer در Univ. مجموعه داده های Bourgogne Franche-Comté PhotoPlethysmoGraphy از راه دور (UBFC) و Countix. عملکرد ضربان قلب و تعداد تکرار به صورت میانگین خطای مطلق (MAE) گزارش می شود.

نتیجه گیری و کاربردها

ما SimPer، یک چارچوب متضاد خود نظارتی برای یادگیری اطلاعات دوره ای در داده ها را ارائه می دهیم. ما نشان می‌دهیم که با ترکیب چارچوب یادگیری خود متضاد زمانی، تقویت‌های متغیر تناوب و متغیر تناوب، و شباهت ویژگی‌های دوره‌ای پیوسته، SimPer یک رویکرد بصری و انعطاف‌پذیر برای یادگیری بازنمایی‌های ویژگی قوی برای سیگنال‌های دوره‌ای ارائه می‌کند. علاوه بر این، SimPer را می توان در زمینه های مختلف، از سنجش از دور محیطی گرفته تا مراقبت های بهداشتی به کار برد.

سپاسگزاریها

مایلیم از Yuzhe Yang، Xin Liu، Ming-Zher Poh، Jiang Wu، Silviu Borac، و Dina Katabi برای کمک به این کار تشکر کنیم.