تصویربرداری پزشکی قوی و کارآمد با نظارت شخصی – وبلاگ هوش مصنوعی گوگل

علیرغم پیشرفت‌های اخیر در زمینه هوش مصنوعی پزشکی (AI)، اکثر مدل‌های موجود، سیستم‌های باریک و تک وظیفه‌ای هستند که برای آموزش به مقادیر زیادی داده برچسب‌دار نیاز دارند. علاوه بر این، این مدل‌ها را نمی‌توان به راحتی در زمینه‌های بالینی جدید مورد استفاده مجدد قرار داد، زیرا اغلب به جمع‌آوری، شناسایی و حاشیه‌نویسی داده‌های خاص سایت برای هر محیط استقرار جدید نیاز دارند، که هم پر زحمت و هم گران است. این مشکل از تعمیم کارآمد داده (توانایی یک مدل برای تعمیم به تنظیمات جدید با استفاده از حداقل داده های جدید) همچنان یک چالش کلیدی ترجمه برای مدل های یادگیری ماشین پزشکی (ML) است و به نوبه خود از جذب گسترده آنها در تنظیمات مراقبت های بهداشتی در دنیای واقعی جلوگیری کرده است.

ظهور مدل های بنیادی فرصت قابل توجهی برای بازنگری در توسعه هوش مصنوعی پزشکی به منظور عملکرد بیشتر، ایمن تر و عادلانه تر ارائه می دهد. این مدل‌ها با استفاده از داده‌ها در مقیاس، اغلب با یادگیری خود نظارت، آموزش داده می‌شوند. این فرآیند منجر به مدل‌های عمومی می‌شود که می‌توانند به سرعت با وظایف و محیط‌های جدید با نیاز کمتر به داده‌های نظارت شده سازگار شوند. با مدل های پایه، ممکن است بتوان به طور ایمن و کارآمد مدل ها را در زمینه ها و محیط های بالینی مختلف مستقر کرد.

در “تصویربرداری پزشکی قوی و کارآمد با نظارت بر خود” (REMEDIS)، که در مهندسی زیست پزشکی طبیعت، ما یک چارچوب یادگیری خود نظارتی در مقیاس بزرگ را برای ساخت مدل های تصویربرداری پزشکی پایه معرفی می کنیم. این استراتژی یادگیری انتقال نظارت شده در مقیاس بزرگ را با یادگیری خود نظارتی ترکیب می کند و به حداقل سفارشی سازی ویژه کار نیاز دارد. REMEDIS با کاهش 3 تا 100 برابری داده‌های خاص سایت برای تطبیق مدل‌ها با زمینه‌ها و محیط‌های بالینی جدید، بهبود قابل‌توجهی را در تعمیم کارآمد داده‌ها در میان وظایف و روش‌های تصویربرداری پزشکی نشان می‌دهد. با تکیه بر این، ما بسیار هیجان‌زده هستیم که بنیادهای تحقیقاتی هوش مصنوعی پزشکی (به میزبانی PhysioNet)، گسترش انتشار عمومی پایه‌های اشعه ایکس قفسه سینه در سال ۲۰۲۲ را معرفی کنیم. بنیادهای تحقیقاتی هوش مصنوعی پزشکی مجموعه‌ای از مدل‌های غیر تشخیصی منبع باز است ( از مدل‌های REMEDIS)، APIها و منابعی برای کمک به محققان و توسعه‌دهندگان در تسریع تحقیقات هوش مصنوعی پزشکی شروع می‌شود.

خود نظارتی در مقیاس بزرگ برای تصویربرداری پزشکی

REMEDIS از ترکیبی از تصاویر طبیعی (غیر پزشکی) و تصاویر پزشکی بدون برچسب برای ایجاد مدل‌های پایه تصویربرداری پزشکی قوی استفاده می‌کند. استراتژی پیش از آموزش آن شامل دو مرحله است. اولین مورد شامل یادگیری بازنمایی نظارت شده بر روی مجموعه داده در مقیاس بزرگ از تصاویر طبیعی برچسب‌گذاری شده (از Imagenet 21k یا JFT) با استفاده از روش انتقال بزرگ (BiT) است.

مرحله دوم شامل یادگیری خود نظارتی میانی است که به هیچ برچسبی نیاز ندارد و در عوض، مدلی را آموزش می‌دهد تا بازنمایی داده‌های پزشکی را مستقل از برچسب‌ها یاد بگیرد. رویکرد خاصی که برای بازنمایی های پیش از آموزش و یادگیری استفاده می شود SimCLR است. این روش با به حداکثر رساندن توافق بین نماهای تقویت شده متفاوت از یک مثال آموزشی از طریق از دست دادن کنتراست در یک لایه پنهان از یک شبکه عصبی پیش‌خور با خروجی‌های پرسپترون چند لایه (MLP) کار می‌کند. با این حال، REMEDIS به همان اندازه با سایر روش های یادگیری خود نظارتی متضاد سازگار است. این روش آموزشی برای محیط‌های مراقبت‌های بهداشتی قابل استفاده است زیرا بسیاری از بیمارستان‌ها داده‌های خام (تصاویر) را به عنوان یک عمل معمول به دست می‌آورند. در حالی که فرآیندهایی باید برای قابل استفاده کردن این داده ها در مدل ها اجرا شوند (یعنی رضایت بیمار قبل از جمع آوری داده ها، حذف هویت و غیره)، می توان از کار پرهزینه، زمان بر و دشوار برچسب گذاری آن داده ها اجتناب کرد. با استفاده از REMEDIS

REMEDIS از یادگیری نظارت شده در مقیاس بزرگ با استفاده از تصاویر طبیعی و یادگیری خود نظارتی با استفاده از داده های پزشکی بدون برچسب برای ایجاد مدل های پایه قوی برای تصویربرداری پزشکی استفاده می کند.

با توجه به محدودیت‌های پارامتر مدل ML، مهم است که رویکرد پیشنهادی ما هنگام استفاده از اندازه‌های معماری مدل کوچک و بزرگ کار کند. برای مطالعه دقیق این موضوع، ما دو معماری ResNet با ضریب عمق و عرض متداول، ResNet-50 (1×) و ResNet-152 (2×) را به‌عنوان شبکه‌های رمزگذار ستون فقرات در نظر گرفتیم.

پس از پیش‌آموزش، مدل با استفاده از داده‌های پزشکی ویژه کار برچسب‌گذاری شده تنظیم شد و برای عملکرد وظیفه در توزیع ارزیابی شد. علاوه بر این، برای ارزیابی تعمیم کارآمد داده، مدل نیز به صورت اختیاری با استفاده از مقادیر کمی از داده‌های خارج از توزیع (OOD) تنظیم دقیق شد.

REMEDIS با نمایش‌هایی که با استفاده از پیش‌آموزش تصویر طبیعی در مقیاس بزرگ به دنبال روش انتقال بزرگ (BiT) مقداردهی اولیه شده‌اند، شروع می‌شود. سپس مدل را با استفاده از یادگیری خود نظارتی متضاد میانی بدون استفاده از داده‌های پزشکی برچسب‌گذاری شده، با حوزه پزشکی تطبیق می‌دهیم. در نهایت، ما مدل را برای وظایف خاص تصویربرداری پزشکی پایین دست تنظیم می کنیم. ما مدل ML را هم در یک تنظیم درون توزیعی (ID) و هم در یک تنظیم خارج از توزیع (OOD) ارزیابی می‌کنیم تا عملکرد تعمیم داده کارآمد مدل را ایجاد کنیم.

ارزیابی و نتایج

برای ارزیابی عملکرد مدل REMEDIS، سناریوهای واقعی را با استفاده از داده‌های شناسایی‌شده گذشته‌نگر در طیف وسیعی از وظایف و روش‌های تصویربرداری پزشکی، از جمله پوست، تصویربرداری شبکیه، تفسیر اشعه ایکس قفسه سینه، آسیب‌شناسی و ماموگرافی شبیه‌سازی می‌کنیم. ما بیشتر مفهوم تعمیم کارآمد داده را معرفی می‌کنیم، و توانایی مدل را برای تعمیم به توزیع‌های استقرار جدید با کاهش قابل‌توجه نیاز به داده‌های مشروح خبره از محیط بالینی جدید به تصویر می‌کشیم. عملکرد در توزیع به عنوان (1) بهبود در تعمیم صفر به تنظیمات OOD (ارزیابی عملکرد در مجموعه ارزیابی OOD، با دسترسی صفر به داده های آموزشی از مجموعه داده OOD) و (2) کاهش قابل توجه در نیاز به حاشیه نویسی اندازه گیری می شود. داده ها از تنظیمات OOD برای رسیدن به عملکردی معادل کارشناسان بالینی (یا آستانه نشان دهنده سودمندی بالینی). REMEDIS عملکرد قابل توجهی در توزیع را با بهبود نسبی تا 11.5 درصد در دقت تشخیصی نسبت به یک خط پایه تحت نظارت قوی نشان می دهد.

مهمتر از آن، استراتژی ما منجر به تعمیم داده‌های کارآمد مدل‌های تصویربرداری پزشکی می‌شود، که با خطوط پایه نظارت شده قوی مطابقت دارد که منجر به کاهش 3 تا 100 برابری نیاز به بازآموزی داده‌ها می‌شود. در حالی که SimCLR رویکرد یادگیری خود نظارت اولیه مورد استفاده در این مطالعه است، ما همچنین نشان می‌دهیم که REMEDIS با رویکردهای دیگر، مانند MoCo-V2، RELIC و Barlow Twins سازگار است. علاوه بر این، این رویکرد در اندازه‌های معماری مدل کار می‌کند.

REMEDIS از خط پایه نظارت شده از قبل آموزش دیده در JFT-300M برای کارهای مختلف پزشکی بهتر عمل کرد و تعمیم کارآمد داده را نشان داد و نیازهای داده را 3 تا 100 برابر برای تطبیق مدل ها با تنظیمات بالینی جدید کاهش داد. این به طور بالقوه می تواند به کاهش قابل توجه در ساعات صرفه جویی شده توسط پزشک و هزینه توسعه سیستم های تصویربرداری پزشکی قوی منجر شود.

REMEDIS با MoCo-V2، RELIC و Barlow Twins به عنوان راهبردهای یادگیری خود نظارت جایگزین سازگار است. همه انواع REMEDIS منجر به بهبود تعمیم کارآمد داده‌ها نسبت به خط پایه تحت نظارت قوی برای طبقه‌بندی شرایط پوست می‌شوند.T1طبقه بندی ادم ماکولا دیابتی (T2، و طبقه بندی وضعیت اشعه ایکس قفسه سینه (T3). ناحیه سایه‌دار خاکستری نشان‌دهنده عملکرد خط پایه تحت نظارت قوی است که از قبل در JFT آموزش دیده است.

بنیادهای تحقیقاتی هوش مصنوعی پزشکی

با تکیه بر REMEDIS، ما هیجان‌زده هستیم که بنیادهای تحقیقاتی هوش مصنوعی پزشکی را معرفی کنیم، نسخه‌ای از انتشار عمومی پایه‌های اشعه ایکس قفسه سینه در سال 2022. بنیادهای تحقیقاتی هوش مصنوعی پزشکی مخزنی از مدل‌های پایه پزشکی منبع باز است که توسط PhysioNet میزبانی می‌شود. این رویکرد قبلی مبتنی بر API را گسترش می‌دهد تا مدل‌های غیر تشخیصی را نیز در بر بگیرد تا به محققان و توسعه‌دهندگان کمک کند تا تحقیقات هوش مصنوعی پزشکی خود را تسریع کنند. ما بر این باوریم که REMEDIS و انتشار بنیادهای تحقیقاتی هوش مصنوعی پزشکی گامی به سوی ساختن مدل‌های پزشکی است که می‌تواند در تنظیمات و وظایف مراقبت‌های بهداشتی تعمیم یابد.

ما در حال کاشت بنیادهای تحقیقاتی پزشکی هوش مصنوعی با مدل های REMEDIS برای اشعه ایکس قفسه سینه و آسیب شناسی (با کد مرتبط) هستیم. در حالی که رویکرد بنیاد اشعه ایکس قفسه سینه بر ارائه جاسازی‌های منجمد برای تنظیم دقیق برنامه خاص از یک مدل آموزش‌دیده بر روی چندین مجموعه داده خصوصی بزرگ تمرکز دارد، مدل‌های REMEDIS (آموزش داده شده بر روی مجموعه داده‌های عمومی) کاربران را قادر می‌سازد تا از انتها به انتها تنظیم دقیق کنند. برای کاربرد آنها و برای اجرا در دستگاه های محلی. ما به کاربران توصیه می کنیم رویکردهای مختلف را بر اساس نیازهای منحصر به فرد خود برای برنامه مورد نظر خود آزمایش کنند. ما انتظار داریم در آینده مدل ها و منابع بیشتری برای آموزش مدل های پایه پزشکی مانند مجموعه داده ها و معیارها اضافه کنیم. ما همچنین از جامعه تحقیقاتی هوش مصنوعی پزشکی برای کمک به این امر استقبال می کنیم.

نتیجه

این نتایج نشان می‌دهد که REMEDIS این پتانسیل را دارد که توسعه سیستم‌های ML برای تصویربرداری پزشکی را به طور قابل‌توجهی سرعت بخشد، که می‌تواند عملکرد قوی آن‌ها را زمانی که در زمینه‌های مختلف در حال تغییر مستقر می‌شود حفظ کند. ما معتقدیم که این یک گام مهم رو به جلو برای تصویربرداری پزشکی هوش مصنوعی است تا تاثیری گسترده داشته باشد. فراتر از نتایج تجربی ارائه شده، رویکرد و بینش شرح داده شده در اینجا در چندین پروژه تحقیقاتی تصویربرداری پزشکی Google، مانند پوست، ماموگرافی و رادیولوژی و غیره ادغام شده است. ما با تلاش‌های مدل پایه غیرتصویربرداری خود، مانند Med-PaLM و Med-PaLM 2، از یک رویکرد یادگیری خود نظارت مشابه استفاده می‌کنیم.

با REMEDIS، ما پتانسیل مدل‌های پایه را برای کاربردهای تصویربرداری پزشکی نشان دادیم. چنین مدل هایی با فرصت یادگیری بازنمایی چندوجهی، امکانات هیجان انگیزی در کاربردهای پزشکی دارند. عمل پزشکی ذاتاً چندوجهی است و اطلاعاتی را از تصاویر، سوابق الکترونیکی سلامت، حسگرها، ابزارهای پوشیدنی، ژنومیک و موارد دیگر در بر می گیرد. ما معتقدیم سیستم‌های ML که از این داده‌ها در مقیاس با استفاده از یادگیری خود نظارتی با در نظر گرفتن دقیق حریم خصوصی، ایمنی، انصاف و اخلاق استفاده می‌کنند، به ایجاد زمینه‌ای برای نسل بعدی سیستم‌های بهداشتی یادگیری که مراقبت‌های بهداشتی در سطح جهانی را برای همه ارائه می‌کنند، کمک خواهد کرد.

سپاسگزاریها

این کار شامل تلاش‌های مشترک گسترده از یک تیم چند رشته‌ای متشکل از محققان، مهندسان نرم‌افزار، پزشکان و مشارکت‌کنندگان متقابل در سراسر هوش مصنوعی Google Health و Google Brain بود. به ویژه، مایلیم از اولین همکار خود، یان فریبرگ و نویسندگان ارشد اصلی این پروژه ها، ویوک ناتاراجان، آلن کارتیکسالینگام، محمد نوروزی و نیل هولزبی برای کمک ها و حمایت های ارزشمندشان تشکر کنیم. ما همچنین از لورن وینر، سامی لاچگار، یون لیو و کاران سینگال برای بازخوردشان در مورد این پست و تام اسمال برای حمایت در ایجاد تصاویر بصری تشکر می کنیم. در نهایت، ما همچنین از تیم PhysioNet برای حمایت آنها در میزبانی از بنیادهای تحقیقاتی هوش مصنوعی پزشکی تشکر می کنیم. کاربرانی که سوالاتی دارند می توانند با بنیادهای پزشکی-ai-research-foundations در google.com ارتباط برقرار کنند.