ابزارهای جاسازی مخصوص سلامت برای پوست و پاتولوژی

در سراسر جهان کمبود دسترسی به تفسیر متخصص تصویربرداری پزشکی در رشته‌های تخصصی از جمله رادیولوژی، پوست و پاتولوژی وجود دارد. فناوری یادگیری ماشینی (ML) می‌تواند با تقویت ابزارهایی که پزشکان را قادر می‌سازد این تصاویر را دقیق‌تر و کارآمدتر تفسیر کنند، به کاهش این بار کمک کند. با این حال، توسعه و اجرای چنین ابزارهای ML اغلب به دلیل در دسترس بودن داده های با کیفیت بالا، تخصص ML و منابع محاسباتی محدود می شود.

یکی از راه‌های تسریع استفاده از ML برای تصویربرداری پزشکی، از طریق مدل‌های دامنه خاص است که از یادگیری عمیق (DL) برای گرفتن اطلاعات در تصاویر پزشکی به‌عنوان بردارهای عددی فشرده (به نام embeddings) استفاده می‌کنند. این تعبیه‌ها نوعی درک از پیش آموخته‌شده از ویژگی‌های مهم یک تصویر را نشان می‌دهند. شناسایی الگوها در تعبیه‌ها میزان داده، تخصص و محاسبات مورد نیاز برای آموزش مدل‌های عملکردی را در مقایسه با کار مستقیم با داده‌های با ابعاد بالا، مانند تصاویر، کاهش می‌دهد. در واقع، این جاسازی‌ها می‌توانند برای انجام انواع وظایف پایین‌دستی در حوزه تخصصی مورد استفاده قرار گیرند (گرافیک متحرک زیر را ببینید). این چارچوب استفاده از درک از پیش آموخته شده برای حل وظایف مرتبط شبیه به یک نوازنده باتجربه گیتار است که به سرعت یک آهنگ جدید را با گوش فرا می گیرد. از آنجایی که نوازنده گیتار از قبل پایه ای از مهارت و درک درست کرده است، آنها می توانند به سرعت الگوها و شیار یک آهنگ جدید را انتخاب کنند.

Path Foundation برای تبدیل یک مجموعه داده کوچک از جفت (تصویر، برچسب) به جفت (جاسازی، برچسب) استفاده می شود. سپس می‌توان از این جفت‌ها برای آموزش یک طبقه‌بندی‌کننده مخصوص کار با استفاده از یک کاوشگر خطی (یعنی یک طبقه‌بندی‌کننده خطی سبک) همانطور که در این گرافیک نشان داده شده است، یا انواع دیگر مدل‌ها با استفاده از جاسازی‌ها به عنوان ورودی استفاده کرد.

هنگامی که کاوشگر خطی آموزش داده شد، می توان از آن برای پیش بینی جاسازی ها از تصاویر جدید استفاده کرد. این پیش‌بینی‌ها را می‌توان با اطلاعات صحت زمینی به منظور ارزیابی عملکرد کاوشگر خطی مقایسه کرد.

به منظور در دسترس قرار دادن این نوع مدل جاسازی و توسعه بیشتر ابزارهای ML در تصویربرداری پزشکی، ما مشتاق هستیم که دو ابزار خاص دامنه را برای استفاده تحقیقاتی منتشر کنیم: Derm Foundation و Path Foundation. این به دنبال پاسخ قوی‌ای است که قبلاً از محققان با استفاده از ابزار جاسازی بنیاد CXR برای رادیوگرافی قفسه سینه دریافت کرده‌ایم و نشان‌دهنده بخشی از پیشنهادات تحقیقاتی در حال گسترش ما در چندین روش تخصصی پزشکی است. این ابزارهای تعبیه‌سازی تصویری را به عنوان ورودی می‌گیرند و یک بردار عددی (امبدینگ) تولید می‌کنند که به ترتیب در حوزه‌های پوست و تصاویر آسیب‌شناسی دیجیتال تخصصی است. با اجرای مجموعه داده ای از تصاویر اشعه ایکس، پوست یا آسیب شناسی قفسه سینه از طریق ابزار جاسازی مربوطه، محققان می توانند جاسازی هایی را برای تصاویر خود به دست آورند و از این جاسازی ها برای توسعه سریع مدل های جدید برای کاربردهای خود استفاده کنند.

بنیاد راه

در «بهینه‌سازی دامنه خاص و ارزیابی متنوع مدل‌های خود نظارت شده برای هیستوپاتولوژی»، نشان دادیم که مدل‌های یادگیری خود نظارتی (SSL) برای تصاویر آسیب‌شناسی از رویکردهای سنتی پیش‌آموزشی بهتر عمل می‌کنند و آموزش کارآمد طبقه‌بندی‌کننده‌ها را برای کارهای پایین‌دستی امکان‌پذیر می‌سازند. این تلاش بر روی اسلایدهای رنگ‌آمیزی شده با هماتوکسیلین و ائوزین (H&E) متمرکز شد، لکه اصلی بافت در آسیب‌شناسی تشخیصی که آسیب‌شناسان را قادر می‌سازد تا ویژگی‌های سلولی را زیر میکروسکوپ تجسم کنند. عملکرد طبقه‌بندی‌کننده‌های خطی آموزش‌دیده‌شده با استفاده از خروجی مدل‌های SSL با مدل‌های DL قبلی که براساس داده‌های برچسب‌گذاری‌شده‌تر آموزش داده شده‌اند مطابقت دارد.

با توجه به تفاوت های اساسی بین تصاویر آسیب شناسی دیجیتال و عکس های “تصویر طبیعی”، این کار شامل چندین بهینه سازی خاص آسیب شناسی در طول آموزش مدل می شود. یکی از عناصر کلیدی این است که تصاویر کل اسلاید (WSI) در آسیب شناسی می توانند 100000 پیکسل (هزاران برابر بزرگتر از عکس های معمولی گوشی های هوشمند) باشند و توسط متخصصان با بزرگنمایی های متعدد (سطوح زوم) تجزیه و تحلیل شوند. به این ترتیب، WSI ها معمولاً به کاشی ها یا وصله های کوچکتر برای برنامه های بینایی کامپیوتر و DL تقسیم می شوند. تصاویر به دست آمده اطلاعات متراکم با سلول ها یا ساختارهای بافتی هستند که به جای داشتن اشیاء معنایی متمایز یا پیش زمینه در مقابل تغییرات پس زمینه، در سراسر کادر توزیع شده اند، بنابراین چالش های منحصر به فردی برای SSL قوی و استخراج ویژگی ایجاد می کنند. علاوه بر این، فرآیندهای فیزیکی (به عنوان مثال، برش) و شیمیایی (به عنوان مثال، تثبیت و رنگ‌آمیزی) مورد استفاده برای آماده‌سازی نمونه‌ها می‌توانند به طور چشمگیری بر ظاهر تصویر تأثیر بگذارند.

با در نظر گرفتن این جنبه های مهم، بهینه سازی های SSL خاص آسیب شناسی شامل کمک به مدل برای یادگیری ویژگی های تشخیص لکه، تعمیم مدل به وصله ها از بزرگنمایی های متعدد، تقویت داده ها برای تقلید از اسکن و پردازش پس از تصویر، و متعادل سازی داده های سفارشی برای بهبود ناهمگونی ورودی است. برای آموزش SSL این رویکردها به طور گسترده با استفاده از مجموعه وسیعی از وظایف معیار شامل 17 نوع بافت مختلف در 12 وظیفه مختلف مورد ارزیابی قرار گرفتند.

با استفاده از معماری ترانسفورماتور بینایی (ViT-S/16)، Path Foundation به عنوان بهترین مدل از فرآیند بهینه‌سازی و ارزیابی که در بالا توضیح داده شد (و در شکل زیر نشان داده شده است) انتخاب شد. بنابراین، این مدل تعادل مهمی بین عملکرد و اندازه مدل فراهم می‌کند تا امکان استفاده ارزشمند و مقیاس‌پذیر را در ایجاد جاسازی‌ها در بسیاری از تکه‌های تصویر منفرد WSI‌های آسیب‌شناسی بزرگ فراهم کند.

آموزش SSL با بهینه سازی های خاص آسیب شناسی برای Path Foundation.

مقدار بازنمایی های تصویر خاص دامنه را نیز می توان در شکل زیر مشاهده کرد، که بهبود عملکرد کاوش خطی Path Foundation (که توسط AUROC اندازه گیری شده است) را در مقایسه با پیش آموزش سنتی روی تصاویر طبیعی (ImageNet-21k) نشان می دهد. این شامل ارزیابی وظایفی مانند تشخیص سرطان سینه متاستاتیک در غدد لنفاوی، درجه بندی سرطان پروستات و درجه بندی سرطان سینه و غیره است.

تعبیه‌های Path Foundation به طور قابل‌توجهی بهتر از تعبیه‌های ImageNet سنتی که با کاوش خطی در چندین کار ارزیابی در هیستوپاتولوژی ارزیابی می‌شوند، عمل می‌کنند.

بنیاد درم

Derm Foundation یک ابزار جاسازی است که از تحقیقات ما در استفاده از DL برای تفسیر تصاویر شرایط پوستی مشتق شده است و شامل کار اخیر ما است که برای تعمیم بهتر مجموعه داده های جدید پیشرفت هایی را اضافه می کند. به دلیل پیش‌آموزش مخصوص پوست، درک پنهانی از ویژگی‌های موجود در تصاویر بیماری‌های پوستی دارد و می‌توان از آن برای توسعه سریع مدل‌هایی برای طبقه‌بندی شرایط پوستی استفاده کرد. مدل زیربنایی API یک BiT ResNet-101×3 است که در دو مرحله آموزش داده شده است. اولین مرحله پیش‌آموزشی از یادگیری متضاد، مشابه ConVIRT، برای آموزش روی تعداد زیادی جفت تصویر-متن از اینترنت استفاده می‌کند. در مرحله دوم، مولفه تصویر این مدل از پیش آموزش‌دیده، سپس برای طبقه‌بندی شرایط با استفاده از مجموعه داده‌های بالینی، مانند مواردی که از خدمات پوست از راه دور انجام می‌شود، تنظیم می‌شود.

برخلاف تصاویر هیستوپاتولوژی، تصاویر پوستی بیشتر شبیه تصاویر دنیای واقعی هستند که برای آموزش بسیاری از مدل های بینایی کامپیوتری امروزی استفاده می شوند. با این حال، برای کارهای تخصصی پوست، ایجاد یک مدل با کیفیت بالا ممکن است همچنان به مجموعه داده بزرگی نیاز داشته باشد. با بنیاد Derm، محققان می‌توانند از مجموعه داده‌های کوچک‌تر خود برای بازیابی تعبیه‌های اختصاصی دامنه استفاده کنند، و از آن‌ها برای ساخت مدل‌های کوچک‌تر (مثلاً طبقه‌بندی‌کننده‌های خطی یا سایر مدل‌های کوچک غیرخطی) استفاده کنند که آنها را قادر می‌سازد تا ایده‌های تحقیق یا محصول خود را تأیید کنند. برای ارزیابی این رویکرد، مدل‌هایی را با استفاده از داده‌های درماتولوژی از راه دور در یک کار پایین‌دستی آموزش دادیم. آموزش مدل شامل اندازه های مختلف داده (12.5٪، 25٪، 50٪، 100٪) برای مقایسه طبقه بندی کننده های خطی مبتنی بر تعبیه در برابر تنظیم دقیق بود.

انواع مدل سازی در نظر گرفته شده عبارت بودند از:

  • یک طبقه‌بندی خطی بر روی تعبیه‌های منجمد از BiT-M (یک مدل تصویر استاندارد از قبل آموزش دیده)
  • نسخه دقیق BiT-M با یک لایه متراکم اضافی برای کار پایین دست
  • یک طبقه‌بندی خطی بر روی تعبیه‌های منجمد از API بنیاد Derm
  • نسخه تنظیم شده مدل زیر بنای Derm Foundation API با یک لایه اضافی برای کار پایین دست

ما متوجه شدیم که مدل‌هایی که در بالای جاسازی‌های بنیاد درم برای کارهای مرتبط با پوست ساخته شده‌اند، کیفیت بسیار بالاتری نسبت به مدل‌هایی دارند که صرفاً بر روی جاسازی‌ها ساخته شده‌اند یا به‌خوبی تنظیم شده‌اند از BiT-M. مشخص شد که این مزیت برای اندازه‌های مجموعه آموزشی کوچک‌تر برجسته‌تر است.

این نتایج نشان می‌دهد که بنیاد درم نیز می‌تواند به عنوان نقطه شروع مفیدی برای تسریع وظایف مدل‌سازی مرتبط با پوست باشد. هدف ما این است که محققان دیگر را قادر کنیم تا بر روی ویژگی‌ها و بازنمایی‌های زیربنایی درماتولوژی که این مدل آموخته است، استفاده کنند.

با این حال، این تحلیل محدودیت هایی دارد. ما هنوز در حال بررسی این هستیم که چگونه این جاسازی‌ها در انواع وظایف، جمعیت بیماران و تنظیمات تصویر تعمیم می‌یابند. مدل‌های پایین‌دستی که با استفاده از Derm Foundation ساخته شده‌اند، هنوز نیاز به ارزیابی دقیق دارند تا عملکرد مورد انتظارشان را در شرایط مورد نظر درک کنید.

Access Path و Derm Foundation

ما تصور می‌کنیم که ابزارهای جاسازی بنیاد Derm و Path، طیف وسیعی از موارد استفاده از جمله توسعه کارآمد مدل‌ها را برای کارهای تشخیصی، تضمین کیفیت و بهبود جریان کار پیش‌تحلیلی، نمایه‌سازی و اصلاح تصویر، و کشف و اعتبارسنجی نشانگرهای زیستی را امکان‌پذیر می‌سازد. ما هر دو ابزار را برای جامعه تحقیقاتی منتشر می‌کنیم تا بتوانند کاربرد این جاسازی‌ها را برای داده‌های پوستی و آسیب‌شناسی خود بررسی کنند.

برای دسترسی، لطفاً با استفاده از Google Forms زیر در شرایط خدمات هر ابزار ثبت نام کنید.

  • فرم دسترسی بنیاد Derm
  • فرم دسترسی بنیاد مسیر

پس از دسترسی به هر ابزار، می توانید از API برای بازیابی موارد تعبیه شده از تصاویر پوست یا تصاویر آسیب شناسی دیجیتال ذخیره شده در Google Cloud استفاده کنید. کاربران تایید شده که فقط کنجکاو هستند مدل و جاسازی‌ها را در عمل ببینند، می‌توانند از نمونه نوت‌بوک‌های Colab برای آموزش مدل‌هایی با استفاده از داده‌های عمومی برای طبقه‌بندی شش بیماری پوستی رایج یا شناسایی تومورها در تکه‌های هیستوپاتولوژی استفاده کنند. ما مشتاقانه منتظریم تا طیف موارد استفاده ای را که این ابزارها می توانند باز کنند ببینیم.

سپاسگزاریها

مایلیم از بسیاری از همکارانی که در ساخت این اثر کمک کردند از جمله یون لیو، کان کرمیزی، فرشته ماهور، برام استرلینگ، آرمان تاجبک، کنت فیلبریک، آرناو آغاروال، آرورا چونگ، اندرو سلگرن، بوریس بابنکو، باسیل مصطفی، یان فریبرگ تشکر کنیم. تری اسپیتز، یوان لیو، پینال باویشی، آیوش جین، آمیت تالرجا، راجیو ریخی، ابی وارد، جرمی لای، فاروک احمد، سوپریا ویجی، تیام جاروانسری، جسیکا لو، ساوراب ویاواهاره، سالونی آگاروال، الری فای‌هاانز جمیل، تام اسمال، آنیسا اومرانی، لورن وینر، سامی لاچگار، یوسی ماتیاس، گرگ کورادو و دیل وبستر.