وقتی دستور ساخت مدل بنیادی به داده‌ی پرنویز نمی‌خورد

مدل بنیادی (foundation model) چیست و چرا برای هر حوزه‌ای یک دستورالعمل واحد نداریم؟ مدل بنیادی مدلی است که ابتدا روی حجم بزرگی از داده‌ی بدون برچسب پیش‌آموزش می‌بیند و سپس با داده‌ی کم و برچسب‌دار برای کار مشخصی تنظیم می‌شود. در سال‌های اخیر یک نسخه‌ی غالب برای این پیش‌آموزش شکل گرفته است: داده‌ی خام را به قطعه‌های گسسته تبدیل کن، بخشی از آن‌ها را پنهان کن و از مدل بخواه بخش پنهان‌شده را بازسازی کند. به این کار بازسازی ماسک‌دار (masked reconstruction) می‌گویند که در تصویر و متن به‌طرز چشمگیری جواب می‌دهد.

اما این دستورالعمل یک پیش‌فرض ضمنی دارد که کمتر کسی آن را به زبان می‌آورد. مقاله‌ای تازه درباره‌ی رمزگشایی سیگنال مغزی دقیقاً همین پیش‌فرض را زیر ذره‌بین می‌برد: به گفته‌ی نویسندگان، بازسازی ماسک‌دار برای داده‌ای که نویزش پردامنه است و اطلاعاتش در ابعاد محدودی مثل باندهای فرکانسی باریک نهفته، انتخاب بهینه‌ای نیست (arxiv.org). سیگنال الکتریکی مغز، یا همان EEG، دقیقاً چنین داده‌ای است.

چرا بازسازی جای دیگر جواب می‌دهد و اینجا نه

تصویر داده‌ای متراکم و پر از افزونگی است. اگر نیمی از یک عکس را بپوشانید، مدل می‌تواند نیمه‌ی پنهان را از روی پیکسل‌های اطراف حدس بزند و همین حدس‌زدن مجبورش می‌کند ساختار صحنه را یاد بگیرد. لبه‌ها، بافت‌ها و رابطه‌ی اجزا، همه در فرایند بازسازی رمزگذاری می‌شوند. اینجا خودِ هدف بازسازی، آموزنده است.

اما، سیگنال مغزی داستان دیگری دارد. بخش بزرگی از موج خام، نویز پردامنه است و اطلاعات مفید در باندهای فرکانسی باریک و مشخصی جای گرفته است. اگر از مدل بخواهید موج خام را بازسازی کند، بخش عمده‌ی ظرفیتش را صرف بازتولید همان نویز می‌کند. مدل زحمت می‌کشد تا چیزی را بازسازی کند که ارزش یادگیری ندارد. هدف آموزش، به‌جای هم‌سو شدن با ساختار داده، با آن سر جنگ دارد.

معامله‌ای که پشت هر دستورالعمل است

بازسازی ماسک‌دار روی دو ستون ایستاده است: ورودی باید متراکم باشد و هدف بازسازی باید آموزنده باشد. در تصویر هر دو برقرارند، در سیگنال مغزی هر دو می‌شکنند. با شکستن این دو پیش‌فرض، تابع هدف دیگر شما را به‌سمت بازنمایی خوب سوق نمی‌دهد، بلکه به‌سمت مدل‌سازیِ نویز می‌کشاندتان. این نکته فراتر از EEG است: هر بار که یک دستورالعمل آماده را از حوزه‌ای به حوزه‌ی دیگر می‌بریم، پیش‌فرض‌های آماریِ آن را هم، چه بخواهیم چه نخواهیم، با خود می‌بریم.

دو تصمیم CoCoT

مدلی که مقاله معرفی می‌کند، یعنی CoCoT، دو تصمیم متفاوت می‌گیرد. تصمیم اول، کنار گذاشتن بازسازی و روی‌آوردن به یادگیری تقابلی (contrastive learning) است. در یادگیری تقابلی، به‌جای بازسازی خام، دو نسخه‌ی دستکاری‌شده از یک قطعه‌ی سیگنال را به هم نزدیک می‌کنیم و نسخه‌های متعلق به قطعه‌های دیگر را از هم دور می‌کنیم. مدل مجبور نیست نویز را بازتولید کند، فقط باید یاد بگیرد کدام دو نمونه از یک منبع‌اند. برای داده‌ای با نسبت سیگنال به نویز پایین، این صورت‌بندی به‌مراتب خوش‌تعریف‌تر است (themoonlight.io).

تصمیم دوم معماری است. سیگنال پیش از آنکه وارد رمزگذار ترنسفورمر شود، از چند لایه‌ی کانولوشن زمانی با مقیاس‌های متفاوت (multiscale temporal convolution) عبور می‌کند (arxiv.org). هر مقیاس، ویژگی‌های یک بازه‌ی زمانی متفاوت را استخراج می‌کند و در عمل مثل یک بانک فیلتر عمل می‌کند که همان باندهای فرکانسی مفید را بیرون می‌کشد. ترکیب کانولوشن چندمقیاسی با ترنسفورمر برای سیگنال مغزی سابقه دارد و پیش از این هم نتیجه داده است (pubmed).

نتیجه‌ای که حساب‌وکتاب را عوض می‌کند

CoCoT روی مجموعه‌ای گسترده از کارهای محک، با آرایش‌های الکترودی ناهمگن، به بهترین مدل‌های مبتنی بر بازسازی می‌رسد یا از آن‌ها پیشی می‌گیرد؛ نتیجه‌ی اصلی مقاله همین است (arxiv.org). این جزئیات فنی نیست، بلکه کاربردی است. آرایش الکترود از یک هدست به هدست دیگر فرق می‌کند. مدلی که فقط با یک آرایش الکترودی خاص کار کند، در محیط عملیاتی به کار نمی‌آید. اما مدلی که روی آرایش‌های متفاوت پابرجا بماند، روی سخت‌افزارهای واقعی و متنوع قابل اعمال است.

آموزش از صفر، بدون بودجه‌ی مدل بنیادی

یافته‌ی دیگر برای تیم‌های کوچک تعیین‌کننده است. همین معماری وقتی از صفر و بدون هیچ پیش‌آموزشی آموزش می‌بیند، از مدل‌های تک‌کاره‌ی پیشین بهتر عمل می‌کند و حتی به مدل‌های پیش‌آموزش‌دیده نزدیک می‌شود (arxiv.org). یعنی بخش بزرگی از کار را خود معماری انجام می‌دهد، نه پیش‌آموزش سنگین. این سد ورود را پایین می‌آورد. تیمی که بودجه و داده‌ی کلان برای ساختن یک مدل بنیادی ندارد، می‌تواند یک کار برچسب‌دار در مقیاس متوسط را از صفر آموزش بدهد و همان را به محیط تولید بفرستد.

زاویه‌ی کاربردی و تأخیر

از نگاه کسی که سال‌ها با سیستم‌های تطبیقی مبتنی بر حسگر زیستی کار کرده، این آرایش جذابیت عملی روشنی دارد. لایه‌ی جلویی کانولوشن ارزان است، به‌خوبی موازی‌سازی می‌شود و روی سخت‌افزار لبه (edge) به‌راحتی اجرا می‌شود. همان ویژگی‌های محدود به باند را که استخراج می‌کند، مستقیماً به طبقه‌بند تحویل می‌دهد. پیش‌آموزش تقابلی هم یک هزینه‌ی یک‌باره و برون‌خط است و طبق همان نتیجه‌ی آموزش از صفر، حتی می‌شود از آن صرف‌نظر کرد. وقتی این را در یک سامانه‌ی بلادرنگ پیاده‌سازی می‌کنیم، همین ارزانیِ ابتدای خط پردازش است که تفاوت میان یک نمونه‌ی آزمایشگاهی و یک محصول قابل استقرار را رقم می‌زند.

درسی که فراتر از سیگنال مغزی است

نکته‌ی سیستمی این مقاله را باید جدا از خود مدل دید. هر دستورالعملِ مدل بنیادی، پیش‌فرض‌هایی درباره‌ی آمار داده را در خود رمزگذاری کرده است. وقتی این دستورالعمل را دربست به حوزه‌ای با نویز بالا یا داده‌ی تنک وارد کنیم، همان پیش‌فرض‌های شکسته را هم به ارث می‌بریم. آنچه این کار را از یک ادعای شهودی جدا می‌کند، بررسی‌های کاهشی (ablation) نظام‌مند است: نویسندگان با کنار گذاشتن جداگانه‌ی هر جزء نشان می‌دهند کدام پیش‌فرض آسیب‌زننده بوده است. این آزمونی کنترل‌شده روی خود دستورالعمل است.

همین منطق در حوزه‌های دیگری هم صادق است. طیف‌های ماهواره‌ای، ضربان‌های داده‌ی بازار مالی و تله‌متری صنعتی، همه داده‌هایی‌اند که نویز بالا یا تنکیِ خاص خودشان را دارند. پیش از آنکه دست به‌سمت یک مدل بنیادی مبتنی بر بازسازی ببریم، باید داده را ممیزی کنیم.

یک هشدار لازم

این‌ها همه بر پایه‌ی یک پیش‌چاپ داوری‌نشده است و ادعاها روی محک‌های خود نویسندگان استوارند. من وقتی نتیجه‌ای را قطعی می‌دانم که یک گروه مستقل بتواند آن را روی آرایش الکترودیِ خارج از توزیع آموزش بازتولید کند. تا آن‌وقت، این شاهدی قوی است، نه حکم نهایی.

آنچه از این کار قابل انتقال است، خود مدل نیست، بلکه عادت ممیزی است. پیش از آنکه دستورالعملی را از حوزه‌ای وام بگیرید، وارسی کنید که داده‌ی شما همان خاصیتی را دارد که آن دستورالعمل را در حوزه‌ی اصلی‌اش کارآمد کرده بود.

منابع

• CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding — arXiv · cs.LG · 2026-07-10