هویت در فاز نهفته است نه در دامنه؛ کدی کم‌بعد و مشترک که در دل شبکه‌ای بسیار بزرگ‌تر پنهان شده است.
هویت در فاز نهفته است نه در دامنه؛ کدی کم‌بعد و مشترک که در دل شبکه‌ای بسیار بزرگ‌تر پنهان شده است.

فاز، نور و هندسه‌ی داده: سه نشانه از جایگاه واقعی نمایش

سه مقاله از ژوئن ۲۰۲۶ به یک ادعای مشترک می‌رسند: زیرلایه‌ی معنادار هر مدل یادگرفته‌شده نازک‌تر، هندسی‌تر و کمتر دیجیتالی است از آنچه معماری وانمود می‌کند.

یک نمایش در اصل از چه ساخته شده است؟

نمایش (representation) در معنای کاربردی، مجموعه‌ای محدود از اعداد در دل شبکه است که لایه‌ی readout آن را هویت ورودی می‌شمارد. تعریف کاری من همین است. این مفهوم از «ویژگی» تنگ‌تر و از «embedding» فراخ‌تر است؛ یعنی هر چیزی که طبقه‌بند یا سر پیش‌بینی به‌طور علی به آن تکیه دارد. در کار تولیدی پرسشی هست که بارها به سراغش بازمی‌گردم: کدام بخش از این بسته کار اصلی را انجام می‌دهد و کدام بخش وزنی مرده است که برای محاسبه‌اش ساعت‌های GPU هزینه می‌کنیم؟

روز ۱۵ ژوئن ۲۰۲۶ سه مقاله روی arXiv منتشر شد. اگر این سه را کنار هم بخوانیم، پاسخی منسجم به همین پرسش به دست می‌آید. به یکدیگر ارجاع نمی‌دهند و هر کدام در زیرحوزه‌ای جداگانه نوشته شده‌اند، اما هر سه به یک ادعای واحد می‌رسند: زیرلایه‌ی معنادار در هر مدل یادگرفته‌شده معمولاً نازک‌تر، هندسی‌تر و کمتر دیجیتالی است از آنچه شبکه‌ی پیرامونش نشان می‌دهد. می‌خواهم آن‌ها را همچون یک استدلال یکپارچه مرور کنم، چون وقتی روی یک میز گذاشته شوند دقیقاً همین‌طور خوانده می‌شوند.

مقاله‌ی نخست: هویت بر فاز سوار است نه بر دامنه

اوپنهایم و لیم در سال ۱۹۸۱ نشان دادند که اگر یک تصویر طبیعی را تنها از فاز فوریه‌اش بازسازی کنیم، باز هم قابل‌تشخیص می‌ماند. دامنه (magnitude) که سهم هر فرکانس را بیان می‌کند، تقریباً هیچ نشانی از چیستی تصویر در خود ندارد. مقاله‌ی آلپر ییلدیریم با عنوان آزمون درونی اوپنهایم–لیم می‌پرسد آیا طبقه‌بندهای آموزش‌دیده‌ی تصویر همین عدم‌تقارن را در لایه‌های پنهان خود بازتولید می‌کنند. نکته‌ی عملی مهم این است که آزمون شکلی علی دارد: دو تصویر برمی‌داریم، فاز یکی را در لایه‌ای مشخص روی دامنه‌ی دیگری پیوند می‌زنیم و می‌بینیم پیش‌بینی به دنبال کدام تصویر می‌رود.

در PRISM2D و GFNet و ViT-B/16 پیش‌بینی به دنبال دهنده‌ی فاز یا علامت می‌رود. حذف کامل دامنه‌ی ویژه‌ی هر تصویر، دقت را تقریباً تکان نمی‌دهد. ResNet-50 در نگاه نخست استثنا به نظر می‌رسد، چون پیوند علامت پس از ReLU هیچ اثری ندارد؛ اما اگر مداخله را پیش از ReLU انجام دهیم، کد علامتی نهفته‌ای در بلوک‌های پایانی آشکار می‌شود. این معماری‌ها همگی کد هویتی فاز/علامت را به اشتراک دارند، اما هندسه‌ی rectification و readout موجب می‌شود همان کد در پایه‌های متفاوتی نمایان شود.

این یک نکته‌ی صرفاً جالب نیست. اگر طبقه‌بند بینایی‌ای را به تولید می‌رسانیم و کانال دامنه‌اش برای readout کمابیش زائد است، چند پیامد عملی بی‌درنگ پدیدار می‌شود. ممیزی مقاومت باید فاز را هدف بگیرد نه پیکسل را. بودجه‌ی quantization باید نخست علامت و فاز را حفظ کند؛ دامنه معمولاً می‌تواند ضربه را تحمل کند. شکاف texture–shape میان CNNها و مدل‌های attention که سال‌ها در حد یک باور عمومی مانده بود، اکنون توضیحی سازوکاری می‌یابد: کد هویتی یکسان، اما نمایشی متفاوت. در تولید این یعنی انتخاب میان CNN و ViT برای یک وظیفه‌ی تصویری در واقع انتخاب درباره‌ی «آنچه مدل می‌بیند» نیست، بلکه انتخاب درباره‌ی شیوه‌ی رمزگشایی یک کد فاز مشترک است.

مقاله‌ی دوم: اگر عملگر خطی است، چرا زیرلایه دیجیتال باشد؟

مقاله‌ی دوم HAMON است و پرسشی به‌مراتب تیزتر می‌پرسد. HAMON از واقعیتی آغاز می‌کند که جامعه‌ی time-series دو سال است در سکوت با آن دست‌وپنجه نرم می‌کند: مدل‌های ساده‌ی خطی و حوزه‌ی فرکانس همچنان در پیش‌بینی افق‌بلند با ترنسفورمرها رقابت می‌کنند. شواهد سازوکاری پیوسته به این می‌رسند که عملگر هسته‌ی پیش‌بینی کم‌پیچیدگی و تقریباً خطی است. نویسندگان از همین‌جا پرسشی در سطح زیرلایه طرح می‌کنند: اگر عملگر خطی است، آیا اصلاً نیازی هست که در قالب یک temporal mixer دیجیتالی یادگرفته‌شده پیاده شود؟

پاسخ آنان یک هسته‌ی نوری دیفراکتیو منفعل است. مقادیر تاریخی روی یک aperture نوری رمزگذاری می‌شوند، موقعیت‌های آینده تاریک باقی می‌مانند و ماسک‌های فاز آموزش‌پذیر آبشاری به همراه پراش فضای آزاد، پیش‌بینی را مستقیماً در میدان خروجی شکل می‌دهند. در زمان استنتاج، تنها یک گذر انتشار نوری منفعل کافی است تا پیش‌بینی تولید شود. هیچ لایه‌ی sequence-mixing دیجیتالی اجرا نمی‌شود.

نتایج صادقانه گزارش شده‌اند و همین را می‌پسندم. HAMON روی ETTm2 در همه‌ی افق‌ها و روی ETTh2 در همه‌ی افق‌ها به‌جز بلندترین، قوی‌ترین خط‌مبناهای دیجیتال را پشت سر می‌گذارد و MSE را تا ۱۴ درصد بهبود می‌دهد. مهم‌تر آنکه این بهبود در سراسر افق‌ها پیوسته است، نه در نقاطی گزینش‌شده. روی Weather رقابتی است. روی Traffic و Electricity که تعداد کانال بالایی دارند، عقب می‌ماند. این عقب‌ماندگی دقیقاً همان بده‌بستانی است که باید انتظارش را داشت: اپتیک منفعل در ابعاد مکانی aperture به‌زیبایی مقیاس می‌گیرد، اما در تعداد کانال‌های مستقلی که باید multiplex شوند به‌سختی.

برای یک مهندس کاربردی این موضوع از زاویه‌ای بسیار مشخص جالب است، چون هدفی عینی را تعریف می‌کند. اگر دستگاه دیفراکتیو واقعی‌ای با دقت کافی ماسک فاز در دسترس باشد، هزینه‌ی استنتاج پیش‌بینی افق‌بلند برای یک سری تک‌کاناله یا کم‌کانال به هزینه‌ی عبور نور از چند سانتی‌متر فرومی‌کاهد. این مقاله نمی‌گوید فردا ترنسفورمرت را کنار بگذار. می‌گوید: عملگری که برای تقریبش پول ترنسفورمر می‌پردازی، چنان به خطی بودن نزدیک است که یک تکه شیشه‌ی منفعل از پس آن برمی‌آید. ساختن آن شیشه پرسشی در حوزه‌ی سرمایه‌گذاری است؛ اما ساده بودن خود عملگر اکنون پاسخی تجربی دارد.

مقاله‌ی سوم: داده هرگز تخت نبوده است

مقاله‌ی سوم یک مرور ۷۹ صفحه‌ای از چوی و همکاران درباره‌ی تحلیل فضای شکل است. در تعریف کاری آنان، فضای شکل (shape space) همان فضای ریاضی‌ای است که پس از کنار گذاشتن انتقال، چرخش و مقیاس یک شیء هندسی باقی می‌ماند؛ آنچه می‌ماند، تنوع در خود هندسه است. ریخت‌شناسی زیرسلولی، فرگشت دندان نخستی‌ها، اسکن‌های انسان‌سنجی و سطوح پزشکی، همگی روی منیفولدهای غیرخطی جای دارند. اگر آن‌ها را همچون بردارهای تخت در نظر بگیریم، ساختاری را که سیگنال علمی در آن نهفته است از دست می‌دهیم.

نتیجه‌ی کاربردی ساده و ناخوشایند است. بخش بزرگی از پشته‌ی ML تولیدی، یعنی فاصله‌ی اقلیدسی، mean pooling، embeddingهای جمع‌شونده و k-NN روی بردار خام، بر فرض تخت بودن استوار است. برای بسیاری از داده‌های جدولی و زبانی این فرض اشکالی ندارد، چون تنوع مرتبط در پایه‌ی انتخاب‌شده واقعاً تقریباً خطی است. اما برای داده‌ی هندسی چنین نیست، و این مرور، میدان را حول خط‌لوله‌ای سامان می‌دهد که در عمل به آن نیاز داریم: نمایش و پارامتری‌سازی شکل، متریک‌های ژئودزیک مقاوم، آمار روی منیفولد حاصل و یادگیری آگاه به هندسه. اگر چیزی می‌سازیم که اسکن‌های سه‌بعدی، سطوح پزشکی یا شکل‌های زیستی را با هم می‌سنجد، بهای تظاهر به تخت بودن داده در متریک‌هایی پرداخت می‌شود که خاموش‌وار افت کرده‌اند؛ روی leaderboard خوب جلوه می‌کنند اما وقتی پزشک به آن‌ها نگاه می‌کند، گمراه‌کننده‌اند.

یک استدلال، سه بار

رشته‌ای که این سه را به هم می‌بافد، ادعایی واحد درباره‌ی جایگاه نمایش است. مقاله‌ی نخست می‌گوید: درون یک طبقه‌بند بینایی، هویت در یک کد فاز/علامت نهفته است نه در انبوه activationها. مقاله‌ی دوم می‌گوید: در پیش‌بینی افق‌بلند، عملگر چنان به خطی بودن نزدیک است که زیرلایه نیازی به دیجیتال بودن ندارد. مقاله‌ی سوم می‌گوید: خود داده ساختاری هندسی دارد که فضاهای بردار تخت ML استاندارد آن را دور می‌ریزند.

در هر سه مورد، مدل کاری ماشین‌آلاتی بیش از نیاز سیگنال زیرین در خود دارد. کد فاز ساختاری کم‌بعد است که در میان میلیاردها پارامتر پنهان شده. عملگر پیش‌بینی نگاشتی تقریباً خطی است که درون یک ترنسفورمر جا خوش کرده. فضای شکل منیفولدی است که در دل یک بردار پنهان است. پیامد کاربردی هر سه یکی است: برای ظرفیتی پول می‌پردازیم که از آن استفاده نمی‌کنیم، و درست همان ظرفیت بلااستفاده جایی است که حالت‌های شکست در آن کمین کرده‌اند.

یک نشانه‌ی چهارم هم هست که ارزش آن را دارد کنار این سه گذاشته شود. آموزش آوریل ۲۰۲۶ درباره‌ی مدل‌های دینامیکی مبتنی بر انرژی از مونتاناری، بولو، کروتوف و موتر، همین جهت را از سوی دیگر پی می‌گیرد. می‌پرسد محاسبه چه شکلی پیدا می‌کند اگر آن را به‌جای لایه‌های feedforward و backprop، همچون جریان گرادیان روی یک منظره‌ی انرژی ببینیم. شبکه‌های هاپفیلد پیوسته‌زمان، حافظه‌ی تداعی‌گر چگال، بهینه‌سازهای مبتنی بر نوسانگر و دینامیک فرود پروگزیمال. درون‌مایه‌ی تکرارشونده این است که مقیاس‌پذیری، مقاومت و کارایی انرژی هنگامی پدیدار می‌شوند که زیرلایه‌ی محاسباتی با ساختار مسئله هم‌خوان باشد، نه آنکه تقریب‌گری دیجیتالی و همه‌منظوره روی آن اجرا شود.

در عمل با این چه می‌کنم؟

اگر امروز می‌خواستم یک خط‌لوله‌ی بینایی را از صفر بسازم، probe پیوند فاز را همچون یک تشخیص روزمره روی هر backboneی که عرضه می‌کنم اجرا می‌کردم. چند صد خط کد است، به ما می‌گوید کد هویت در کدام لایه جای دارد و نشان می‌دهد بودجه‌ی quantization و adversarial باید کدام بخش را حفظ کند. اگر پیش‌بینی افق‌بلند را در مقیاس اجرا می‌کردم، سراغ ساخت سخت‌افزار نوری نمی‌رفتم، اما نتیجه‌ی HAMON را مجوزی می‌دانستم برای آنکه پیش از رفتن به سراغ ترنسفورمر، بسیار بیشتر روی خط‌مبناهای خطی و حوزه‌ی فرکانس فشار بیاورم و سرهای پیش‌بینی‌ام را در برابر این فرض بسنجم که عملگر تقریباً خطی است. اگر با هر نوع داده‌ی هندسی سروکار داشتم، دیگر وانمود نمی‌کردم که فاصله‌ی اقلیدسی رایگان است.

هیچ‌یک از این‌ها انقلاب نیستند. این‌ها تصحیح یک فرض کاری‌اند؛ این فرض که مسیر در ظرفیت بیشتر، پارامتر بیشتر و انعطاف دیجیتالی بیشتر است. نشانه‌ی ژوئن ۲۰۲۶ این است که مسیر اغلب کوتاه‌تر، نازک‌تر و ساختارمندتر از آن است که معماری وانمود می‌کند. در تولید این به همان چیزی می‌انجامد که همیشه می‌انجامد: استنتاج ارزان‌تر، calibration بهتر و شگفتی‌های کمتر در دم بلند توزیع.

منابع

مقالات مرتبط