وقتی مدل ویدیو می‌سازد، دقیقاً چه چیزی یاد می‌گیرد؟

مدلی که آموزش می‌بیند ویدیو بسازد، در نهایت چه چیزی یاد گرفته است؟ پاسخ قدیمی ساده بود: مدل فقط یاد می‌گیرد تصویر باورپذیر بسازد و چیزی بیش از یک ابزار سنتز نیست. اما مقاله‌ای تازه از تیم DeepMind این پاسخ را زیر سوال می‌برد. نشان می‌دهند که یک مولد ویدیو، در دل خودش عمق صحنه، جهت سطوح، وضعیت دوربین و هویت اشیا را رمزگذاری کرده و همین دانسته‌ها را می‌توان برای وظایف ادراکی بیرون کشید (مقاله‌ی اصلی).

بگذارید نخست دو اصطلاح را تعریف کنیم. مدل بنیادی همه‌کاره (generalist foundation model) مدلی است که یک توانایی پایه می‌آموزد و آن را روی بسیاری از وظایف بازاستفاده می‌کند، به‌جای اینکه یک وظیفه‌ی خاص را حل کند. پیش‌فرض (prior) هم دانشی است که مدل پیش از دیدن داده‌ی یک وظیفه‌ی مشخص در خود دارد؛ مثلاً اینکه اجسام در طول زمان پایدار می‌مانند و ناگهان محو نمی‌شوند. همین منطق در پردازش زبان طبیعی جواب داد. پیش‌بینی توکن بعدی سیگنالی ارزان و فراگیر بود؛ از دلش پیش‌فرض‌های زبانی قدرتمندی بیرون آمد و جای مدل‌های تخصصی تک‌وظیفه‌ای را گرفت.

شرط اصلی

حالا پرسش این است: کاتالیزور معادل آن در بینایی ماشین چیست؟ مقاله شرط خودش را روشن می‌بندد و تولید ویدیو از متن را همان کاتالیزور می‌داند (مقاله‌ی اصلی). استدلالش کارکردی است. مدل برای اینکه بتواند فریم بعدی را درست پیش‌بینی کند، چاره‌ای ندارد جز اینکه عمق، جهت سطح، وضعیت دوربین و پایداری اشیا را در خود کدگذاری کند. اینها دقیقاً همان کمیت‌هایی هستند که بینایی کلاسیک سال‌ها کوشیده جداگانه تخمین بزند.

سیستم پیشنهادی، GenCeption، از یک ستون فقرات مولد ویدیویی از پیش آموزش‌دیده استفاده می‌کند و روی آن یک سر ادراکی پیش‌خور (feed-forward perception head) سوار می‌کند. این سر با دستور متنی هدایت می‌شود و کارهایی مثل تخمین عمق، تخمین جهت سطوح، تخمین وضعیت دوربین، بخش‌بندی مبتنی بر ارجاع زبانی و پیش‌بینی نقاط کلیدی سه‌بعدی را انجام می‌دهد. نکته‌ی مهم اینجاست که این توانمندی از تابع زیان تولید (generation loss) می‌آید، نه از برچسب‌های مخصوص هر وظیفه. مدل ادراک را یاد نگرفت چون کسی هزاران نمونه‌ی برچسب‌خورده‌ی عمق در اختیارش گذاشت؛ یاد گرفت چون برای ساختن ویدیو ناچار بود.

کارایی داده

به نظر من مهم‌ترین ادعای مقاله همین بخش است. GenCeption با داده‌ی آموزشی ۷ تا ۵۰۰ برابر کمتر، به عملکردی می‌رسد که مدل‌های پیشرو مثل D4RT و VGGT-Omega دارند (مقاله‌ی اصلی). چرا این مهم است؟ چون در محیط تولید، گلوگاه واقعی پروژه‌های بینایی معماری نیست؛ داده‌ی برچسب‌خورده است. برچسب‌زدن عمق و بخش‌بندی و نقاط کلیدی گران، کند و مستعد خطاست. اگر این ادعا درست باشد، هزینه از سمت برچسب‌زنی به سمت انطباق (adaptation) جابه‌جا می‌شود؛ یعنی به‌جای جمع‌آوری کوهی از داده، یک ستون فقرات آماده را با داده‌ی کم تطبیق می‌دهیم.

اما یک بده‌بستان جدی هم در کار است. آموزش هر وظیفه ارزان‌تر می‌شود، ولی سرویس‌دهی گران است. مدل‌های انتشاری (diffusion) برای تولید خروجی به چندین گام حذف نویز نیاز دارند و همین یعنی تاخیر در حد ثانیه. وقتی این را در عمل پیاده می‌کنیم، تصویر روشن می‌شود: برای کارهای برون‌خط، پردازش آرشیو یا پروژه‌های کم‌بودجه، این یک برد واقعی است. اما برای رباتی که باید بلادرنگ روی سخت‌افزار لبه (edge) تصمیم بگیرد، هنوز یک مدل تخصصی تقطیرشده برنده است. باید پرسید این ابزار در کدام گوشه‌ی سیستم جای می‌گیرد.

رفتار نوظهور

جالب‌ترین یافته این است که مدل فقط روی ویدیوهای مصنوعی از انسان آموزش دیده، اما به فیلم واقعی و حتی به دسته‌های خارج از توزیع (out-of-distribution) مثل حیوانات و ربات‌ها تعمیم پیدا می‌کند (مقاله‌ی اصلی). تفسیر من این است که مدل یک پیش‌فرض جهانی مستقل از دامنه ساخته، نه یک جدول جست‌وجوی بافت. اگر صرفاً بافت‌ها را حفظ کرده بود، با دیدن یک ربات کاملاً درمی‌ماند. همین امضا را در مدل‌های زبانی هم دیده‌ایم: ساختار زیربنایی را می‌آموزند، نه نمونه‌ها را. پیامد کاربردی‌اش هم مهم است؛ پیش‌آموزش فقط با داده‌ی مصنوعی، مشکل دشوار تامین و مجوز داده‌ی واقعی را سبک می‌کند.

جای تردید

حالا وقت احتیاط است. نخست اینکه ادعای بهترین عملکرد (state-of-the-art) عمدتاً روی محک‌های خود نویسندگان سنجیده شده. مقایسه با V-JEPA و VideoMAE هم با قید «تحت شرایط قابل‌مقایسه» آمده، و این عبارت می‌تواند انتخاب‌های طراحی تعیین‌کننده را پشت خودش پنهان کند. تا وقتی یک تیم مستقل نتایج را بازتولید نکند، باید محتاط ماند. دوم اینکه خود مقاله خاصیت مقیاس‌پذیری را «مقدماتی» می‌نامد. ویدیو به‌ازای هر واحد اطلاعات، بسیار گران‌تر از متن است. محاسبات لازم برای ستون فقرات مولد یک سقف واقعی است، نه یک جزئیات فرعی.

جمع‌بندی

نتیجه‌ی بزرگ‌تر این است که شاید مرز میان ادراک و تولید یک واقعیت جهان نباشد و محصول روش آموزش ما بوده باشد. ما آنها را دو کار جدا فرض کردیم چون جدا آموزششان دادیم. اگر این ادعا دوام بیاورد، پرسش هنگام ساخت یک سیستم بینایی عوض می‌شود. دیگر نمی‌پرسیم «کدام مدل تخصصی را آموزش بدهم»؛ می‌پرسیم «کدام ستون فقرات مولد را تطبیق بدهم و آیا از پس هزینه‌ی سرویس‌دهی‌اش برمی‌آیم».

منابع

• Video Generation Models are General-Purpose Vision Learners — Hugging Face Daily Papers · 2026-07-09