بازیابی سهبعدی بدن انسان (HMR) فرایندی است که در آن، یک نمایش هندسی متراکم و سهبعدی از کل بدن انسان — شامل اسکلت مفصلی، مچ دستها، پاها و سطح پوست — بر اساس ورودیهای تخت دوبعدی تخمین زده میشود. چرا این فناوری اهمیت دارد؟ بدون این ساختار زیرساختی، سیستمهای بینایی ماشین در برابر فهم فیزیکی و حجمی حرکت انسان نابینا هستند. در غیاب HMR، کل تعاملات فضایی، مکانیک گامبرداری و عمق فیزیکی به مختصات تخت دوبعدی تقلیل مییابد که با کوچکترین چرخش سوژه یا قرارگیری او در پشت یک مانع فیزیکی، کاملاً از کار میافتد.
از نظر تاریخی، در مهندسی بینایی ماشین برای بازیابی سهبعدی از مدلهای پارامتریک آماری مانند SMPL استفاده میشد. اما این ابزارهای قدیمی، اسکلت فیزیکی و بافت پوست را در یک فضای بهینهسازی ریاضی درهمتنیده جفت میکردند. این وابستگی فرمولی باعث میشود که اگر فردی قد بسیار بلند یا فرم بدنی خاصی داشته باشد، الگوریتم برای ارضای محدودیتهای استخوانی، پوسته بیرونی را دچار دگردیسیهای عجیب کند یا بالعکس. در تولید، این جفتشدگی هندسی منجر به دریفت شدید و عدم پایداری تدیجی ردیابی بدن میشد.
جهت حل این چالش ساختاری، پروژه متنباز SAM 3D Body دو مفهوم مجزا را معرفی کرده است: فریمورک مدل SAM 3D Body (یا ۳DB) و یک نمایش پارامتریک جدید به نام Momentum Human Rig (یا MHR). جداسازی اسکلت از هندسه پوسته بیرونی در این مدل به مهندسان اجازه میدهد مکانیک مفاصل و رندرینگ پوسته بدنه را به عنوان دو لایه داده مستقل اما هماهنگ پیادهسازی کنند.
سازوکار مفاصل در momentum human rig
برای درک کارکرد واقعی MHR، ابتدا باید ماهیت یک ریگ پارامتریک را تعریف کنیم. ریگ پارامتریک یک تابع ریاضی است که ویژگیهای کمبعد حالت بدنی (pose) و شکل بدنی (shape) را به یک فضای سهبعدی پربعد از نقاط مش (vertex space) تصویر میکند. در ریگهای سنتی، تغییر وزنهای شکل بدنی به ناچار موقعیت مفاصل اسکلتی را دگرگون میکرد؛ زیرا مفاصل مستقیماً از روی نقاط پوسته دفرمهشده محاسبه میشدند.
مدل MHR با جدا کردن کامل محاسبات طول اسکلت و تناسبات آن از تغییر شکلهای سطحی پوست، این مشکل را حل میکند. اسکلت فیزیکی ابتدا با فرضهای دقیق سینماتیکی ساخته شده و فواصل مفاصل تثبیت میشود. سپس مش پوسته بدنه با توجه به وزنهای دگرگونی محلی بر روی این اسکلت صلب اعمال میگردد.
وقتی این را پیاده میکنی، این تفکیک ریاضی یعنی چه؟ این یعنی اگر سیستم بینایی ماشین شما در حال ردیابی فردی با حجم بدنی بالا یا ساختار اسکلتی نامتعارف باشد، زوایای مفصلی همچنان با دقت محاسباتی بالایی تخمین زده میشوند. پوسته بدون به هم ریختن محدوده چرخش مفاصل، روی اسکلت کشیده یا جمع میشود. این ویژگی در سناریوهای کاربردی مانند بیومکانیک بالینی یا شبیهسازیهای فیزیکی که مرزهای حرکتی در آنها اهمیت حیاتی دارد، یک ضرورت فنی است.
معماری پرامپتپذیر در فرآیندهای تولید عملیاتی
برخلاف مدلهای رگرسیونی قدیمی که در هر فریم خروجی ثابتی ارائه میدهند، مدل ۳DB به صورت پرامپتپذیر طراحی شده است. مدل بینایی پرامپتپذیر به ساختاری گفته میشود که ورودیهای راهنمای کمکی فضایی — مانند کلیکهای نقطهای دوبعدی، جعبههای مرزگذار (bounding boxes) یا ماسکهای بخشبندی — را به عنوان راهنما دریافت میکند تا ویژگیهای پنهان خود را اصلاح کند.
در توسعه سیستمهای تلهمتری و بیوفیدبک برای توانبخشی واقعیت مجازی، مانند پروژههایی مشابه BioVR، مهندسان دائماً با این چالش مواجه میشوند که مدلهای فاقد راهنما در شرایط انسداد بدنی (مثلاً وقتی دست بیمار پشت ران او پنهان میشود) دچار لرزش شدید اسکلتی میشوند و بازخورد زنده سیستم را مختل میکنند.
با تکیه بر قابلیت پرامپتپذیری، معماری ۳DB این مشکل را حل میکند. اگر استریم ویدئویی اصلی دچار انسداد شود، یک ردیاب دوبعدی سبک و بالادستی میتواند پرامپت نقطهای دقیق را به انکودر ۳DB ارسال کند. این پرامپت مانند یک لنگر ریاضی فضای جستجوی پنهان مدل را محدود میسازد. معماری انکودر-دیکودر این مدل با استفاده از لایههای cross-attention، تصویر سهبعدی خروجی را دقیقاً با این راهنمای دوبعدی همراستا میکند. کدهای متنباز منتشرشده در مخزن گیتهاب پروژه بستری کاربردی برای پیادهسازی این معماری فراهم کردهاند.
بررسی موازنهها و محدودیتهای عملیاتی
برای هر مهندس پیادهساز، استفاده از این فریمورک با موازنههای فنی متعددی همراه است که در زمان طراحی سیستم باید به دقت ارزیابی شوند:
- بار محاسباتی پردازش: معماری انکودر-دیکودر ترانسفورمری در ۳DB نسبت به شبکههای رگرسیونی سبک بسیار سنگینتر است. برای دستیابی به سرعت فریم بالا، به کارتهای گرافیکی قدرتمند و محیطهای بهینهسازی شده (مانند NVIDIA TensorRT) نیاز دارید. در نتیجه، برای اجرا روی هدستهای واقعیت مجازی یا گوشیهای موبایل، احتمالاً مجبور خواهید بود مدل را در سمت سرور (مثلاً با FastAPI در پایتون) مستقر کرده و دادهها را استریم کنید.
- تاخیر انتقال و پردازش پرامپت: اضافه کردن مرحله تولید و پردازش پرامپتهای دوبعدی، تاخیر زمانی (latency) کل سیستم را افزایش میدهد. باید مطمئن شوید که سرعت تولید پرامپتهای کمکی، به گلوگاه اصلی پایپلاین تبدیل نشود.
- میزان حافظه گرافیکی (VRAM): مدلهای تفکیکشده MHR به همراه ترانسفورمرهای بینایی سنگین، حجم بالایی از رم گرافیکی را اشغال میکنند. این موازنه برای کاربردهایی با نیاز به دقت بالا کاملاً توجیهپذیر است، اما برای بازیهای ساده یا اپلیکیشنهای ردیابی ابتدایی کارایی لازم را نخواهد داشت.
با نگاهی کارکردی به ساختار سیستمهای بینایی، پروژه SAM 3D Body رابطه میان تصویربرداری دوبعدی و بازسازی سهبعدی را بازتعریف کرده است. با تفکیک ساختاری اسکلت و پوست به کمک MHR، فرآیند ردیابی بدن انسان از یک تخمین ناپایدار جعبهسیاه به یک پایپلاین مهندسی پایدار و قابل هدایت تبدیل شده است.
منابع
- [2602.15989] SAM 3D Body: Robust Full-Body Human Mesh Recovery — Manual / ad-hoc · 2026-06-05