مدل بینایی معمولاً در نمایش اولیه خوب عمل می‌کند، چون با تصاویر تمیز و یک‌دست آموزش دیده است. دوربینی که کنار خط تولید نصب شده یا ماهواره‌ای که از بالا تصویر می‌گیرد داده‌ی دیگری می‌بیند و همان مدل از روز نخست خطا می‌کند. من بر پایه‌ی تصاویر واقعی مجموعه‌ی شما کار می‌کنم و زنجیره‌ی بینایی ماشین را تا بهره‌برداری روزانه‌ی تیم همراهی می‌کنم.
مسئله
بیشتر پروژه‌ها در سه نقطه متوقف می‌شوند. هر سه را می‌توان پیش از شروع کار شناخت و اگر به آن‌ها توجه نشود، هزینه‌شان در پایان پروژه بسیار بیشتر می‌شود.
تصویری که مدل با آن آموزش دیده معمولاً زیر نور و از زاویه‌ی مناسب گرفته شده است. در محیط واقعی تولید، نور صبح و عصر یکسان نیست، لنز به‌تدریج غبار می‌گیرد و قطعه با زاویه‌ی اندکی از برابر دوربین عبور می‌کند. این تفاوت‌ها در نمایش اولیه دیده نمی‌شوند، ولی از روز نخست دقت مدل را کاهش می‌دهند.
مدل فقط خود قطعه را نمی‌آموزد. رنگ پس‌زمینه، سایه‌ی دست اپراتور و حتی محل دوربین هم برایش نشانه می‌شود. اگر همه‌ی تصاویر در یک هفته و از یک خط گرفته شده باشند، مدل همان شرایط را آموخته است و با تغییر نور یا جابه‌جایی دوربین، آموخته‌هایش کارایی خود را از دست می‌دهند.
به همین دلیل پیش از هر چیز به تصاویری از شیفت‌های مختلف و دشوارترین شرایط کاری نیاز دارم. مدلی که روی این تصاویر عملکرد خود را حفظ کند قابل اتکاست.
برچسب‌گذاری پرهزینه است، چون هر تصویر را باید متخصص همان حوزه بررسی کند و او مسئولیت‌های اصلی خود را هم دارد. تا زمانی که مدل روی بخشی از داده‌های شما آزموده نشده باشد، تعداد نمونه‌ی لازم مشخص نیست.
مشکل دیگر تفاوت داوری کارشناسان است. یکی خراش ریز را نادیده می‌گیرد و دیگری آن را نقص می‌داند. اگر این مرز پیش از برچسب‌گذاری روشن نشود، مدل از داده‌ای متناقض می‌آموزد و معماری بهتر هم این کاستی را جبران نمی‌کند.
مدلی که روی سرور قدرتمند با کارت گرافیک نتیجه داده، ممکن است روی رایانه‌ی کنار خط یا در کنار نرم‌افزارهای جاری واحد تولیدی قابل اجرا نباشد. سرعت هم بخشی از همین سنجش است و مدل کند، هر قدر هم دقیق باشد، پاسخگوی خط تولید نیست.
پس از تحویل نیز اگر تیم شما نداند مدل کجا و چرا خطا می‌کند، با نخستین تغییر دوربین، سامانه کنار گذاشته می‌شود.
روش کار
کار از تصاویر واقعی شما آغاز می‌شود و زمانی پایان می‌یابد که تیم شما بتواند زنجیره را به‌طور مستقل نگهداری کند.
نمونه‌ای از تصاویر واقعی را همراه متخصص همان حوزه بررسی می‌کنم. نقصی که مدل تشخیص نداده با قطعه‌ی سالمی که بی‌دلیل کنار گذاشته شده هزینه‌ی یکسانی ندارد و نباید هر دو را در یک عدد دقت خلاصه کرد.
در قطعات مرتبط با ایمنی، عبور یک نقص ممکن است به فراخوان محصول بینجامد و کنار گذاشتن چند قطعه‌ی سالم پذیرفتنی است. در محصولات با حاشیه‌ی سود اندک وضعیت برعکس است و هر قطعه‌ی سالمی که حذف شود مستقیماً از سود می‌کاهد. آستانه‌ی تصمیم مدل بر همین اساس تنظیم می‌شود.
خروجی این مرحله یک معیار مکتوب است که پیش از ساختن مدل روی آن توافق می‌کنیم و پایلوت هم با همان سنجیده می‌شود.
نخست از مدل‌های شناخته‌شده‌ی تشخیص و قطعه‌بندی استفاده می‌کنم و تنها زمانی معماری اختصاصی طراحی می‌کنم که داده نشان دهد مدل آماده به سقف توان خود رسیده است. سخت‌افزار مقصد هم از همان ابتدا در نظر گرفته می‌شود.
سپس خطاها را یک‌به‌یک بررسی می‌کنم. در بیشتر موارد مشکل از نور، برچسب یا کمبود نمونه‌های یک نوع نقص است و اصلاح داده سریع‌تر و کم‌هزینه‌تر از بزرگ‌تر کردن مدل به نتیجه می‌رسد.
نتیجه‌ی مدل به نرم‌افزار، پایگاه داده یا داشبوردی منتقل می‌شود که تیم شما هم‌اکنون از آن استفاده می‌کند و به ابزار تازه‌ای نیاز نیست.
هنگام تحویل، دقت روی داده‌ی واقعی، خطاهای پرتکرار و روش آموزش مجدد مدل به‌صورت مکتوب در اختیار تیم قرار می‌گیرد. تصاویری که مدل درباره‌شان اطمینان ندارد جداگانه نگهداری می‌شوند، چون بهترین داده برای آموزش بعدی هستند.
نمونه‌ی پروژه
این موارد پروژه‌ها و درخواست‌های ثبت اختراعی هستند که خودم روی آن‌ها کار کرده‌ام و جزئیاتشان منتشر شده است.
WIPO PCT · WO 2020/217082
این درخواست ثبت اختراع زنجیره‌ای را توضیح می‌دهد که از تصویر، فایل سه‌بعدی تولید می‌کند. شیء را SSD تشخیص می‌دهد، یک دستگاه تصویربرداری از آن زیر چهار نور و از سه جهت تصویر می‌گیرد، سطح از روی بردارهای نرمال بازسازی می‌شود و بافت با DCGAN تولید می‌شود.
تصویربرداری زیر چند نور اطلاعاتی می‌دهد که یک تصویر تنها ندارد، چون سایه‌ها و بازتاب‌ها جهت سطح را در هر نقطه نشان می‌دهند. فایل حاصل در نرم‌افزارهای سه‌بعدی قابل باز کردن و ویرایش است.
IEEE GRSL · 2025
تصویر راداری SAR از ابر و تاریکی عبور می‌کند، ولی به‌جای رنگ، بازتاب سطح را ثبت می‌کند و نویز دانه‌ای زیادی دارد. به همین دلیل مدل‌های طراحی‌شده برای تصاویر معمولی در اینجا نتیجه‌ی مناسبی نمی‌دهند. مدل Enhanced-HisSegNet با لایه‌های هیستوگرام یادگیرنده و مدل کانتور فعال، منطقه‌ی سیل‌زده را از این تصویرها جدا می‌کند.
پلتفرم RaderonLab AirQ هم آتش‌سوزی فعال را از FIRMS، پوشش گیاهی را از Sentinel و کیفیت هوا را روی یک نقشه کنار هم می‌آورد و از برنامه‌ی دسکتاپ تحلیلگر تا اپ موبایل کاربر عادی را در بر می‌گیرد.
دو درخواست دیگر WIPO PCT من هم در همین حوزه است؛ بازسازی سه‌بعدی سازه‌ها و مجتمع‌ها با اسکن ماشینی و یادگیری عمیق، و کاهش خطر حضور حیوانات در پالایشگاه با بینایی ماشین.
WIPO PCT WO 2020/217082.
ساخت مدل سه‌بعدی قابل ویرایش از اشیاء واقعی کند و پرهزینه است. این زنجیره تصاویر معمولی را در کمتر از ۳۰ ثانیه به فایل سه‌بعدی قابل ویرایش تبدیل می‌کند و موضوع یک درخواست بین‌المللی ثبت اختراع است.
جزئیات پروژه ←پایش ماهواره‌ای کیفیت هوا، پوشش گیاهی و آتش‌سوزی‌های فعال.
داده‌های کیفیت هوا، آتش‌سوزی و پوشش گیاهی در منابع ماهواره‌ای جداگانه و با قالب و ابزار متفاوت قرار دارند. این پلتفرم FIRMS، Sentinel و AirQ را در یک برنامه‌ی دسکتاپ تحلیلگر و یک اپلیکیشن موبایل یکپارچه می‌کند.
جزئیات پروژه ←تصاویر Sentinel Hub در یک نمایشگر دسکتاپ.
تحلیلگران به دسترسی سریع دسکتاپ به تصاویر Sentinel بدون درگیری با ابزارهای مرورگر و API نیاز داشتند. این نرم‌افزار لایه‌های Copernicus را در یک نمایشگر بومی در اختیارشان می‌گذارد.
جزئیات پروژه ←بسته به مسئله فرق می‌کند. معمولاً چند صد تصویر برچسب‌خورده برای سنجش امکان‌پذیری کافی است و پایلوت دقیقاً همین را روی داده‌های شما اندازه می‌گیرد.
اگر لازم باشد بله. مدل را از اول با توجه به جایی انتخاب می‌کنم که قرار است اجرا شود، چه سرور داخلی باشد، چه رایانه‌ی کنار خط و چه سرویس ابری.
نیازی به خروج داده نیست. می‌توانم روی زیرساخت خود شما کار کنم و پیش از اینکه داده‌ای ببینم قرارداد محرمانگی (NDA) را امضا می‌کنیم.
شرح فنی کوتاهی می‌فرستید و پاسخ کتبی می‌دهم که آیا می‌توانم کمک کنم. در صورت امکان، همکاری با یک پایلوت از ۱۶۲ میلیون تومان آغاز می‌شود.
همکاری با یک پایلوت از ۱۶۲ میلیون تومان روی بخشی از تصاویر شما آغاز می‌شود. نوع تصاویر و نتیجه‌ی مورد انتظار را بنویسید تا محدوده و قیمت نهایی را کتبی اعلام کنم.