شبکه بازسازی‌شونده پیچشی-بازگشتی (CRRN) برای تشخیص ناهنجاری‌های مکانی-زمانی در بازرسی خمیر لحیم

1. مقدمه و مرور کلی

این مقاله به یک چالش حیاتی کنترل کیفیت در فناوری نصب سطحی (SMT) برای تولید برد مدار چاپی (PCB) می‌پردازد. بخش قابل توجهی (۷۰-۵۰ درصد) از عیوب PCB در مرحله چاپ خمیر لحیم رخ می‌دهد. روش‌های بازرسی سنتی، مانند بازرسی خمیر لحیم (SPI)، بر آستانه‌های آماری مبتنی بر توزیع نرمال حجم خمیر لحیم تکیه می‌کنند. این رویکرد زمانی که عیوب چاپگر به طور سیستماتیک توزیع داده‌ها را منحرف می‌کنند، با شکست مواجه می‌شود.

نویسندگان یک شبکه بازسازی‌شونده پیچشی-بازگشتی (CRRN) را پیشنهاد می‌کنند که یک مدل جدید تشخیص ناهنجاری تک‌کلاسه است. CRRN تنها از داده‌های عملیاتی عادی یاد می‌گیرد و ناهنجاری‌ها را با اندازه‌گیری خطای بازسازی شناسایی می‌کند. نوآوری اصلی آن در مدل‌سازی مؤثر الگوهای مکانی-زمانی ذاتی در داده‌های متوالی SPI در چندین پد PCB نهفته است.

منشأ عیب در SMT

۷۰-۵۰٪

از عیوب PCB در حین چاپ خمیر لحیم رخ می‌دهد.

رویکرد اصلی

یادگیری تک‌کلاسه

مدل منحصراً بر روی الگوهای داده عادی آموزش دیده است.

نکات کلیدی

تغییر مسئله: از تشخیص ساده مبتنی بر آستانه به سمت یادگیری منیفولدهای پیچیده الگوهای عادی حرکت می‌کند.
تمرکز مکانی-زمانی: تشخیص می‌دهد که عیوب چاپگر به صورت ناهنجاری‌های همبسته در فضا (پدهای مجاور) و زمان (بردهای متوالی) ظاهر می‌شوند.
عملگرایی صنعتی: یادگیری تک‌کلاسه عملی است زیرا داده‌های ناهنجاری برچسب‌خورده در تولید نادر و پرهزینه هستند.

2. روش‌شناسی: معماری CRRN

CRRN یک رمزگذار خودکار تخصصی است که برای داده‌های دوبعدی متوالی (مانند نقشه‌های حجم خمیر لحیم در طول زمان) طراحی شده است. این شبکه فرآیند بازسازی را به اجزای مکانی و مکانی-زمانی تجزیه می‌کند.

2.1 رمزگذار مکانی (S-Encoder)

این ماژول از لایه‌های استاندارد شبکه عصبی پیچشی (CNN) برای استخراج ویژگی‌های مکانی از فریم‌های ورودی منفرد (مانند نقشه حجم خمیر لحیم یک PCB تکی) استفاده می‌کند. ورودی خام را به یک نمایش ویژگی مکانی با ابعاد پایین‌تر تبدیل می‌کند.

2.2 رمزگذار-رمزگشای مکانی-زمانی (ST-Encoder-Decoder)

قلب CRRN. این بخش دنباله ویژگی‌های مکانی از S-Encoder را پردازش می‌کند تا پویایی‌های زمانی را مدل کرده و دنباله را بازسازی کند.

2.2.1 حافظه مکانی-زمانی پیچشی (CSTM)

یک نسخه بهبودیافته از LSTM پیچشی (ConvLSTM). در حالی که ConvLSTM از ساختارهای پیچشی در گیت‌های خود استفاده می‌کند، CSTM به طور خاص برای استخراج کارآمدتر الگوهای مکانی-زمانی طراحی شده است و احتمالاً جریان ویژگی‌های مکانی در طول مراحل زمانی درون سلول بازگشتی را بهینه می‌کند.

2.2.2 مکانیزم توجه مکانی-زمانی (ST-Attention)

یک مکانیزم حیاتی برای حل مسئله وابستگی بلندمدت در دنباله‌ها. این مکانیزم به رمزگشا اجازه می‌دهد تا به طور پویا بر روی حالت‌های پنهان مرتبط از رمزگذار در تمام مراحل زمانی تمرکز کند، به جای اینکه صرفاً به حالت نهایی متکی باشد. این امر برای بازسازی دقیق دنباله‌های طولانی داده بازرسی PCB حیاتی است.

2.3 رمزگشای مکانی (S-Decoder)

آینه S-Encoder است اما از لایه‌های پیچشی جابجا شده (یا لایه‌های نمونه‌برداری بالا مشابه) استفاده می‌کند. دنباله خروجی از ST-Decoder را گرفته و فریم‌های ورودی مکانی اصلی را بازسازی می‌کند.

3. جزئیات فنی و فرمول‌بندی ریاضی

هسته مکانیزم CSTM و توجه را می‌توان به صورت ریاضی نمایش داد. عملیات سلول استاندارد ConvLSTM به صورت زیر ارائه می‌شود:

$i_t = \sigma(W_{xi} * X_t + W_{hi} * H_{t-1} + b_i)$

$f_t = \sigma(W_{xf} * X_t + W_{hf} * H_{t-1} + b_f)$

$\tilde{C}_t = \tanh(W_{xc} * X_t + W_{hc} * H_{t-1} + b_c)$

$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$

$o_t = \sigma(W_{xo} * X_t + W_{ho} * H_{t-1} + b_o)$

$H_t = o_t \odot \tanh(C_t)$

که در آن $*$ نشان‌دهنده عملگر پیچش و $\odot$ نشان‌دهنده ضرب درایه‌به‌درایه است. CSTM این عملیات‌ها را برای کارایی بیشتر در ثبت الگوهای مکانی-زمانی اصلاح می‌کند. مکانیزم ST-Attention یک بردار زمینه $c_t$ را برای رمزگشا در زمان $t$ به عنوان مجموع وزنی تمام حالت‌های پنهان رمزگذار $h_s$ محاسبه می‌کند:

$e_{ts} = a(h_{t-1}^{dec}, h_s^{enc})$

$\alpha_{ts} = \frac{\exp(e_{ts})}{\sum_{k=1}^{T} \exp(e_{tk})}$

$c_t = \sum_{s=1}^{T} \alpha_{ts} h_s^{enc}$

در اینجا، $a(\cdot)$ یک مدل تراز (مانند یک شبکه عصبی کوچک) است و $\alpha_{ts}$ وزن‌های توجه هستند که اهمیت حالت رمزگذار $s$ برای مرحله رمزگشا $t$ را تعیین می‌کنند.

4. نتایج تجربی و عملکرد

مقاله برتری CRRN را نسبت به مدل‌های متعارف مانند رمزگذارهای خودکار استاندارد (AE)، رمزگذارهای خودکار واریانس‌گونه (VAE) و مدل‌های مبتنی بر ConvLSTM پایه برای تشخیص ناهنجاری در داده‌های SPI نشان می‌دهد. معیارهای عملکرد کلیدی احتمالاً شامل موارد زیر است:

خطای بازسازی (MSE/MAE): خطای کمتر برای دنباله‌های عادی، خطای بیشتر برای دنباله‌های ناهنجار، که منجر به ایجاد جدایی واضح می‌شود.
معیارهای تشخیص ناهنجاری: مساحت زیر منحنی ROC بالا (AUC-ROC)، دقت، بازیابی و امتیاز F1 در تمایز دنباله‌های PCB معیوب از عادی.
قدرت تشخیصی نقشه ناهنجاری: نقشه خطای بازسازی مکانی ("نقشه ناهنجاری") تولید شده توسط CRRN به عنوان ویژگی‌های ورودی برای یک کار طبقه‌بندی عیوب چاپگر در مرحله بعدی استفاده شد. دقت طبقه‌بندی بالای به‌دست‌آمده تأیید می‌کند که نقشه‌های ناهنجاری به طور معناداری الگوهای عیب زیرین را مکانیابی و نمایش می‌دهند، نه فقط نویز.

توضیح نمودار (ضمنی): یک نمودار میله‌ای نشان می‌دهد که CRRN در معیارهای کلیدی (AUC-ROC، F1-Score) از مدل‌های پایه (AE، VAE، ConvLSTM-AE) بهتر عمل می‌کند. یک نمودار دوم ممکن است منحنی دقت-بازیابی را نشان دهد، که منحنی CRRN گوشه بالا-راست را در بر می‌گیرد و نشان‌دهنده عملکرد قوی است. نمونه‌های نقشه ناهنجاری، مناطق با خطای بالا را که بر روی پدهای تحت تأثیر عیوب خاص چاپگر مانند گرفتگی استنسیل یا ناهمترازی متمرکز شده‌اند، به صورت بصری نشان می‌دهند.

5. چارچوب تحلیل: یک مطالعه موردی غیرکدی

سناریو: یک خط مونتاژ PCB عیوب متناوب اتصال کوتاه لحیم را تجربه می‌کند. SPI سنتی پدهای تصادفی را علامت‌گذاری می‌کند، اما هیچ علت ریشه‌ای شناسایی نمی‌شود.

کاربرد CRRN:

جمع‌آوری داده: دنباله‌ای از نقشه‌های حجم خمیر لحیم از صدها PCB شناخته‌شده سالم برای آموزش به CRRN وارد می‌شود.
استقرار مدل: CRRN آموزش‌دیده اکنون داده‌های SPI زنده را در دنباله‌ها (مثلاً هر ۱۰ برد) پردازش می‌کند.
تشخیص ناهنجاری: یک دنباله برد خطای بازسازی بالایی را نشان می‌دهد. نقشه ناهنجاری CRRN نه تنها یک پد، بلکه یک ردیف از پدهای مجاور با حجم غیرعادی را برجسته می‌کند.
تشخیص علت ریشه‌ای: الگوی مکانی (یک خط) به یک استنسیل خراشیده یا مشکل تیغه دکتر در چاپگر خمیر لحیم (SPP) اشاره می‌کند، یک همبستگی زمانی که بازرسی ساده هر پد از دست می‌دهد. نگهداری در مورد قطعه خاص چاپگر هشدار داده می‌شود.

این چارچوب از "تشخیص یک برد بد" به "تشخیص یک فرآیند در حال شکست" تغییر می‌کند و امکان نگهداری پیش‌بینانه را فراهم می‌کند.

6. تحلیل انتقادی و دیدگاه کارشناسی

بینش اصلی: این فقط یک مقاله دیگر شبکه عصبی نیست؛ بلکه یک ضربه هدفمند به نقطه درد صنعتی چند میلیارد دلاری - تخریب پنهان تجهیزات - است. نویسندگان به درستی شناسایی کرده‌اند که ارزش واقعی در داده‌های کارخانه هوشمند در تصاویر لحظه‌ای منفرد نیست، بلکه در روایت تخریب است که در واحدهای تولیدی متوالی بیان می‌شود. با ادغام تیزبینی مکانی CNN با حافظه زمانی LSTM و تمرکز مکانیزم‌های توجه، CRRN از طبقه‌بندی عیوب فراتر رفته و به سمت تفسیر امضای شکست حرکت می‌کند.

جریان منطقی: منطق از نظر صنعتی محکم است: ۱) داده عادی فراوان است، داده ناهنجاری نادر است - بنابراین از یادگیری تک‌کلاسه استفاده کنید. ۲) عیوب ابعاد مکانی (متمرکز بر روی برد) و زمانی (به تدریج بدتر شونده) دارند - بنابراین از یک مدل مکانی-زمانی استفاده کنید. ۳) دنباله‌های طولانی علائم هشدار اولیه را مبهم می‌کنند - بنابراین توجه را اضافه کنید تا علت و معلول را در طول زمان به هم متصل کند. این یک مثال کتابی از طراحی معماری مبتنی بر مسئله است، نه فقط انباشتن مدل.

نقاط قوت و ضعف:

قوت (عملگرایی معماری): طراحی ماژولار (S-Encoder، ST-Module، S-Decoder) ظریف است. این طراحی یادگیری ویژگی مکانی را از مدل‌سازی پویایی‌های زمانی جدا می‌کند که احتمالاً به پایداری آموزش و قابلیت تفسیر کمک می‌کند. استفاده از توجه برای مسئله دنباله‌های طولانی به خوبی توجیه شده است.
قوت (استراتژی اعتبارسنجی): استفاده از نقشه ناهنجاری برای یک کار طبقه‌بندی ثانویه هوشمندانه است. این امر ثابت می‌کند که مدل ویژگی‌های معنادار معنایی را استخراج می‌کند، مشابه نحوه استفاده از ویژگی‌های متمایزکننده در CycleGAN برای کارهای بعدی، که فراتر از یک امتیاز خطای جعبه سیاه حرکت می‌کند.
ضعف بالقوه (گرسنگی داده و پیچیدگی): اگرچه تک‌کلاسه است، مدل پیچیده است. آموزش یک ConvLSTM عمیق با توجه به دنباله‌های قابل توجهی از داده عادی و منابع محاسباتی نیاز دارد. برای خطوط تولید با تنوع بالا و حجم کم، جمع‌آوری داده "عادی" کافی برای هر نوع محصول ممکن است چالش‌برانگیز باشد.
ضعف بالقوه (شکاف قابلیت تفسیر): در حالی که نقشه ناهنجاری خطاها را مکانیابی می‌کند، توضیح اینکه چرا آن الگو با یک عیب خاص چاپگر مطابقت دارد (مثلاً "این الگو به معنای ناهمترازی ۵۰ میکرومتری محور Z است") هنوز نیاز به تفسیر انسانی کارشناسی دارد. مدل یک بیماری را تشخیص می‌دهد اما عامل دقیق را نام نمی‌برد.

بینش‌های قابل اجرا:

برای تولیدکنندگان: این مدل را روی حیاتی‌ترین یا مشکل‌دارترین خط SPP خود آزمایش کنید. بازگشت سرمایه فقط در شناسایی عیوب بیشتر نیست، بلکه در کاهش توقف برنامه‌ریزی نشده و ضایعات استنسیل از طریق هشدارهای پیش‌بینانه است. با ابزارسازی جریان داده SPI خود برای ثبت دنباله‌های زمانی شروع کنید.
برای پژوهشگران: گام بعدی مکانیابی ناهنجاری علّی است. آیا می‌توانیم سیگنال خطای مکانی-زمانی را نه تنها به یک مکان روی برد، بلکه به یک جزء فیزیکی خاص چاپگر پس‌انتشار دهیم؟ پژوهش در مورد ادغام مدل‌های مبتنی بر فیزیک با رویکرد داده‌محور CRRN می‌تواند شکاف قابلیت تفسیر را پر کند.
برای فروشندگان ابزار: این یک نقشه راه برای نسل بعدی سیستم‌های SPI و AOI (بازرسی نوری خودکار) است. از فروش "ایستگاه‌های بازرسی" به سمت فروش "سیستم‌های نظارت بر سلامت فرآیند" با مدل‌های تعبیه‌شده مانند CRRN حرکت کنید. رقابت در هوشمندی نرم‌افزار خواهد بود، نه فقط وضوح حسگر.

در نتیجه، یو و همکاران یک مشارکت قابل توجه ارائه داده‌اند که هم از نظر علمی دقیق و هم از نظر صنعتی مرتبط است. این مقاله نمونه‌ای از روند مشاهده‌شده در پژوهش‌های پیشرو از مؤسساتی مانند آزمایشگاه تولید و بهره‌وری MIT و جامعه هوش مصنوعی صنعتی است: به کارگیری یادگیری عمیق پیشرفته نه برای کارهای عمومی، بلکه برای حل مسائل عملیاتی با ارزش بالا و تعریف‌شده با دقت معماری.

7. کاربردهای آینده و جهت‌های پژوهشی

چارچوب CRRN پتانسیل فراتر از بازرسی خمیر لحیم را دارد:

تولید نیمه‌هادی: تشخیص عیوب ظریف و همبسته مکانی در نقشه‌های ویفر در طول زمان (مثلاً ناشی از انحراف ابزار اچ).
کنترل کیفیت باتری: تحلیل تصاویر متوالی از فرآیندهای پوشش دهی الکترود برای پیش‌بینی عیوب پوشش که منجر به شکست سلول می‌شود.
نگهداری پیش‌بینانه برای رباتیک: نظارت بر داده‌های سری زمانی از حسگرهای نیرو/گشتاور روی بازوهای رباتیک در حین مونتاژ برای تشخیص الگوهای غیرعادی نشان‌دهنده سایش مکانیکی.
جهت‌های پژوهشی:
1. مدل‌های سبک‌وزن و سازگار: توسعه نسخه‌هایی از CRRN که بتوانند به طور کارآمد برای خطوط تولید جدید با داده محدود تنظیم دقیق شوند (مانند استفاده از فراآموزش یا تکنیک‌های یادگیری با نمونه کم).
2. ادغام با دوقلوهای دیجیتال: تغذیه امتیازات و نقشه‌های ناهنجاری CRRN به دوقلوی دیجیتال کارخانه برای شبیه‌سازی تأثیر عیب مشکوک چاپگر بر بازده آینده و برنامه‌ریزی نگهداری به صورت مجازی.
3. تشخیص ناهنجاری چندوجهی: گسترش CRRN برای ادغام نه تنها داده حجم SPI، بلکه تصاویر نوری دوبعدی همگام‌شده یا نقشه‌های ارتفاع سه‌بعدی از سایر حسگرها برای یک امضای خطای قوی‌تر.

8. مراجع

Yoo, Y.-H., Kim, U.-H., & Kim, J.-H. (Year). Convolutional Recurrent Reconstructive Network for Spatiotemporal Anomaly Detection in Solder Paste Inspection. IEEE Transactions on Cybernetics.
Shi, X., Chen, Z., Wang, H., Yeung, D.-Y., Wong, W.-K., & Woo, W.-c. (2015). Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting. Advances in Neural Information Processing Systems (NeurIPS).
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems (NeurIPS).
Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV).
Ruff, L., Vandermeulen, R., Goernitz, N., Deecke, L., Siddiqui, S. A., Binder, A., ... & Kloft, M. (2018). Deep One-Class Classification. International Conference on Machine Learning (ICML).
Coleman, C., Damodaran, S., DeCost, B., et al. (2020). Defect Detection in Additive Manufacturing via Deep Learning. JOM, 72(3), 909–919.