آموزش پردازش تصویر و بینایی ماشین با نرم افزار Halcon

در این بخش با پیاده سازی مثال شمارش گیره ها برنامه نویسی و استفاده از محیط هالکن را یاد می گیریم، همچنین نحوه کار با دو ابزار پرکاربرد هیستوگرام و ویژگی ها را آموزش خواهیم داد و در نهایت ساخت تابع در نرم افزار هالکن را توضیح میدهیم.

در این مثال هدف ما شناسایی ویفرهای ناسالم است. با حل این مثال یاد میگیریم چگونه با استفاده از ابزارهای هالکن به دنبال ویژگی هایی بگردیم که محصول خراب را از سالم جدا می کند. همچنین با نحوه فراخوانی یک پوشه عکس و استفاده از دستورات شرطی در نرم افزار پردازش تصویر هالکن آشنا خواهیم شد.

در این بخش در ابتدا انواع متغیرها در نرم افزار هالکن و نحوه کاربرد آنها را یاد می گیریم. همچنین نکات تکمیلی کار با نرم افزار هالکن را توضیح می دهیم. در نهایت تمرینات پایانی فصل را ارائه می کنیم.

جداسازی نخود از لوبیا یک مثال عالی برای درک مفاهیم این فصل و نحوه استفاده از تکنیک های مورفولوژی در نرم افزار Halcon است. ما در این مثال از 4 عملگر مهم مورفولوژی استفاده می کنیم.

در این قسمت با استفاده از تکنیک های مورفولوژی به دنبال یک راهکار ابتکاری می گردیم که بتوانیم قسمت مشخصی از تصویر را پیدا کنیم.

در این مثال میخواهیم خط کشی های اتوبان را روی تصاویر مشخص کنیم. با حل این مثال ساده یاد می گیریم چطور در نرم افزار Halcon یک ناحیه را انتخاب کنیم و کد های پردازش خود را فقط در محدوده ی انتخاب شده بنویسیم.

در این بخش پروژه کنترل کیفیت پوشک را بررسی می کنیم. این پروژه برای یکی از شرکت های تولید کننده ی محصولات بهداشتی پیاده سازی شده است. با پیاده سازی این مثال نحوه استفاده از فضای رنگ برای رفع مشکلات نور پردازی را یاد خواهیم گرفت.

در این قسمت آموزش می دهیم که چگونه می توانیم قطعات مختلف را بر مبنای رنگ آنها شناسایی و تفکیک نماییم.

در این بخش یاد می گیریم چگونه در نرم افزار هالکن برنامه ای بنویسیم که قابلیت آموزش رنگ ها را داشته باشد. به عبارت دیگر می توانیم به برنامه رنگ های مختلف را آموزش دهیم. بعد از آموزش، برنامه می تواند رنگ های مختلف را از یکدیگر تفکیک کند.

فیوزهای خودرو بر مبنای رنگ طبقه بندی می شوند. مثلا فیوزهای ۱۰ آمپر قرمز و فیوز های ۱۵ آمپر آبی هستند. در این بخش برنامه ای خواهیم نوشت که تعداد و رنگ فیوزها را در عکس های مختلف تشخیص دهد.

ما در پروژه کنترل کیفیت جعبه فیوز خودرو، از نرم افزار هالکن برای شناسایی رنگ فیوزها استفاده کرده ایم. هدف ما در این پروژه تشخیص خالی بودن یا جابه جایی فیوزها است. در این فصل یاد می گیریم چگونه این برنامه را در نرم افزار هالکن پیاده سازی کنیم.

نرم افزار Halcon یک ابزار مفید جهت شناسایی اشیا ارائه کرده است. از این ابزار می توانیم برای ساخت و پیدا کردن مدل در نرم افزار هالکن استفاده کنیم، در این بخش نحوه کار با این ابزار قدرتمند و تنظیم پارامترهای برنامه در آن را یاد می گیریم.

یکی از کاربردهای شناسایی اشیا در پردازش تصویر صنعتی، شمارش تعداد محصولات است. در این بخش شیوه برنامه نویسی با استفاده از شناسایی اشیا برای شمارش تعداد محصولات آموزش داده شده است.

در این بخش یاد می گیریم چطور اجسام مختلف را در یک تصویر شناسایی کنیم. بدین منظور از تصاویر دو قطعه مختلف صنعتی استفاده کرده ایم که می توانند به روشهای مختلفی در کنار هم یا روی هم قرار بگیرند. در حل این مسئله یاد میگیریم چگونه هر کدام از این قطعات را به برنامه بشناسانیم تا بتواند قطعات مختلف را از یکدیگر تشخیص دهد و آنها را تفکیک کند.

در این قسمت به شما یاد می دهیم چطور می توانیم از شناسایی اشیا برای کنترل کیفیت محصولات خود استفاده کنیم.

هنگامی که می خواهیم بررسی کنیم یک بارکد، یک برچسب یا یک قطعه الکترونیکی در سر جای خودش قرار گرفته است یا خیر، با مسئله کنترل موقعیت روبرو هستیم. کنترل موقعیت کاربردهای زیادی در بینایی ماشین صنعتی خصوصا در صنعت چاپ دارد. در این بخش آموزش می دهیم که چگونه می توانیم موقعیت یک جسم را کنترل کنیم. بدین منظور با حل یک مثال موقعیت چاپ روی یک محصول را بررسی می کنیم.

در برخی مواقع در تصاویر ارسالی دوربین، نیاز به پیداکردن جسمی داریم که شکل آن تغییر نمی کند اما  اندازه آن تغییر می کند؛ یعنی در راستای طول یا عرض بزرگ و کوچک می شود. به کمک شناسایی اشیا می توانیم این اجسام را پیدا کنیم. در این بخش به شما آموزش می دهیم که چگونه می توان در نرم افزار هالکن کدهایی برای پیدا کردن یک جسم با اندازه های مختلف نوشت.

وقتی می خواهیم ابعاد یک جسم را اندازه گیری کنیم یا کیفیت ظاهری آن را کنترل کنیم، قبل از هر چیز باید آن را در تصویر پیدا کنیم؛ یا اصطلاحا باید موقعیت آن را شناسایی کنیم. در این بخش یاد میگیریم چگونه این کار را انجام دهیم. بدین منظور مثالی را بررسی می کنیم که در آن هدف پیدا کردن موقعیت اعداد است. بعد از تشخیص مختصات عدد می توانیم با سایر الگوریتم های هالکن آن را بخوانیم.

در این بخش مثالهای متنوعی از انواع مختلف فیلترها در نرم افزار Halcon پیاده سازی می کنیم. با حل این مثال ها یاد می گیریم چگونه می توانیم با فیلتر کردن، عیوب تصاویر را برجسته کنیم، نویز تصویر را از بین ببریم، بخش بندی تصویر را انجام دهیم، رنگ ها را شناسایی کنیم، روشنایی تصویر را اصلاح نماییم. همچنین با پیاده سازی ده ها مثال دیگر روش کد نویسی انواع فیلترها در نرم افزار هالکن را یاد خواهیم گرفت.

یکی از مسائل مهم در کنترل کیفیت ورق های فلزی ، بررسی خط و خش است. در این مثال با ترکیب راهکارهایی که تا کنون یاد گرفته ایم خط و خش روی ورق فلزی را پیدا می کنیم و آن را نمایش دهیم.

در این مثال یاد میگیریم چگونه ذرات را با استفاده از آستانه گذاری اتوماتیک پیدا کنیم و مساحت هر یک را محاسبه نماییم. همچنین تنظیمات نمایشی را به گونه ای انجام خواهیم داد که چنانچه روی هر یک از حفره ها کلیک کنیم ناحیه مورد نظر و مساحت آن را بر روی تصویر نمایش دهد. در انتهای این بخش تمرین های این فصل آمده است.

در این مثال می خواهیم برنامه مربوط به پیدا کردن تاس را بنویسیم؛ در ابتدا از تصاویری که در قسمت قبلی ذخیره کرده ایم برای نوشتن برنامه در نرم افزار هالکن استفاده  می کنیم و خواهیم دید که چگونه استفاده از دوربین وبکم با کیفیت پایین روی برنامه نویسی ما تاثیر خواهد گذاشت. سپس برنامه خود را بر مبنای توابع و به صورت استاندارد می نویسیم و در نهایت برنامه نوشته شده را با استفاده از اتصال به دوربین به صورت آنلاین تست خواهیم کرد.

ما دراین قسمت ورودی ها و خروجی های دوربین ، ولتاژ تغذیه، نحوه سیم بندی آن و… را بررسی می کنیم، در ادامه در مورد نرم افزار دوربین های باسلر (نرم افزار پایلون) توضیحاتی ارائه خواهیم کرد و در درنهایت طریقه دانلود این نرم افزار را بیان می کنیم.

دوربین های صنعتی از یک نرم افزار واسط استفاده می کنند، به کمک این نرم افزارها می توان تنظیمات مختلف تصویر برداری را انجام داد. مثلا دوربین های Basler از نرم افزار pylon جهت انجام این تنظیمات استفاده می کنند. در این بخش از طریق نرم افزار پایلون به دوربین دارت باسلر متصل می شویم و تنظیمات مورد نظر را (از قبیل نحوه تصویر برداری، انجام فوکوس، تنظیم سایز تصویر، تنظیم ورودی ها و خروجی های دوربین و…) را برای خواندن بارکد روی یک جعبه قرص، انجام می دهیم.

در این بخش از طریق نرم افزار Halcon به یک دوربین صنعتی باسلر متصل خواهیم شد و سپس با انجام تنظیمات مورد نظر بارکد روی بسته قرص را خواهیم خواند. علاوه بر آن طریقه دسترسی به ورودی ها و خروجی های دوربین ، و نحوه روشن خاموش کردن خروجی های دوربین را یاد می گیریم.

هدف ما در این مثال شناسایی عدد روی چندین تاس با رنگ های مختلف است. با حل این مثال با مسائل و نکات مختلف انجام یک پروژه واقعی آشنا می شویم. برای حل این مثال از الگوریتم شناسایی اشیا استفاده شده است.

ما در این بخش با استفاده از عکس هایی که در قسمت قبل از نرم افزار پایلون گرفته ایم برنامه ای می نویسیم که بتواند عدد روی تمام تاس های تصویر (با رنگ های متفاوت) را تشخیص و نمایش دهد.

در این قسمت دوربین را به نرم افزار هالکن متصل می کنیم تا با کدهایی که نوشته ایم عدد روی تاس های رنگی را از دوربین دریافت و نتیجه پردازش را روی تصویر نمایش دهیم.

نرم افزار پایلون جهت تنظیم پارامترهای مختلف دوربین های باسلر به کار می رود. در این قسمت در ابتدا برای کار با دوربین پایلون نحوه ی تنظیم ip آدرس این دوربین را تشریح می کنیم سپس، تنظیمات مورد نیاز روی تصویر ( تنظیم شدت روشنایی تصویر، فوکوس، طول و عرض تصویر و… ) را انجام داده و روی دوربین ذخیره می کنیم.

در این بخش تنظیمات مربوط به اتصال دوربین به نرم افزار هالکن را انجام خواهیم داد و برنامه عکس برداری با دوربین را در نرم افزار هالکن جهت تست کیفیت قرص خواهیم نوشت.

در این قسمت دریافت سیگنال ریجکت از دوربین باسلر را آموزش می دهیم و بدین وسیله برنامه خود را به گونه ای می نویسیم که چنانچه بسته قرص معیوب باشد آژیری روشن گردد.

در این قسمت می خواهیم  طراحی و انتخاب تجهیزات مورد نیاز (دوربین، لنز، لایت، PC و تجهیزات جانبی) را برای یک سیستم کنترل موقعیت چاپ انجام دهیم. چنانچه چاپ سالم باشد درب ماست توسط ربات برداشته می شود اما در غیر این صورت محصول Reject خواهد شد.

این پروژه مربوط به یکی از شرکت های دخانیات است که هدف آن خواندن دیتا کدهای بسته های سیگار است. این بسته های سیگار درون یک باکس با روکش پلاستیکی قرار گرفته اند. در هر ثانیه سه باکس سیگار (هر باکس 10 بارکد دارد) از روی نوار نقاله عبور می کند. در این بخش نحوه آنالیز، طراحی و انتخاب تجهیزات مورد نیاز برای اجرای این پروژه را آموزش می دهیم. همچنین یک سری مشکلات ایجاد شده مربوط به روکش پلاستیکی محصول را بررسی می کنیم.

در اینجا پروژه کنترل کیفیت جعبه فیوز ماشین را تحلیل و بررسی می کنیم و تجهیزات مورد نیاز برای این پروژه را انتخاب خواهیم کرد. این پروژه برای یکی از شرکت های تولید کننده لوازم الکترونیکی توسط تیم ویژن سیستم پیاده سازی شده است. برای کنترل کیفیت جعبه فیوز ماشین، اپراتور آن را به صورت دستی در جلوی دوربین قرار می دهد. چنانچه هر یک از فیوزها در جایگاه خود قرار نگرفته باشند و یا رنگ فیوزها جابه جا شده باشد خطا توسط نرم افزار اعلام می شود و اپراتور متوجه این اشتباه می گردد.

این بخش مربوط به تحلیل پروژه ی “تشخیص پلمپ بودن درب بطری” است. در این پروژه خواسته ی مشتری تشخیص درب آب معدنی هایی است که به درستی پلمپ نشده اند.با تحلیل و تست های انجام شده روی این پروژه خواهیم دید که وجود یک سری مشکلات ( نظیر  شکل های ظاهری و طیف رنگی متفاوت درب بطری  و… ) می توانند در تحلیل و انتخاب تجهیزات مختلف پروژه تاثیر بگذارند.

در این قسمت یکی از پروژه هایی که برای یک شرکت تولید کننده تجهیزات پزشکی انجام داده ایم را بررسی خواهیم کرد. در این مسئله می خواهیم باز یا بسته بودن سوزن های پزشکی را بررسی کنیم. هر بسته حاوی چندین هزار سوزن پزشکی است. با توجه به قطر کم سوزن (حدود 3. میلی متر) نمی توانیم داخل آن را با چشم ببینیم؛ از این رو میخواهیم سیستمی طراحی کنیم که بتواند سوزن های معیوب را شناسایی کند و جایگاه آن را در تصویر مشخص کند. بدین ترتیب اپراتور می تواند آن سوزن را به صورت دستی با ابزار مناسب خارج نماید. حل این مسئله با استفاده از لنز های معمولی امکان پذیر نمی باشد بنابراین نیاز داریم از سایر لنزهای بینایی ماشین استفاده کنیم.

در این مسئله می خواهیم کیفیت درب بطری را بررسی کنیم. یکی از آیتم های مهم در کنترل کیفیت درب بطری کنترل رزوه ها است. اما با لنزهای معمولی نمی توانیم رزوه ها را در تصویر به خوبی ببینیم. به همین دلیل برای حل این مسئله به سراغ لنزهای خاص در بینایی ماشین خواهیم رفت.

در این قسمت نکات تکمیلی برای طراحی سیستم های ویژن را تشریح می کنیم.

در این قسمت یک سیستم کنترل کیفیت لیبل به صورت آزمایشگاهی پیاده سازی شده است. هدف این سیستم بررسی بود یا نبود لیبل بر روی محصولاتی است که از روی نوار نقاله عبور می کنند. اگر لیبل بر روی محصول وجود نداشته باشد نرم افزار Halcon یک سیگنال جهت ریجکت به PLC ارسال خواهد کرد.  

در اینجا سیستم کنترل کیفیت مایعات درون بطری را در نرم افزار HALCON پیاده سازی خواهیم کرد.  بطری های آب معدنی توسط یک نوار نقاله از روبروی دوربین عبور میکنند. در صورتی که سطح مایع کمتر از حد مجاز باشد، HALCON از طریق PLC  چراغ هشدار قرمز رنگ را روشن می نماید و در غیر این صورت چراغ هشدار سبز روشن می شود. 

 با پیاده سازی یک مثال ساده در ابتدا یاد خواهیم گرفت چگونه ارتباط بین نرم افزار HALCON را با PLC برقرار کنیم. سپس طریقه ی ارسال دیتا از نرم افزار HALCON به PLC آموزش داده شده است. 

در اینجا سیستم کنترل مقدار مایعات درون بطری را در نرم افزار HALCON پیاده سازی خواهیم کرد.  بطری های آب معدنی توسط یک نوار نقاله از روبروی دوربین عبور می کنند. در صورتی که سطح مایع کمتر از حد مجاز باشد، HALCON از طریق PLC  چراغ هشدار قرمز رنگ را روشن می نماید و در غیر این صورت چراغ هشدار سبز روشن می شود.