دانشکده مهندسی کامپیوتر

طراحی سیستم نظارت چهره راننده جهت تشخیص خستگی و عدم تمرکز حواس

پایان‏نامه جهت دریافت کارشناسی ارشد

رشته مهندسی کامپیوتر- هوش مصنوعی و رباتیک

 

 

چکیده

هر ساله تصادفات رانندگی زیادی به دلیل خواب‏آلودگی و عدم تمرکز حواس راننده در سراسر دنیا رخ می‏دهد که خسارت‏های جانی و مالی فراوانی به همراه دارند. یکی از روش‏های تشخیص خستگی و عدم تمرکز حواس، استفاده از سیستم‏های نظارت چهره راننده است. سیستم‏های نظارت چهره راننده با دریافت تصاویر از دوربین و پردازش آنها، نشانه‏های خواب‏آلودگی و عدم تمرکز حواس را از چشم، سر و چهره استخراج می‏کنند. در این پایان‏نامه یک سیستم نظارت چهره راننده طراحی شده است که با استخراج نشانه‏های خستگی و عدم تمرکز حواس از ناحیه چشم و چهره، کاهش هوشیاری راننده را تخمین می‏زند. در این سیستم چهار ویژگی شامل درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن، کاهش فاصله بین پلک‏ها و میزان چرخش سر استخراج می‏شود. سه ویژگی اول مربوط به نشانه‏های بروز خستگی و عدم تمرکز حواس در ناحیه چشم و ویژگی آخر مربوط به نشانه‏های کاهش هوشیاری در ناحیه چهره و سر می‏باشد. ویژگی‏های ناحیه چشم بر اساس تغییرات پروجکشن افقی ناحیه چشم و ویژگی‏های ناحیه چهره بر اساس بررسی قالب چهره استخراج می‏گردد. سپس این ویژگی‏ها توسط یک سیستم خبره فازی مورد پردازش قرار می‏گیرد تا میزان خستگی و عدم تمرکز حواس راننده تخمین‏زده شود. تصویربرداری سیستم پیشنهادی در طیف مرئی و با دوربین سطح خاکستری انجام شده است. نتایج آزمایش‏ها بر روی فیلم‏های تهیه شده در محیط واقعی و آزمایشگاهی نشان می‏دهد که روش پیشنهادی دقت بسیار خوبی در استخراج ویژگی و تشخیص کاهش هوشیاری راننده دارد. از لحاظ سرعت اجرای الگوریتم، سرعت سیستم پیشنهادی حدود ۵ فریم در ثانیه می‏باشد که می‏توان آن را سیستم بلادرنگ محسوب کرد.

 

کلمات کلیدی:

نظارت چهره راننده، تشخیص خستگی، تشخیص خواب آلودگی، تشخیص عدم تمرکز حواس، پیشگیری از تصادف.

 

فهرست مطالب

۱- مقدمه ۱

۱-۱- تعریف سیستم‏های نظارت چهره راننده ۱

۱-۲- ضرورت سیستم‏های نظارت چهره راننده ۲

۱-۳- چالش‏های اساسی در سیستم‏های نظارت چهره راننده ۳

۱-۴- مفاهیم خستگی، خواب‏آلودگی و عدم‏تمرکز‏حواس ۴

۱-۴-۱- خستگی و خواب‏آلودگی ۴

۱-۴-۲- عدم تمرکز حواس ۶

۱-۵- روش‏های تشخیص خستگی و عدم تمرکز حواس راننده ۶

۱-۶- طرح کلی پایان‏نامه ۷

۲- مروری بر کارهای گذشته ۸

۲-۱- پیکربندی کلی سیستم‏های نظارت چهره راننده ۹

۲-۱-۱- تصویربرداری ۹

۲-۱-۲- سخت‏افزار و پردازنده ۱۰

۲-۱-۳- نرم‏افزار هوشمند ۱۱

۲-۲- آشکارسازی چهره ۱۳

۲-۲-۱- روش‏های مبتنی بر مدل رنگ ۱۳

۲-۲-۲- روش‏های مبتنی بر ویژگی‏های شبه هار ۱۴

۲-۲-۳- روش‏های مبتنی بر شبکه عصبی ۱۴

۲-۳- آشکارسازی چشم ۱۵

۲-۳-۱- روش‏های مبتنی بر نورپردازی و تصویربرداری در طیف مادون قرمز ۱۵

۲-۳-۲- روش‏های مبتنی بر دوسطحی کردن تصویر ۱۸

۲-۳-۳- روش‏های مبتنی بر پروجکشن ۱۹

۲-۳-۴- روش‏های مبتنی بر یادگیری ۲۰

۲-۴- آشکارسازی سایر اجزای چهره ۲۱

۲-۴-۱- آشکارسازی دهان (لب) ۲۱

۲-۴-۲- آشکارسازی بینی ۲۱

۲-۵- ردیابی چهره و اجزای آن ۲۲

۲-۵-۱- تخمین حرکت ۲۳

۲-۵-۲- تطابق ۲۳

۲-۶- استخراج ویژگی‏های مربوط به کاهش هوشیاری ۲۴

۲-۶-۱- ویژگی‏های ناحیه چشم ۲۴

۲-۶-۲- ویژگی‏های دهان ۳۰

۲-۶-۳- ویژگی‏های سر ۳۰

۲-۷- تشخیص خستگی و عدم تمرکز حواس ۳۱

۲-۷-۱- روش‏های مبتنی بر حد آستانه ۳۱

۲-۷-۲- روش‏های مبتنی بر دانش ۳۲

۲-۷-۳- روش‏های مبتنی بر آمار و احتمال ۳۳

۲-۸- سیستم‏های نظارت چهره راننده در خودروهای تجاری ۳۴

۳- سیستم پیشنهادی ۳۵

۳-۱- پیکربندی کلی سیستم پیشنهادی ۳۵

۳-۱-۱- نورپردازی و تصویربرداری ۳۶

۳-۱-۲- سخت‏افزار و پردازنده ۳۷

۳-۱-۳- نرم‏افزار هوشمند ۳۷

۳-۲- آشکارسازی چهره ۳۸

۳-۲-۱- ویژگی‏های شبه هار ۳۹

۳-۲-۲- انتخاب و تعیین اهمیت ویژگی‏ها برای تشکیل یک طبقه‏بندی‏کننده قوی ۴۱

۳-۲-۳- درخت تصمیم آبشاری تقویت‏شده ۴۲

۳-۳- ردیابی چهره ۴۴

۳-۳-۱- پنجره جستجو ۴۵

۳-۳-۲- معیار تطابق ۴۶

۳-۴- استخراج ویژگی‏های مربوط به کاهش هوشیاری ۴۷

۳-۴-۱- ویژگی‏های ناحیه چشم ۴۷

۳-۴-۲- ویژگی‏های ناحیه چهره و سر ۵۵

۳-۵- تشخیص کاهش هوشیاری ۵۸

۳-۵-۱- سیستم خبره فازی ۵۸

۳-۵-۲- تولید خروجی نهایی ۶۴

۴- نتایج آزمایش‏ها و ارزیابی سیستم ۶۹

۴-۱- نحوه آزمایش سیستم ۶۹

۴-۲- معیار‏های ارزیابی ۷۲

۴-۳- آشکارسازی چهره ۷۳

۴-۴- ردیابی چهره ۷۵

۴-۵- استخراج ویژگی‏های ناحیه چشم ۷۷

۴-۶- استخراج ویژگی‏های ناحیه سر و چهره ۸۲

۴-۷- تشخیص کاهش هوشیاری ۸۶

۴-۸- ارزیابی کلی سیستم و الگوریتم‏ها ۹۳

۴-۸-۱- بررسی سرعت پردازش سیستم پیشنهادی ۹۳

۴-۸-۲- بررسی پیچیدگی محاسباتی الگوریتم‏ها ۹۴

۵- نتیجه‏گیری و پیشنهادات ۹۵

۶- مراجع ۹۹

فهرست شکل‏ها

شکل ‏۲‑۱: فلوچارت کلی برای سیستم‏های نظارت چهره راننده ۱۲

شکل ‏۲‑۲: نمونه‏هایی از ماسک‏های ویژگی برای استخراج ویژگی‏های شبه هار ۱۴

شکل ‏۲‑۳: درخت تصمیم آبشاری برای آشکارسازی چهره ۱۴

شکل ‏۲‑۴: سیستم نورپردازی مادون قرمز شامل دو دسته LED به شکل دو حلقه کوچک و بزرگ [۶] ۱۶

شکل ‏۲‑۵: نمایش ایجاد پدیده مردمک روشن و مردمک تیره در نورپردازی مادون قرمز ۱۷

شکل ‏۲‑۶: آشکارسازی چشم بر اساس ویژگی مردمک تیره و روشن: شکل‏ها از سمت راست به ترتیب فریم زوج با تصویر مردمک روشن، فریم فرد با تصویر مردمک تیره و تفاضل فریم‏‏های زوج و فرد [۶] ۱۷

شکل ‏۳‑۱: محل قرارگیری دوربین در خودرو برای سیستم پیشنهادی ۳۶

شکل ‏۳‑۲: فلوچارت بخش نرم‏افزار هوشمند در سیستم پیشنهادی ۳۸

شکل ‏۳‑۳: نمونه‏هایی از ماسک‏های ویژگی برای آشکارسازی چهره [۳۲] ۳۹

شکل ‏۳‑۴: محاسبه مجموع پیکسل‏های بخشی از تصویر با استفاده از تصویر انتگرالی ۴۰

شکل ‏۳‑۵: محاسبه یک نمونه ویژگی شبه هار بر اساس تصویر انتگرالی ۴۱

شکل ‏۳‑۶: الگوریتم تشکیل یک طبقه‏بندی‏کننده قوی بر اساس چند ویژگی [۳۳] ۴۲

شکل ‏۳‑۷: درخت تصمیم آبشاری برای آشکارسازی چهره ۴۳

شکل ‏۳‑۸: الگوریتم تشکیل یک درخت تصمیم آبشاری بر اساس چند طبقه‏بندی‏کننده قوی [۳۳] ۴۴

شکل ‏۳‑۹: نمایش چگونگی انجام جستجوی سه مرحله‏ای ۴۶

شکل ‏۳‑۱۰: نمایش بازه تعریف ویژگی‏های درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن و فاصله بین پلک‏ها ۵۱

شکل ‏۳‑۱۱: نمایش تاثیر پارامتر α در تغییر شکل تابع سیگموئید (β=۰) ۵۳

شکل ‏۳‑۱۲: نمایش تاثیر پارامتر β در تغییر شکل تابع سیگموئید (α=۱) ۵۴

شکل ‏۳‑۱۳: منحنی تغییرات فاصله بین پلک‏ها (ELDC) (محور عمودی) نسبت به تغییرات ضریب همبستگی HPO و HPLO (محور افقی) ۵۵

شکل ‏۳‑۱۴: مدل کلی سیستم خبره فازی ۵۹

شکل ‏۳‑۱۵: شکل توابع عضویت تعریف شده برای ورودی درصد بسته بودن چشم (PERCLOS) 60

شکل ‏۳‑۱۶: شکل توابع عضویت تعریف شده برای ورودی نرخ پلک زدن (CLOSNO) 60

شکل ‏۳‑۱۷: شکل توابع عضویت تعریف شده برای تغییرات فاصله بین پلک‏ها نسبت به حالت طبیعی (ELDC) 61

شکل ‏۳‑۱۸: شکل توابع عضویت تعریف شده برای میانگین چرخش سر (ROT) 61

شکل ‏۳‑۱۹: شکل توابع عضویت تعریف شده برای میزان خستگی (Fatigue) 61

شکل ‏۳‑۲۰: شکل توابع عضویت تعریف شده برای میزان عدم تمرکز حواس (Distraction) 62

شکل ‏۳‑۲۱: نمایش تغییرات پیوسته مقدار تغییرات فاصله بین پلک‏ها (ELDC) 65

شکل ‏۳‑۲۲: نمایش تغییرات پیوسته مقدار میانگین چرخش سر (ROT) 65

شکل ‏۳‑۲۳: نمایش تغییرات گسسته درصد بسته بودن چشم (PERCLOS) 66

شکل ‏۳‑۲۴: نمایش تغییرات گسسته نرخ پلک زدن (CLOSNO) 66

شکل ‏۳‑۲۵: نمایش تغییرات شکل خروجی نهایی سیستم با تغییر مقدار α در رابطه میانگین‏گیری مداوم. از بالا به پایین مقادیر α برابر است با صفر، ۸/۰ و ۹/۰ ۶۸

شکل ‏۴‑۱: نمونه‏هایی از تصاویر تهیه شده در محیط واقعی (داخل خودرو) برای آزمایش سیستم ۷۰

شکل ‏۴‑۲: نمونه‏هایی از تصاویر تهیه شده در محیط آزمایشگاهی برای آزمایش سیستم ۷۰

شکل ‏۴‑۳: نمونه‏هایی از تصاویر چهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره ۷۴

شکل ‏۴‑۴: نمونه‏هایی از تصاویر غیرچهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره ۷۴

شکل ‏۴‑۵: نمونه‏هایی از تصاویر چهره که آشکارسازی نشده‏اند ۷۴

شکل ‏۴‑۶: نمونه‏هایی از تصاویر غیرچهره که به اشتباه آشکارسازی شده‏اند ۷۴

شکل ‏۴‑۷: یکی از ماسک‏های مهم برای استخراج ویژگی در الگوریتم آشکارسازی چهره ۷۵

شکل ‏۴‑۸: نمونه‏هایی از تصاویر چهره که به درستی آشکارسازی شده‏اند ۷۵

شکل ‏۴‑۹: نمونه‏هایی از خطای ردیابی با استفاده از روش جستجوی کامل و محاسبه ضریب همبستگی ۷۶

شکل ‏۴‑۱۰: نمایش تغییر مکان چهره به دلیل تکان خوردن خودرو در دو فریم با فاصله زمانی یک ثانیه و بروز اشتباه در آشکارسازی بسته بودن چشم به دلیل عدم توانایی الگوریتم ردیابی در تعیین مکان دقیق چهره ۷۸

شکل ‏۴‑۱۱: نمایش دو فریم از تصاویر چهره راننده در حالت چرت زدن. تصویر سمت راست حالت چشم باز راننده و تصویر سمت چپ حالت چشم بسته راننده است. در این حالت پلک زدن به آرامی و به طور نامحسوس انجام می‏شود. بنابراین نرخ عدم آشکارسازی بسته شدن چشم افزایش می‏یابد. ۷۹

شکل ‏۴‑۱۲: تصاویر پلک زدن چشم در افرادی که عینک به چشم دارند ۷۹

شکل ‏۴‑۱۳: نمونه تصاویر تهیه شده از افرادی که عینک آفتابی به چشم دارند ۸۰

شکل ‏۴‑۱۴: نمونه فریم‏هایی از یک فیلم ۹ دقیقه‏ای که در آن روند تغییرات فاصله بین پلک‏ها از حالت کاملا هوشیار به حالت خواب‏آلوده نشان داده شده است. تصاویر از بالا به پایین و از راست به چپ مربوط به زمان‏های دقیقه اول، دقیقه سوم، دقیقه پنجم، دقیقه هفتم، دقیقه هشتم و دقیقه نهم می‏باشد. ۸۰

شکل ‏۴‑۱۵: نمودار تغییرات ELDC نسبت به زمان ۸۱

شکل ‏۴‑۱۶: نمایش وضعیت سر نسبت به محورهای مختصات ۸۳

شکل ‏۴‑۱۷: نمایش تغییرات میزان چرخش سر (R) در یک فیلم دو دقیقه‏ای که در آن پنج بار چرخش رخ داده است ۸۴

شکل ‏۴‑۱۸: نمونه فریم‏هایی از یک فیلم دو دقیقه‏ای که در آن آشکارسازی چرخش سر مورد ارزیابی قرار گرفته است. تصویر راست بالا مربوط به حالت چهره بدون چرخش و سایر تصاویر مربوط به چرخش سر در جهت‏های مختلف می‏باشد. ۸۴

شکل ‏۴‑۱۹: نمودار وقوع رخداد پلک زدن در طول زمان ۸۷

شکل ‏۴‑۲۰: نمودار تغییرات درصد بسته بودن چشم (PERCLOS) در طول زمان ۸۸

شکل ‏۴‑۲۱: نمودار تغییرات نرخ پلک زدن (CLOSNO) در طول زمان ۸۸

شکل ‏۴‑۲۲: نمودار تغییرات فاصله بین پلک‏ها (ELDC) در طول زمان ۸۹

شکل ‏۴‑۲۳: نمودار تغییرات میانگین چرخش سر (ROT) در طول زمان ۸۹

شکل ‏۴‑۲۴: میزان تخمین عدم تمرکز حواس راننده در طول زمان ۹۰

شکل ‏۴‑۲۵: میزان تخمین خستگی راننده در طول زمان ۹۰

شکل ‏۴‑۲۶: میانگین چرخش سر راننده در طول زمان ۹۱

شکل ‏۴‑۲۷: مقدار تخمین عدم تمرکز حواس راننده در طول زمان ۹۱

شکل ‏۴‑۲۸: نمودار پلک زدن یک فرد در فیلم سه دقیقه‏ای. در این فیلم فرد بعد از دقیقه یک، به دلیل مشغله ذهنی (عدم تمرکز حواس درونی) به یک نقطه خیره شده و پلک نمی‏زند. ۹۲

شکل ‏۴‑۲۹: میزان عدم تمرکز حواس راننده در حالتی که وی به دلیل مشغله ذهنی دچار عدم تمرکز حواس درونی شده است ۹۳

فهرست جدول‏ها

جدول ‏۳‑۱: قوانین فازی تشخیص خستگی ۶۳

جدول ‏۳‑۲: قوانین فازی تشخیص عدم تمرکز حواس ۶۴

جدول ‏۴‑۱: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط محیط ۷۱

جدول ‏۴‑۲: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک جنسیت افراد ۷۱

جدول ‏۴‑۳: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط عینک داشتن ۷۱

جدول ‏۴‑۴: بیان مفاهیم FPR، FNR، TPR و TNR در قالب ماتریس اغتشاش ۷۳

جدول ‏۴‑۵: ارزیابی الگوریتم آشکارسازی چهره ۷۴

جدول ‏۴‑۶: ارزیابی الگوریتم ردیابی بر اساس نوع روش جستجو و نوع روش محاسبه میزان انطباق ۷۶

جدول ‏۴‑۷: ارزیابی الگوریتم آشکارسازی بسته شدن چشم ۷۸

جدول ‏۴‑۸: مقایسه الگوریتم پیشنهادی با سایر الگوریتم‏های ارائه شده برای آشکارسازی بسته شدن چشم ۸۲

جدول ‏۴‑۹: توانایی سیستم پیشنهادی در آشکارسازی چرخش سر حول محورهای مختصات ۸۳

جدول ‏۴‑۱۰: ارزیابی الگوریتم آشکارسازی چرخش سر ۸۳

جدول ‏۴‑۱۱: مقایسه الگوریتم پیشنهادی با سایر الگوریتم‏های ارائه شده برای آشکارسازی چرخش سر ۸۶

جدول ‏۴‑۱۲: مقایسه حجم محاسباتی بخش‏های مختلف سیستم پیشنهادی ۹۴

 

12000 تومان – خرید