شار نوری (بصری)

شار نوری الگوی حرکت آشکار اشیاء، سطوح و لبه‌ها در یک صحنه بصری است که ناشی از حرکت نسبی بین یک ناظر و یک صحنه است. شار نوری را همچنین می‌توان به عنوان توزیع سرعت آشکار حرکت در الگوی روشنایی در یک تصویر نیز معرفی کرد. مفهوم شار نوری توسط جیمز جونیور گیبسون، روانشناس آمریکایی در دهه ۱۹۴۰، برای توصیف محرک‌های دیداری فراهم شده برای حیوانات در حال حرکت در سراسر دنیا معرفی شد. تأکید گیبسون بر اهمیت شار نوری به دلیل قابلیت درک یا توانایی تشخیص حالات ممکن برای انجام یک عمل در یک محیط بود. پیروان گیبسون و رویکرد اکولوژیکی وی در روانشناسی بعدها نقش محرک شار نوری را برای درک حرکت توسط ناظر در جهان، درک اشکال، فاصله و حرکت اجسام در جهان و کنترل حرکت نشان دادند.

جریان نوری توسط یک ناظر دوار (در این مورد یک l's) تجربه می‌شود. جهت و بزرگی جریان نور در هر مکان با جهت و طول هر فلش نشان داده شده‌است.

واژه شار نوری در علم روباتیک، در مواردی همچون تکنیک‌های مرتبط با پردازش تصویر و کنترل جهت‌یابی هم استفاده می‌شود، کنترل جهت‌یابی شامل تشخیص حرکت، قطعه بندی جسم، اطلاعات زمان تماس و تمرکز محاسبات گسترده، روشنایی، کدگذاری جبران شده حرکت و اندازه‌گیری اختلاف استریو می‌شود.

تخمین

توالی تصاویر مرتب شده امکان تخمین حرکت به عنوان سرعت لحظه‌ای تصویر یا جابجایی گسسته تصویر را فراهم می‌آورد. فلیت و وایس یک آموزش مقدماتی برای گرادیان بر پایه شار نوری تهیه کرده‌اند. جان ل. بارون، دیوید ج. نائوت و استیون بیوکمین یک آنالیز کارایی برای تعدادی از تکنیک‌های شار نوری فراهم کرده‌اند. این آنالیز بر صحت و تراکم اندازه‌گیری‌ها تأکید دارد.

روش‌های شار نوری سعی بر محاسبهٔ حرکت، بین دو فریم از تصاویر که در زمان‌های t و t+Δt گرفته شده‌اند، در هر واکسل (کوچکترین مکعب مستطیل‌ها در فضا که می‌توانند مختصات یک شیء را نشان دهند) دارند. از آنجایی که این روش‌ها بر مبنای تقریباب بسط تیلور سیگنال تصویر هستند روش تفاضلی نامیده می‌شوند. به عبارتی این روش‌ها از مشتقات جزئی نسبت به مختصات زمانی و مکانی استفاده می‌کنند.

برای یک نمونه در حالت دو بعدی (حالات ۳ بعدی و بیشتر مشابه هستند) یک واکسل در موقعیت (x,y,t) با شدت (I(x,y,t به اندازه‌های Δx، Δy و Δt بین دو فریم از تصاویر حرکت خواهد کرد و محدودیت پایداری روشنایی به صورت زیر می‌تواند داده شود:

I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)

با فرض کوچک بودن حرکت، محدودیت تصویر در (I(x,y,t را می‌توان با بسط تیلور توسعه داد تا به عبارت زیر رسید:

H.O.T

I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t+

از این معادلات بدست می‌آید که:

{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0

یا

${\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0$

که نتیجه می‌دهد

{\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0

که $V_{x},V_{y}$

، مولفه‌های سرعت در راستای x و y یا شار نوری (I(x,y,t هستند و

{\tfrac {\partial I}{\partial x}}

,

{\tfrac {\partial I}{\partial y}}

,

{\tfrac {\partial I}{\partial t}}

مشتقات تصویر در (x,y,t) در جهات متناظر هستند.

I_{x}

,

I_{y}

,

I_{t}

را می‌توان برای مشتقات بالا نوشت

پس:

I_{x}V_{x}+I_{y}V_{y}=-I_{t}

یا

\nabla I^{T}\cdot {\vec {V}}=-I_{t}

این یک معادله با دو مجهول است و به این شکل قابل حل نیست. این معادله به مشکل aperture در الگوریتم‌های شار نوری معروف است. برای یافتن شار نوری یک مجموعه معادلهٔ دیگر با چند قید اضافی نیاز است. تمامی روش‌های شار نوری شرایط اضافی را برای تخمین شار واقعی معرفی می‌کنند.

روش‌های تعیین

همبستگی فاز- معکوس نرمالایز شده طیف cross-power
روش‌های مبتنی بر اساس انسداد - به حداقل رساندن جمع مربعات اختلاف‌ها یا جمع قدرمطلق اختلاف‌ها یا به حداکثر رساندن نرمالایز شده cross-correlation
روش‌های تفاضلی تخمین شار نوری، بر اساس مشتقات جزئی سیگنال تصویر و/یا میدان شار مطلوب و مشتقات جزئی مراتب بالاتر نظیر:
روش لوکاس کاناد - با توجه به تکه‌های تصویر و یک مدل وابسته برای میدان شار.
روش هرن شانک - بهینه‌سازی براساس مانده‌های بدست آمده از محدودیت پایداری روشنایی و یک عبارت مشخص که بیانگر میزان هموار بودن مورد انتظار میدان شار است
روش باکستون - برپایهٔ مدلی از حرکت لبه‌ها در توالی تصویر.
روش بلک جپسون - شار نوری ناهنجار از طریق همبستگی.
روش‌های عمومی متغیر - تعدادی از اصلاحات و توسعه‌های روش هرن شانک با استفاده از داده‌های دیگر
روش‌های بهینه‌سازی گسسته - فضای جستجو کوانتیزه می‌شود و سپس تطبیق تصویر از طریق تخصیص برچسب در هر پیکسل صورت می‌گیرد. بطوریکه دگردیسی مربوطه فاصلهٔ بین منبع و تصویر هدف را به حداقل می‌رساند. راه حل بهینه اغلب از طریق الگوریتم حداکثر شار، برنامه‌نویسی خطی یا روش‌های انتشار باور، بهبود می‌یابد.
بسیاری از موارد گفته شده، علاوه بر الگوریتم‌های موجود در حال حاضر بر اساس مجموعهٔ داده‌های معیار میدلبوری ارزیابی می‌شوند.

کاربردها

برآورد حرکت و فشرده سازی ویدئو به عنوان جنبه‌های اصلی تحقیق در زمینه شار نوری توسغه یافته‌اند. میدان شار نوری به صورت محسوس به یک میدان حرکت متراکم شباهت دارد که از تکنیک‌های برآورد حرکت استخراج می‌شود. این در حالی است که شار نوری نه تنها شامل مطالعه میدان شار نوری می‌شود، بلکه از آن در برآورد ماهیت سه بعدی و ساختار صحنه و همچنین حرکت سه بعدی اشیا و ناظر نسبت به صحنه استفاده می‌شود. در اغلب موارد بیان شده از اصل ژاکوبین استفاده می‌شود.

شار نوری توسط محققان رباتیک در بسیاری از زمینه‌ها نظیر: تشخیص و ردیابی جسم، استخراج صفحات غالب در تصویر، تشخیص حرکت، جهت‌یابی ربات‌ها و حساسیت دیداری استفاده شده‌است. اطلاعات شار نوری برای کنترل وسایل نقلیه هوایی میکرو مفید شناخته شده‌است.

کاربرد شار نوری با مشکل استنباط حرکت ناظر و اجسام حاضر در صحنه و همچنین ساختار اجسام در محیط مواجه است. با توجه به اینکه آگاهی از حرکت و تولید تصاویر ذهنی از ساختار محیط اطراف اجزا مهم و حیاتی در دید حیوانات (و انسان‌ها) ست، تبدیل این توانایی به قابلیت کامپیوتری نیز در حوزه دید ماشینی به همان میزان مهم است.

بردار جریان نوری یک شیء متحرک در توالی ویدیو.

یک کلیپ پنج فریمی از حرکت یک توپ را که از پایین و سمت چپ میدان دید به سمت بالا و راست حرکت می‌کند در نظر بگیرید. تکنیک‌های برآورد حرکت می‌توانند تعیین کنند که در یک صفحه دو بعدی توپ به سمت بالا و راست حرکت می‌کند و بردارهایی که این حرکت را توصیف می‌کنند می‌توانند از توالی فریم‌ها استخراج شوند. برای اهداف فشرده سازی ویدیو (به عنوان مثال، MPEG)، توالی در حال حاضر همان‌طور که باید باشد توصیف می‌شود. با این حال، در زمینه دید ماشینی، سؤال این است که آیا توپ به سمت راست حرکت می‌کند یا این که ناظر در حال حرکت به سمت چپ است، این اطلاعات برای ماشین ناشناخته و در عین حال حیاتی است. حتی اگر یک پس زمینه طرح دار و ساکن در پنج فریم موجود باشد هم نمی‌توانیم با اطمینان بیان کنیم که توپ به سمت راست حرکت می‌کند، چرا که امکان دارد طرح فاصلهٔ بینهایت با ناظر داشته باشد.

حسگر شار نوری

سنسور شار نوری یک حسگر دید است که قادر به اندازه‌گیری شار نوری یا حرکت بصری و بیرون دادن یک اندازه‌گیری بر اساس شار نوری است. اشکال متنوع برای سنسور شار نوری وجود دارد. یکی از این پیکربندی‌ها یک تراشه حسگر تصویر است که با اتصال به یک پردازنده برای اجرای الگوریتم شار نوری برنامه‌ریزی شده‌است. یکی دیگر از پیکربندی‌ها از یک تراشه بصری استفاده می‌کند که یک مدار مجتمع است که در برگیرنده هر دو سنسور تصویر و پردازنده در همان دیسک است که اجازه پیاده‌سازی فشرده را می‌دهد. یک نمونه از این موارد، استفاده از این سنسور در موس‌های نوری است. در برخی از موارد، مدار پردازش ممکن است با استفاده از مدارهای آنالوگ یا سیگنال مختلط پیاده‌سازی شود تا امکان محاسبات سریع شار نوری را با استفاده از کمترین مقدار مصرف جریان فراهم آورد.

یکی از زمینه‌های تحقیقات امروزه، استفاده از روش‌های مهندسی نورومورفیک برای اجرا کردن مدارهایی است که به شار نوری پاسخ می‌دهند و بنابراین ممکن است برای استفاده در سنسورهای شار نوری مناسب باشند، این مدارها ممکن است از الگوریتم‌های بیولوژیکی الهام بگیرند که به طرز مشابه ای به شار نوری پاسخ می‌دهند.

حسگرهای شار نوری به صورت گسترده‌ای در موس‌های نوری کامپیوتری به عنوان جزء حسگر اصلی برای اندازه‌گیری حرکت موس بر روی صفحه مورد استفاده قرار می‌گیرند.

سنسورهای شار نوری همچنین در کاربردهای روباتیکی و در درجهٔ اول در جایی که نیاز به اندازه‌گیری حرکت بصری یا حرکت نسبی بین ربات و دیگر اشیاء در مجاورت ربات وجود دارد، استفاده می‌شوند. استفاده از سنسورهای شار نوری در وسایل نقلیه بدون سرنشین (هواپیماهای بدون سرنشین)، برای پایداری و جلوگیری از برخورد با مانع، بخشی از تحقیقات در حال انجام است.

جستارهای وابسته

آرایه نور محیطی
موس نوری
تصویربرداری محدوده
واحد پردازش دید

منابع

↑ Andrew Burton & John Radford (1978). Thinking in Perspective: Critical Essays in the Study of Thought Processes. Routledge. ISBN 0-416-85840-6.
↑ David H. Warren & Edward R. Strelow (1985). Electronic Spatial Sensing for the Blind: Contributions from Perception. Springer. ISBN 90-247-2689-1.
↑
http://image.diku.dk/imagecanon/material/HornSchunckOptical_Flow.pdf
↑ Gibson, J.J. (1950). The Perception of the Visual World. Houghton Mifflin.
↑ Royden, C. S.; Moore, K. D. (2012). "Use of speed cues in the detection of moving objects by moving observers". Vision Research. 59: 17–24. doi:10.1016/j.visres.2012.02.006.
↑ Kelson R. T. Aires; Andre M. Santana; Adelardo A. D. Medeiros (2008). Optical Flow Using Color Information (PDF). ACM New York, NY, USA. ISBN 978-1-59593-753-7.
↑ S. S. Beauchemin; J. L. Barron (1995). The computation of optical flow. ACM New York, USA.
↑ David J. Fleet & Yair Weiss (2006). "Optical Flow Estimation". In Paragios (ed.). Handbook of Mathematical Models in Computer Vision (PDF). Springer. ISBN 0-387-26371-3.
↑ John L. Barron; David J. Fleet & Steven Beauchemin (1994). "Performance of optical flow techniques" (PDF). International Journal of Computer Vision. Springer. 12: 43–77. doi:10.1007/bf01420984.
↑
Barrows GL, Chahl JS، و Srinivasan MV، سنجش بصری الهام گرفته از محیط زیست و کنترل پرواز، مجله هواپیما Journal. 107، ص 159-268، 2003.
↑ Christopher M. Brown (1987). Advances in Computer Vision. Lawrence Erlbaum Associates. ISBN 0-89859-648-3.

پیوند به بیرون

یافتن جریان نوری
مقاله نوری جریان نوری در fxguide.com (با استفاده از جریان نوری در جلوه‌های بصری)
ارزیابی جریان نوری و توالی حقیقت زمین.
ارزیابی جریان اپتیکی Middlebury و توالی حقیقت زمین.
mrf-registration.net - تخمین جریان نوری از طریق MRF بایگانی‌شده در ۱۷ ژانویه ۲۰۱۹ توسط Wayback Machine
آزمایشگاه هوافضا فرانسه : اجرای GPU یک جریان نوری مبتنی بر لوکاس کاناد
پیاده‌سازی CUDA توسط CUVI (CUDA Vision & Imaging Library)
جریان نوری شاخ و شونک: نسخهٔ نمایشی آنلاین و کد منبع متد شاخ و شوکن
جریان نوری TV-L1: نسخهٔ نمایشی آنلاین و کد منبع Zach et al. روش
جریان نوری قوی: نسخهٔ نمایشی آنلاین و کد منبع Brox و همکاران. روش

[1] Andrew Burton & John Radford (1978). Thinking in Perspective: Critical Essays in the Study of Thought Processes. Routledge. ISBN 0-416-85840-6.

[2] David H. Warren & Edward R. Strelow (1985). Electronic Spatial Sensing for the Blind: Contributions from Perception. Springer. ISBN 90-247-2689-1.

[3] 
http://image.diku.dk/imagecanon/material/HornSchunckOptical_Flow.pdf

[4] Gibson, J.J. (1950). The Perception of the Visual World. Houghton Mifflin.

[5] Royden, C. S.; Moore, K. D. (2012). "Use of speed cues in the detection of moving objects by moving observers". Vision Research. 59: 17–24. doi:10.1016/j.visres.2012.02.006.

[Kelson_R._T._Aires,_Andre_M._Santana,_Adelardo_A._D._Medeiros_2008-6] Kelson R. T. Aires; Andre M. Santana; Adelardo A. D. Medeiros (2008). Optical Flow Using Color Information (PDF). ACM New York, NY, USA. ISBN 978-1-59593-753-7.

[S._S._Beauchemin_,_J._L._Barron_1995-7] S. S. Beauchemin; J. L. Barron (1995). The computation of optical flow. ACM New York, USA.

[8] David J. Fleet & Yair Weiss (2006). "Optical Flow Estimation". In Paragios (ed.). Handbook of Mathematical Models in Computer Vision (PDF). Springer. ISBN 0-387-26371-3.

[9] John L. Barron; David J. Fleet & Steven Beauchemin (1994). "Performance of optical flow techniques" (PDF). International Journal of Computer Vision. Springer. 12: 43–77. doi:10.1007/bf01420984.

[10] 
Barrows GL, Chahl JS، و Srinivasan MV، سنجش بصری الهام گرفته از محیط زیست و کنترل پرواز، مجله هواپیما Journal. 107، ص 159-268، 2003.

[11] Christopher M. Brown (1987). Advances in Computer Vision. Lawrence Erlbaum Associates. ISBN 0-89859-648-3.