Abstract
Semantic segmentation is considered as one of the most important and challenging problem in the field of computer vision which aims at assigning a class label to each pixel in an image which leads to sophisticated scene understanding. This task has been extensively used in various application areas including the self-driving cars, medical diagnosis, and environmental monitoring. Semantic segmentation has come a long way since its early detection algorithms based on features extractions to state-of-the-art deep learning methods.
This paper aims at presenting the evolution of the semantic segmentation, and specifically, how the deep learning has changed the field. The conventional approaches consisting of edge detection and histogram analysis offered a basic level of understanding but were constrained by the use of hand crafted features. Deep learning, however, is capable of learning features and has produced very promising results across numerous tasks. Some important architectures that have set the benchmark in the field include Fully Convolutional Networks (FCNs), U-Net, and DeepLab which have used convolutional layers, encoder-decoder architecture, and atrous convolutions for improving the accuracy of the segmentation. The article also reviews some of the publicly available datasets which include Cityscapes, PASCAL VOC and ISIC 2017 which are widely used to assess the performance of the segmentation models. These datasets differ in their complexity, resolution, and the application domain that they cover which makes the problems that they present to researchers diverse. Also, we compare the traditional and deep learning based feature extraction methods and present the characteristics of each method, their advantages, and disadvantages, and areas of application. This survey aims at assisting researchers and practitioners by presenting the current best practice in the form of state-of-the-art methodologies, discussing the potential of application of such methodologies in the real world, and identifying the directions for further research.Therefore, despite the advancement of deep learning in the area of semantic segmentation, there are still numerous issues which need to be addressed in the future, including efficiency, scalability, and domain specific issues. This all-encompassing review paper is hoped to be beneficial to those wishing to gain more knowledge on the current trends as well as find a way to contribute to the field of semantic segmentation in the future.
This paper aims at presenting the evolution of the semantic segmentation, and specifically, how the deep learning has changed the field. The conventional approaches consisting of edge detection and histogram analysis offered a basic level of understanding but were constrained by the use of hand crafted features. Deep learning, however, is capable of learning features and has produced very promising results across numerous tasks. Some important architectures that have set the benchmark in the field include Fully Convolutional Networks (FCNs), U-Net, and DeepLab which have used convolutional layers, encoder-decoder architecture, and atrous convolutions for improving the accuracy of the segmentation. The article also reviews some of the publicly available datasets which include Cityscapes, PASCAL VOC and ISIC 2017 which are widely used to assess the performance of the segmentation models. These datasets differ in their complexity, resolution, and the application domain that they cover which makes the problems that they present to researchers diverse. Also, we compare the traditional and deep learning based feature extraction methods and present the characteristics of each method, their advantages, and disadvantages, and areas of application. This survey aims at assisting researchers and practitioners by presenting the current best practice in the form of state-of-the-art methodologies, discussing the potential of application of such methodologies in the real world, and identifying the directions for further research.Therefore, despite the advancement of deep learning in the area of semantic segmentation, there are still numerous issues which need to be addressed in the future, including efficiency, scalability, and domain specific issues. This all-encompassing review paper is hoped to be beneficial to those wishing to gain more knowledge on the current trends as well as find a way to contribute to the field of semantic segmentation in the future.
Keywords
artificial intelligence
Convolutional Neural
Deep learning.
Semantic Segmentation
U-Net Architecture
Abstract
تعتبر التجزئة الدلالية واحدة من أهم المشاكل وأكثرها تحديًا في مجال الرؤية الحاسوبية والتي تهدف إلى تعيين تسمية فئة لكل بكسل في الصورة مما يؤدي إلى فهم متطور للمشهد. تم استخدام هذه المهمة على نطاق واسع في مجالات تطبيقية مختلفة بما في ذلك السيارات ذاتية القيادة والتشخيص الطبي ومراقبة البيئة. لقد قطعت التجزئة الدلالية شوطًا طويلاً منذ خوارزميات الكشف المبكرة القائمة على استخراج الميزات إلى أحدث أساليب التعلم العميق. تهدف هذه الورقة إلى تقديم تطور التجزئة الدلالية، وعلى وجه التحديد، كيف غيّر التعلم العميق هذا المجال. قدمت الأساليب التقليدية المكونة من اكتشاف الحافة وتحليل الهيستوجرام مستوى أساسيًا من الفهم ولكنها كانت مقيدة باستخدام ميزات مصنوعة يدويًا. ومع ذلك، فإن التعلم العميق قادر على تعلم الميزات وقد أنتج نتائج واعدة للغاية عبر العديد من المهام. تتضمن بعض البنيات المهمة التي وضعت معيارًا في هذا المجال الشبكات التلافيفية الكاملة (FCNs) وU-Net وDeepLab التي استخدمت طبقات التلافيفية، وبنية الترميز وفك التشفير، والالتواءات غير المتجانسة لتحسين دقة التجزئة. تستعرض المقالة أيضًا بعض مجموعات البيانات المتاحة للجمهور والتي تتضمن Cityscapes وPASCAL VOC وISIC 2017 والتي تُستخدم على نطاق واسع لتقييم أداء نماذج التجزئة. تختلف مجموعات البيانات هذه في تعقيدها ودقتها ومجال التطبيق الذي تغطيه مما يجعل المشكلات التي تقدمها للباحثين متنوعة. كما نقارن بين طرق استخراج الميزات التقليدية والتعلم العميق ونقدم خصائص كل طريقة ومزاياها وعيوبها ومجالات التطبيق. يهدف هذا الاستطلاع إلى مساعدة الباحثين والممارسين من خلال تقديم أفضل الممارسات الحالية في شكل منهجيات حديثة، ومناقشة إمكانات تطبيق مثل هذه المنهجيات في العالم الحقيقي، وتحديد الاتجاهات لمزيد من البحث. لذلك، وعلى الرغم من التقدم الذي أحرزته تقنيات التعلم العميق في مجال التجزئة الدلالية، لا تزال هناك العديد من القضايا التي تحتاج إلى معالجة في المستقبل، بما في ذلك الكفاءة وقابلية التوسع والقضايا الخاصة بالمجال. ونأمل أن تكون ورقة المراجعة الشاملة هذه مفيدة لأولئك الذين يرغبون في اكتساب المزيد من المعرفة حول الاتجاهات الحالية وكذلك إيجاد طريقة للمساهمة في مجال التجزئة الدلالية في المستقبل.
Keywords
(التجزئة الدلالية، معمارية U-Net، الشبكات العصبية التلافيفية،الذكاء الاصطناعي، التعلم العميق)