Abstract
Wildfires, floods, earthquakes, and landslides are considered environmental disasters that have a significant threat to human life, as well as critical infrastructure in the whole world, and have prompted the creation of quick and automated systems of classifying scenes that can aid the timely emergency response. The Unmanned Aerial Vehicles (UAVs) have become an effective tool in disaster monitoring in real-time but automated classification of disaster imagery captured by the UAVs has been difficult because of intra-class variability, inter-class similarity in visuals, and the complicated background of scenes. This paper presents a new Dual-Branch Hybrid Network (DBHN) that combines ResNet101 and DenseNet121 in a parallel structure of feature extraction to provide the classification of four categories of environmental disasters real scenes (Wildfires, floods, earthquakes, and landslides) over a dataset of 5,946 real-world UAV images collected from publicly available disaster. This suggested architecture uses the complementary strengths of residual learning to extract global semantic features and dense connectivity to extract fine-grained local features and combines the two streams together by using a concatenation layer then fully connected and softmax classification layers. There is a two-phase (initial training of the base models and fine-tuning of the UAVdisaster database to improve classification performance) transfer learning plan, which would help to transfer the pre-trained ImageNet Weights to the disaster domain. Empirical evidence shows that the proposed DBHN attains a classification accuracy of 93.61% and a macro-averaged F1-score of 93.43% which is more precise than the standalone ResNet101 baseline (89.62% accuracy, 89.39% F1-score) and the DenseNet121 baseline (90.14% accuracy, 90.95% F1-score). Class-by-class analysis supports the above assertion, as Earthquake/Urban Damage and Landslide categories record the largest gains, and these two classes with the greatest visual similarity. The results prove that dual-branch hybrid architectures have been developed as a manner of offering a scalable and robust solution to UAV-based classification of environmental disasters.
Keywords
deep learning
DenseNet121
disaster scene classification
dual-branch network
environmental disasters
ResNet101
Transfer learning
UAV imagery
Abstract
تُعتبر حرائق الغابات والفيضانات والزلازل والانهيارات الأرضية كوارث بيئية تُشكل تهديدًا كبيرًا لحياة الإنسان والبنية التحتية الحيوية في جميع أنحاء العالم، مما دفع إلى ابتكار أنظمة سريعة وآلية لتصنيف المشاهد، تُسهم في الاستجابة الفورية لحالات الطوارئ. وقد أصبحت الطائرات المسيّرة أداة فعّالة في رصد الكوارث في الوقت الفعلي، إلا أن التصنيف الآلي لصور الكوارث الملتقطة بواسطة هذه الطائرات لا يزال صعبًا نظرًا للتفاوتات داخل الفئة الواحدة، والتشابه بين الفئات المختلفة في الصور، وتعقيد خلفيات المشاهد. تُقدم هذه الورقة البحثية شبكة هجينة ثنائية الفروع (DBHN) تجمع بين شبكتي ResNet101 وDenseNet121 في بنية متوازية لاستخراج الميزات، لتوفير تصنيف لأربع فئات من مشاهد الكوارث البيئية، وذلك باستخدام مجموعة بيانات تضم 5946 صورة التقطتها طائرات مسيّرة. تستفيد هذه البنية المقترحة من نقاط القوة التكميلية للتعلم المتبقي لاستخلاص السمات الدلالية العامة، والاتصال الكثيف لاستخلاص السمات المحلية الدقيقة، وتجمع بين هذين المسارين باستخدام طبقة دمج، ثم طبقات تصنيف متصلة بالكامل وطبقة softmax. يوجد مخطط تعلم نقل ثنائي المراحل، يُساعد على نقل أوزان ImageNet المدربة مسبقًا إلى مجال الكوارث. تُظهر الأدلة التجريبية أن شبكة DBHN المقترحة تحقق دقة تصنيف تبلغ 93.61%، ومتوسط درجة F1 الكلي 93.43%، وهي أعلى دقة من خط الأساس ResNet101 المستقل (دقة 89.62%، ودرجة F1 89.39%) وخط الأساس DenseNet121 (دقة 90.14%، ودرجة F1 90.95%). يؤكد التحليل التفصيلي لكل فئة على حدة ما سبق، حيث سجلت فئتا الزلازل/الأضرار الحضرية والانهيارات الأرضية أكبر المكاسب، وهما الفئتان الأكثر تشابهًا من الناحية البصرية. وتثبت النتائج أن البنى الهجينة ثنائية الفروع قد طُوّرت كطريقة لتقديم حل قابل للتطوير وفعّال لتصنيف الكوارث البيئية باستخدام الطائرات المسيّرة.