Abstract
The Back Propagation Algorithm is used for training feed Forward
Multilayer Neural Networks (FFMNN).But often this algorithm takes
long time to converge since it may fall into local minimu, for this reason
we need a long time to train the network. The suitable choice of the
learning rate helps us to escape from slow convergent for the BP and
reduce the time of learning. In this paper, we derived a new adaptive
learning rate for the BP algorithm, our derivation is based on the Aitkin's
process. The most important distinct feature of our approach is the
computing of the learning rate needs only first order derivatives and is
suitable for large training sets and large networks. Its efficiency is proved
on the standard test functions including heart , XOR and function
approximation problems .
Multilayer Neural Networks (FFMNN).But often this algorithm takes
long time to converge since it may fall into local minimu, for this reason
we need a long time to train the network. The suitable choice of the
learning rate helps us to escape from slow convergent for the BP and
reduce the time of learning. In this paper, we derived a new adaptive
learning rate for the BP algorithm, our derivation is based on the Aitkin's
process. The most important distinct feature of our approach is the
computing of the learning rate needs only first order derivatives and is
suitable for large training sets and large networks. Its efficiency is proved
on the standard test functions including heart , XOR and function
approximation problems .
Abstract
يتم استخدام خوارزمية الانتشار الخلفي لتغذية التدريب إلى الأمام
الشبكات العصبية متعددة الطبقات (فن).ولكن غالبا ما تأخذ هذه الخوارزمية
وقت طويل للتقارب لأنه قد يقع في الحد الأدنى المحلي ، لهذا السبب
نحن بحاجة إلى وقت طويل لتدريب الشبكة. اختيار مناسب من
معدل التعلم يساعدنا على الهروب من التقارب البطيء لشركة بريتيش بتروليوم و
تقليل وقت التعلم. في هذه الورقة ، اشتقنا تكيفا جديدا
معدل التعلم لخوارزمية بب ، ويستند الاشتقاق لدينا على اتكينز
عملية. أهم سمة مميزة من نهجنا هو
حساب معدل التعلم يحتاج فقط المشتقات من الدرجة الأولى وهو
مناسبة لمجموعات التدريب الكبيرة والشبكات الكبيرة. أثبتت كفاءتها
على وظائف الاختبار القياسية بما في ذلك القلب ، شور وظيفة
مشاكل التقريب .
الشبكات العصبية متعددة الطبقات (فن).ولكن غالبا ما تأخذ هذه الخوارزمية
وقت طويل للتقارب لأنه قد يقع في الحد الأدنى المحلي ، لهذا السبب
نحن بحاجة إلى وقت طويل لتدريب الشبكة. اختيار مناسب من
معدل التعلم يساعدنا على الهروب من التقارب البطيء لشركة بريتيش بتروليوم و
تقليل وقت التعلم. في هذه الورقة ، اشتقنا تكيفا جديدا
معدل التعلم لخوارزمية بب ، ويستند الاشتقاق لدينا على اتكينز
عملية. أهم سمة مميزة من نهجنا هو
حساب معدل التعلم يحتاج فقط المشتقات من الدرجة الأولى وهو
مناسبة لمجموعات التدريب الكبيرة والشبكات الكبيرة. أثبتت كفاءتها
على وظائف الاختبار القياسية بما في ذلك القلب ، شور وظيفة
مشاكل التقريب .