يعد الإضافات مشكلة شائعة وحاسمة في نماذج التعلم الآلي ، بما في ذلك نموذج المحول. كمورد لنماذج المحولات ، نحن ندرك بشدة أهمية منع الزائد لضمان قدرة تعميم النموذج وأداءها. في هذه المدونة ، سوف نستكشف كيف يمكن لنموذج المحول أن يمنع التورط ويعرض منتجات المحولات عالية الجودة لدينا.
فهم الزائد في نموذج المحول
قبل الخوض في أساليب الوقاية ، من الضروري أن نفهم ما يعنيه الإضافات في سياق نموذج المحول. نموذج المحول ، المعروف بآلية الانتباه الذاتية ، فعال للغاية في معالجة البيانات المتسلسلة مثل اللغة الطبيعية. ومع ذلك ، عندما يكون النموذج معقدًا للغاية أو أن بيانات التدريب محدودة ، قد يبدأ النموذج في تعلم الضوضاء والخصوصيات في بيانات التدريب بدلاً من الأنماط الأساسية. هذا يؤدي إلى أداء ممتاز على بيانات التدريب ولكن الأداء الضعيف على البيانات الجديدة غير المرئية ، وهو جوهر التورط.
زيادة البيانات
واحدة من أكثر الطرق المباشرة والفعالة لمنع الزائد هي زيادة البيانات. كمورد محول ، نوصي عملائنا في كثير من الأحيان بتوسيع بيانات التدريب الخاصة بهم. في مجال معالجة اللغة الطبيعية ، يمكن تحقيق زيادة البيانات بعدة طرق. على سبيل المثال ، يمكن استخدام استبدال مرادف لاستبدال الكلمات في النص بمرادفاتها. هذا يثري بيانات التدريب دون تغيير الدلالات الشاملة بشكل كبير. طريقة أخرى هي العودة - الترجمة. ترجمة النص إلى لغة أخرى ثم ترجمته إلى اللغة الأصلية. يمكن أن تولد هذه العملية جمل جديدة ولكنها متشابهة بشكل دلالي ، مما يوفر لنموذج المحول أمثلة تدريب أكثر تنوعًا.
يساعد تكبير البيانات نموذج المحول على تعلم أنماط أكثر عمومية بدلاً من الاعتماد على الأمثلة المحددة في بيانات التدريب الأصلية. من خلال تعريض النموذج لمجموعة واسعة من البيانات ، يصبح أكثر قوة وأقل عرضة للتغلب على.
تقنيات التنظيم
التنظيم هو مجموعة من التقنيات المستخدمة للتحكم في تعقيد النموذج. في نموذج المحولات ، يمكن تطبيق تنظيم L1 و L2. يضيف تنظيم L1 القيم المطلقة لأوزان النموذج إلى وظيفة الخسارة ، بينما يضيف تنظيم L2 القيم المربعة للأوزان. هذه المصطلحات الإضافية في وظيفة الخسارة تشجع النموذج على الحفاظ على الأوزان صغيرة. يكون النموذج ذو الأوزان الأصغر أقل تعقيدًا بشكل عام وأقل عرضة للتغلب على.
التسرب هو تقنية تنظيم شعبية أخرى. في نموذج المحولات ، يمكن تطبيق التسرب على طبقات الانتباه متعددة الرأس والشبكات العصبية الأمامية. أثناء التدريب ، يتسرب بشكل عشوائي "يسقط" (مجموعات إلى صفر) نسبة معينة من الخلايا العصبية. هذا يجبر النموذج لتعلم تمثيلات زائدة عن الحاجة ويقلل من التكيف بين الخلايا العصبية. نتيجة لذلك ، يصبح النموذج أكثر قوة وأقل عرضة للتغطية.
التوقف المبكر
التوقف المبكر هو استراتيجية بسيطة ولكنها فعالة لمنع الزائد. أثناء عملية تدريب نموذج المحول ، عادةً ما نقوم بتقسيم البيانات إلى مجموعة التدريب ومجموعة التحقق من الصحة ومجموعة الاختبار. تم تدريب النموذج على مجموعة التدريب ، ويتم تقييم أدائه على تحديد الصحة على فترات منتظمة. مع تقدم التدريب ، يستمر الأداء في مجموعة التدريب عادةً في التحسن ، ولكن قد يبدأ الأداء في مجموعة التحقق من الصحة في التدهور بعد نقطة معينة. هذه علامة على التورط.
عندما نلاحظ أن الأداء في مجموعة التحقق من الصحة يتوقف عن التحسن أو يبدأ في الانخفاض ، فإننا نوقف عملية التدريب. هذا يضمن عدم انتهاء النموذج - تحسين بيانات التدريب ويحافظ على قدرة تعميم جيدة.
تصميم الهندسة المعمارية النموذجية
يمكن أيضًا تصميم بنية نموذج المحول نفسه لمنع التورط. على سبيل المثال ، يمكن أن يؤدي تقليل عدد الطبقات أو عدد الرؤوس في آلية انتباه الرأس المتعددة إلى تبسيط النموذج. يحتوي النموذج الأكثر بساطة على عدد أقل من المعلمات وهو أقل عرضة للتغلب على. ومع ذلك ، فهي تجارة - خارج لأن النموذج البسيط للغاية قد لا يكون قادرًا على التقاط أنماط معقدة في البيانات.
نهج آخر هو استخدام البنى الهرمية أو المعيارية. بدلاً من وجود نموذج محول كبير واحد ، يمكننا تقسيمه إلى نماذج فرعية أصغر. يمكن تدريب هذه النماذج الفرعية بشكل مستقل أو بطريقة هرمية. يمكن لهذا التصميم المعياري أن يقلل من تعقيد النموذج الكلي ويجعله أكثر قابلية للإدارة ، وبالتالي منع التورط.
منتجات المحولات لدينا وميزاتها المضادة للورق
كمورد محول ، نقدم مجموعة واسعة من نماذج المحولات عالية الجودة. تم تصميم نماذجنا مع وضع التقنيات المتكافئة أعلاه في الاعتبار. على سبيل المثال ، لدينا استراتيجيات تكبير البيانات المدمجة في عملية التدريب قبلنا لضمان تدريب نماذجنا على بيانات متنوعة. تستخدم نماذجنا أيضًا تقنيات التنظيم المتقدمة مثل تنظيم L2 والتسرب للتحكم في التعقيد.
نحن نقدم أنواعًا مختلفة من نماذج المحولات لتلبية احتياجات التطبيقات المختلفة. بالنسبة لأولئك المهتمين بمحولات الطاقة ، فإننا نقدممحول عزل الألومنيوم ثلاث مراحلوالألومنيوم منخفض الجهد ثلاث مراحل محول جاف من النوع الجاف، ومحول عزل النحاس ثلاث مراحل. تم تصميم محولات الطاقة هذه بمواد عالية الجودة وعمليات تصنيع متقدمة لضمان أداء مستقر وموثوقية.
اتصل بنا للمشتريات والمناقشة
إذا كنت تبحث عن مورد محول موثوق به وترغب في معرفة المزيد عن ميزات منتجاتنا المضادة للمنتجات أو لدينا أي احتياجات شراء ، فإننا نرحب بك للاتصال بنا. لدينا فريق محترف يمكنه تزويدك بمعلومات منتج مفصلة ودعم فني وحلول مخصصة. هدفنا هو مساعدتك في العثور على نموذج المحولات الأكثر ملاءمة لتطبيقك المحدد والتأكد من أداءه جيدًا دون التغلب على التغلب.
مراجع
Goodfellow ، IJ ، Bengio ، Y. ، & Courville ، A. (2016). التعلم العميق. معهد ماساتشوستس للتكنولوجيا.
Vaswani ، A. ، Shazer ، N. ، Parmar ، N. ، Uszkoreit ، J. ، Jones ، L. ، Gomez ، An ، ... & Polosukhin ، I. (2017). الاهتمام هو كل ما تحتاجه. التقدم في أنظمة معالجة المعلومات العصبية.