مرحبًا يا من هناك! كمورد محول ، غالبًا ما يتم سؤالني عن الاختلافات بين المحول و LSTM. لذا ، اعتقدت أنني سأكتب هذه المدونة لكسرها من أجلك.
ما هي المحولات و LSTMS؟
لنبدأ بمقدمة سريعة. المحولات هي نوع من بنية الشبكة العصبية التي تحظى بشعبية كبيرة في معالجة اللغة الطبيعية (NLP) هذه الأيام. تم تقديمها في الورقة "الانتباه هو كل ما تحتاجه" في عام 2017. إن الفكرة الرئيسية وراء Transformers هي استخدام آلية الانتباه ، والتي تسمح للنموذج بالتركيز على أجزاء مختلفة من تسلسل الإدخال عند إجراء التنبؤات.
من ناحية أخرى ، فإن شبكات الذاكرة القصيرة الطويلة (LSTM) هي نوع من الشبكة العصبية المتكررة (RNN). تم تصميم RNNs للتعامل مع البيانات المتسلسلة ، مثل النص أو الوقت - بيانات السلسلة. لكن RNNs التقليدية تعاني من مشكلة التدرج التلاشي ، مما يجعل من الصعب عليهم تعلم التبعيات طويلة المدى. تم تطوير LSTMS لحل هذه المشكلة. لديهم بنية خلية خاصة مع بوابات (بوابة الإدخال ، تنسى بوابة ، بوابة الإخراج) يمكنها التحكم في تدفق المعلومات عبر الشبكة ، مما يسمح لهم بتذكر المعلومات لفترات أطول.
اختلافات العمارة
واحدة من أكبر الاختلافات بين المحولات و LSTMS تكمن في الهندسة المعمارية.
تسلسل عملية LSTMS بالتتابع. هذا يعني أنهم يقرؤون الإدخال عنصرًا واحدًا في وقت واحد ويقومون بتحديث حالتهم الداخلية استنادًا إلى الإدخال الحالي والحالة السابقة. هذه المعالجة المتسلسلة تجعلها رائعة للمهام حيث يكون ترتيب الإدخال مهمًا كثيرًا ، مثل ترجمة اللغة حيث تكون ترتيب القواعد والكلمة أمرًا بالغ الأهمية. ومع ذلك ، فإنه يجعلهم بطيئين في التدريب لأنهم لا يستطيعون موازنة معالجة التسلسل.
المحولات ، من ناحية أخرى ، لا تعالج التسلسل بالتتابع. يستخدمون آلية الانتباه للنظر في جميع أجزاء تسلسل الإدخال في وقت واحد. هذا يتيح لهم موازاة المعالجة ، مما يعني أنه يمكنهم تدريب أسرع بكثير من LSTMS. تقوم آلية الانتباه بحساب مجموع مرجح من متجهات الإدخال ، حيث يتم تحديد الأوزان من خلال مدى أهمية كل إدخال للآخرين. وبهذه الطريقة ، يمكن للنموذج بسهولة التقاط تبعيات طويلة المدى في التسلسل دون الحاجة إلى معالجته خطوة بخطوة.
الأداء في مهام مختلفة
عندما يتعلق الأمر بالأداء ، فإن كل من المحولات و LSTMs لها نقاط القوة والضعف.
في مهام NLP ، استحوذت المحولات بالفعل على السنوات الأخيرة. بالنسبة لمهام مثل توليد النص ، تحليل المشاعر ، والسؤال - الإجابة على أنظمة ، غالبًا ما تتفوق المحولات على LSTMS. إن قدرتهم على التقاط تبعيات طويلة المدى والقطار تجعلها جيدة - مناسبة لهذه المهام. على سبيل المثال ، تستند نماذج مثل GPT (المحول المسبق التوليدي) و BERT (تمثيلات تشفير ثنائية الاتجاه من المحولات) إلى بنية المحولات وحققت حالة - - - - النتائج الفنية على العديد من معايير NLP.
LSTMS ، ومع ذلك ، لا يزال لديهم مكانهم. لا تزال مفيدة للمهام التي تكون فيها الطبيعة المتسلسلة للبيانات مهمة للغاية وحيث يكون طول التسلسل قصيرًا نسبيًا. على سبيل المثال ، في التعرف على الكلام ، حيث يهم ترتيب الإطارات الصوتية كثيرًا ، يمكن أن يكون LSTMS اختيارًا جيدًا. يمكن أن تكون أيضًا أكثر قابلية للتفسير من المحولات في بعض الحالات ، والتي يمكن أن تكون ميزة عندما تحتاج إلى فهم كيفية اتخاذ النموذج قراراته.
الذاكرة والحساب
استخدام الذاكرة هو مجال آخر يختلف فيه المحولات و LSTMS.


LSTMS لديها بصمة ذاكرة صغيرة نسبيا مقارنة مع المحولات. نظرًا لأنهم يعالجون التسلسل عنصرًا واحدًا في وقت واحد ، فإنهم بحاجة فقط إلى تتبع الحالة الحالية والدولة السابقة. هذا يجعلهم أكثر ذاكرة - كفاءة ، خاصة بالنسبة للتسلسلات الطويلة.
من ناحية أخرى ، تحتاج المحولات إلى تخزين جميع متجهات الإدخال وحساب درجات الانتباه لجميع أزواج عناصر الإدخال. هذا يمكن أن يؤدي إلى استخدام ذاكرة عالية ، وخاصة للتسلسلات الطويلة. ومع ذلك ، مع تطور تقنيات مثل الانتباه المتفريقة ، يتم تخفيف هذه المشكلة إلى حد ما.
فيما يتعلق بالحساب ، كما ذكرنا سابقًا ، يمكن للمحولات موازاة معالجة التسلسل ، مما يجعلها أسرع بكثير للتدريب من LSTMS. ولكن هذا يعني أيضًا أنها تتطلب المزيد من الموارد الحسابية ، مثل وحدات معالجة الرسومات القوية أو TPUs. LSTMS ، مع معالجتها المتسلسلة ، أقل كثافة حسابية ولكن تستغرق وقتًا أطول للتدريب.
التطبيقات في العالم الحقيقي
دعنا نتحدث عن كيفية استخدام هذين البنية في العالم الحقيقي.
يتم استخدام المحولات في مجموعة واسعة من التطبيقات. في صناعة التكنولوجيا ، يتم استخدامها في أشياء مثل المساعدين الظاهريين ، ودردشة الدردشة ، وخدمات ترجمة اللغة. على سبيل المثال ، بدأت Google Translate باستخدام النماذج القائمة على المحولات لتحسين جودة ترجماتها. في مجال التمويل ، يمكن استخدام المحولات للتنبؤ بأسعار الأسهم من خلال تحليل المقالات الإخبارية ومعنويات وسائل التواصل الاجتماعي.
لا تزال LSTMS تستخدم في العديد من الصناعات أيضًا. في صناعة الرعاية الصحية ، يمكن استخدامها لتحليل بيانات المريض مع مرور الوقت ، مثل إشارات تخطيط القلب (ECG) أو علامات المريض الحيوية. في صناعة السيارات ، يمكن استخدام LSTMS للتنبؤ بسلوك السيارة بناءً على البيانات التاريخية.
منتجات المحولات لدينا
كمورد محول ، نقدم مجموعة متنوعة من المحولات عالية الجودة للتطبيقات المختلفة. إذا كنت تبحث عنمحول التحكم في الطور الواحد، لقد قمت بتغطيتك. تم تصميم هذه المحولات لتوفير التحكم الدقيق والأداء الموثوق به في الأنظمة الكهربائية ذات الطور الواحد.
لدينا أيضاالألومنيوم منخفض الجهد ثلاث مراحل محول جاف من النوع الجاف. هذه المحولات خفيفة الوزن ، وفعالة ، ومناسبة لمجموعة واسعة من التطبيقات الصناعية.
وإذا كنت بحاجة إلىمحول التحكم في سلسلة BK، لدينا لهم في المخزون. تشتهر سلسلة BK بمتانتها وأدائها الممتاز في دوائر التحكم.
خاتمة
في الختام ، كل من المحولات و LSTMS هي هياكل شبكات عصبية قوية ، ولكن لديها خصائص مختلفة تجعلها مناسبة للمهام المختلفة. تعد المحولات رائعة للمهام التي تحتاج فيها التبعيات الطويلة والمدى إلى التقاط التدريب السريع ، في حين أن LSTMS أفضل للمهام التي تكون فيها المعالجة المتسلسلة وكفاءة الذاكرة مهمة.
إذا كنت في السوق للمحولات لأنظمة الكهرباء الخاصة بك ، فنحن هنا للمساعدة. سواء كنت بحاجة إلى محول تحكم واحد - تحكم في الطور ، أو محول نوع من الطور الجاف ، أو محول التحكم في سلسلة BK ، يمكننا تزويدك بالمنتج المناسب. اتصل بنا لبدء مناقشة المشتريات وابحث عن أفضل حل لاحتياجاتك.
مراجع
- Vaswani ، A. ، Shazer ، N. ، Parmar ، N. ، Uszkoreit ، J. ، Jones ، L. ، Gomez ، An ، ... & Polosukhin ، I. (2017). الاهتمام هو كل ما تحتاجه. التقدم في أنظمة معالجة المعلومات العصبية.
- Hochreiter ، S. ، & Schmidhuber ، J. (1997). ذاكرة قصيرة طويلة على المدى. الحساب العصبي ، 9 (8) ، 1735 - 1780.
