دالة سوفت ماكس

جزء من سلسلة مقالات حول
تعلم الآلة والتنقيب في البيانات
مشكلات تصنيف إحصائي تحليل عنقودي تحليل الانحدار اكتشاف الشذوذ تعلم الآلة الآلي تعلم قواعد الارتباط تعليم معزز التوقع المهيكل ‏ هندسة الخصائص تعلم الخصائص تعلم الآلة المستمر التعلم شبه المشرف ‏ تعلم غير مراقب تعلم الدرجة ‏ إدخال القواعد ‏
التعليم بالإشراف تعلم شجرة القرار التعلم الجماعي التقطير ‏ تعزيز غابة عشوائية كي أقرب جار انحدار خطي المصنف بايز ساذج شبكة عصبونية اصطناعية انحدار لوجستي بيرسيبترون آلة المتجهات ذات الصلة ‏ شعاع الدعم الآلي
تحليل عنقودي بيرش خوارزمية كير لتجميع البيانات تجميع هرمي خوارزمية تصنيفية تحقيق أقصى قدر للتوقع (EM) ديبِسكان خوارزمية أوبيتك للتجميع ‏ الانتقال المتوسط
اختزال الأبعاد تحليل عاملي CCA ‏ تحليل المكونات المستقلة تحليل التمييز الخطي NMF ‏ تحليل العنصر الرئيسي PGD ‏ تي-إس إن إي ‏
التوقع المهيكل النموذج الرسومي ‏ شبكة بايزية حقل عشوائي مشروط ‏ نظرية ماركوف المخفية
تشخيص الشذوذ كي أقرب جار عامل الخروج المحلي ‏
الشبكات العصبونية الاصطناعية مرمز تلقائي تعلم متعمق ديب دريم الأجهزة المتعددة الطبقات ‏ RNN LSTM GRU ‏ ESN آلة بولتزمان المحدودة ‏ شبكة خصومية توليدية خريطة ذاتية التنظيم شبكة عصبونية التفافية يو-نت ‏
تعليم معزز التعلم القياسي ‏ SARSA ‏ تعلم الفرق الزمني
النظرية موازنة التحيز والتباين نظرية التعلم الحوسبي تقليل المخاطر التجريبي تعلم أوكام ‏ تعلم باك التعلم الإحصائي ‏ نظرية في سي ‏
أنظمة تعلم الآلة NeurIPS ICML ML JMLR ‏
بوابة تعلم الآلة

دالة softmax، والمعروفة أيضًا باسم softargmax ^{[1] :184}أو الدالة الأسية المُطبَّعة ، ^{[2] :198}تُحوّل متجهًا مكوّنًا من K عددًا حقيقيًا إلى توزيع احتمالي لـ K نتيجة ممكنة. وهي تعميم للدالة اللوجستية إلى أبعاد متعددة، وتُستخدم في الانحدار اللوجستي المتعدد الحدود . غالبًا ما يتم استخدام دالة softmax كدالة التنشيط الأخيرة للشبكة العصبية لتطبيع إخراج الشبكة إلى توزيع الاحتمالات على فئات الإخراج المتوقعة.

تأخذ دالة softmax كمدخل متجهًا z من K عددًا حقيقيًا، وتقوم بتطبيعه إلى توزيع احتمالي يتكون من K احتمالًا تتناسب مع الأسس للأسس المدخلة. أي أنه، قبل تطبيق softmax، قد تكون بعض مكونات المتجه سالبة، أو أكبر من واحد؛ وقد لا يكون مجموعها 1؛ ولكن بعد تطبيق softmax، سيكون كل مكون في الفاصل الزمني ${\displaystyle (0,1)}$ ، و ستكون المكونات جميعها مجموعها 1، بحيث يمكن تفسيرها كاحتمالات. علاوة على ذلك، فإن مكونات الإدخال الأكبر سوف تتوافق مع احتمالات أكبر.

بِشكل رسمي، فإن دالة softmax القِياسية (الوحدوية) ${\displaystyle \sigma \colon \mathbb {R} ^{K}\to (0,1)^{K}}$ ، أين ${\displaystyle K>1}$ ، تأخذ مُتجهًا ${\displaystyle \mathbf {z} =(z_{1},\dotsc ,z_{K})\in \mathbb {R} ^{K}}$ وتُحَسِبُ كُلَ مكون من المُتجه ${\displaystyle \sigma (\mathbf {z} )\in (0,1)^{K}}$

وفقًا لما يلي:

$${\displaystyle \sigma (\mathbf {z} )_{i}={\frac {e^{z_{i}}}{\sum _{j=1}^{K}e^{z_{j}}}}\,.}$$

بعبارة أخرى، تقوم دالة softmax بتطبيق الدالة الأسية القياسية على كل عنصر ${\displaystyle z_{i}}$ من متجه الإدخال ${\displaystyle \mathbf {z} }$ (المكَّون من ${\displaystyle K}$ عددًا حقيقيًا، ثم تقوم بتطبيع هذه القيم من خلال قسمتها على مجموع كل هذه القيم الأسية. يضمن هذا التطبيع أن يكون مجموع مكونات متجه الإخراج ${\displaystyle \sigma (\mathbf {z} )}$ مساوٍ لـ 1. ويعود أصل مصطلح "softmax" مشتق من التأثيرات المكبرة للأسية على أي حد أقصى في متجه الإدخال. مثال ، سوفت ماكس القياسي لـ ${\displaystyle (1,2,8)}$ تقريبا ${\displaystyle (0.001,0.002,0.997)}$ ، وهو ما يعادل تعيين كل وزن الوحدة الإجمالي تقريبًا في النتيجة إلى موضع العنصر الأقصى للمتجه (8).

بشكل عام، بدلاً من e يمكن استخدام قاعدة مختلفة b > 0 . كما كما في السابق، إذا كان b > 1 ، فإن المكونات الأكبر في الإدخال ستؤدي إلى احتمالات أكبر في الإخراج، وزيادة قيمة b ستُنتج توزيعات احتمالية أكثر تركيزًا حول مواضع القيم الأكبر في الإدخال. وعلى العكس، إذا كان 0 < b < 1 ، فإن المكونات الأصغر في الإدخال ستؤدي إلى احتمالات أكبر في الإخراج، وتقليل قيمة b توزيعات احتمالية أكثر تركيزًا حول مواضع أصغر قيم الإدخال. ${\displaystyle b=e^{\beta }}$ أو ${\displaystyle b=e^{-\beta }}$ ^[ا] (بالنسبة لـ β الحقيقية) ^[ب] ينتج التعبيرات: ^[ج]

$${\displaystyle \sigma (\mathbf {z} )_{i}={\frac {e^{\beta z_{i}}}{\sum _{j=1}^{K}e^{\beta z_{j}}}}{\text{ or }}\sigma (\mathbf {z} )_{i}={\frac {e^{-\beta z_{i}}}{\sum _{j=1}^{K}e^{-\beta z_{j}}}}{\text{ for }}i=1,\dotsc ,K.}$$

قيمة تناسب عكسيًا مع مقلوب β تُعرف أحيانًا بدرجة الحرارة : ${\textstyle \beta =1/kT}$ حيث k عادةً ما تكون 1 أو ثابت بولتزمان و T هي درجة الحرارة. درجة الحرارة أعلى تؤدي إلى توزيع إخراج أكثر تجانسًا (أي مع إنتروبيا أعلى؛ يكون "أكثر عشوائية")، في حين تؤدي درجة الحرارة المنخفضة إلى توزيع إخراج أكثر حدة، مع هيمنة قيمة واحدة.

في بعض المجالات، تكون القاعدة ثابتة، مما يتوافق مع مقياس ثابت، ^[د]بينما في مجالات أخرى يتم تغيير المعامل β (أو T ).

تُستخدم دالة softmax في عدة طرق تصنيف متعددة الفئات ، مثل الانحدار اللوجستي المتعدد الحدود (المعروف أيضًا باسم انحدار softmax)، ^{[5] :206–209[6]} التحليل التمييزي الخطي متعدد الفئات، مصنفات بايز الساذجة ، والشبكات العصبية الاصطناعية . على وجه التحديد، في الانحدار اللوجستي المتعدد الحدود والتحليل التمييزي الخطي، يكون الإدخال إلى الدالة هو ناتج K دالة خطية مميزة، وتكون الاحتمالية المتوقعة للفئة j المعطاة متجه العينة x ومتجه الأوزان w هي:

$${\displaystyle P(y=j\mid \mathbf {x} )={\frac {e^{\mathbf {x} ^{\mathsf {T}}\mathbf {w} _{j}}}{\sum _{k=1}^{K}e^{\mathbf {x} ^{\mathsf {T}}\mathbf {w} _{k}}}}}$$

يمكن النظر إلى ذلك على أنه تكوين لعددـ K من الدوال الخطية ${\displaystyle \mathbf {x} \mapsto \mathbf {x} ^{\mathsf {T}}\mathbf {w} _{1},\ldots ,\mathbf {x} \mapsto \mathbf {x} ^{\mathsf {T}}\mathbf {w} _{K}}$ ودالة سوفت ماكس (حيث يرمز ${\displaystyle \mathbf {x} ^{\mathsf {T}}\mathbf {w} }$ إلى الضرب الداخلي لـ ${\displaystyle \mathbf {x} }$ و ${\displaystyle \mathbf {w} }$ ). العملية تعادل تطبيق عامل خطي مُعرف بواسطة ${\displaystyle \mathbf {w} }$ على المتجهات ${\displaystyle \mathbf {x} }$ ، وبذلك يتم تحويل الإدخال الأصلي، الذي قد يكون عالي الأبعاد، إلى متجهات في فضاء ذي بعد K أي ${\displaystyle \mathbb {R} ^{K}}$ .

في تطبيقات الشبكات العصبية، غالبًا ما يكون عدد النواتج المحتملة K كبيرًا، كما في حالة نماذج اللغة العصبية التي تتنبأ بالناتج الأكثر احتمالًا من بين مفردات قد تحتوي على ملايين الكلمات الممكنة. ^[7] يمكن أن يجعل ذلك حسابات طبقة softmax (أي ضرب المصفوفات لتحديد القيم ${\displaystyle z_{i}}$ ، يتبعها تطبيق دالة السوفتماكس نفسها) مكلفة حسابيًا. ^{[7] [8]} علاوة على ذلك، تتضمن طريقة الانتشار الخلفي للنزول المتدرج لتدريب مثل هذه الشبكة العصبية حساب softmax لكل مثال تدريبي، ويمكن أن يصبح عدد أمثلة التدريب كبيرًا أيضًا. أصبح الجهد الحسابي لـ SoftMax عاملًا مقيدًا رئيسيًا في تطوير نماذج اللغة العصبية الأكبر حجمًا، مما حفز العديد من العلاجات لتقليل أوقات التدريب. ^{[7] [8]}

الأساليب التي تُعيد تنظيم طبقة softmax لحساب أكثر كفاءة ، تشمل softmax الهرمي و softmax المتمايز . ^[9] Softmax الهرمي (الذي قَدمه مورين وبينجيو في عام 2005)يستخدم بنية شجرة ثنائية حيث تكون النواتج (كلمات المفردات) هي الأوراق والعُقد الوسيطة هي "فئات" مختارة بشكل مناسب من النواتج، مشكّلة متغيرات كامنة . ^{[10] [11]} يمكن بعد ذلك حساب الاحتمال المرغوب (قيمة softmax) لورقة (ناتج) ما على أنه حاصل ضرب احتمالات جميع العُقد على المسار من الجذر إلى تلك الورقة. ^[8] من الناحية المثالية، عندما تكون الشجرة متوازنة، فإن ذلك يُقلل من التعقيد الحسابي من ${\displaystyle O(K)}$ ل ${\displaystyle O(\log _{2}K)}$ . ^[11] في الواقع، تعتمد النتائج على اختيار استراتيجية جيدة لتجميع النواتج في فئات. ^{[8] [11]}وقد تم استخدام شجرة هوفمان لهذا الغرض في نماذج word2vec الخاصة بـ جوجل (التي تم تقديمها في عام 2013) لتحقيق القابلية للتوسع. ^[7]

النوع الثاني من الحلول يعتمد على تقريب الـ softmax (أثناء التدريب) باستخدام وظائف خسارة معدّلة تتجنب حساب عامل التطبيع الكامل. ^[9] وتشمل هذه الطرق التي تقيد مجموع التطبيع بعينة من النواتج (مثل التعيين بالاهتمام، والتعيين بالهدف). ^{[7] [10]}

طريقة الـ SoftMax التقليدية عدديًا بسبب عمليات الأسّ الكبيرة. أما طريقة السوفتمكس الآمنة فتحسب بدلًا من ذلك: $${\displaystyle \sigma (\mathbf {z} )_{i}={\frac {e^{\beta (z_{i}-m)}}{\sum _{j=1}^{K}e^{\beta (z_{j}-m)}}}}$$ حيث ${\displaystyle m=\max _{i}z_{i}}$ هو أكبر عنصر مشارك. إن الطرح به يضمن أن الأسس تؤدي إلى 1 على الأكثر.

تأخذ آلية الانتباه في Transformers ثلاثة مدخلات: "متجه الاستعلام" ${\displaystyle q}$ ، وقائمة من "متجهات المفاتيح" ${\displaystyle k_{1},\dots ,k_{N}}$ ، وقائمة "متجهات القيم" ${\displaystyle v_{1},\dots ,v_{N}}$ ، وتنتج مجموعًا لمتجهات القيم موزونًا بدالة softmax : $${\displaystyle o=\sum _{i=1}^{N}{\frac {e^{q^{T}k_{i}-m}}{\sum _{j=1}^{N}e^{q^{T}k_{j}-m}}}v_{i}}$$ تَتضمن طريقة SoftMax التقليدية عِدة دورات على المُدخلات، ما قد يُشكّل عنق زجاجة بسبب عرض نطاق الترددي للذاكرة . طريقة FlashAttention هي خوارزمية تتجنب كثرة الاتصال إذ تدمج هذه العمليات في دورة واحدة، مما يزيد من كثافة العمليات الحسابية . وهيخوارزمية تعمل على نحو متصل وتحسب الكميات التالية: ^{[12] [13]} $${\displaystyle {\begin{aligned}z_{i}&=q^{T}k_{i}&\\m_{i}&=\max(z_{1},\dots ,z_{i})&=&\max(m_{i-1},z_{i})\\l_{i}&=e^{z_{1}-m_{i}}+\dots +e^{z_{i}-m_{i}}&=&e^{m_{i-1}-m_{i}}l_{i-1}+e^{z_{i}-m_{i}}\\o_{i}&=e^{z_{1}-m_{i}}v_{1}+\dots +e^{z_{i}-m_{i}}v_{i}&=&e^{m_{i-1}-m_{i}}o_{i-1}+e^{z_{i}-m_{i}}v_{i}\end{aligned}}}$$ وتُعيد القيمة ${\displaystyle o_{N}/l_{N}}$ . في التطبيق العملي، تعمل FlashAttention على عدة استعلامات ومفاتيح في كل دورة، بطريقة مشابهة لعملية ضرب المصفوفات المجزأة . وإذا كانت هناك حاجة للتراجع العكسي،يتم تخزين متجهات الإخراج والمصفوفات الوسيطة ${\displaystyle [m_{1},\dots ,m_{N}],[l_{1},\dots ,l_{N}]}$ وخلال مرحلة التراجع، يتم إعادة تشكيل مصفوفات الانتباه منها، مما يجعلها شكلاً من أشكال"حفظ نقاط التدرج".

هندسيًا، تقوم دالة softmax بإسقاط مساحة المتجه ${\displaystyle \mathbb {R} ^{K}}$ إلى حدود المعيار ${\displaystyle (K-1)}$ -simplex ، مما يقلل البعد بمقدار واحد (النطاق هو بسيط ذو بعد ${\displaystyle (K-1)}$ في فضاء ذي ${\displaystyle K}$ أبعاد، وذلك بسبب القيد الخطي بأن مجموع جميع المخرجات يساوي 1، مما يعني أنه يقع على مستوى فائق .

على طُول القطر الرئيسي ${\displaystyle (x,\,x,\,\dots ,\,x),}$ تكون دالة SoftMax مجرد توزيع منتظم على المخرجات، ${\displaystyle (1/n,\dots ,1/n)}$ :القِيم المُتساوية تُعطي احتمالات متساوية.

بِشَكلٍ أعم، تَكُون دالة السوفتمكس غير مُتَأثِرة بالترجمة بإضافة نفس القيمة إلى كل إحداثي: فإن إضافة ${\displaystyle \mathbf {c} =(c,\,\dots ,\,c)}$ إلى المدخلات ${\displaystyle \mathbf {z} }$ تؤدي إلى ${\displaystyle \sigma (\mathbf {z} +\mathbf {c} )=\sigma (\mathbf {z} )}$ ، لأنها تُضرب كُل أُسٍ فِي نَفسش العَامِل، ${\displaystyle e^{c}}$ (لأن ${\displaystyle e^{z_{i}+c}=e^{z_{i}}\cdot e^{c}}$ ), وبالتالي لا تتغير النسب: $${\displaystyle \sigma (\mathbf {z} +\mathbf {c} )_{j}={\frac {e^{z_{j}+c}}{\sum _{k=1}^{K}e^{z_{k}+c}}}={\frac {e^{z_{j}}\cdot e^{c}}{\sum _{k=1}^{K}e^{z_{k}}\cdot e^{c}}}=\sigma (\mathbf {z} )_{j}.}$$

هندسيًا، تكون دالة softmax ثابتة على طول الأقطار: هذا هو البعد الذي يتم التخلص منه، ويتوافق مع كون تانج softmax غير متأثر بالتحويل في قيم الإدخال (اختيار قيمة 0). يمكن تطبيع قيم الإدخال بافتراض أن مجموعها يساوي صفرًا (بطرح المتوسط: ${\displaystyle \mathbf {c} }$ حيث ${\textstyle c={\frac {1}{n}}\sum z_{i}}$ )، ثم يأخذ softmax المستوى الفائق للنقاط التي مجموعها صفر، ${\textstyle \sum z_{i}=0}$ ، إلى البسيط المفتوح للقيم الإيجابية التي مجموعها يساوي 1 ${\textstyle \sum \sigma (\mathbf {z} )_{i}=1}$ ، على نحو مماثل لكيفية أخذ الأس من 0 إلى 1، ${\displaystyle e^{0}=1}$ وهو إيجابي.

وعلى نَقيض ذلك، فَإن دالة سوفتماكس ليست غَيرَ مُتَغِيرة تحت التحجيم. مثال على هذا :

${\displaystyle \sigma {\bigl (}(0,\,1){\bigr )}={\bigl (}1/(1+e),\,e/(1+e){\bigr )}}$ ولكن${\displaystyle \sigma {\bigl (}(0,2){\bigr )}={\bigl (}1/\left(1+e^{2}\right),\,e^{2}/\left(1+e^{2}\right){\bigr )}.}$

ادالة اللوجستية القياسية هِي الحَالة الخَاصة لمِحور أحادي البعد في افضاء ثنائي الأبعاد، على سبيل المثال المحور x في المستوى (x, y) . يَتم تَثبيت أحد المتغيرين عند 0 (لنقل ${\displaystyle z_{2}=0}$ )، وبالتالي ${\displaystyle e^{0}=1}$ ، بينما يُمكن أن يتغير المتغير الآخر، ولنرمز له بـ ${\displaystyle z_{1}=x}$ ، وبالتالي${\textstyle e^{z_{1}}/\sum _{k=1}^{2}e^{z_{k}}=e^{x}/\left(e^{x}+1\right),}$ وهِي الوظيفة اللوجستية القياسية، و ${\textstyle e^{z_{2}}/\sum _{k=1}^{2}e^{z_{k}}=1/\left(e^{x}+1\right),}$ وهي متممتها (أي أن المجموع يُساوي 1). ويُمكن التَعبير عن المُدخل أحادي البعد بِشكل بَديل على أنَهُ الخَط ${\displaystyle (x/2,\,-x/2)}$ ، مع المُخَرجات ${\displaystyle e^{x/2}/\left(e^{x/2}+e^{-x/2}\right)=e^{x}/\left(e^{x}+1\right)}$ و ${\displaystyle e^{-x/2}/\left(e^{x/2}+e^{-x/2}\right)=1/\left(e^{x}+1\right).}$

استُخدامت دالة السوفتماكس في الميكانيكا الإحصائية كتوزيع بولتزمان في الورقة التأسيسية Boltzmann (1868) ، ^[14] وتمت صياغتها وترويجها في الكتاب المدرسي المؤثر Gibbs (1902) . ^[15]

يُنسب استخدام دالة سوفت ماكس في نظرية القرار إلى R. Duncan Luce ، ^{[16] :1}الذي استخدم مسلّمة استقلال البدائل غير ذات الصلة في نظرية الاختيار العقلاني لاستنتاج دالة السوفتمكس في مسلّمة لوس للاختيار بالنسبة للتفضيلات النسبية.^{[بحاجة لمصدر]}

في تعلم الآلة، يُنسب مصطلح "softmax" إلى جون إس. بريدل في ورقتين بحثيتين قُدمتا في مؤتمرين عام 1989،هما Bridle (1990a) : ^{[17] :1}و Bridle (1990b) :

نحن مهتمون بالشبكات غير الخطية للأعلاف (Perceptrons متعددة الطبقات ، أو MLPs) مع مخرجات متعددة. نود أن نعامل مخرجات الشبكة كاحتمالات للبدائل (فئات أنماط "" على سبيل المثال ") ، مشروطة بالمدخلات. نحن نبحث عن الإخراج غير الخطية المناسبة وللمعايير المناسبة لتكييف معلمات الشبكة ("على سبيل المثال" الأوزان). نوضح تعديلين: تسجيل الاحتمالات ، وهو بديل لتقليل الخطأ التربيعي ، وتعميم الأسي المتطبيع

لأي مدخلات ، يجب أن تكون جميع المخرجات إيجابية ويجب أن تلتزم الوحدة. ...

بالنظر إلى مجموعة من القيم غير المقيدة ، ${\displaystyle V_{j}(x)}$, يمكننا التأكد من كلا الشرطين باستخدام التحول الأسي الطبيعي: $${\displaystyle Q_{j}(x)=\left.e^{V_{j}(x)}\right/\sum _{k}e^{V_{k}(x)}}$$ يمكن اعتبار هذا التحول تعميمًا متعدد المدخلات للوجستية ، ويعمل على طبقة الإخراج بأكملها. إنه يحتفظ بترتيب ترتيب قيم الإدخال الخاصة به ، وهو تعميم قابل للتمييز لتشغيل "الفائز بجميع" لاختيار القيمة القصوى. لهذا السبب نود أن نشير إليها باسم softmax.^[18]:213

مع إدخال (1, 2, 3, 4, 1, 2, 3) ، تكون قيمة السوفتمّاكس تقريبًا (0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175) . يتركز معظم الوزن في الإخراج عند قيمة "4" في الإدخال الأصلي. هذا هو الاستخدام الشائع للدالة: إبراز القيم الكبرى وتقليل تأثير القيم التي تقل كثيرًا عن القيمة العظمى. لكن يُلاحظ أن تغيير درجة الحرارة يغيّر الإخراج . فعندما تُضرب درجة الحرارة في 10، تصبح القيم المُدخلة فعليًا (0.1, 0.2, 0.3, 0.4, 0.1, 0.2, 0.3) ويكون الحد الأقصى للرطوبة تقريبًا (0.125, 0.138, 0.153, 0.169, 0.125, 0.138, 0.153) . وهذا يوضح أن درجات الحرارة المرتفعة تقلل من أهمية القيمة القصوى.

حساب هذا المثال باستخدام كود بايثون :

>>> import numpy as np
>>> z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])
>>> beta = 1.0
>>> np.exp(beta * z) / np.sum(np.exp(beta * z)) 
array([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054,
    0.06426166, 0.1746813])

تولّد دالة softmax تنبؤات احتمالية موزعة بكثافة على نطاقها . ويمكن استخدام دوال أخرى مثل sparsemax أو α- entmax عندما يُراد الحصول على تنبؤات احتمالية متفرقة. كذلك يمكن استخدام خدعة إعادة التوسيط Gumbel-softmax عندما تكون هناك حاجة لمحاكاة أخذ العينات من توزيع متقطع بطريقة قابلة للاشتقاق.

• سوفت بلس
• الانحدار اللوجستي المتعدد الحدود
• توزيع دي ريتشليت - طريقة بديلة لأخذ عينات من التوزيعات الفئوية
• وظيفة التقسيم
• الميل الأسّي - تعميم Softmax على توزيعات الاحتمالات الأكثر عمومية