تقطير المعرفة

بالنظر إلى نموذج كبير كدالة للمتغير المتجه ${\displaystyle \mathbf {x} }$ ، تم تدريبها لمهمة تصنيف محددة، فإن الطبقة النهائية للشبكة عادةً ما تكون طبقة سوفت ماكس على الشكل التالي:

${\displaystyle y_{i}(\mathbf {x} |t)={\frac {e^{\frac {z_{i}(\mathbf {x} )}{t}}}{\sum _{j}e^{\frac {z_{j}(\mathbf {x} )}{t}}}}}$

حَيث إن ${\displaystyle t}$ هو درجة الحرارة، وهي معلمة يتم ضبطها على 1 لـ softmax القياسية. يقوم عامل softmax بتحويل قيم logit ${\displaystyle z_{i}(\mathbf {x} )}$ إلى الاحتمالات الزائفة: إذ تُؤدي القيم الأعلى لدرجة الحرارة إلى توليد توزيعات أكثر ليونة من الاحتمالات الزائفة بين فئات المخرجات. يتكون تقطير المعرفة من تدريب شبكة أصغر، تُسمى النموذج المقطر، على مجموعة بيانات تُسمى مجموعة النقل (وهي مختلفة عن مجموعة البيانات المستخدمة لتدريب النموذج الكبير) باستخدام دالة الخسارة المعروفة باسم الانتروبيا المتقاطعة بين مخرجات النموذج المقطر ${\displaystyle \mathbf {y} (\mathbf {x} |t)}$ ومخرجات النموذج الكبير ${\displaystyle {\hat {\mathbf {y} }}(\mathbf {x} |t)}$ لنفس السجل (أو متوسط المخرجات الفردية، إذا كان النموذج الكبير عبارة عن تجميع)، باستخدام قيمة مرتفعة لدرجة حرارة سوفت ماكس ${\displaystyle t}$ في كلا النَمُوذجِين ^[6]

${\displaystyle E(\mathbf {x} |t)=-\sum _{i}{\hat {y}}_{i}(\mathbf {x} |t)\log y_{i}(\mathbf {x} |t).}$

في هذا السياق، تؤدي درجة الحرارة العالية إلى زيادة الإنتروبيا في المخرجات، مما توفير المزيد من المعلومات للتعلم للنموذج المقطر مقارنة بالأهداف الصعبة، وفي نفس الوقت تقليل تباين التدرج بين السجلات المختلفة، وبالتالي السماح بمعدل تعلم أعلى. ^[6]

إذا كانت الحقيقة الأساسية مُتوفرة لمجموعة النقل، يُمكن تَقوية العملية مِنْ خلال إضافة الإنتروبي المتقاطع إلى دالة الخسارة بين الناتج ${\displaystyle y_{i}(\mathbf {x} |1)}$ من النموذج المقطر المحسوب باستخدام ${\displaystyle t=1}$، والعلامة المعروفة ${\displaystyle {\bar {y}}_{i}}$

${\displaystyle E(\mathbf {x} |t)=-t^{2}\sum _{i}{\hat {y}}_{i}(\mathbf {x} |t)\log y_{i}(\mathbf {x} |t)-\sum _{i}{\bar {y}}_{i}\log y_{i}(\mathbf {x} |1)}$

حيث يتم وزن مكون الخسارة المتعلق بالنموذج الكبير بعامل ${\displaystyle t^{2}}$ لأنه مع زيادة درجة الحرارة، يتغير تدرج الخسارة بالنسبة لأوزان النموذج بعامل ${\displaystyle {\frac {1}{t^{2}}}}$.^[6]

تحت افتراض أن قيم اللوجيتات لها متوسط صفري، من الممكن إظهار أن ضغط النموذج هو حالة خاصة من تقطير المعرفة. يُعطى تدرج خسارة تقطير المعرفة ${\displaystyle E}$ بالنسبة للوغيت النموذج المقطر ${\displaystyle z_{i}}$ كما يلي:

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial z_{i}}}E&=-{\frac {\partial }{\partial z_{i}}}\sum _{j}{\hat {y}}_{j}\log y_{j}\\&=-{\frac {\partial }{\partial z_{i}}}{\hat {y}}_{i}\log y_{i}+\left(-{\frac {\partial }{\partial z_{i}}}\sum _{k\neq i}{\hat {y}}_{k}\log y_{k}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}{\frac {\partial }{\partial z_{i}}}y_{i}+\sum _{k\neq i}\left(-{\hat {y}}_{k}\cdot {\frac {1}{y_{k}}}\cdot e^{\frac {z_{k}}{t}}\cdot \left(-{\frac {1}{\left(\sum _{j}e^{\frac {z_{j}}{t}}\right)^{2}}}\right)\cdot e^{\frac {z_{i}}{t}}\cdot {\frac {1}{t}}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}{\frac {\partial }{\partial z_{i}}}{\frac {e^{\frac {z_{i}}{t}}}{\sum _{j}e^{\frac {z_{j}}{t}}}}+\sum _{k\neq i}\left({\hat {y}}_{k}\cdot {\frac {1}{y_{k}}}\cdot y_{k}\cdot y_{i}\cdot {\frac {1}{t}}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}\left({\frac {{\frac {1}{t}}e^{\frac {z_{i}}{t}}\sum _{j}e^{\frac {z_{j}}{t}}-{\frac {1}{t}}\left(e^{\frac {z_{i}}{t}}\right)^{2}}{\left(\sum _{j}e^{\frac {z_{j}}{t}}\right)^{2}}}\right)+{\frac {y_{i}\sum _{k\neq i}{\hat {y}}_{k}}{t}}\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}\left({\frac {y_{i}}{t}}-{\frac {y_{i}^{2}}{t}}\right)+{\frac {y_{i}(1-{\hat {y}}_{i})}{t}}\\&={\frac {1}{t}}\left(y_{i}-{\hat {y}}_{i}\right)\\&={\frac {1}{t}}\left({\frac {e^{\frac {z_{i}}{t}}}{\sum _{j}e^{\frac {z_{j}}{t}}}}-{\frac {e^{\frac {{\hat {z}}_{i}}{t}}}{\sum _{j}e^{\frac {{\hat {z}}_{j}}{t}}}}\right)\\\end{aligned}}}$

حيث إن ${\displaystyle {\hat {z}}_{i}}$ هي قيم اللوجيتات للنموذج الكبير. للقيم الكبيرة لـ ${\displaystyle t}$ يمكن تقريب ذلك كالتالي:

${\displaystyle {\frac {1}{t}}\left({\frac {1+{\frac {z_{i}}{t}}}{N+\sum _{j}{\frac {z_{j}}{t}}}}-{\frac {1+{\frac {{\hat {z}}_{i}}{t}}}{N+\sum _{j}{\frac {{\hat {z}}_{j}}{t}}}}\right)}$

وبمُوجب فَرضية المُتوسط الصفري ${\displaystyle \sum _{j}z_{j}=\sum _{j}{\hat {z}}_{j}=0}$ تُصبح ${\displaystyle {\frac {z_{i}-{\hat {z}}_{i}}{NT^{2}}}}$، وهي مُشتَقة مِنْ ${\displaystyle {\frac {1}{2}}\left(z_{i}-{\hat {z}}_{i}\right)^{2}}$، أي أن الخسارة تعادل مطابقة قيم لوغيتات للنمُوذجين، كَما هو الحال في ضغط النموذج.^[6]

خوارزمية تلف الدماغ الأمثل (OBD) هي كما يلي:^[7]

قم بذلك حتى يتم الوصول إلى المستوى المطلوب من الندرة أو الأداء:

قم بتدريب الشبكة (باستخدام طرق مثل الانتشار الخلفي) حتى يتم الحصول على حل معقول

حساب الأهمية لكل معلمة

حذف بعض المعلمات ذات الأهمية الأقل

حذف المعامل يعني تثبيت المعامل عند الصفر. يتم تعريف "أهمية" المعامل ${\displaystyle \theta }$ كــ ${\displaystyle {\frac {1}{2}}(\partial _{\theta }^{2}L)\theta ^{2}}$، حيث إن ${\displaystyle L}$ هي دالة الخسارة. يمكن حساب المشتقة الثانية ${\displaystyle \partial _{\theta }^{2}L}$ يمكن حسابها عن طريق الانتشار الخلفي من الدرجة الثانية.

الفكرة وراء تلف الدماغ الأمثل هي تقريب دالة الخسارة في جوار المعامل الأمثل ${\displaystyle \theta ^{*}}$ عن طريق توسعة تايلور التوسع: $${\displaystyle L(\theta )\approx L(\theta ^{*})+{\frac {1}{2}}\sum _{i}(\partial _{\theta _{i}}^{2}L(\theta ^{*}))(\theta _{i}-\theta _{i}^{*})^{2}}$$ أين ، لأن ${\displaystyle \theta ^{*}}$ أمثل، ويتم تجاهل المشتقات المتقاطعة ${\displaystyle \nabla L(\theta ^{*})\approx 0}$${\displaystyle \partial _{\theta _{i}}\partial _{\theta _{j}}L}$ لتوفير الحساب. وبذلك، تقارب أهمية المعامل الزيادة في الخسارة إذا تم حذف ذلك المعامل.