المحول المولد مسبق التدريب 2

المحول المولد مسبق التدريب 2
إكمال المحول المولد مسبق التدريب 2 باستخدام موقع هجينج فيس الكتابة باستخدام المحول، مع المطالبة بنص من هذه المقالة (يتم إنشاء كل النص المميز بعد المطالبة الأولية بواسطة الجهاز من الإكمال المقترح الأول، دون مزيد من التحرير.)
معلومات عامة
نوع


النموذج المصدري
حقوق التأليف والنشر محفوظة [لغات أخرى] عدل القيمة على Wikidata
المطور الأصلي
أوبن أيه آي
المطورون
أوبن أيه آي عدل القيمة على Wikidata
موقع الويب
openai.com/blog/gpt-2-1-5b-release/
معلومات تقنية
الإصدار الأول
14 فبراير 2019 (2019-02-14)
الإصدار الأخير
  • 1558M
    (5 نوفمبر 2019)     [1] عدل القيمة على Wikidata
المستودع
https://github.com/openai/gpt-2
الرخصة
رخصة إم آي تي[2]
التسلسل
المحول المولد مسبق التدريب 1
المحول المولد مسبق التدريب 3

المحول المولد مسبق التدريب 2 (بالإنجليزية: Generative Pre-trained Transformer 2 (GPT-2)) هو نموذج لغوي كبير من أوبن أيه آي والثاني في سلسلة نماذج محول مولد مسبق التدريب الأساسية الخاصة بهم. تم تدريب المحول المولد مسبق التدريب 2 مسبقًا على مجموعة بيانات مكونة من 8 ملايين صفحة ويب.[3] تم إصداره جزئيًا في فبراير 2019، تلاه الإصدار الكامل للنموذج الذي يحتوي على 1.5 مليار معلمة في 5 نوفمبر 2019.[4][5][6]

تم إنشاء المحول المولد مسبق التدريب 2 باعتباره «تطويرًا مباشرًا» للمحول المولد مسبق التدريب 1[7] مع زيادة بمقدار عشرة أضعاف في كل من عدد المعلمات وحجم مجموعة بيانات التدريب الخاصة به.[6] إنه متعلم عام الغرض، وكانت قدرته على أداء المهام المختلفة نتيجة لقدرته العامة على التنبؤ بدقة بالعنصر التالي في التسلسل،[3][8] مما مكنه من ترجمة النصوص، والإجابة على أسئلة حول موضوع من نص، وتلخيص مقاطع من نص أكبر،[8] وتوليد إخراج نصي على مستوى لا يمكن تمييزه أحيانًا عن مستوى البشر؛ ومع ذلك، يمكن أن يصبح متكررًا أو غير منطقي عند توليد مقاطع طويلة.[9] وقد تم استبداله بنماذج المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، والتي لم تعد مفتوحة المصدر.

يحتوي المحول المولد مسبق التدريب 2، مثل سابقه المحول المولد مسبق التدريب 1 وخلفائه المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، على بنية محول مُدرَّبة مسبقًا، تنفذ شبكة عصبية عميقة، وبشكل خاص نموذج محول،[7] والذي يستخدم الانتباه بدلاً من البنيات القديمة القائمة على التكرار والالتفاف.[10][11] تسمح آليات الاهتمام للنموذج بالتركيز بشكل انتقائي على أجزاء من النص المدخل الذي يتوقع أن يكون الأكثر صلة.[12][13] يسمح هذا النموذج بزيادة كبيرة في التوازي، ويتفوق على المعايير السابقة للنماذج المستندة إلى RNN/CNN/LSTM.[7]

التدريب

نظرًا لأن بنية المحول مكّنت من التوازي الهائل، فقد أصبح من الممكن تدريب نماذج المحول المولد مسبق التدريب على مجموعات بيانات أكبر من نماذج معالجة اللغة الطبيعية (NLP) السابقة. وفي حين أظهر نموذج المحول المولد مسبق التدريب 1 أن هذا النهج قابل للتطبيق، فإن نموذج المحول المولد مسبق التدريب 2 سوف يستكشف بشكل أكبر الخصائص الناشئة للشبكات المدربة على مجموعات بيانات كبيرة للغاية. تم اعتبار الزحف المشترك، وهو عبارة عن مجموعة كبيرة من البيانات تم إنتاجها بواسطة الزحف على الويب وتم استخدامها سابقًا في تدريب أنظمة معالجة اللغة الطبيعية،[14] نظرًا لحجمها الكبير، ولكن تم رفضها بعد أن كشفت مراجعة أخرى عن كميات كبيرة من المحتوى غير المفهوم.[3][14] بدلاً من ذلك، طورت أوبن أيه آي مجموعة جديدة تُعرف باسم ويب تكست؛ بدلاً من كشط المحتوى بشكل عشوائي من شبكة الويب العالمية، تم إنشاء ويب تكست عن طريق كشط الصفحات المرتبطة فقط بمنشورات ريديت التي تلقت 3 كارما على الأقل قبل ديسمبر 2017. تم تنظيف المجموعة لاحقًا؛ وتم تحليل مستندات إتش تي إم إل إلى نص عادي، وتم التخلص من الصفحات المكررة، وتمت إزالة صفحات ويكيبيديا (نظرًا لأن وجودها في العديد من مجموعات البيانات الأخرى قد يؤدي إلى الإفراط في التجهيز).[3]

في حين أن تكلفة تدريب المحول المولد مسبق التدريب 2 معروفة بأنها 256 دولارًا في الساعة،[15][16] فإن عدد الساعات التي استغرقها إكمال التدريب غير معروف؛ وبالتالي، لا يمكن تقدير التكلفة الإجمالية للتدريب بدقة.[17] ومع ذلك، فقد تم توثيق تكاليف نماذج اللغة الكبيرة القابلة للمقارنة باستخدام بنيات المحولات بمزيد من التفصيل؛ حيث استهلكت عمليات التدريب الخاصة ببيرت وإكس إل نت ‏، على التوالي، 6،912 دولارًا و245،000 دولارًا من الموارد.[16]

الإصدار

تم الإعلان عن المحول المولد مسبق التدريب 2 لأول مرة في 14 فبراير 2019. ذكرت مقالة كتبها جيمس فينسنت في فبراير 2019 في ذا فيرج أنه على الرغم من أن «الكتابة التي تنتجها يمكن التعرف عليها بسهولة على أنها غير بشرية»، إلا أنها تظل «واحدة من أكثر الأمثلة إثارة حتى الآن» لبرامج توليد اللغة:[18]

أعطه عنوانًا زائفًا، وسيكتب بقية المقال، مُرفقًا باقتباسات وإحصائيات زائفة. غذِّه بالسطر الأول من قصة قصيرة، وسيخبرك بما سيحدث لشخصيتك لاحقًا. يمكنه حتى كتابة قصص خيالية، إذا وُجِّهت إليه الدعوة المناسبة.[18]

وصفت صحيفة الجارديان هذا الناتج بأنه «نثر صحفي معقول»؛[9] وقالت كيلسي بايبر ‏ من فوكس «قد يكون أحد أروع أنظمة الذكاء الاصطناعي التي رأيتها على الإطلاق هو النظام الذي سيطردني من وظيفتي».[19] تم وصف مرونة المحول المولد مسبق التدريب 2 بأنها «مثيرة للإعجاب» بواسطة ذا فيرج؛ على وجه التحديد، تمت الإشارة إلى قدرتها على ترجمة النصوص بين اللغات، وتلخيص المقالات الطويلة، والإجابة على أسئلة عامة.[18]

توصلت دراسة أجرتها جامعة أمستردام باستخدام اختبار تورينج المعدل إلى أنه في بعض السيناريوهات على الأقل، لم يتمكن المشاركون من التمييز بين القصائد التي تم إنشاؤها بواسطة المحول المولد مسبق التدريب 2 وتلك التي كتبها البشر.[20]

القيود والإصدار الجزئي

رغم أن «سكوب» ليس منتجًا حقيقيًا، إلا أن النموذج ذو الحجم المخفض المستخدم في ديستيلغبت2 قادر على إنشاء حجج معقولة لصالحه وضده.

في حين تم إتاحة نماذج أوبن أيه آي السابقة للجمهور على الفور، رفضت أوبن أيه آي في البداية إصدارًا عامًا لرمز مصدر المحول المولد مسبق التدريب 2 عند الإعلان عنه في فبراير، مشيرة إلى خطر الاستخدام الضار؛[9] تم السماح بالوصول المحدود إلى النموذج (أي واجهة تسمح بالإدخال وتوفر الإخراج، وليس رمز المصدر نفسه) لمنافذ الصحافة المحددة عند الإعلان.[9] كان أحد المبررات الشائعة هو أنه نظرًا لأن النص المُولَّد كان جديدًا تمامًا في العادة، فقد يستخدمه مرسلي البريد العشوائي للتهرب من المرشحات الآلية؛ وقد أظهرت أوبن أيه آي إصدارًا من المحول المولد مسبق التدريب 2 مُعَدَّلًا بدقة «لتوليد عدد لا نهائي من المراجعات الإيجابية – أو السلبية – للمنتجات».[9]

وكان هناك مبرر آخر وهو أن المحول المولد مسبق التدريب 2 يمكن استخدامه لتوليد نصوص فاحشة أو عنصرية. حذر باحثون مثل جيريمي هوارد من «التكنولوجيا التي ستملأ تويتر والبريد الإلكتروني والويب بالكامل بنثر معقول الصوت ومناسب للسياق، والذي من شأنه أن يطغى على كل الكلام الآخر ويكون من المستحيل تصفيته».[18] أعلن معهد ألين للذكاء الاصطناعي، ردًا على المحول المولد مسبق التدريب 2، عن أداة للكشف عن «الأخبار العصبية المزيفة».[21]

ومع ذلك، كان الرأي منقسما. زعمت مقالة نُشرت في فبراير 2019 في ذا فيرج أن التهديد الذي يشكله المحول المولد مسبق التدريب 2 كان مبالغًا فيه؛[22] وقالت أنيما أناندكومار ‏، أستاذة في معهد كاليفورنيا للتكنولوجيا ومديرة أبحاث التعلم الآلي في إنفيديا، إنه لا يوجد دليل على أن المحول المولد مسبق التدريب 2 لديه القدرة على تشكيل التهديدات التي وصفها أوبن أيه آي، وأن ما فعلوه كان «عكس الانفتاح»، ووصفت رفضهم إصدار النموذج الكامل بأنه «هراء خبيثى.[22] نشرت قرايدينت رسالة مفتوحة إلى أوبن أيه آي تطلب منهم إصدار النموذج علنًا، ومقارنة التهديد الذي يشكله الذكاء الاصطناعي لتوليد النصوص بالتهديد الذي تشكله المطبعة، وإعطاء فوتوشوب كمثال على «التكنولوجيا التي (لحسن الحظ) لم تدمر المجتمع الحديث على الرغم من قدرتها على إحداث الفوضى»:[23]

بعد ثلاثين عامًا، خرج المجتمع سالمًا نسبيًا، رغم بساطة برنامج فوتوشوب وسهولة استخدامه من قِبل طلاب المدارس الثانوية، وانتشاره الواسع الذي يسمح له بامتلاك فعل خاص به. لماذا؟ تحديدًا لأن الجميع يعرف فوتوشوب.[23]

إصدار 774 إم

في حين لم تصدر أوبن أيه آي النموذج المدرب بالكامل أو المجموعات التي تم تدريبها عليها، فإن وصف أساليبها في المنشورات السابقة (والتوفر المجاني للتكنولوجيا الأساسية) جعل من الممكن تكرار المحول المولد مسبق التدريب 2 من قبل الآخرين كبرنامج مجاني؛ تم إصدار أحد هذه النسخ، أوبن جي بي تي-2، في أغسطس 2019، بالتزامن مع إصدار مرخص بحرية من ويب تكست (بالإنجليزية: WebText) يسمى نص ويب مفتوح (بالإنجليزية: OpenWebText). تم تحديد تكاليف الحوسبة السحابية لأوبن جي بي تي-2 بما يقارب 50،000 دولار.[24]

في 20 أغسطس 2019، أصدرت أوبن أيه آي نسخة جزئية من المحول المولد مسبق التدريب 2، تحتوي على 774 مليون معلمة (حوالي نصف حجم النموذج الكامل المكون من 1.5 مليار معلمة).[25]

الإصدار الكامل 1.5 مليار

لم تتحقق المخاوف الأولية من أن المحول المولد مسبق التدريب 2 قد يُساء استخدامه على نطاق واسع؛ فقد ذكر موقع ذا فيرج أن «هناك أسبابًا للشك في مزاعم أن تقنية الذكاء الاصطناعي ستُبشر بكارثة معلوماتية. بدايةً، لدينا بالفعل برامج قادرة على توليد نصوص معقولة بكميات كبيرة وبتكلفة زهيدة: البشر».[26] وبحلول نوفمبر 2019، صرحت أوبن أيه آي بأنها «لم ترَ أي دليل قوي على إساءة الاستخدام حتى الآن»، وأن النسخة الكاملة، التي تضم 1.5 مليار معلمة مُدربة بأربعين جيجابايت من البيانات، «أكبر بحوالي ثمانية آلاف مرة من الأعمال الكاملة لشكسبير»،[27] صدرت في 5 نوفمبر 2019.[4][5]

الإصدارات الصغيرة والمتوسطة

يتوفر إصداران آخران أصغر حجمًا من المحول المولد مسبق التدريب 2، بما في ذلك الإصدار الصغير بسعة 124 مليون معلمة، والإصدار المتوسط بسعة 355 مليون معلمة. كلاهما متاح للتنزيل من هجينج فيس.[28][29]

القيود

يمكن لبرنامج المحول المولد مسبق التدريب 2 إنشاء نص مناسب موضوعيًا لمجموعة من السيناريوهات، حتى السيناريوهات السريالية مثل مقالة سي إن إن حول دونالد ترامب الذي ألقى خطابًا يمتدح فيه شخصية الأنمي أسكا لانغلي سوريو. هنا، يمكن رؤية الميل إلى إنشاء نص غير منطقي ومكرر مع زيادة طول الإخراج (حتى في النموذج الكامل 1.5 مليار)؛ في الفقرة الثانية، تبدأ القواعد النحوية في التدهور، ويصبح الإخراج في النهاية جملة واحدة غير متماسكة تتكرر مرارًا وتكرارًا.

في حين تم الإشادة بشكل عام بقدرة المحول المولد مسبق التدريب 2 على توليد مقاطع معقولة من نصوص اللغة الطبيعية، فقد لوحظت عيوبها أيضًا، وخاصة عند توليد نصوص أطول من فقرتين؛ قال فوكس «النثر خشن إلى حد ما، وهناك أحيانًا غير مترابط، وتصبح المقالات أقل تماسكًا كلما طالت».[19] وبالمثل، لاحظ موقع ذا فيرج أن العينات الأطول من كتابات المحول المولد مسبق التدريب 2 تميل إلى «الانحراف عن الموضوع» وتفتقر إلى التماسك العام؛[18] ورأى موقع ذا رجستر أن «الإنسان الذي يقرأها يجب أن يدرك، بعد فترة قصيرة، أن هناك شيئًا ما»، ولاحظ أن «المحول المولد مسبق التدريب 2 لا يجيب على الأسئلة بشكل جيد مثل الأنظمة الأخرى التي تعتمد على الخوارزميات لاستخراج واسترجاع المعلومات».[15]

إن نشر المحول المولد مسبق التدريب 2 يتطلب موارد مكثفة؛ حيث أن الإصدار الكامل من النموذج أكبر من خمسة جيجابايت، مما يجعل من الصعب تضمينه محليًا في التطبيقات، ويستهلك كميات كبيرة من ذاكرة الوصول العشوائي. بالإضافة إلى ذلك، فإن تنفيذ تنبؤ واحد «قد يشغل وحدة المعالجة المركزية بنسبة استخدام 100% لعدة دقائق»، وحتى مع معالجة وحدة معالجة الرسومات، «قد يستغرق تنفيذ تنبؤ واحد ثوانٍ». لتخفيف هذه المشاكل، أنشأت شركة هجينج فيس برنامج ديستيلغبت2، باستخدام تقطير المعرفة لإنتاج نموذج أصغر «يسجل بضع نقاط أقل في بعض معايير الجودة»، ولكنه «أصغر بنسبة 33% وأسرع مرتين».[بحاجة لمصدر]

التطبيق والبحث اللاحق

حتى قبل إصدار النسخة الكاملة، تم استخدام المحول المولد مسبق التدريب 2 لمجموعة متنوعة من التطبيقات والخدمات، وكذلك للترفيه. في يونيو 2019، تم إنشاء منتدى فرعي باسم r/SubSimulatorGPT2، حيث قامت مجموعة متنوعة من حالات المحول المولد مسبق التدريب 2 المدربة على منتديات فرعية مختلفة بنشر منشورات والرد على تعليقات بعضها البعض، مما أدى إلى خلق حالة يمكن فيها ملاحظة «تجسيد الذكاء الاصطناعي لـ r/Bitcoin يتجادل مع روح r/ShittyFoodPorn المستمدة من التعلم الآلي»؛[26] بحلول يوليو من ذلك العام، وصف المستخدمون برنامجًا قائمًا على المحول المولد مسبق التدريب 2 تم إصداره لإكمال أسطر التعليمات البرمجية تلقائيًا في مجموعة متنوعة من لغات البرمجة بأنه «مغير لقواعد اللعبة».[30]

في عام 2019، تم إطلاق إيه آي دنجن، والذي استخدم المحول المولد مسبق التدريب 2 لإنشاء مغامرات نصية ديناميكية تعتمد على إدخال المستخدم.[31] يقدم إيه آي دنجن الآن إمكانية الوصول إلى أكبر إصدار من واجهة برمجة التطبيقات المحول المولد مسبق التدريب 3 كترقية مدفوعة اختيارية، وتستخدم النسخة المجانية من الموقع ثاني أكبر إصدار من المحول المولد مسبق التدريب 3.[32] جمعت شركة لاتيتيود، التي تأسست حول إيه آي دنجن، 3.3 مليون دولار في تمويل أولي في عام 2021.[33] تستضيف العديد من المواقع الإلكترونية عروضًا تفاعلية لحالات مختلفة من المحول المولد مسبق التدريب 2 ونماذج المحولات الأخرى.[34][35][36]

في فبراير 2021، أعلن مركز الأزمات للمراهقين المضطربين أنهم سيبدأون في استخدام روبوت محادثة مشتق من المحول المولد مسبق التدريب 2 للمساعدة في تدريب المستشارين من خلال السماح لهم بإجراء محادثات مع المراهقين المحاكين (كان هذا الاستخدام لأغراض داخلية بحتة، ولم يتضمن تواصل المحول المولد مسبق التدريب 2 مع المراهقين أنفسهم).[37]

في 9 مايو 2023، أصدرت أوبن أيه آي نسخة مرسومة من المحول المولد مسبق التدريب 2. استخدمت أوبن أيه آي نموذج الخليفة، المحول المولد مسبق التدريب 4، لرسم خريطة لكل خلية عصبية من المحول المولد مسبق التدريب 2 لتحديد وظائفها.[38]

الأداء والتقييم

المحول المولد مسبق التدريب 2 يكتب مقالاً إخباريًا خياليًا عن تصرفات إدوارد سنودن بعد فوزه في الانتخابات الرئاسية الأمريكية لعام 2020 (كل النصوص المميزة تم إنشاؤها آليًا). رغم أن سنودن لم يتم انتخابه (في وقت التوليد) لمنصب عام على الإطلاق، فإن العينة التي تم إنشاؤها صالحة من الناحيتين النحوية والأسلوبية.

أصبح المحول المولد مسبق التدريب 2 قادرًا على أداء مجموعة متنوعة من المهام التي تتجاوز إنتاج النصوص البسيطة نظرًا لاتساع مجموعة البيانات والتقنية الخاصة به: الإجابة على الأسئلة، والتلخيص، وحتى الترجمة بين اللغات في مجموعة متنوعة من المجالات المحددة، دون أن يتم تعليمه أي شيء يتجاوز كيفية التنبؤ بالكلمة التالية في التسلسل.[18][19]

أحد الأمثلة على التعلم المعمم هو قدرة المحول المولد مسبق التدريب 2 على إجراء الترجمة الآلية بين الفرنسية والإنجليزية، حيث تم تقييم أداء المحول المولد مسبق التدريب 2 لهذه المهمة باستخدام مهام الترجمة دبليو إم تي-14. لم يتضمن مجموعة تدريب المحول المولد مسبق التدريب 2 أي نص فرنسي تقريبًا؛ فقد تمت إزالة النص غير الإنجليزي عمدًا أثناء تنظيف مجموعة البيانات قبل التدريب، ونتيجة لذلك، لم يكن متاحًا سوى 10 ميجا بايت من الفرنسية من إجمالي 40000 ميجا بايت المتبقية للنموذج للتعلم منها (معظمها من الاقتباسات باللغات الأجنبية في المنشورات والمقالات الإنجليزية).[3]

وعلى الرغم من ذلك، فقد حقق المحول المولد مسبق التدريب 2 5 بلو في مجموعة اختبار دبليو إم تي-14 من الإنجليزية إلى الفرنسية (أقل قليلاً من درجة الترجمة عن طريق الاستبدال كلمة بكلمة). كما تمكنت من التفوق على العديد من خطوط الأساس المعاصرة للترجمة الآلية غير الخاضعة للإشراف (2017) في مجموعة الاختبار من الفرنسية إلى الإنجليزية، حيث حقق المحول المولد مسبق التدريب 2 11.5 بلو. ظل هذا أقل من أعلى أداء للنهج المعاصر غير الخاضع للإشراف (2019)، والذي حقق 33.5 بلو.[3] ومع ذلك، استخدمت نماذج أخرى كميات كبيرة من النصوص الفرنسية لتحقيق هذه النتائج؛ وقد قُدِّر أن المحول المولد مسبق التدريب 2 قد استخدم مجموعة نصية فرنسية أحادية اللغة بحجم 1/500 تقريبًا من حجم الأساليب المماثلة.[3]

البنيان عدد المعلمات بيانات التدريب
جي بي تي-1 فك تشفير المحول ذو 12 مستوى و12 رأسًا (بدون مشفر)، يتبعه خطي سوفت ماكس. 0.12 مليار بوككوربوس:[39] 4.5 جيجا بايت من النص، من 7000 كتاب غير منشور من مختلف الأنواع.
جي بي تي-2 المحول المولد مسبق التدريب 1، ولكن مع التطبيع المعدل 1.5 مليار ويب تكست: 40 جيجابايت[27] من النص، 8 ملايين مستند، من 45 مليون صفحة ويب تم التصويت عليها على ريديت.
جي بي تي-3 المحول المولد مسبق التدريب 2، ولكن مع التعديل للسماح بتوسيع نطاق أكبر. 175 مليار 570 جيجابايت من النص العادي، و300 مليار رمز من الزحف المشترك، وويب تكست، وويكيبيديا الإنجليزية، ومجموعة كتب (بوكس1 وبوكس2).

كان من المقرر أن يتبع المحول المولد مسبق التدريب 2 المحول المولد مسبق التدريب 3 الذي يحتوي على 175 مليار معلمة،[40] والذي تم الكشف عنه للجمهور في عام 2020[41] (لم يتم توفير الكود المصدري له مطلقًا). يتم توفير الوصول إلى المحول المولد مسبق التدريب 3 حصريًا من خلال واجهات برمجة التطبيقات التي تقدمها أوبن أيه آي ومايكروسوفت.[42] ثم تبع ذلك لاحقًا المحول المولد مسبق التدريب 4.

المراجع

  1. ↑ وصلة مرجع: https://openai.com/blog/gpt-2-1-5b-release/.
  2. ↑ "gpt-2". GitHub. مؤرشف من الأصل في 2023-03-11. اطلع عليه بتاريخ 2023-03-13.
  3. 1 2 3 4 5 6 7 Radford، Alec؛ Wu، Jeffrey؛ Child، Rewon؛ Luan، David؛ Amodei، Dario؛ Sutskever، Ilua (14 فبراير 2019). "Language models are unsupervised multitask learners" (PDF). OpenAI. ج. 1 ع. 8. مؤرشف (PDF) من الأصل في 2021-02-06. اطلع عليه بتاريخ 2020-12-19.
  4. 1 2 Vincent، James (7 نوفمبر 2019). "OpenAI has published the text-generating AI it said was too dangerous to share". ذا فيرج. مؤرشف من الأصل في 2020-06-11. اطلع عليه بتاريخ 2020-12-19.
  5. 1 2 "GPT-2: 1.5B Release". OpenAI (بالإنجليزية). 5 Nov 2019. Archived from the original on 2019-11-14. Retrieved 2019-11-14.
  6. 1 2 "Better Language Models and Their Implications". أوبن أيه آي. 14 فبراير 2019. مؤرشف من الأصل في 2020-12-19. اطلع عليه بتاريخ 2020-12-19.
  7. 1 2 3 Radford، Alec؛ Narasimhan، Karthik؛ Salimans، Tim؛ Sutskever، Ilya (11 يونيو 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). أوبن أيه آي. ص. 12. مؤرشف (PDF) من الأصل في 2021-01-26. اطلع عليه بتاريخ 2021-01-23.
  8. 1 2 A bot will complete this citation soon. Click here to jump the queue أرخايف:2006.05477.
  9. 1 2 3 4 5 Hern، Alex (14 فبراير 2019). "New AI fake text generator may be too dangerous to release, say creators". الغارديان. مؤرشف من الأصل في 2019-02-14. اطلع عليه بتاريخ 2020-12-19.
  10. ↑ Vaswani، Ashish؛ Shazeer، Noam؛ Parmar، Niki؛ Uszkoreit، Jakob؛ Jones، Llion؛ Gomez، Aidan N؛ Kaiser، Łukasz؛ Polosukhin، Illia (2017). "Attention is All you Need" (PDF). Advances in Neural Information Processing Systems. Curran Associates, Inc. ج. 30. مؤرشف من الأصل (PDF) في 2025-04-24.
  11. ↑ Olah، Chris؛ Carter، Shan (8 سبتمبر 2016). "Attention and Augmented Recurrent Neural Networks". Distill. ج. 1 ع. 9. DOI:10.23915/distill.00001. مؤرشف من الأصل في 2020-12-22. اطلع عليه بتاريخ 2021-01-22.
  12. ↑ A bot will complete this citation soon. Click here to jump the queue أرخايف:1409.0473.
  13. ↑ A bot will complete this citation soon. Click here to jump the queue أرخايف:1508.04025.
  14. 1 2 A bot will complete this citation soon. Click here to jump the queue أرخايف:1806.02847.
  15. 1 2 Quach، Katyanna (14 فبراير 2019). "Roses are red, this is sublime: We fed OpenAI's latest chat bot a classic Reg headline". The Register. مؤرشف من الأصل في 2021-03-09. اطلع عليه بتاريخ 2021-02-27.
  16. 1 2 "The Staggering Cost of Training SOTA AI Models". Synced. 27 يونيو 2019. مؤرشف من الأصل في 2020-11-24. اطلع عليه بتاريخ 2021-02-27.
  17. ↑ Wiggers، Kyle (23 مارس 2020). "Google open-sources framework that reduces AI training costs by up to 80%". VentureBeat. مؤرشف من الأصل في 2020-11-26. اطلع عليه بتاريخ 2021-02-27.
  18. 1 2 3 4 5 6 Vincent، James (14 فبراير 2019). "OpenAI's new multitalented AI writes, translates, and slanders". ذا فيرج. مؤرشف من الأصل في 2020-12-18. اطلع عليه بتاريخ 2020-12-19.
  19. 1 2 3 Piper، Kelsey (14 فبراير 2019). "An AI helped us write this article". فوكس ميديا. مؤرشف من الأصل في 2020-11-08. اطلع عليه بتاريخ 2020-12-19.
  20. ↑ Köbis، Nils؛ Mossink، Luca D. (1 يناير 2021). "Artificial intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human-written poetry". Computers in Human Behavior. ج. 114: 106553. DOI:10.1016/j.chb.2020.106553. hdl:21.11116/0000-0007-13E5-1.
  21. ↑ Schwartz، Oscar (4 يوليو 2019). "Could 'fake text' be the next global political threat?". The Guardian. مؤرشف من الأصل في 2019-07-16. اطلع عليه بتاريخ 2019-07-16.
  22. 1 2 Vincent، James (21 فبراير 2019). "AI researchers debate the ethics of sharing potentially harmful programs". The Verge. مؤرشف من الأصل في 2021-02-09. اطلع عليه بتاريخ 2021-02-27.
  23. 1 2 Zhang، Hugh (19 فبراير 2019). "OpenAI: Please Open Source Your Language Model". The Gradient. مؤرشف من الأصل في 2021-01-28. اطلع عليه بتاريخ 2021-02-28.
  24. ↑ Gokaslan، Aaron؛ Cohen، Vanya؛ Pavlick، Ellie؛ Tellex، Stefanie (22 أغسطس 2019). "OpenGPT-2: We Replicated GPT-2 Because You Can Too". Noteworthy. مؤرشف من الأصل في 2023-04-29. اطلع عليه بتاريخ 2021-02-27.
  25. ↑ Johnson، Khari (20 أغسطس 2019). "OpenAI releases curtailed version of GPT-2 language model". فنشر بيت. مؤرشف من الأصل في 2020-12-18. اطلع عليه بتاريخ 2020-12-19.
  26. 1 2 Vincent، James (6 يونيو 2019). "There's a subreddit populated entirely by AI personifications of other subreddits". The Verge. مؤرشف من الأصل في 2021-02-21. اطلع عليه بتاريخ 2021-02-27.
  27. 1 2 Murati, Ermira (13 Apr 2022). "Language & Coding Creativity | American Academy of Arts and Sciences". www.amacad.org (بالإنجليزية). Archived from the original on 2024-05-28. Retrieved 2024-03-18.
  28. ↑ "GPT-2 Small". مؤرشف من الأصل في 2024-01-28. اطلع عليه بتاريخ 2024-10-29.
  29. ↑ GPT-2 Medium. "Openai-community/Gpt2-medium · Hugging Face". مؤرشف من الأصل في 2025-06-08.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء عددية: قائمة المؤلفين (link)
  30. ↑ Vincent، James (24 يوليو 2019). "This AI-powered autocompletion software is Gmail's Smart Compose for coders". The Verge. مؤرشف من الأصل في 2021-03-09. اطلع عليه بتاريخ 2021-02-27.
  31. ↑ Olson، Mathew (17 ديسمبر 2019). "AI Dungeon 2, the Text Adventure Where You Can do Nearly Anything, Is Now on Mobile". مؤرشف من الأصل في 2020-09-20. اطلع عليه بتاريخ 2021-02-27.
  32. ↑ Nelius، Joanna (3 أغسطس 2020). "This AI-Powered Choose-Your-Own-Adventure Text Game Is Super Fun and Makes No Sense". Gizmodo. مؤرشف من الأصل في 2021-02-28. اطلع عليه بتاريخ 2021-02-27.
  33. ↑ Ha، Anthony (4 فبراير 2021). "AI Dungeon-maker Latitude raises $3.3M to build games with 'infinite' story possibilities". TechCrunch. مؤرشف من الأصل في 2021-02-21. اطلع عليه بتاريخ 2021-02-27.
  34. ↑ "Write With Transformer". مؤرشف من الأصل في 2019-12-04. اطلع عليه بتاريخ 2019-12-04.
  35. ↑ "Talk to Transformer". مؤرشف من الأصل في 2019-12-04. اطلع عليه بتاريخ 2019-12-04.
  36. ↑ "CreativeEngines". مؤرشف من الأصل في 2023-02-03. اطلع عليه بتاريخ 2021-06-25.
  37. ↑ Ohlheiser، Abby؛ Hao، Karen (26 فبراير 2021). "An AI is training counselors to deal with teens in crisis". MIT Technology Review. مؤرشف من الأصل في 2021-02-27. اطلع عليه بتاريخ 2021-02-27.
  38. ↑ "Language models can explain neurons in language models". OpenAI. مؤرشف من الأصل في 2024-04-25. اطلع عليه بتاريخ 2023-05-13.
  39. ↑ Zhu، Yukun؛ Kiros، Ryan؛ Zemel، Rich؛ Salakhutdinov، Ruslan؛ Urtasun، Raquel؛ Torralba، Antonio؛ Fidler، Sanja (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books". International Conference on Computer Vision 2015: 19–27. arXiv:1506.06724. مؤرشف من الأصل في 2023-02-05. اطلع عليه بتاريخ 2023-02-05.
  40. ↑ A bot will complete this citation soon. Click here to jump the queue أرخايف:2005.14165.
  41. ↑ Arram (9 يوليو 2020). "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. مؤرشف من الأصل في 2020-07-20. اطلع عليه بتاريخ 2020-07-31.
  42. ↑ Hao, Karen (23 Sep 2020). "OpenAI is giving Microsoft exclusive access to its GPT-3 language model". إم آي تي تكنولوجي ريفيو (بالإنجليزية). Archived from the original on 2021-02-05. Retrieved 2020-09-25. The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI's other models and receive its output. Only Microsoft, however, will have access to GPT-3's underlying code, allowing it to embed, repurpose, and modify the model as it pleases.
هذه المقالة صادرة عن Wikipedia. النص متاح تحت رخصة المشاع الإبداعي - الإسناد - الترخيص بالمثل. قد تُطبَّق شروط إضافية على ملفات الوسائط.