نموذج الأساس

نمُوذج الأساس ، المعروف أيضًا باسم نموذج X الكبير (LxM) ، هو نموذج تعلم آلي أو تعلم عميق يَتم تدريبه على مجموعات بيانات ضخمة بحيث يمكن تطبيقه عبر مَجمُوعة واسعة منْ حَالات الاستخدام. تُعد تطبيقات الذكاء الاصطناعي التوليدي مثل نماذج اللغوية الكبيرة أمثلة شائعة على نماذج الأساس. [1]

يُعد بناء نماذج الأساس عملية تتطلب موارد عالية جدًا، حيث يمكن أن تصل التكلفة النماذج الأكثر تقدمًا مئات الملايين من الدولارات لتغطية نفقات الحصول على مجموعات البيانات الضخمة وتنظيمها ومعالجتها، بالإضافة إلى قوة الحوسبة المطلوبة للتدريب. وتنبع هذه التكاليف من الحاجة إلى بنية تحتية متطورة، وأوقات تدريب ممتدة، وأجهزة متقدمة، مثل وحدات معالجة الرسومات. على النقيض من ذلك، فإن تكييف نموذج الأساس الحالي لمهمة محددة أو استخدامه بشكل مباشر أقل تكلفة بكثير، لأنه يستفيد من القدرات المدربة مسبقًا ويتطلب عادةً فقط ضبطًا دقيقًا على مجموعات بيانات أصغر ومحددة للمهمة.

من الأمثلة المبكرة على نماذج الأساس هي نماذج اللغة (LMs) مثل سلسلة GPT من OpenAI وBERT من Google . [2] [3] بالإضافة إلى النصوص، تم تطوير نماذج الأساس في مجموعة متنوعة من الأنماط — بما في ذلك DALL-E وFlamingo [4] للصور، وMusicGen [5] للموسيقى، وRT-2 [6] للتحكم فب الروبوتات. كما يجري تطوير نماذج الأساس لمجالات مثل علم الفلك، [7] والأشعة، [8] وعلم الجينوميات، [9] والموسيقى، [10] والترجمة، [11] والتوقع بالسلاسل الزمنية ، [12] والرياضيات، [13] والكيمياء. [14]

التعاريف

قام مركز أبحاث نماذج الأساس (CRFM) التابع لمعهد ستانفورد للذكاء الاصطناعي المتمحور حول الإنسان (HAI) بصياغة مصطلح "نموذج الأساس" في أغسطس 2021 [15] ليعني "أي نموذج يتم تدريبه على بيانات واسعة النطاق (عادة باستخدام التعلم الذاتي على نطاق واسع) يمكن تكييفه (مثل ضبطه) لمجموعة واسعة من المهام اللاحقة". [16] و قد استند ذلك إلى ملاحظتهم بأن المصطلحات السابقة، على الرغم من تداخلها، لم تكن كافية، حيث أشاروا إلى أن " نموذج اللغة (الكبير) كان ضيقًا جدًا لأن التركيز لا يقتصر على اللغة فقط؛ و "النموذج الخاضع للإشراف الذاتي" محددًا للغاية لهدف التدريب؛ واقترح "النموذج المدرب مسبقًا" أن الإجراء الجدير بالملاحظة حدث بالكامل بعد "التدريب المسبق". [17] تم اختيار مصطلح "نموذج الأساس" بدلاً من "النموذج الأساسي" [18] لأن "الأساسي" يعني أن هذه النماذج توفر مبادئ أساسية بطريقة لا توفرها "الأساس". [19]

مع قِيام الحُكومات بتنظيم نماذج المؤسسات، ظَهرت تعريفات قانونية جديدة.

  • في الولايات المتحدة، يعرف الأمر التنفيذي بشأن التطوير والاستخدام الآمن والموثوق للذكاء الاصطناعي نموذج الأساس بأنه "نموذج الذكاء الاصطناعي يتم تدريبه على بيانات واسعة؛ يستخدم عمومًا التعلم الذاتي ؛ يحتوي على عشرات المليارات من المعاملات على الأقل؛ و يمكن تطبيقه عبر مجموعة واسعة من السياقات". [20]
  • و في الولايات المتحدة ايضًا، فيُعرّف قانون شفافية نماذج الأساس للذكاء الاصطناعي المقترح لعام 2023 [21] المقترح من قبل نائبي مجلس النواب دون باير (ديمقراطي، فرجينيا) وآنا إيشو (ديمقراطية، كاليفورنيا) نموذج الأساس بأنه "نموذج ذكاء اصطناعي مُدرب على بيانات واسعة، ويستخدم عمومًا الإشراف الذاتي، ويحتوي عمومًا على ما لا يقل عن 1,000,000,000 معلمة، وهو قابل للتطبيق عبر مجموعة واسعة من السياقات، ويُظهر، أو يمكن تعديله بسهولة لإظهار، مستويات عالية من الأداء في المهام التي قد تشكل خطرًا خطيرًا على الأمن، أو الأمن الاقتصادي الوطني، أو الصحة العامة الوطنية أو السلامة، أو أي مزيج من هذه الأمور".
  • في الاتحاد الأوروبي، يحدد الموقف التفاوضي للبرلمان الأوروبي بشأن قانون الذكاء الاصطناعي في الاتحاد الأوروبي نموذج الأساس باعتباره "نموذج ذكاء اصطناعي يتم تدريبه على بيانات واسعة النطاق، ومصمم لعمومية الناتج، ويمكن تكييفه مع مجموعة واسعة من المهام المميزة".
  • في المملكة المتحدة، يعرّف تقرير هيئة المنافسة والأسواق الأولي نماذج الأساس للذكاء الاصطناعي بأنها "نوع من تكنولوجيا الذكاء الاصطناعي التي يتم تدريبها على كميات هائلة من البيانات التي يمكن تكييفها مع مجموعة واسعة من المهام والعمليات".

تُعد تعريفات الصادرة عن الولايات المتحدة الوحيدة التي تشير إلى حجم نموذج الأساس، و لكنها تختلف في مقدار هذا الحجم. فتعريف باير وإيشو ينص أيضًا على أن نماذج الأساس يجب أن تحقق مستوى من الأداء يجعلها تشكل خطرًا محتملاً. في المقابل، يتطلب تعريف الاتحاد الأوروبي أن يكون النموذج مصمماً لعموم الناتج. تتفق كافة التعاريف على أنه يجب تدريب النماذج الأساسية على مجموعة واسعة من البيانات ذات التطبيقات المحتملة في العديد من المجالات.

تاريخ

من الناحية التقنية، تبنى النماذج الأساس باستخدام تقنيات التعلم الآلي المعروفة مثل الشبكات العصبية العميقة ، والتعلم النقلي ، والتعلم الذاتي الإشراف . و تختلف نماذج الأساس عن التقنيات السابقة في كونها نماذج متعددة الأغراض العامة تعمل كبنية أساسية قابلة لإعادة الاستخدام، بدلاً من النماذج المخصصة والمخصصة لمهمة واحدة.

اسهمت التطورات في الموازاة الحوسبة و مثال على ذلك (وحدات معالجة الرسوميات CUDA ) والتطورات الجديدة في بنية الشبكة العصبية ومثال على ذلك (المحولات )، إلى جانب الاستخدام المتزايد للبيانات التدريبية ذات الإشراف المحدود، في صعود نماذج الأساس. و قد بدأت هذه النماذج في الظهور باعتبارها الموجة الأخيرة من نماذج التعلم العميق في أواخر العقد الأول من القرن الحادي والعشرين. [22] بالنسبة لمعظم الأعمال السابقة في مجال التعلم العميق، أظهرت نماذج اللغة هذه إمكانات التدريب على مجموعات بيانات أكبر بكثير مستمدة من الويب باستخدام أهداف ذاتية الإشراف (على سبيل المثال التنبؤ بالكلمة التالية في مجموعة كبيرة من النصوص). وقد انحرفت هذه الأساليب، التي تعتمد على أعمال سابقة مثل word2vec و GloVe ، عن الأساليب الإشرافية السابقة التي تتطلب بيانات موضحة (على سبيل المثال، العلامات التي تم جمعها من الجمهور).

أدى إطلاق Stable Diffusion وChatGPT (الذي كان يعتمد في البداية على نموذج GPT-3.5) في عام 2022. إلى دخول نماذج الأساس والذكاء الاصطناعي التوليدي إلى نطاق النقاش العام على نطاق واسع. بالإضافة لذلك، ساهمت إصدارات LLaMA وLlama 2 و Mistral في عام 2023 في التركيز بشكل أكبر على كيفية إصدار نماذج الأساس مع حصول نماذج الأساس المفتوحة على قدر كبير من الدعم [23] والتدقيق. [24]

المفاهيم ذات الصلة

نماذج الحدود

تُطلق تسمية "نماذج الطليعة" على بعض النماذج الأساسية المتقدمة جدًا ، والتي قد تمتلك "قدرات خطيرة كافية لتشكل مخاطر جسمية على السلامة العامة." [25] تنبع هذه "القدرات الخطيرة" من سوء الاستخدام العرضي أو المتعمد لمثل هذه النماذج، والتي يمكن أن تؤدي إلى أضرار جسيمة بالتزامن مع طبيعتها القوية. مع استمرار تحسن نماذج الأساس، يتوقع بعض الباحثين في مجال الذكاء الاصطناعي أن جميع نماذج الأساس من الجيل التالي تقريبًا ستُعتبر نماذج حدودية.

نظرًا لأن مفهوم "القدرات الخطيرة" هو بطبيعته مفهوم ذاتي، فلا يوجد تصنيف صارم يحدد بدقة ما هي النماذج الأساسية مؤهلة باعتبارها نماذج حدودية. ومع ذلك، فإن بعض الأفكار السائدة بشأن القدرات الخطيرة إلى حد ما تشمل ما يلي:

  • تصميم وتصنيع أسلحة بيولوجية أو كيميائية جديدة [26]
  • إنتاج ونشر معلومات مضللة مقنعة ومصممة خصيصًا مع الحد الأدنى من تعليمات المستخدم [27]
  • تسخير قدرات هجومية سيبرانية غير مسبوقة [28]
  • التهرب من السيطرة البشرية من خلال وسائل خادعة [29]

نظراً للقدرات الفريدة لنماذج الطليعة، يصبح من الصعب تنظيم تطويرها ونشرها بشكل فعال. بسبب طبيعتها الناشئة، يمكن أن تظهر قدرات خطيرة جديدة من تلقاء نفسها في نماذج الطليعة، سواء في مرحلة التطوير أو بعد نشرها. [30] بالإضافة إلى ذلك، بما أن نماذج الحدود تستمر في التكيف بعد نشرها، يبقى من الصعب التخفيف من جميع الأضرار التي قد تنشأ عنها. و إذا صادف أن يكون نموذج الطليعة مفتوح المصدر أو تم إصداره عبر الإنترنت، فقد ينتشر النموذج بسرعة أيضاً، مما يعوق الجهات التنظيمية بشكل أكبر من خلال خلق انعدام المساءلة.

الذكاء الاصطناعي للأغراض العامة

نظرًا لقدرتها على التكيف مع مجموعة واسعة من حالات الاستخدام، يُعتبر أحيانًا أن نماذج الأساس هي أمثلة على الذكاء الاصطناعي العام. في تصميم قانون الذكاء الاصطناعي في الاتحاد الأوروبي، أشار البرلمان الأوروبي إلى موجة جديدة من تقنيات الذكاء الاصطناعي العام تشكل النظام البيئي الشامل للذكاء الاصطناعي بشكل عام. [31] الهيكل الكامل لهذا النظام البيئي، الهيكل الكامل لهذا النظام ، بالإضافة إلى خصائص أنظمة الذكاء الاصطناعي العام المحددة، يؤثر على تصميم السياسات و الأبحاث المتعلقة بالذكاء الاصطناعي والبحث العلمي. [32] تظهر أنظمة الذكاء الاصطناعي للأغراض العامة أيضًا في كثير من الأحيان في الحياة اليومية للأشخاص من خلال التطبيقات والأدوات مثل ChatGPT أو DALL-E .

حددت جهات حكومية مثل برلمان الأوروبي تنظيم الذكاء الاصطناعي العام، مثل نماذج الأساس، كأولوية قصوى. غالبًا ما تتسم أنظمة الذكاء الاصطناعي العام بحجمها الكبير، و غموضها وإمكانية الظهور خصائص غير متوقعة، وكلها عوامل قد تؤدي إلى أضرار غير مقصودة. وتؤثر هذه الأنظمة أيضًا بشكل كبير على التطبيقات اللاحقة، مما يؤدي إلى تفاقم الحاجة إلى التنظيم. وفيما يتعلق بالتشريعات البارزة، دفع عدد من أصحاب المصلحة إلى إدراج قانون الذكاء الاصطناعي في الاتحاد الأوروبي قيودًا على أنظمة الذكاء الاصطناعي للأغراض العامة، والتي تنطبق جميعها أيضًا على نماذج الأساس.

التفاصيل الفنية

النمذجة

لكي يتمكن نموذج الأساس من التعميم بفعالية، يجب أن يكتسب تمثيلات غنية لبيانات التدريب. ونتيجة لذلك، غالبًا ما تُفضل البُنى النموذجية التعبيرية التي تعالج البيانات واسعة النطاق بكفاءة في بناء نماذج الأساس. [33] حاليًا، يعد تصميم المحول هو الخيار الفعلي لبناء نماذج الأساس عبر مجموعة من الوسائط. [34]

التمرين

تبنى نماذج الأساس من خلال تحسين دالة التدريب، وهي دالة رياضية تحدد كيفية تحديث معلمات النموذج استنادًا بناءً على توقعاته لبيانات التدريب. [35] غالبًا ما تدرب نماذج اللغة باستخدام هدف توقع الرموز التالية، أي قدرة النموذج على توقع الرمز التالي من تسلسل ما. يتم تدريب نماذج الصور عادةً باستخدام أهداف التعلم التبايني أو تدريب الانتشار. بالنسبة للتعلم التبايني، يتم تكبير الصور بشكل عشوائي قبل تقييمها على أساس التشابه الناتج عن تمثيلات النموذج. بالنسبة لنماذج الانتشار، يتم تشويش الصور ويتعلم النموذج إزالة الضوضاء تدريجيًا من خلال الهدف. توجد أيضًا أهداف تدريبية متعددة الوسائط، حيث يقوم البعض بفصل الصور والنصوص أثناء التدريب، بينما يقوم البعض الآخر بفحصها في وقت واحد. [36] بشكل عام، تعمل أهداف التدريب الخاصة بالنماذج الأساسية على تعزيز تعلم التمثيلات المفيدة على نطاق واسع للبيانات.

مع صعود النماذج الأساسية و اعتمادها على مجموعات بيانات ضخمة، يجب أن يكون هدف التدريب قادرًا على استخلاص نقاط البيانات على نطاق الإنترنت للحصول على نقاط بيانات ذات معنى. بالإضافة إلى ذلك، و بما أن نماذج الأساسية مصممة لحل مجموعة عامة من المهام، فينبغي لأهداف التدريب أن تكون مكتملة النطاق ، أي قادرة على التعامل لحل مجموعة واسعة من القدرات اللاحقة ضمن المجال المحدد. وأخيرًا، ينبغي أن تسعى أهداف تدريب النموذج الأساسي إلى التوسع بشكل جيد وتحقيق الكفاءة الحسابية. وبما أن حجم النموذج وقوة الحوسبة يشكلان قيودًا ذات صلة، فيجب أن يكون هدف التدريب قادرًا على التغلب على مثل هذه الاختناقات.

البيانات

تدريب النماذج الأساسية على كمية ضخمة من البيانات، وفقًا للمبدأ القائل "كلما زادت البيانات، كان أداء أفضل". [37]و تظهر تقييمات الأداء أن المزيد من البيانات يؤدي عمومًا إلى أداء أفضل، ولكن تطرأ مشكلات أخرى مع زيادة حجم البيانات. إذ تصبح المهام مثل: ( إدارة مجموعة البيانات، ودمج البيانات عبر التطبيقات الجديدة، وضمان الالتزام بتراخيص البيانات، والحفاظ على جودة البيانات، أكثر صعوبة مع نمو حجم البيانات). وقد زادت المتطلبات النماذج الأساسية من حدة هذه التحديات، و خاصة أنه من المعتاد أن تُستخدم النماذج الأساسية ذات بيانات العامة المجمعة من الويب. تتضمن نماذج الأساس أيضًا بيانات محركات البحث وبيانات علامات التعريف الوصفية الخاصة بمحركات البحث. تظل بيانات الويب العامة موردًا وفيرًا، ولكنها تتطلب أيضًا تعديلًا صارمًا ومعالجة للبيانات من مطوري النموذج الأساسي قبل أن يتم دمجها بنجاح في خط أنابيب التدريب. [38]

غالبًا ما تنطوي تدريب النماذج الأساسية على خطر انتهاك خصوصية المستخدم، حيث يمكن الكشف عن بيانات خاصة أو جمعها أو استخدامها بطرق تتجاوز النطاق المعلن. وحتى إذا لم يتم تسريب أي بيانات خاصة، فإن النماذج قد تتعرض للأمان للخطر بشل غير مقصود من خلال سلوكيات مكتسبة في النموذج الناتج. [39] و تعد جودة البيانات نقطة محورية أخرى، إذ أن البيانات المجمعة من الويب في كثير من الأحيان على مواد متحيزة ومكررة وسامة. بمجرد نشر نماذج الأساس، يظل ضمان جودة البيانات العالية يمثل مشكلة، حيث لا يزال من الممكن أن ينشأ سلوك غير مرغوب فيه من مجموعات فرعية صغيرة من البيانات.

الأنظمة

يؤدي حجم نماذج الأساسية أيضًا إلى مشكلات تتعلق بأنظمة الحوسبة التي تعمل عليها. فالمتوسط العام للنموذج الأساسي يكون كبيرًا جدًا بحيث لا يمكن تشغيله ضمن ذاكرة معالج واحد فقط، كم أن عملية التدريب الأولية كمية باهظة الثمن من الموارد. [40] ومن المتوقع أن تتفاقم مثل هذه المشكلات في المستقبل مع نمو نماذج الأساس إلى ارتفاعات جديدة. ونتيجة لهذا القيد، بدأ الباحثون في البحث في ضغط حجم النموذج من خلال الاستدلال الضيق على النموذج.

تُعد وحدات معالجة الرسومات (GPUs) الخيار الأكثر شيوعًا كعتاد حسابي لتعلم الآلة، نظرًا لقدرتها لعالية على تخزين الذاكرة و قوتها الكبيرة. يتطلب تدريب النماذج الأساسية عادة العديد من وحدات المعالجة الرسومية، كلها متصلة بشكل متوازٍ عبر موصلات سريعة. ويُعد الحصول على عدد كافي من وحدات معالجة الرسوميات ذات الكفاءة الحوسبية المطلوبة تحديًا للعديد من مطوري النماذج الأساسية، وهو ما أدى إلى معضلة متزايدة في هذا المجال. تتطلب النماذج الأكبر حجمًا قوة حوسبة أكبر، ولكن غالبًا على حساب تحسين كفاءة الحوسبة. نظرًا لأن عملية التدريب يظل مستهلكًا للوقت ومكلفًا، فإن التوازن بين قوة الحوسبة وكفاءتها أدى إلى قيام عدد قليل فقط من الشركات المختارة بتحمل تكاليف الإنتاج للنماذج الأساسية الكبيرة والمتطورة. يمكن لبعض التقنيات مثل الضغط والتقطير أن تجعل الاستدلال أكثر تكلفة، ولكنها تفشل في دعم هذا الضعف بشكل كامل.

القياس

غالبًا ما تتناسب دقة وقدرات النماذج الأساسية بشكل متوقع مع حجم النموذج وكمية بيانات التدريب. فقد تم اكتشاف قوانين وعلى وجه التحديد، تم اكتشاف قوانين التحجيم، وهي اتجاهات تجريبية تعتمد على البيانات تربط بين الموارد (البيانات، وحجم النموذج، واستخدام الحوسبة) و قدرات النموذج. و يعرف مقياس النموذج من خلال الحوسبة وحجم مجموعة البيانات وعدد المعلمات، والتي تظهر جميعها علاقة قانون القوة مع الأداء النهائي.

ومع ذلك، تم اكتشاف قوانين تحجيم مكسورة حيث تنتقل هذه العلاقة تدريجيًا (عند نقاط يشار إليها باسم الانقطاعات) من قانون القوة مع أس واحد إلى قانون القوة مع أس آخر (مختلف). عندما لا يتمكن أحد من جمع أي نقاط بالقرب من (أو بعد) الاستراحة (الاستراحة)، فقد يكون من الصعب الحصول على استقراء دقيق.

التكيف

نماذج الأساس بطبيعتها متعددة الأغراض: لاستخدام هذه النماذج لحالة استخدام يلزم شكل من أشكال التكيف. على الحد الأدنى، يتعين تكييف النماذج لأداء المهمة المطلوبة (تحديد المهمة)، ولكن في كثير من الأحيان يمكن تحقيق أداء أفضل من خلال التكيف الأكثر شمولاً مع مجال الاهتمام (تخصص المجال).

توجد عدة طرق لتكييف نماذج الأساس مع تطبيقات محددة مثل:

(التحفيز ، والتعلم في السياق ، والضبط الدقيق ، وLoRA )

كل طريقة منها توازن بين كلفة التكييف و مدى التخصيص الذي يمكن أن يصل إليه النموذج. مقايضات مختلفة بين تكاليف التكيف والمدى الذي تكون فيه النماذج متخصصة. بعض الجوانب الرئيسية التي يجب مراعاتها عند تكييف نموذج الأساس هي حساب الميزانية وتوافر البيانات. و نظرًا لأن نماذج الأساس قد تحتوي على تريليونات المعلمات في الحجم، وبالتالي فإن تكييف نموذج الأساس بأكمله يمكن أن يكون مكلفًا من الناحية الحسابية. لذلك، يقوم المطورون في بعض الأحيان بتكييف الطبقة العصبية الأخيرة فقط أو متجهات التحيز فقط لتوفير الوقت والمساحة. [41] بالنسبة للتطبيقات المتخصصة بشكل خاص، قد لا تكون البيانات المحددة متاحة أيضًا لتكييف نموذج الأساس بشكل كافٍ. في مثل هذه الظروف، يجب تصنيف البيانات يدويًا، وهو أمر مكلف وقد يتطلب معرفة الخبراء.

التقييم

التقييم يعد جزءًا أساسيًا في تطوير نماذج الأساس. إذ لا يقتصر دوره على تتبع تقدم النماذج عالية الأداء، بل يوفر أيضًا معايير مرجعية تستخدم في تطوير النماذج المستقبلية. يعتمد أصحاب المصلحة على نتائج التقييم لفهم سلوك النماذج واكتساب نظرة ثاقبة حول سماتها المختلفة. تقليديًا، يتم تقييم نماذج الأساس بالنسبة لبعضها البعض من خلال معايير المهام الموحدة مثل

- MMLU

- [42] MMMU

- HumanEval [43]

-GSM8K [44]

ونظراً لأن نماذج الأساس متعددة الأغراض، فقد تم تطوير معايير مرجعية متزايدة تجمع بين معايير مرجعية أساسية مختلفة. تتضمن الأمثلة LM-Harness، [45] BIG-Bench، [46] HELM، [47] OpenLLM Leaderboard، [48] DecodingTrust، [49] وHEIM. [50]

نظرًا لأن فائدة نماذج الأساس تعتمد على قدراتها العامة وأداء الذي تحققه التطبيقات المعدلة بناء عليها، يجب أن يشمل التقييم كلا الجانبين. فالتقييم السليم يدرس أداء التطبيقات اللاحقة لنموذج الأساس بشكل إجمالي والخصائص المباشرة التي يتمتع بها نموذج الأساس. ولضمان المزيد من المساواة في التقييم، تأخذ بعض أطر التقييم الحالية في الاعتبار جميع موارد التكيف، مما يؤدي إلى تحليلات أكثر استنارة لصالح جميع أصحاب المصلحة. [51]

الموردين

تُمكن القدرات العامة لنماذج الأساس هذه النماذج من أداء دور فريد ضمن منظومة الذكاء الاصطناعي، [52] حيث تغدى من خلال تقنيات متعددة من مراحل سابقة و اللاحقة في السلسلة التقنية. يتطلب تدريب نموذج الأساس موارد عديدة مثل: البيانات والحوسبة والعمالة والأجهزة والرمز، وغالبًا ما تشمل نماذج الأساس كميات هائلة من البيانات و القدرة الحاسوبية (يشار إليها أيضًا باسم القوة الحسابية). و نظرًا لارتفاع تكاليف تطوير النماذج الأساس و انخفاض تكاليف تكييفها، فقد تغير مشهد الذكاء الاصطناعي ليرتكز في أيدي مجموعة صغيرة من الشركات التي تنتج نماذج أساس لتستخدم لاحقًا في التطبيقات المختلفة.[53] ولهذا، فإن معظم شركات نموذج الأساس تستعين بمقدمي البيانات المتخصصين (على سبيل المثال Scale AI، [54] Surge [55] ) ومقدمي الحوسبة (على سبيل المثال Amazon Web Services ، وGoogle Cloud ، و Microsoft Azure ).

لقد زاد الاستثمار في قدرات الحوسبة لتدريب نماذج الذكاء الاصطناعي الأكبر بسرعة. [56]

يقوم مطور نموذج الأساس بعد ذلك بأخذ البيانات واستخدام القدرة الحاسوبية المتوفرة لتدريب النموذج فعليًا. و بعد إتمام بناء نموذج الأساس، تقل الحاجة إلى البيانات و العمل بشكل كبير. و في هذه العملية التطويرية، تعد القدرة الحاسوبية الكافية أمرًا أساسيًا. ومع ذلك، يتم توحيد الحوسبة في أيدي عدد قليل من الكيانات المختارة، والتي يعتمد عليها معظم مطوري نماذج الأساس. وعلى هذا النحو، يتركز خط أنابيب نموذج الأساس بشكل كبير حول هؤلاء المزودين. كما أن الحوسبة مكلفة أيضًا؛ ففي عام 2023، أنفقت شركات الذكاء الاصطناعي أكثر من 80% من إجمالي رأس المال على موارد الحوسبة. [57]

تتطلب النماذج الأساس كمية كبيرة من البيانات العامة لتغذية قدراتها. و قد قامت النماذج الأولى بجمع البيانات من الأجزاء من الإنترنت لتوفير هذه المعلومات. ومع تزايد حجم ونطاق نماذج الأساس، تصبح كميات أكبر من كشط الإنترنت ضرورية، مما يؤدي إلى زيادة احتمالات الحصول على بيانات متحيزة أو سامة. يمكن أن تؤدي هذه البيانات السامة أو المتحيزة إلى إلحاق الضرر بشكل غير متناسب بالمجموعات المهمشة وتفاقم التحيزات القائمة. [58]

لمعالجة مشكلة البيانات منخفضة الجودة التي ظهرت مع التدريب غير الخاضع للإشراف، لجأ بعض مطوري النماذج الأساس إلى التصفية اليدوية. وتعرف هذه الممارسة، المعروفة باسم"عمل البيانات" ، مصحوبة بمجموعة من المشكلات الخاصة بها. [59] غالبًا ما يتم الاستعانة بمصادر خارجية لإزالة السموم اليدوية من البيانات لتقليل تكاليف العمالة، حيث يكسب بعض العمال أقل من 2 دولار في الساعة. [60]

بعد ذلك، يستضاف نموذج الأساس عبر الإنترنت إما من قبل المطور أو من خلال جهة خارجية. وبمجرد إصداره، يمكن لأطراف أخرى إنشاء تطبيقات تعتمد على هذا النموذج، سواء من خلال التخصيص الدقيق أو الأغراض الجديدة كليًا. ويستطيع الناس بعد ذلك الوصول إلى هذه التطبيقات لخدمة وسائلهم المختلفة، مما يسمح لنموذج أساسي واحد بالوصول إلى جمهور واسع.

استراتيجيات الإصدار

بعد بناء نموذج الأساس، يمكن إصداره بعدة الطرق. و يتضمن الإصدار عدة جوانب، منها: النموذج نفسه، ومن لديه حق الوصول، وكيف يتغير الوصول بمرور الوقت، وشروط الاستخدام. [61] تساهم كل هذه العوامل في كيفية تأثير نموذج الأساس على التطبيقات اللاحقة. [62] على وجه الخصوص، فإن الشكلين الأكثر شيوعًا لإصدار نموذج الأساس هما من خلال واجهات برمجة التطبيقات والتنزيلات المباشرة للنموذج.

عندما يتم إصدار نموذج عبر واجهة برمجة التطبيقات ، يمكن للمستخدمين إرسال استفسارات للنموذج وتلقي الردود، ولكنهم لا يستطيعون الوصول مباشرة إلى النموذج نفسه. وبالمقارنة، يمكن للمستخدمين تنزيل النموذج مباشرة للوصول إليه وتعديله. و غالبًا ما يصنف كلا نهجي الإطلاق ضمن إصدارات المفتوحة. إن التعريف الدقيق "للإصدار المفتوح" محل الخلاف، ولكن هناك متطلبات مقبولة على نطاق واسع من خلال مبادرة المصدر المفتوح .

بعض نماذج الأساس المفتوحة تشمل : PaLM 2 ، و Llama 2 ، و Granite ، و Mistral . في حين أن نماذج الأساس المفتوحة يمكن أن تسهم في تعزيز البحث والتطوير بسهولة أكبر، إلا أنها أيضًا عرضة للإساءة أكثر. يمكن لأي شخص تحميل نماذج الأساس المفتوحة، ويمكن تعديل النماذج القوية بشكل خاص للتسبب في ضررًا سواء عن قصد أو دون قصد.

أثناء الإطلاق المغلق، لا يكون نموذج الأساس متاح للعامة، ولكن يتم استخدامه داخليًا بواسطة المؤسسة. وتعتبر مثل هذه الإصدارات أكثر أمانًا، لكنها لا تقدم أي قيمة إضافية لمجتمع البحث أو الجمهور بشكل عام.

بعض نماذج الأساس مثل نموذج Flamingo من Google DeepMind مغلقة بالكامل [63] ، أي أنها متاحة فقط لمطور النموذج؛ و بينما الأخرى، مثل GPT-4 من OpenAI ، متاحة بوصول محدود، حيث يمكن للجمهور استخدامها و لكن كنموذج مغلق لا يكشف عن تفاصيله الداخلية و هناك نماذج اخرى مثل Llama 2 من Meta ، مفتوح، مع أوزان نموذجية متاحة على نطاق واسع مما يتيح التعديل والتدقيق في اتجاه مجرى النهر.

المراجع

  1. ↑ اكتب عنوان المرجع بين علامتي الفتح <ref> والإغلاق </ref> للمرجع :1
  2. ↑ Rogers، Anna؛ Kovaleva، Olga؛ Rumshisky، Anna (2020). "A Primer in BERTology: What we know about how BERT works". arXiv:2002.12327 [cs.CL].
  3. ↑ Haddad, Mohammed. "How does GPT-4 work and how can you start using it in ChatGPT?". Al Jazeera (بالإنجليزية). Retrieved 2024-10-20.
  4. ↑ Tackling multiple tasks with a single visual language model، 28 أبريل 2022، مؤرشف من الأصل في 2023-10-18، اطلع عليه بتاريخ 2022-06-13
  5. ↑ Copet، Jade؛ Kreuk، Felix؛ Gat، Itai؛ Remez، Tal؛ Kant، David؛ Synnaeve، Gabriel؛ Adi، Yossi؛ Défossez، Alexandre (7 نوفمبر 2023). "Simple and Controllable Music Generation". arXiv:2306.05284 [cs.SD].
  6. ↑ "Speaking robot: Our new AI model translates vision and language into robotic actions". Google (بالإنجليزية الأمريكية). 28 Jul 2023. Retrieved 2023-12-11.
  7. ↑ Nguyen، Tuan Dung؛ Ting، Yuan-Sen؛ Ciucă، Ioana؛ O'Neill، Charlie؛ Sun، Ze-Chang؛ Jabłońska، Maja؛ Kruk، Sandor؛ Perkowski، Ernest؛ Miller، Jack (12 سبتمبر 2023). "AstroLLaMA: Towards Specialized Foundation Models in Astronomy". arXiv:2309.06126 [astro-ph.IM].
  8. ↑ Tu، Tao؛ Azizi، Shekoofeh؛ Driess، Danny؛ Schaekermann، Mike؛ Amin، Mohamed؛ Chang، Pi-Chuan؛ Carroll، Andrew؛ Lau، Chuck؛ Tanno، Ryutaro (26 يوليو 2023). "Towards Generalist Biomedical AI". arXiv:2307.14334 [cs.CL].
  9. ↑ Zvyagin, Maxim; Brace, Alexander (11 Oct 2022). "GenSLMs: Genome-scale language models reveal SARS-CoV-2 evolutionary dynamics" (بالإنجليزية). bioRxiv:10.1101/2022.10.10.511571.
  10. ↑ Engineering, Spotify (13 Oct 2023). "LLark: A Multimodal Foundation Model for Music". Spotify Research (بالإنجليزية الأمريكية). Retrieved 2023-12-11.
  11. ↑ Li، Raymond؛ Allal، Loubna Ben؛ Zi، Yangtian؛ Muennighoff، Niklas؛ Kocetkov، Denis؛ Mou، Chenghao؛ Marone، Marc؛ Akiki، Christopher؛ Li، Jia (9 مايو 2023). "StarCoder: may the source be with you!". arXiv:2305.06161 [cs.CL].
  12. ↑ Se, Ksenia; Spektor, Ian (5 Apr 2024). "Revolutionizing Time Series Forecasting: Interview with TimeGPT's creators". Turing Post (بالإنجليزية). Retrieved 2024-04-11.
  13. ↑ Azerbayev، Zhangir؛ Schoelkopf، Hailey؛ Paster، Keiran؛ Santos، Marco Dos؛ McAleer، Stephen؛ Jiang، Albert Q.؛ Deng، Jia؛ Biderman، Stella؛ Welleck، Sean (30 نوفمبر 2023). "Llemma: An Open Language Model For Mathematics". arXiv:2310.10631 [cs.CL].
  14. ↑ "Orbital".
  15. ↑ "Introducing the Center for Research on Foundation Models (CRFM)". Stanford HAI. 18 أغسطس 2021. اطلع عليه بتاريخ 2022-06-11.
  16. ↑ Bommasani، Rishi؛ وآخرون (18 أغسطس 2021). On the Opportunities and Risks of Foundation Models (Report). arXiv:2108.07258.
  17. ↑ "Reflections on Foundation Models". Stanford HAI. 18 أكتوبر 2021. اطلع عليه بتاريخ 2023-05-22.
  18. ↑ Bommasani، Rishi؛ Liang، Percy (18 أكتوبر 2021). "Reflections on Foundation Models". Stanford CRFM. اطلع عليه بتاريخ 2023-12-11.
  19. ↑ Marcus, Gary (11 Sep 2021). "Has AI found a new Foundation?". The Gradient (بالإنجليزية). Retrieved 2023-12-11.
  20. ↑ House, The White (30 Oct 2023). "Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence". The White House (بالإنجليزية الأمريكية). Retrieved 2024-02-12.
  21. ↑ "AI Foundation Model Transparency Act" (PDF).
  22. ↑ Liang، Percy؛ Bommasani، Rishi؛ Lee، Tony؛ Tsipras، Dimitris؛ Soylu، Dilara؛ Yasunaga، Michihiro؛ Zhang، Yian؛ Narayanan، Deepak؛ Wu، Yuhuai (1 أكتوبر 2023)، "Holistic Evaluation of Language Models"، Annals of the New York Academy of Sciences، ج. 1525، ص. 140–146، arXiv:2211.09110، Bibcode:2023NYASA1525..140B، DOI:10.1111/nyas.15007، PMID:37230490
  23. ↑ "Joint Statement on AI Safety and Openness". Mozilla (بالإنجليزية). 31 Oct 2023. Retrieved 2024-02-12.
  24. ↑ "Hawley and Blumenthal Demand Answers from Meta, Warn of Misuse After 'Leak' of Meta's AI Model". Senator Josh Hawley (بالإنجليزية). 6 Jun 2023. Retrieved 2024-02-12.
  25. ↑ Anderljung، Markus؛ Barnhart، Joslyn؛ Korinek، Anton؛ Leung، Jade؛ O'Keefe، Cullen؛ Whittlestone، Jess؛ Avin، Shahar؛ Brundage، Miles؛ Bullock، Justin (7 نوفمبر 2023)، Frontier AI Regulation: Managing Emerging Risks to Public Safety، arXiv:2307.03718
  26. ↑ Singhal, Karan; Azizi, Shekoofeh; Tu, Tao; Mahdavi, S. Sara; Wei, Jason; Chung, Hyung Won; Scales, Nathan; Tanwani, Ajay; Cole-Lewis, Heather (Aug 2023). "Large language models encode clinical knowledge". Nature (بالإنجليزية). 620 (7972): 172–180. arXiv:2212.13138. Bibcode:2023Natur.620..172S. DOI:10.1038/s41586-023-06291-2. ISSN:1476-4687. PMC:10396962. PMID:37438534.
  27. ↑ Nori، Harsha؛ King، Nicholas؛ McKinney، Scott Mayer؛ Carignan، Dean؛ Horvitz، Eric (12 أبريل 2023)، Capabilities of GPT-4 on Medical Challenge Problems، arXiv:2303.13375
  28. ↑ "Generative AI and the New Frontier in Cybersecurity". AI Business (بالإنجليزية). 7 Feb 2024.
  29. ↑ Pillay, Tharin (15 Dec 2024). "New Tests Reveal AI's Capacity for Deception". TIME (بالإنجليزية). Archived from the original on 2025-04-22. Retrieved 2025-01-15.
  30. ↑ Anderljung، Markus؛ Barnhart، Joslyn؛ Korinek، Anton؛ Leung، Jade؛ O'Keefe، Cullen؛ Whittlestone، Jess؛ Avin، Shahar؛ Brundage، Miles؛ Bullock، Justin (7 نوفمبر 2023)، Frontier AI Regulation: Managing Emerging Risks to Public Safety، arXiv:2307.03718Anderljung, Markus; Barnhart, Joslyn; Korinek, Anton; Leung, Jade; O'Keefe, Cullen; Whittlestone, Jess; Avin, Shahar; Brundage, Miles; Bullock, Justin (7 November 2023), Frontier AI Regulation: Managing Emerging Risks to Public Safety, arXiv:2307.03718
  31. ↑ "General-purpose artificial intelligence | Think Tank | European Parliament". www.europarl.europa.eu (بالإنجليزية). Retrieved 2024-02-12.
  32. ↑ Bommasani، Rishi؛ Soylu، Dilara؛ Liao، Thomas I.؛ Creel، Kathleen A.؛ Liang، Percy (28 مارس 2023)، Ecosystem Graphs: The Social Footprint of Foundation Models، arXiv:2303.15772
  33. ↑ Bommasani، Rishi؛ وآخرون (18 أغسطس 2021). On the Opportunities and Risks of Foundation Models (Report). arXiv:2108.07258.Bommasani, Rishi; et al. (18 August 2021). On the Opportunities and Risks of Foundation Models (Report). arXiv:2108.07258.
  34. ↑ Bommasani، Rishi؛ Klyman، Kevin؛ Longpre، Shayne؛ Kapoor، Sayash؛ Maslej، Nestor؛ Xiong، Betty؛ Zhang، Daniel؛ Liang، Percy (19 أكتوبر 2023)، The Foundation Model Transparency Index، arXiv:2310.12941
  35. ↑ Claude Elwood، Shannon (يوليو 1948). "A Mathematical Theory of Communication" (PDF). Bell System Technical Journal. مؤرشف من الأصل (PDF) في 2025-05-04.
  36. ↑ Radford، Alec؛ Kim، Jong Wook؛ Hallacy، Chris؛ Ramesh، Aditya؛ Goh، Gabriel؛ Agarwal، Sandhini؛ Sastry، Girish؛ Askell، Amanda؛ Mishkin، Pamela (26 فبراير 2021)، Learning Transferable Visual Models From Natural Language Supervision، arXiv:2103.00020
  37. ↑ Kaplan، Jared؛ McCandlish، Sam؛ Henighan، Tom؛ Brown، Tom B.؛ Chess، Benjamin؛ Child، Rewon؛ Gray، Scott؛ Radford، Alec؛ Wu، Jeffrey (22 يناير 2020)، Scaling Laws for Neural Language Models، arXiv:2001.08361
  38. ↑ Jo، Eun Seo؛ Gebru، Timnit (27 يناير 2020). "Lessons from archives: Strategies for collecting sociocultural data in machine learning". Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. ص. 306–316. arXiv:1912.10389. DOI:10.1145/3351095.3372829. ISBN:978-1-4503-6936-7.
  39. ↑ Bender، Emily M.؛ Gebru، Timnit؛ McMillan-Major، Angelina؛ Shmitchell، Shmargaret (1 مارس 2021). "On the Dangers of Stochastic Parrots: Can Language Models be Too Big? 🦜". Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. FAccT '21. New York, NY, USA: Association for Computing Machinery. ص. 610–623. DOI:10.1145/3442188.3445922. ISBN:978-1-4503-8309-7.
  40. ↑ Brown، Tom B.؛ Mann، Benjamin؛ Ryder، Nick؛ Subbiah، Melanie؛ Kaplan، Jared؛ Dhariwal، Prafulla؛ Neelakantan، Arvind؛ Shyam، Pranav؛ Sastry، Girish (22 يوليو 2020)، Language Models are Few-Shot Learners، arXiv:2005.14165
  41. ↑ Zaken، Elad Ben؛ Ravfogel، Shauli؛ Goldberg، Yoav (5 سبتمبر 2022)، BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models، arXiv:2106.10199
  42. ↑ "Papers with Code - MMLU Benchmark (Multi-task Language Understanding)". paperswithcode.com (بالإنجليزية). Retrieved 2024-04-21.
  43. ↑ "Papers with Code - HumanEval Benchmark (Code Generation)". paperswithcode.com (بالإنجليزية). Retrieved 2024-04-21.
  44. ↑ "Papers with Code - GSM8K Benchmark (Arithmetic Reasoning)". paperswithcode.com (بالإنجليزية). Retrieved 2024-04-21.
  45. ↑ EleutherAI/lm-evaluation-harness، EleutherAI، 21 أبريل 2024، مؤرشف من الأصل في 2025-05-08، اطلع عليه بتاريخ 2024-04-21
  46. ↑ Srivastava، Aarohi؛ Rastogi، Abhinav؛ Rao، Abhishek؛ Shoeb، Abu Awal Md؛ Abid، Abubakar؛ Fisch، Adam؛ Brown، Adam R.؛ Santoro، Adam؛ Gupta، Aditya (12 يونيو 2023)، Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models، arXiv:2206.04615
  47. ↑ "Holistic Evaluation of Language Models (HELM)". crfm.stanford.edu. اطلع عليه بتاريخ 2024-04-21.
  48. ↑ "open-llm-leaderboard (Open LLM Leaderboard)". huggingface.co. 9 نوفمبر 2023. اطلع عليه بتاريخ 2024-04-21.
  49. ↑ "DecodingTrust Benchmark". decodingtrust.github.io. اطلع عليه بتاريخ 2024-04-21.
  50. ↑ "Holistic Evaluation of Image Models (HEIM)". crfm.stanford.edu. اطلع عليه بتاريخ 2024-04-21.
  51. ↑ Linzen، Tal (يوليو 2020). Jurafsky، Dan؛ Chai، Joyce؛ Schluter، Natalie؛ Tetreault، Joel (المحررون). "How Can We Accelerate Progress Towards Human-like Linguistic Generalization?". Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Online: Association for Computational Linguistics: 5210–5217. arXiv:2005.00955. DOI:10.18653/v1/2020.acl-main.465. مؤرشف من الأصل في 2025-04-28.
  52. ↑ "Ecosystem Graphs for Foundation Models". crfm.stanford.edu. اطلع عليه بتاريخ 2024-02-13.
  53. ↑ Vipra، Jai؛ Korinek، Anton (2 نوفمبر 2023)، Market Concentration Implications of Foundation Models، arXiv:2311.01550
  54. ↑ "Accelerate the Development of AI Applications | Scale AI". scale.com (بالإنجليزية). Retrieved 2024-04-21.
  55. ↑ "Surge AI | World's Most Powerful Data Labeling Platform". www.surgehq.ai (بالإنجليزية). Retrieved 2024-04-21.
  56. ↑ "2024 AI Index - chapter 1" (PDF). 15 أبريل 2024. ص. 37–39.
  57. ↑ pnp (27 Sep 2023). "Computational Power and AI". AI Now Institute (بالإنجليزية الأمريكية). Retrieved 2024-02-13.
  58. ↑ Tiku, Nitasha; Schaul, Kevin; Chen, Szu Yu. "These fake images reveal how AI amplifies our worst stereotypes". Washington Post (بالإنجليزية). Archived from the original on 2024-04-25. Retrieved 2024-02-13.
  59. ↑ "How the AI industry profits from catastrophe". MIT Technology Review (بالإنجليزية). Retrieved 2024-02-13.
  60. ↑ "Exclusive: The $2 Per Hour Workers Who Made ChatGPT Safer". TIME (بالإنجليزية). 18 Jan 2023. Archived from the original on 2025-05-09. Retrieved 2024-02-13.
  61. ↑ Liang، Percy؛ Bommasani، Rishi؛ Creel، Kathleen (17 مايو 2022). "The Time is Now to Develop Community Norms for the Release of Foundation Models". Stanford CRFM.
  62. ↑ Solaiman، Irene (5 فبراير 2023)، The Gradient of Generative AI Release: Methods and Considerations، arXiv:2302.04844
  63. ↑ Alayrac، Jean-Baptiste؛ Donahue، Jeff؛ Luc، Pauline؛ Miech، Antoine؛ Barr، Iain؛ Hasson، Yana؛ Lenc، Karel؛ Mensch، Arthur؛ Millican، Katie (15 نوفمبر 2022)، Flamingo: a Visual Language Model for Few-Shot Learning، arXiv:2204.14198
    هذه المقالة صادرة عن Wikipedia. النص متاح تحت رخصة المشاع الإبداعي - الإسناد - الترخيص بالمثل. قد تُطبَّق شروط إضافية على ملفات الوسائط.