معالجة مسبقة للبيانات

معالجة مسبقة للبيانات
مثال على عبارة "تحديد" (SELECT) في لغة الاستعلامات المهيكلة (SQL) ونتيجتها.
ما يظهر في الصورة يُمثل قاعدة بيانات نموذجية؛ حيث يمثل كل صف مستقيم متغيرًا ويمثل كل صف أفقي حالة، وستحتوي قاعدة البيانات على القيمة العددية لكل حالة على المتغير المعني.التأكد من جودة البيانات مرحلة لازمة قبل إجراء أي عمليات على البيانات.
معلومات عامة
صنف فرعي من
عملية [لغات أخرى]
variation [الإنجليزية] ترجم عدل القيمة على Wikidata

المعالجة المسبقة للبيانات (بالإنجليزية: Data preprocessing) هي مصطلح يشير إلى مرحلة تسبق تحليل البيانات، بهدف تحسين قدرات التحليل والاستدلال من هذه البيانات، وذلك عن طريق تهيئة أجزاء معينة من معلومات البيانات وإزالة أجزاء غير ضرورية أو زيادتها، قبل الشروع في تحليل هذه البيانات واستخدامها في أي عملية،[1] وغالبًا ما تُعد خطوة مهمة في عملية التنقيب عن البيانات (بالإنجليزية: Data mining). ونظرًا لأن طرق جمع البيانات تكون في كثير من الأحيان غير مُحكَمة بدرجة كافية مما يؤدي إلى وجود قيم خارج النطاق كأن يكون رقم التليفون بالسالب أو به كسور عشرية وعلى نحو مماثل في تسجيلات تخطيط كهربية الدماغ التي تحاول مراقبة نشاط الدماغ بأن تكون الإشارات المُدخلة لا تنشأ من القشرة المخية ولكن من عضلات فروة الرأس، أو تراكيب بيانات غير منطقية مثل أن يكون الجنس ذكراً والبيان أنه حامل، أو بيانات مفقودة وغيرها من المشكلات التي قد تؤدي إلى نتائج مضللة وغير منطقية عند التحليل، فلذلك يتم في مرحلة المعالجة المسبقة للبيانات تحويل البيانات غير المُهيكلة إلى تمثيلات مناسبة تصلح للاستخدام في نماذج تعلم الآلة (بالإنجليزية: Machine learning)، فيتم التعامل مع "الضجيج" الموجود في البيانات وإزالته بأنسب الطرق المقبولة بهدف الوصول إلى نتائج أفضل وأكثر دقة مقارنةً بالبيانات الأصلية المليئة بالتشويش.[2]

إن تحليل البيانات قبل تحديد مثل هذه المشاكل، أو دون دراسة مناسبة لتلك المشاكل قبل التحليل، قد يؤدي إلى استنتاجات غير صحيحة أو أقل دقة،[3] وهي ظاهرة تعرف باسم "القمامة الداخلة والقمامة الخارجة" (GIGO) (بالإنجليزية: Garbage In - garbage Out). وبالتالي، فالمعالجة المسبقة للبيانات هي أهم مرحلة من مراحل تعلم الآلة خاصة في علم الأحياء المُحوسَب،[4] والتأكد من جودة البيانات مرحلة لازمة قبل إجراء أي عمليات من أجل الحصول على نتائج سليمة ومُعبّرة تعبيرا صحيحا. إذا وُجدت نسبة عالية من المعلومات غير المهمة أو المكررة، أو إذا كانت البيانات مليئة بالتشويش وغير موثوقة، فإن عملية استخراج المعرفة خلال مرحلة التدريب تصبح أكثر صعوبة. كما أن خطوات إعداد البيانات وتصفية البيانات يمكن أن تستغرق وقتًا كبيرًا من المعالجة.[5]

ومن أمثلة الأساليب المستخدمة في المعالجة المسبقة للبيانات: تنظيف البيانات، اختيار المثيل، التطبيع (بالإنجليزية: normalization)، تشفير الواحد النشِط، تحويل البيانات، استخراج الخصائص، وانتقاء الخصائص.[6]

قد تؤثر المعالجة المسبقة للبيانات على تفسير نتائج التحليل ككل.[7] ومن ثم، لا بد من ممارسة الحكمة عند استخدام الأدوات المختلفة كجزء من هذه العملية، مع فهم الآثار التي تخلقها هذه الأدوات على تفسير النتائج. إن تحليل البيانات التي لم يتم فحصها بدقة بحثًا عن هذه الأخطاء والمشكلات قد يؤدي إلى استنتاجات ونتائج غير دقيقة. لذلك، يعتمد نجاح مشاريع علم البيانات واستخراج البيانات إلى حد كبير على جودة إعداد البيانات أثناء المعالجة المسبقة للبيانات.[8]

فوائد معالجة البيانات مسبقًا

تعكس هذه الصورة التحديات التي يواجهها علماء البيانات، حيث يُضطر الكثير منهم إلى قضاء وقت كبير في جمع البيانات، وتنظيفها، ومعالجتها مسبقًا، بدلًا من التركيز على تحليلها أو بناء النماذج التنبؤية. ويُبرز المشهد أهمية المعالجة المسبقة الشاملة، إذ تُمثّل خطوة حاسمة في عملية استخراج البيانات، تُمكّن المستخدمين النهائيين من التعامل مع بيانات موثوقة ومنظمة، مما يُبسّط باقي مراحل التحليل والتنبؤ باستخدام تقنيات التعلم الآلي. كما تساعد هذه المعالجة على اكتشاف الأخطاء والمشكلات الكامنة التي قد لا تُلاحظ في البيانات الخام، وتزود صُنّاع القرار بمعلومات دقيقة تُحسن الأداء المؤسسي وتُقلل من تكاليف إدارة البيانات، مع تقليل التكرار في إعداد البيانات لمختلف التطبيقات. وبهذا، تُسهم الاستثمارات في المعالجة المسبقة للبيانات في تحقيق عوائد أعلى من تحليلات البيانات على المدى البعيد.

غالبًا ما يعاني علماء البيانات من أنهم بدلاً من تقييم البيانات، يقضون وقتًا طويلاً في الحصول عليها ومعالجتها مسبقًا وتنظيمها. تعتبر معالجة البيانات بشكل صحيح أحد أهم الأنشطة في عملية استخراج البيانات. يتيح هذا للمستخدمين النهائيين التركيز بشكل أكبر على تحليل البيانات وبناء النماذج.

مزايا المعالجة المسبقة الشاملة

  • تساعد المعالجة المسبقة للبيانات على تبسيط المراحل الأخرى من استخراج البيانات، بما في ذلك التنبؤ باستخدام نماذج التعلم الآلي.
  • توفر البيانات المستخدمة في التطبيقات التحليلية موثوقية أكبر بعد المعالجة المسبقة.
  • تساعد المعالجة المسبقة على اكتشاف وحل مشكلات البيانات التي قد لا يتم اكتشافها بخلاف ذلك.
  • توفر المعالجة المسبقة معلومات تساعد المديرين على اتخاذ القرارات التجارية.
  • وبشكل عام، يؤدي هذا إلى انخفاض تكاليف إدارة البيانات والتحليلات.
  • تقليل العمليات المكررة عند إعداد البيانات لاستخدامها في تطبيقات مختلفة.
  • وتؤدي استثمارات الشركة في تحليلات البيانات إلى تحقيق عوائد أعلى بكثير.[9]

تصنيف مهام المعالجة المسبقة للبيانات

نمط تنظيف البيانات المفتوحة ومراقبة جودتها.
تعكس هذه الصورة مفهوم تحويل البيانات، أي تحويل كل شيء إلى بيانات (Datafication)، حيث تُصوَّر المعلومات على هيئة سلسلة من الأرقام الثنائية (0 و1) التي تتدفق عبر فضاء رقمي. هذا التمثيل يُظهر كيف يمكن تحويل السلوك البشري، والأحداث، والعمليات اليومية إلى بيانات قابلة للقراءة والتحليل بواسطة الأنظمة الحاسوبية. يُبرز المشهد البُعد العميق للبيانات، مما يشير إلى اتساعها وسرعة تدفقها، في إشارة إلى دور البيانات الضخمة في تشكيل القرارات المستقبلية وتغذية تقنيات الذكاء الاصطناعي والتحول الرقمي.
مثال على تكامل البيانات: توضح الصورة عملية دمج البيانات من عدة مصادر (A وB وC) عبر آلية تُعرف باسم ETL، وهي اختصار لـ Extract, Transform, Load (الاستخراج، التحويل، التحميل)، حيث يتم أولًا استخراج البيانات من المصادر المختلفة، ثم تحويلها وتنظيفها وتجهيزها، وأخيرًا تحميلها في مستودع البيانات (Data Warehouse) ليتم استخدامها لاحقًا في التحليل واتخاذ القرار.
مثال على تقليل البيانات عن طريق تقليل العدد. تُظهر الصورة كيف أن تقليل طول الكلمات في تمثيل البيانات يؤدي إلى تقليل كبير في حجم التخزين المطلوب، حيث تنخفض المساحة من 10000 كيلوبايت للبيانات الخام إلى 963 كيلوبايت عند استخدام كلمات بطول 4 دون تقليل الكثرة، و739 كيلوبايت عند استخدام تقليل الكثرة. كما يتضح أن تقليل الكثرة العددية (Numerosity Reduction) يُساهم بفعالية أكبر في تقليل الحجم كلما كان طول الكلمة أقصر، مما يؤكد دور المعالجة المسبقة الذكية في تحسين كفاءة تخزين البيانات.

تُصنَّف مهام المعالجة المسبقة للبيانات بوجه عام ضمن أربع فئات رئيسية، هي: تنظيف البيانات، تكامل البيانات، تحويل البيانات، وتقليل البيانات. ولا يشترط تنفيذ هذه المهام وفق ترتيب ثابت، بل يمكن تكرارها وتكييفها بحسب طبيعة مجموعة البيانات المُراد معالجتها، حيث قد لا تكون جميع الخطوات ضرورية في كل حالة.

  • تنظيف البيانات وهو عملية اكتشاف أو تصحيح أو إزالة السجلات غير الدقيقة من البيانات.[10]
  • تحويل البيانات وهو عملية تحويل البيانات من شكل إلى شكل جديد يتوقعه الناس.[11]
  • تكامل البيانات أو استخراج الميزات أو الخصائص، وهي عملية تحويل البيانات المدخلة إلى مجموعة من الميزات التي يمكن أن تمثل البيانات بشكل جيد.[12]
  • تقليل البيانات وهي عملية تستخدم لتوحيد مجموعة من المتغيرات المستقلة أو ميزات البيانات.[13]

تنظيف البيانات

تهدف هذه المرحلة إلى معالجة القيم المفقودة، وتخفيف التشويش، والتعامل مع القيم الشاذة، ومعالجة التناقضات في البيانات.

  1. القيم المفقودة: يمكن التعامل معها إما بالحذف أو بالتعويض باستخدام قيم مثل المتوسط، الوسيط، المنوال، قيمة ثابتة، أو باستخدام نماذج تنبؤية.
  2. البيانات الغريبة (الاستثنائية): وهي بيانات صحيحة لكنها تختلف بشكل كبير عن السياق العام، وقد تكون ذات أهمية في بعض التطبيقات (مثل اكتشاف التطفل)، أو تمثل عبئًا في تطبيقات أخرى. يمكن اكتشافها عبر تقنيات أحادية أو متعددة المتغيرات، ثم حذفها أو استبدالها بقيم مناسبة.
  3. البيانات المشوشة وغير المتسقة: وهي بيانات تحتوي على أخطاء ناتجة عن عمليات الإدخال أو النقل. يمكن معالجتها بالحذف أو بطرق تنعيم البيانات.

تحويل البيانات

يُقصد به إعادة صياغة البيانات أو تلخيصها أو إعادة تمثيلها بطريقة تُسهل استخدامها لاحقًا في التحليل أو النمذجة.

  1. التصنيف: تقسيم البيانات إلى فئات محددة وفقًا لمعايير معينة، مثل الحجم أو التكرار. يُستخدم بشكل خاص مع المتغيرات الاسمية أو البيانات الرقمية القابلة للتحويل إلى شكل اسمي.
  2. التطبيع (Normalization): تحويل القيم العددية إلى نطاق موحّد (مثل 0 إلى 1 أو -1 إلى 1) لضمان اتساق القياسات، خاصة في النماذج التي تعتمد على المسافات. من تقنياته تحويل Min-Max وتحويل Z-Score.
  3. التعميم: استبدال القيم التفصيلية بقيم أكثر عمومية باستخدام التسلسل الهرمي للمفاهيم، مثل تعميم العمر إلى فئات (طفل، بالغ، مسن) أو تحويل الرمز البريدي إلى منطقة.

تكامل البيانات

يُستخدم عند دمج بيانات قادمة من مصادر متعددة ذات بنى أو صيغ مختلفة، مما قد يسبب مشكلات في التحليل بسبب التباين.

  1. تعارض المخططات: يحدث عند استخدام تسميات أو خصائص مختلفة لنفس المفهوم في مصادر مختلفة (مثل: الرقم الوظيفي staff_number مقابل مُعرّف الموظف staff_id).
  2. تعارض القيم: ينتج من استخدام رموز أو وحدات مختلفة لتمثيل نفس المعلومة (مثل استخدام الكيلوجرام مقابل الغرام). لمعالجة هذه التعارضات، يتم توحيد المخططات والقيم عبر النظام بأكمله، مما يُسهّل عمليات التحليل لاحقًا.

تقليل البيانات

بما أن الحجم الكبير للبيانات يزيد من عبء المعالجة، يتم تقليل حجم البيانات مع الحفاظ على قدرتها التمثيلية والنتائج التحليلية المتوقعة. تشمل تقنيات تقليل البيانات:

  • تقليل حجم السجل.
  • تجميع مكعب البيانات (Data Cube Aggregation).
  • ضغط البيانات.
  • التقدير.
  • تقليل الأبعاد: عبر طريقتين، هما استخراج الميزات (Feature Extraction) أو اختيار الميزات (Feature Selection).

التطبيقات

لقد أصبح تحليل البيانات الضخمة، أو تحديد الاتجاهات والأنماط في مجموعات البيانات الضخمة للغاية، نشاطًا شائعًا. تبحث الشركات دائمًا عن طرق لتقليل التكاليف وزيادة الإيرادات والحصول على مزايا تنافسية على الآخرين. ويعد جمع البيانات واستخدامها حاليًا أحد أهم الطرق لتحقيق هذه الأهداف، وتبحث الشركات بشكل متزايد عن طرق لتحويل البيانات إلى قيمة.[14] قبل تحليل البيانات، لا بد من تنظيمها في تنسيق مناسب. إعداد البيانات ومعالجتها المسبقة هي معالجة البيانات مسبقًا وتنظيمها قبل التحليل. عادةً ما يكون إعداد البيانات عملية تكرارية تعمل على تحويل البيانات الخام إلى شكل أكثر هيكلة مناسب لمزيد من المعالجة والتحليل.

تتكون عملية التحضير بأكملها من العديد من الأنشطة أو المهام الرئيسية، بما في ذلك إنشاء ملف تعريف البيانات، والتنظيف، والتكامل، والتحويل.  وفقًا لبعض التقديرات، تستغرق مهام المعالجة المسبقة ما يصل إلى 50-80% من الوقت والجهد المبذول في عملية التعدين. يشكل هذا الوقت والتكلفة جزءًا كبيرًا من التكاليف المرتبطة بتعدين البيانات. ومع ذلك، فإن الشركات التي لا ترغب في الاستثمار في استخراج البيانات لن تكون قادرة على المنافسة بشكل فعال في مجالها.

عند إعداد البيانات، يمكنك إنشاء مجموعة بيانات من مصدر بيانات واحد أو أكثر للاستكشاف والتصور والنمذجة.

أثناء معالجة البيانات مسبقًا، يتم تصحيح بعض الأخطاء المطبعية، والاختصارات غير الصحيحة، وعلامات الترقيم غير الصحيحة، وأخطاء التنسيق، والتاريخ غير الصحيح في البيانات، وما إلى ذلك، وغالبًا ما تكون عملية معالجة البيانات المسبقة إجراءً يستغرق وقتًا طويلاً وعرضة للخطأ. في بعض الأحيان قد يشمل هذا أيضًا إزالة الأحرف الخاصة من البيانات لجعلها قابلة للقراءة بواسطة آلات الذكاء الاصطناعي.

أهمية المعالجة المسبقة للبيانات في تحسين جودة التحليل

تُتيح المعالجة المسبقة للبيانات إزالة العناصر غير المرغوب بها من خلال تنظيف البيانات، مما يؤدي إلى الحصول على مجموعة بيانات تحتوي على معلومات أكثر قيمة خلال المراحل اللاحقة من تنقيب البيانات ومعالجتها.

وتُعد عملية تحرير هذه البيانات—سواء لتصحيح الأخطاء البشرية أو إصلاح تلف البيانات—خطوة حاسمة للحصول على مؤشرات دقيقة، مثل:

وهي مقاييس تُستخدم بشكل شائع في مصفوفة الالتباس (Confusion Matrix)، خاصة في تشخيص الحالات الطبية.

يمكن للمستخدمين دمج ملفات البيانات واستخدام المعالجة المسبقة لتصفية التشويش غير الضروري، مما يُعزز دقة التحليل. وغالبًا ما يُستخدم البرمجة بلغة بايثون مع مكتبة pandas لاستيراد البيانات من ملفات CSV وتحويلها إلى إطار بيانات (DataFrame)، مما يُسهّل التعامل مع البيانات ويُغني عن استخدام Excel في حالات أكثر تعقيدًا.

تُعد pandas أداة قوية تتيح التحليل والتلاعب بالبيانات، وتُبسط عمليات مثل التصور البياني، والإحصاء، وغيرها من الوظائف المعقدة. كما أن العديد من المستخدمين يعتمدون أيضًا على لغة R لإنجاز مهام مماثلة.

أسباب تحويل الملفات الأصلية إلى ملفات جديدة متعددة، وتشمل عمليات مثل:

أما التقنيات المتقدمة مثل تحليل المكونات الرئيسية (PCA) واختيار الميزات (بالإنجليزية: Feature Selection)، فهي تعتمد على صيغ إحصائية وتُطبّق غالبًا على مجموعات بيانات معقدة يتم جمعها بواسطة أجهزة تتبع المواقع (GPS) أو أجهزة التقاط الحركة (بالإنجليزية: Motion Capture).

المعالجة المسبقة الدلالية للبيانات

عملية تحوّل مجموعة بيانات إلى أنطولوجيا (ontology). يتم تقسيم مجموعة البيانات المشتركة، التي تحتوي على المجال (domain) والبيانات نفسها، إلى جزأين منفصلين:
1- معرفة المستخدم بالمجال (User domain knowledge).
2- البيانات المخزنة والمُعالجة (Stored and processed data).
بعد معالجة هذين الجزأين، يتم تحويلهما إلى أنطولوجيا تُستخدم لاحقًا في تحليل البيانات. ومن خلال هذا التحليل، يتم التوصّل إلى النتائج المرجوّة.
تُصوّر هذه المخطّطية عملية تقسيم مجموعة البيانات إلى جزأين رئيسيين:
1. خصائص المجال (Domain Characteristics) أو ما يُعرف بـ معرفة المجال (Domain Knowledge)
2. البيانات الفعلية المكتسبة (Acquired Data)
يتم أولًا معالجة خصائص المجال لتحويلها إلى معرفة مفهومة من قبل المستخدم، بحيث تُصبح قابلة للتطبيق على البيانات. في الوقت نفسه، تخضع مجموعة البيانات للمعالجة والتخزين بطريقة تتيح دمج معرفة المجال معها، لتستمر العملية.
ويُشكّل هذا الدمج أو التطبيق ما يُعرف بـ الأنطولوجيا (Ontology)، وهي التمثيل المنهجي الذي يجمع بين المعرفة التخصصية والبيانات. بعد بناء الأنطولوجيا، يمكن استخدامها لتحليل البيانات واستخلاص النتائج بشكل أكثر دقة وكفاءة.

تنقيب البيانات الدلالي (بالإنجليزية: Semantic Data Mining) هو فرع من تنقيب البيانات يهدف بشكل خاص إلى دمج مجال التطبيقات (بالإنجليزية: domain knowledge) مثل الدلالات الرسمية (بالإنجليزية: formal semantics) في عملية التنقيب عن البيانات.

ومجال التطبيقات هو فهم البيئة أو السياق الذي تم فيه جمع أو معالجة البيانات. ويمكن لهذه المعرفة أن تؤثر إيجابيًا في عدة جوانب من تنقيب البيانات، مثل:

  • استبعاد البيانات الزائدة أو غير المتسقة أثناء مرحلة المعالجة المسبقة.
  • تقييد عملية البحث داخل فضاء البيانات من خلال استخدام المعرفة السابقة كدليل توجيهي، مما يقلل من تعقيد التحليل.

تسعى المعالجة المسبقة الدلالية إلى تصفية البيانات (بالإنجليزية: data filtration) باستخدام السياق الأصلي الذي وُلدت فيه هذه البيانات، وذلك بشكل أكثر دقة وكفاءة.[15]

تُعد الأنطولوجيا وسيلة لتجريد المعرفة الدلالية وتعريفها رسميًا. وبشكل عام، يساهم استخدام الأنطولوجيا في سد الفجوات بين البيانات والتطبيقات والخوارزميات والنتائج، وهي فجوات ناتجة عن اختلاف المعاني (اللبس الدلالي). وبناءً عليه، فإن التنقيب الدلالي للبيانات عند دمجه مع الأنطولوجيا يجد تطبيقات عديدة في المجالات التي يؤثر فيها الغموض الدلالي على كفاءة وفعالية أنظمة البيانات.

تشمل هذه المجالات: القطاع الطبي، ومعالجة اللغة، والقطاع المصرفي، والتعليم، وغيرها من التطبيقات المتنوعة.[16][17]

مزايا وتحديات استخدام التنقيب الدلالي والأنطولوجيات في معالجة البيانات

يمتاز استخدام التنقيب الدلالي للبيانات والنُهج المعتمدة على الأنطولوجيا بعدّة نقاط قوة. يمكن لهذه الأدوات أن تُسهم بفعالية خلال مرحلة المعالجة المسبقة للبيانات، وذلك من خلال تصفية البيانات غير المرغوبة قبل الدخول في مرحلة التحليل. علاوة على ذلك، فإن التكامل بين الدلالات الرسمية المنظمة (بالإنجليزية: formal semantics) والأنطولوجيات المصممة بعناية يمكن أن ينتج عنه بيانات قوية وسهلة القراءة والمعالجة بواسطة الأنظمة الحاسوبية.[18]

أحد أبرز التطبيقات المفيدة لهذا النهج يظهر في المجال الطبي، لا سيما في حالات الطوارئ. على سبيل المثال، إذا كان المريض يعاني من حالة طبية حرجة ويتم نقله على وجه السرعة إلى المستشفى، فقد يواجه المسعفون صعوبة في تحديد الدواء الأنسب بسرعة، نظرًا لضيق الوقت وتعقيد السجل الطبي للمريض. في ظل المعالجة التقليدية للبيانات، فإن فحص جميع بيانات المريض لتحديد العلاج الأمثل قد يستغرق وقتًا ثمينًا، مما قد يعرّض حياة المريض للخطر.[19]

لكن باستخدام أنطولوجيا دلالية معالجة مسبقًا، يمكن اختصار الزمن الحرج وإنقاذ حياة المريض. إذ يمكن لأدوات مثل المستنتِج الدلالي (بالإنجليزية: semantic reasoner) أن تستند إلى الأنطولوجيا لاستخلاص الدواء الأنسب للمريض، بناءً على تاريخه الطبي، مثل إصابته بأنواع معينة من السرطان أو أمراض مزمنة أخرى، وذلك من خلال تحليل اللغة الطبيعية المستخدمة في سجلاته الطبية. بهذه الطريقة، لا يضطر المسعفون إلى مراجعة السجل الطبي بأنفسهم، لأن النظام الدلالي يكون قد عالج البيانات مسبقًا ووفّر التوصيات المطلوبة.

تُظهر هذه الحالة مدى قوة هذا النهج، حيث يوفّر كفاءة وسرعة أعلى في استخراج البيانات، ويخفّف من الأعباء على المستخدم النهائي، الذي لم يعد مضطرًا للتعامل مع كافة المتغيرات بنفسه، إذ تمّت معالجتها مسبقًا عبر الأنطولوجيا والمعالجة الدلالية.

رغم هذه المزايا، إلا أن هذا النهج لا يخلو من التحديات. أبرزها أنه يتطلب قدرة حسابية مرتفعة وتعقيدًا كبيرًا في البنية، حتى عند التعامل مع مجموعات بيانات صغيرة نسبيًا. وهذا قد يؤدي إلى زيادة في التكاليف وصعوبة أكبر في تطوير وصيانة أنظمة المعالجة الدلالية. ورغم أن تنظيم البيانات بشكل جيد مسبقًا قد يُخفّف من هذه التحديات، إلا أن مستوى التعقيد يظل أعلى مقارنة بأنظمة المعالجة التقليدية للبيانات.[20]

المعالجة المسبقة الضبابية

المعالجة المسبقة الضبابية (بالإنجليزية: Fuzzy Preprocessing) تُعد من الأساليب المتقدمة لحل المشكلات المعقدة. تعتمد كل من المعالجة المسبقة الضبابية وتنقيب البيانات الضبابي على نظرية المجموعات الضبابية (بالإنجليزية: Fuzzy Sets).

تتكوّن هذه المجموعات من عنصرين أساسيين:

  1. مجموعة من القيم.
  2. دالة انتماء (بالإنجليزية: Membership Function) تُحدد درجة انتماء كل عنصر للمجموعة بقيم تتراوح بين 0 و1.

تستخدم المعالجة المسبقة الضبابية هذه المجموعات لتربط القيم العددية الخام بمعلومات لغوية، أي تحويل الأرقام إلى توصيفات باللغة الطبيعية مثل "مرتفع"، "منخفض"، "متوسط". وبذلك، يتم تحويل البيانات الخام إلى شكل لغوي طبيعي.

الهدف من هذا النهج هو التعامل مع المعلومات غير الدقيقة أو غير المكتملة، كما في حالة قواعد البيانات التي تحتوي على نقص أو غموض.

وتُستخدم تقنيات المعالجة والتنقيب الضبابية على نطاق واسع حاليًا، خاصة عند دمجها مع الشبكات العصبونية وأنظمة الذكاء الاصطناعي.[21]

المراجع

  1. ↑ "Guide To Data Cleaning: Definition, Benefits, Components, And How To Clean Your Data". Tableau (بالإنجليزية الأمريكية). Archived from the original on 2025-04-06. Retrieved 2021-10-17.
  2. ↑ Chicco D (ديسمبر 2017). "Ten quick tips for machine learning in computational biology". BioData Mining. ج. 10 ع. 35: 1–17. DOI:10.1186/s13040-017-0155-3. PMC:5721660. PMID:29234465.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  3. ↑ Chicco، Davide (2017). "Ten quick tips for machine learning in computational biology". BioData Mining. ج. 10: 35. DOI:10.1186/s13040-017-0155-3. ISSN:1756-0381. PMC:5721660. PMID:29234465. مؤرشف من الأصل في 2025-04-13.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  4. ↑ Pyle, D., 1999. Data Preparation for Data Mining. Morgan Kaufmann Publishers, Los Altos, California. نسخة محفوظة 2 يونيو 2019 على موقع واي باك مشين.
  5. ↑ "Data Cleaning: Definition, Benefits, And How-To | Tableau". www.tableau.com (بالإنجليزية الأمريكية). Archived from the original on 2025-06-10. Retrieved 2025-05-01.
  6. ↑ S. Kotsiantis, D. Kanellopoulos, P. Pintelas, "Data Preprocessing for Supervised Learning", International Journal of Computer Science, 2006, Vol 1 N. 2, pp 111–117.
  7. ↑ Oliveri، Paolo؛ Malegori، Cristina؛ Simonetti، Remo؛ Casale، Monica (13 يونيو 2019). "The impact of signal pre-processing on the final interpretation of analytical outcomes – A tutorial". Analytica Chimica Acta. ج. 1058: 9–17. DOI:10.1016/j.aca.2018.10.055. ISSN:0003-2670.
  8. ↑ Pyle، Dorian (1999). Data preparation for data mining. Internet Archive. San Francisco, Calif. : Morgan Kaufmann Publishers. ISBN:978-1-55860-529-9.
  9. ↑ "What is Data Preparation? An In-Depth Guide | TechTarget". Search Business Analytics (بالإنجليزية). Archived from the original on 2025-06-20. Retrieved 2025-05-01.
  10. ↑ Wu, S. (2013), "A review on coarse warranty data and analysis", Reliability Engineering and System, 114: 1–11, doi:10.1016/j.ress.2012.12.021 نسخة محفوظة 4 يونيو 2019 على موقع واي باك مشين.
  11. ↑ Data transformation. (n.d.). Retrieved November 18, 2018 from Data transformation نسخة محفوظة 3 أبريل 2019 على موقع واي باك مشين.
  12. ↑ Feature extraction. (n.d.). Retrieved November 18, 2018 from Feature extraction نسخة محفوظة 2 مايو 2019 على موقع واي باك مشين.
  13. ↑ Feature scaling. (n.d.). Retrieved November 18, 2018 from Feature scaling نسخة محفوظة 28 مايو 2019 على موقع واي باك مشين.
  14. ↑ Marr, Bernard. "Big Data Facts: How Many Companies Are Really Making Money From Their Data?". Forbes (بالإنجليزية). Archived from the original on 2024-08-15. Retrieved 2025-05-01.
  15. ↑ Dou, Deijing and Wang, Hao and Liu, Haishan. "Semantic Data Mining: A Survey of Ontology-based Approaches" (PDF) (بالإنجليزية الأمريكية). University of Oregon. Archived from the original (PDF) on 2024-09-18.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)
  16. ↑ Yerashenia, Natalia and Bolotov, Alexander and Chan, David and Pierantoni, Gabriele (2020). "Semantic Data Pre-Processing for Machine Learning Based Bankruptcy Prediction Computational Model" (PDF). 2020 IEEE 22nd Conference on Business Informatics (CBI) (PDF). IEEE. ص. 66–75. DOI:10.1109/CBI49978.2020.00015. ISBN:978-1-7281-9926-9. S2CID:219499599. مؤرشف من الأصل في 2024-08-13.{{استشهاد بكتاب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)
  17. ↑ Chang، Maiga؛ D'Aniello، Giuseppe؛ Gaeta، Matteo؛ Orciuoli، Francesco؛ Sampson، Demetrois؛ Simonelli، Carmine (2020). "Building Ontology-Driven Tutoring Models for Intelligent Tutoring Systems Using Data Mining". IEEE Access. IEEE. ج. 8: 48151–48162. Bibcode:2020IEEEA...848151C. DOI:10.1109/ACCESS.2020.2979281. S2CID:214594754.
  18. ↑ Dou, Deijing and Wang, Hao and Liu, Haishan. "Semantic Data Mining: A Survey of Ontology-based Approaches" (PDF) (بالإنجليزية الأمريكية). University of Oregon. Archived from the original (PDF) on 2025-05-01.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)
  19. ↑ Kahn, Atif and Doucette, John A. and Jin, Changjiu and Fu Lijie and Cohen, Robin. "AN ONTOLOGICAL APPROACH TO DATA MINING FOR EMERGENCY MEDICINE" (PDF). University of Waterloo. مؤرشف من الأصل (PDF) في 2023-05-19.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)
  20. ↑ Sirichanya, Chanmee and Kraisak Kesorn (2021). "Semantic data mining in the information age: A systematic review". International Journal of Intelligent Systems (بالإنجليزية). 36 (8): 3880–3916. DOI:10.1002/int.22443. S2CID:235506360.
  21. ↑ Wong, Kok Wai and Fung, Chun Che and Law, Kok Way (2000). "Fuzzy preprocessing rules for the improvement of an artificial neural network well log interpretation model". 2000 TENCON Proceedings. Intelligent Systems and Technologies for the New Millennium (Cat. No.00CH37119) (بالإنجليزية). IEEE. Vol. 1. pp. 400–405. DOI:10.1109/TENCON.2000.893697. ISBN:0-7803-6355-8. S2CID:10384426.{{استشهاد بكتاب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)
هذه المقالة صادرة عن Wikipedia. النص متاح تحت رخصة المشاع الإبداعي - الإسناد - الترخيص بالمثل. قد تُطبَّق شروط إضافية على ملفات الوسائط.