Scite AI مقابل Semantic Scholar: أيهما أدق في تقييم موثوقية الأبحاث؟

Scite AI مقابل Semantic Scholar: أيهما أدق في تقييم موثوقية الأبحاث؟

تساعد أداتا (Scite AI) و(Semantic Scholar) الباحثين على اكتشاف الدراسات العلمية وفهم علاقاتها بالأبحاث السابقة، لكنهما تختلفان في طريقة تحليل الاستشهادات. تتميز الأولى بفحص سياق الاستشهاد وتصنيفه إلى داعم أو متعارض أو مجرد إشارة، بينما تركز الثانية على اكتشاف الأدبيات العلمية وتحليل تأثير الدراسات وعلاقاتها البحثية. لذلك، لا يمكن اعتبار أي منهما حكمًا نهائيًا على جودة البحث، بل أداتين متكاملتين لتقييم الأدلة العلمية.

وتظل قراءة النص الأصلي وفحص المنهجية البحثية من أهم الخطوات التي ينبغي تنفيذها قبل اعتماد أي مرجع علمي في رسالة جامعية أو دراسة منشورة.

Scite AI مقابل Semantic Scholar: ما الفرق الحقيقي بين الأداتين؟

يتمثل الاختلاف الأساسي بين الأداتين في طبيعة المشكلة البحثية التي تحاول كل واحدة منهما حلها؛ فالأولى تركز على فهم كيفية استقبال المجتمع العلمي لنتائج الدراسات المنشورة، بينما تساعد الثانية على اكتشاف الدراسات وفهم الروابط المعرفية بينها.

ما هو Scite AI؟

يعد (Scite AI) منصة متخصصة في تحليل الاستشهادات العلمية باستخدام تقنيات الذكاء الاصطناعي والتعلم العميق، ويتيح للباحث تجاوز مجرد معرفة عدد المرات التي استشهدت فيها الأبحاث بدراسة معينة، إلى فحص النص الذي ورد فيه الاستشهاد وفهم علاقته بالبحث الأصلي.

وتعتمد الأداة على مجموعة من الخصائص، أهمها:

• الاستشهادات الذكية (Smart Citations): تعرض مواضع الاستشهاد بالدراسة في الأبحاث الأخرى، مع تصنيفها إلى استشهادات داعمة أو متعارضة أو مجرد إشارات.

• تقارير الاستشهاد (Scite Reports): تقدم عرضًا تفصيليًا للاستشهادات التي حصلت عليها الورقة، مع إمكانية استعراض النصوص المحيطة بكل استشهاد.

• فحص المراجع (Reference Check): يسمح برفع مخطوطة بحثية وفحص المراجع المستخدمة فيها، للكشف عن الإشعارات التحريرية والدراسات المسحوبة وكيفية تعامل الأبحاث اللاحقة مع تلك المراجع.

• البحث داخل النصوص العلمية: يساعد على الوصول إلى نتائج وادعاءات ومنهجيات وردت داخل النص الكامل، حتى عندما لا تظهر بوضوح في عنوان الدراسة أو ملخصها.

• المساعد البحثي (Scite Assistant): يقدم إجابات مدعومة بالأدبيات العلمية المرتبطة بالسؤال، مع إتاحة الرجوع إلى المصادر المستخدمة.

وبذلك، لا تقتصر وظيفة Scite على جمع الاستشهادات، وإنما تحاول تقديم صورة أكثر تفصيلًا عن طبيعة التفاعل العلمي مع الدراسة.

ما هو Semantic Scholar؟

تعد منصة (Semantic Scholar) محرك بحث علميًا مجانيًا يعتمد على الذكاء الاصطناعي، طوره معهد ألين للذكاء الاصطناعي (Ai2)، بهدف تسهيل اكتشاف الأبحاث وفهم العلاقات بينها والوصول إلى الدراسات الأكثر ارتباطًا بموضوع الباحث.

وتتضمن المنصة مجموعة من الوظائف البحثية، من أبرزها:

• البحث الأكاديمي: الوصول إلى الأوراق العلمية من تخصصات متعددة، مع إمكانية تضييق النتائج وفق المؤلف أو تاريخ النشر أو نوع المنشور.

• الاستشهادات المؤثرة (Highly Influential Citations): تحديد الاستشهادات التي يُقدّر النموذج أنها أحدثت تأثيرًا جوهريًا في الورقة التي استشهدت بالبحث.

• نية الاستشهاد (Citation Intent): تصنيف بعض الاستشهادات وفق الغرض منها، مثل تقديم خلفية علمية أو استخدام منهجية سابقة أو توسيع النتائج.

• الملخصات السريعة (TLDR): إنشاء ملخصات شديدة الاختصار تساعد الباحث على تحديد مدى ارتباط الورقة بموضوعه.

• المكتبة البحثية (Library): حفظ الدراسات وتنظيمها في مجموعات، مع إمكانية تصدير بيانات الاستشهاد.

• التغذية البحثية (Research Feeds): اقتراح أوراق جديدة مرتبطة بالدراسات التي أضافها المستخدم إلى مكتبته.

• التنبيهات البحثية (Alerts): متابعة الأبحاث الجديدة والاستشهادات التي تظهر للأوراق أو المؤلفين الذين يتابعهم الباحث.

وتوضح المنصة رسميًا أنها تفهرس أكثر من 214 مليون ورقة علمية، مع اختلاف مدى توفر الخصائص بحسب نوع الدراسة وإتاحة نصها الكامل.

لماذا تبدو الأداتان متشابهتين رغم اختلاف وظيفتهما؟

يرجع التشابه إلى أن كلتيهما تستخدمان الذكاء الاصطناعي في التعامل مع الأدبيات العلمية، وتعرضان معلومات عن الأبحاث والاستشهادات والعلاقات بين المنشورات، لكن التشابه في واجهة الاستخدام لا يعني تطابق النتائج أو الغرض البحثي.

ويمكن توضيح الاختلاف من خلال النقاط التالية:

• نقطة البداية: يبدأ الباحث في Semantic Scholar غالبًا بالبحث عن موضوع أو ورقة علمية، بينما يبدأ استخدام Scite عادةً من سؤال يتعلق بكيفية الاستشهاد ببحث معين.

• طبيعة المعلومات: تركز الأولى على اكتشاف الأوراق والملخصات والعلاقات البحثية، بينما تعرض الثانية سياق الاستشهادات وتصنيفاتها.

• السؤال الذي تجيب عنه: تساعد Semantic Scholar في معرفة الأبحاث المرتبطة بموضوعك، بينما تساعد Scite في معرفة ما إذا كانت الأبحاث اللاحقة تقدم أدلة مؤيدة أو متعارضة مع نتائج دراسة محددة.

• المخرجات البحثية: يمكن استخدام Semantic Scholar لبناء قائمة أولية بالدراسات، ثم استخدام Scite لفحص كيفية استقبال تلك الدراسات داخل الأدبيات العلمية.

هل هما محركا بحث أم أدوات تحليل استشهادات أم أدوات ذكاء اصطناعي؟

لا تنتمي الأداتان إلى فئة واحدة بصورة كاملة؛ فكل منهما تجمع أكثر من وظيفة، لكن تختلف الأولوية التي تمنحها لكل وظيفة.

• Semantic Scholar: محرك بحث واكتشاف أكاديمي مدعوم بالذكاء الاصطناعي، ويحتوي على أدوات لتحليل الاستشهادات والعلاقات بين الأوراق.

• Scite AI: منصة لتحليل سياق الاستشهادات العلمية، توسعت لتشمل البحث والمساعد البحثي وفحص المراجع.

• القاسم المشترك: استخدام معالجة اللغة الطبيعية والتعلم الآلي لاستخراج معلومات ذات قيمة بحثية من المنشورات العلمية.

لذلك، لا يصح وصف Scite بأنها مجرد محرك بحث، أو وصف Semantic Scholar بأنها أداة متخصصة في الحكم على موثوقية النتائج؛ فلكل منصة نطاق عمل مختلف.

ماذا نعني أصلًا بـ "موثوقية البحث العلمي"؟

تعني موثوقية البحث العلمي مدى إمكانية الاعتماد على نتائجه واستنتاجاته في ضوء سلامة تصميم الدراسة وتنفيذها وتحليل بياناتها، ومدى توافق الأدلة المتاحة مع الادعاءات التي يقدمها الباحث.

ومن الضروري التمييز بين موثوقية النتائج، ومدى انتشار الورقة العلمية، وتأثيرها في الدراسات اللاحقة؛ لأن هذه المفاهيم ليست مترادفة.

هل عدد الاستشهادات يعني أن البحث موثوق؟

لا، ارتفاع عدد الاستشهادات لا يثبت بمفرده أن البحث صحيح أو أن نتائجه قابلة للتكرار؛ فهو يقيس مدى استخدام الباحثين الآخرين للورقة أو الإشارة إليها، وليس بالضرورة جودة الأدلة التي تحتوي عليها.

ومن الممكن أن يرتفع عدد الاستشهادات لأسباب متعددة:

• الأهمية التأسيسية: قد تقدم الدراسة نظرية أو مفهومًا أصبح مرجعًا أساسيًا في تخصص معين.

• الانتشار الواسع: قد تتناول موضوعًا يشغل اهتمام عدد كبير من الباحثين.

• الاستخدام المنهجي: قد يعتمد الباحثون على أدوات القياس أو الإجراءات التي طورتها الدراسة.

• وجود خلاف علمي: قد تصبح الورقة محورًا للانتقاد أو النقاش بسبب نتائج مثيرة للجدل.

• تأثير السحب أو التصحيح: قد يستمر الاستشهاد بدراسة بعد اكتشاف مشكلات جوهرية فيها، سواء لمناقشة نتائجها أو للتحذير من استخدامها.

وتؤكد مبادئ التقييم المسؤول للأبحاث أن المؤشرات العددية لا ينبغي أن تحل محل التقييم العلمي النوعي لمحتوى الدراسة.

الفرق بين جودة البحث وتأثيره وانتشاره

توجد ثلاثة مفاهيم ينبغي فصلها عند إجراء تقييم جودة البحث العلمي:

• جودة البحث (Research Quality): ترتبط بسلامة المنهجية، ودقة البيانات، وملاءمة أدوات القياس، وقوة التحليل، ومدى منطقية الاستنتاجات.

• التأثير العلمي (Research Impact): يعبر عن مدى مساهمة الدراسة في تطوير المعرفة أو التأثير في الدراسات اللاحقة والممارسات العلمية.

• الانتشار العلمي (Research Visibility): يشير إلى مدى ظهور الدراسة ووصولها إلى الباحثين، وما تحققه من قراءات واستشهادات ومشاركات.

وقد تكون الدراسة ذات تأثير وانتشار مرتفعين، لكنها تعاني من قيود منهجية تحد من إمكانية الاعتماد على نتائجها. والعكس صحيح أيضًا؛ فقد تكون دراسة دقيقة ومهمة لكنها حديثة ولم تحصل بعد على عدد كبير من الاستشهادات.

لماذا قد يحصل بحث ضعيف على عدد كبير من الاستشهادات؟

لا يرتبط انتشار الدراسة بالضرورة بمدى قوتها المنهجية، إذ تتداخل عوامل علمية وتاريخية واجتماعية في تحديد حجم الاستشهادات التي تحصل عليها الورقة.

ومن أبرز هذه العوامل:

• النتائج المثيرة للجدل: قد تجذب النتائج غير المعتادة اهتمام الباحثين وتدفعهم إلى مناقشتها أو اختبارها.

• الاستشهاد المتكرر داخل تخصص واسع: قد تصبح الورقة نقطة مرجعية يتناولها الباحثون حتى عندما تكون نتائجها محل نقاش.

• الاعتماد على مصدر سابق: قد تستمر مجموعة من الدراسات في الاستشهاد بمرجع واحد دون إعادة تقييم أدلته الأصلية.

• التأخر في تصحيح الأدبيات: قد يستمر تداول دراسة غير موثوقة قبل صدور تصحيح رسمي أو قرار بسحبها.

وهذا يوضح لماذا لا ينبغي التعامل مع (Citation Count) باعتباره مقياسًا مستقلًا لموثوقية البحث.

لماذا قد يستشهد بالبحث لمعارضته وليس لتأييده؟

الاستشهاد العلمي لا يعني دائمًا موافقة الباحث على النتائج التي توصل إليها المصدر؛ فقد يكون الهدف هو مقارنة النتائج، أو إظهار اختلافها، أو تقديم دليل تجريبي يناقض الاستنتاج السابق.

فعلى سبيل المثال، قد يستشهد بحث بدراسة سابقة ثم يوضح أن التجربة الجديدة لم تتمكن من تكرار النتائج نفسها. وفي هذه الحالة، يخدم الاستشهاد غرضًا نقديًا وليس تأييديًا.

وتبرز هنا أهمية تحليل سياق الاستشهاد (Citation Context)، لأنه يوضح العلاقة بين النص الذي يستشهد بالدراسة والمعلومة التي يقدمها عنها، بدلًا من الاعتماد على وجود الاستشهاد وحده.

ما العوامل التي لا تستطيع أدوات الاستشهاد قياسها؟

حتى عندما تستطيع الأدوات تصنيف الاستشهادات بدقة، فإن ذلك لا يعني أنها قادرة على تقييم جميع جوانب جودة الدراسة الأصلية.

وتظل هناك عناصر تحتاج إلى مراجعة مستقلة، منها:

• مدى ملاءمة تصميم الدراسة للسؤال البحثي.

• كفاية حجم العينة والقدرة الإحصائية.

• سلامة اختيار المشاركين وتجنب تحيز الاختيار.

• صلاحية أدوات القياس وثباتها.

• دقة التحليل الإحصائي ومدى توافقه مع طبيعة البيانات.

• إمكانية تعميم النتائج على مجتمعات أو بيئات أخرى.

• مدى الإفصاح عن تضارب المصالح والتمويل.

• جودة البيانات وإمكانية إعادة تنفيذ التجربة.

وتقدم أدوات التقييم المنهجي مثل (RoB 2) إطارًا متخصصًا لفحص مخاطر التحيز في التجارب العشوائية، وهو عمل يختلف عن تحليل الاستشهادات الذي تقدمه المنصتان.

كيف يقيم Scite AI استقبال البحث داخل الأدبيات؟

تعتمد Scite على تحليل النصوص التي تشير إلى الورقة العلمية في منشورات أخرى، ثم تعرض سياق الاستشهاد وتصنيفًا آليًا يوضح طبيعة العلاقة بين الاستشهاد والبحث المشار إليه.

وتعرف هذه الآلية باسم الاستشهادات الذكية (Smart Citations)، وهي من أهم الخصائص التي تميز Scite عن أدوات البحث الأكاديمي التقليدية.

ما المقصود بـ Smart Citations؟

تقدم الاستشهادات الذكية معلومات تتجاوز الرقم الإجمالي للاستشهادات، إذ تسمح للباحث بفهم كيفية استخدام ورقته في الأبحاث التي نشرت لاحقًا.

وتعمل هذه الخاصية من خلال مجموعة من الخطوات:

• استخراج الجملة أو المقطع الذي يحتوي على الاستشهاد بالدراسة الأصلية.

• فحص الكلمات والعلاقات اللغوية الموجودة في سياق الاستشهاد.

• تحديد ما إذا كان النص يقدم دعمًا أو تعارضًا أو مجرد إشارة إلى البحث.

• عرض المقطع الأصلي الذي استُخدم في التصنيف حتى يستطيع الباحث مراجعته.

• تجميع النتائج في تقرير يوضح أنماط الاستشهادات المختلفة.

وتكمن أهميتها في أنها تساعد على اكتشاف الدراسات التي تناقش نتائج بحث معين بصورة نقدية، بدلًا من افتراض أن كل استشهاد يمثل تأييدًا له.

Supporting Citation

يشير الاستشهاد الداعم إلى حالة يقدم فيها البحث اللاحق دليلًا أو نتيجة تتفق مع نتيجة أو ادعاء وارد في الدراسة التي يستشهد بها.

ومن أمثلة ذلك أن يذكر الباحث أن تجربته توصلت إلى نتائج تتوافق مع دراسة سابقة، ثم يعرض بياناته أو نتائجه التي توضح هذا التوافق.

ويمكن الاستفادة من هذا التصنيف في:

• تحديد الدراسات التي أعادت اختبار نتائج بحث سابق وتوصلت إلى نتائج متوافقة معه.

• اكتشاف الأدلة التي تدعم فرضية أو علاقة علمية معينة.

• متابعة مدى استمرار ظهور النتائج المتوافقة مع الدراسة الأصلية عبر الزمن.

ومع ذلك، فإن وجود Supporting Citation لا يثبت أن الدراسة الداعمة صحيحة؛ إذ ينبغي فحص تصميمها وعينتها ونتائجها قبل اعتبارها دليلًا قويًا.

Contrasting Citation

يشير الاستشهاد المتعارض إلى حالة تعرض فيها الورقة التي تستشهد بالمصدر نتائج أو أدلة تختلف عن النتائج التي وردت في الدراسة الأصلية.

وقد يظهر هذا النوع من الاستشهادات عندما تفشل تجربة جديدة في تكرار نتيجة سابقة، أو عندما تتوصل دراسة إلى نتائج مخالفة في ظروف بحثية مختلفة.

وتساعد هذه التصنيفات الباحث على:

• اكتشاف الأبحاث التي لم تتمكن من إعادة إنتاج نتائج الدراسة الأصلية.

• التعرف على الاختلافات التجريبية بين الدراسات.

• تحديد الموضوعات التي تشهد خلافًا علميًا يحتاج إلى تحليل أعمق.

• البحث عن تفسيرات محتملة لاختلاف النتائج، مثل اختلاف العينات أو أدوات القياس أو ظروف التجربة.

لكن التصنيف المتعارض لا يعني تلقائيًا أن الدراسة الأصلية خاطئة؛ فقد تكون الاختلافات ناتجة عن اختلاف السياق أو المجتمع أو المنهجية المستخدمة.

Mentioning Citation

يعني الاستشهاد بالإشارة أن البحث اللاحق ذكر الدراسة أو استخدمها لتقديم خلفية معرفية، دون أن يقدم في المقطع المصنف دليلًا واضحًا يؤيد نتائجها أو يعارضها.

ومن أمثلته أن يستشهد الباحث بدراسة سابقة عند تعريف مفهوم علمي أو توضيح تاريخ تطور موضوع بحثي، دون إعادة اختبار النتائج التي توصلت إليها.

وتكمن أهمية هذا التصنيف في أنه يمنع الخلط بين مجرد ورود المرجع في النص وبين وجود تأييد علمي حقيقي له.

ومن الضروري أيضًا الانتباه إلى أن Mentioning لا يعني أن الاستشهاد غير مفيد؛ فقد تكون الدراسة المشار إليها مرجعًا تأسيسيًا مهمًا، حتى إن لم يقدم النص دليلًا مباشرًا على نتائجها.

كيف يقرأ Scite سياق الاستشهاد؟

لا يعتمد Scite على تصنيف الجملة بمعزل عن معناها، بل يحاول فهم العلاقة بين العبارة التي تتضمن الاستشهاد والمعلومة التي تقدمها عن الدراسة السابقة.

ويمكن للباحث قراءة السياق من خلال التركيز على العناصر التالية:

• العبارة المحيطة بالاستشهاد: لمعرفة ما إذا كان الباحث يقدم نتيجة متفقة أو مختلفة مع الدراسة السابقة.

• الدليل المذكور: للتحقق مما إذا كان النص يقدم نتائج فعلية تدعم المقارنة أم يكتفي باستخدام تعبيرات عامة.

• السياق البحثي: لمعرفة ما إذا كان الاستشهاد ورد في المقدمة أو المنهجية أو النتائج أو المناقشة.

• الدراسة التي تستشهد بالمصدر: للتأكد من أن تصنيف العلاقة يتوافق مع محتوى البحث اللاحق.

وتوضح الدراسة الأصلية التي شرحت تطوير Scite أن الأداة لا تعتمد على تحليل المشاعر الإيجابية والسلبية، بل تستهدف تحديد الوظيفة العلمية للاستشهاد وعلاقته بالأدلة المذكورة في النص.

كيف تساعد Reference Check في فحص المراجع؟

تتيح خاصية (Reference Check) للباحث رفع ملف البحث وفحص المراجع الواردة فيه، ثم الاطلاع على معلومات عن كيفية الاستشهاد بهذه المراجع في المنشورات الأخرى.

وتشمل عملية الفحص عدة جوانب:

• تحديد المراجع ذات الإشعارات التحريرية: مثل الدراسات التي صدرت بشأنها إشعارات سحب أو قلق تحريري.

• مراجعة الاستشهادات اللاحقة: لمعرفة ما إذا كانت الأبحاث الأخرى قد دعمت المصدر أو قدمت نتائج متعارضة معه.

• تحديد المراجع التي تحتاج إلى مراجعة إضافية: خصوصًا عندما تظهر إشارات إلى مشكلات في سجل النشر.

• مراجعة سلامة استخدام المرجع: من خلال الاطلاع على السياق الذي استُخدم فيه في الأدبيات اللاحقة.

وتعد هذه الخاصية مفيدة قبل تسليم الرسائل الجامعية أو إرسال الأبحاث إلى المجلات، لكنها لا تغني عن مراجعة صفحة الناشر والتحقق من بيانات كل مرجع بصورة مستقلة.

كيف يكشف Scite الأبحاث المسحوبة والإشعارات التحريرية؟

يساعد Scite في إظهار الإشعارات المرتبطة ببعض الأوراق العلمية، ومنها السحب والتصحيحات وبيانات القلق التحريري (Expression of Concern)، وفق المعلومات التي يستطيع الوصول إليها من مصادر النشر وقواعد البيانات.

ويجب التمييز بين هذه الحالات:

• السحب (Retraction): قرار تحريري يعلن أن نتائج الورقة أو محتواها لم يعد من الممكن الاعتماد عليه بالصورة المنشورة، وفق أسباب السحب.

• التصحيح (Correction): تعديل خطأ في الورقة المنشورة، وقد يكون الخطأ محدودًا أو مؤثرًا في تفسير بعض المعلومات.

• بيان القلق التحريري (Expression of Concern): إشعار يلفت انتباه القراء إلى وجود مخاوف بشأن الدراسة، دون أن يعني بالضرورة صدور قرار نهائي بسحبها.

ومن المهم أن السحب ليس دائمًا دليلًا على الاحتيال؛ فقد ينتج عن خطأ علمي جوهري أو خلل في البيانات أو مشكلات تتعلق بالنزاهة البحثية أو إجراءات النشر. وتؤكد إرشادات لجنة أخلاقيات النشر العلمي (COPE) أن الغرض من السحب هو تصحيح السجل العلمي وحماية القراء.

ما أثر توفر النص الكامل على نتائج Scite؟

تؤثر إمكانية الوصول إلى النص الكامل بصورة مباشرة في قدرة Scite على استخراج سياق الاستشهاد وتصنيفه؛ لأن الأداة تحتاج إلى معرفة المقطع الذي ورد فيه المرجع، وليس مجرد امتلاك عنوان الورقة أو ملخصها.

ويترتب على ذلك عدد من القيود:

• قد لا يظهر بعض الاستشهادات إذا تعذر الوصول إلى النص الكامل للورقة التي تستشهد بالدراسة.

• قد تؤثر جودة ملفات PDF وطريقة استخراج النصوص والمراجع في دقة ربط الاستشهاد بالورقة الصحيحة.

• يعتمد ربط بعض المراجع على توافر بيانات تعريفية دقيقة، مثل المعرف الرقمي (DOI).

• قد تكون التغطية أقل اكتمالًا لبعض المجلات والتخصصات واللغات مقارنة بغيرها.

وقد أوضحت الدراسة المنشورة عن تطوير Scite أن استخراج المراجع وربطها بالنصوص الكاملة يمثل تحديًا تقنيًا، وأن بعض المراجع قد لا تظهر في المنصة رغم وجودها في قائمة المراجع الأصلية. ولذلك ينبغي التعامل مع غياب الاستشهادات المصنفة باعتباره احتمالًا لقصور التغطية، وليس دليلًا على عدم وجودها.

كيف يعمل Semantic Scholar في تحليل الاستشهادات؟

لا يقتصر دور Semantic Scholar على عرض قائمة بالأوراق التي استشهدت بدراسة معينة، بل يستخدم نماذج الذكاء الاصطناعي لفهم طبيعة العلاقات بين الأوراق، وتحديد الاستشهادات التي تبدو أكثر أهمية للورقة المستشهِدة.

وتظهر هذه الوظائف بصورة أساسية من خلال خاصيتي الاستشهادات المؤثرة ونية الاستشهاد.

ما المقصود بـ Highly Influential Citations؟

تعني الاستشهادات شديدة التأثير أن الدراسة المشار إليها كان لها دور مهم في تشكيل محتوى البحث الذي استشهد بها، بدلًا من مجرد ورودها ضمن قائمة المراجع أو استخدامها لتقديم خلفية عامة.

وتستخدم Semantic Scholar نموذجًا للتعلم الآلي يحلل مجموعة من العوامل، من بينها عدد الاستشهادات والسياق المحيط بها، بهدف تحديد الأوراق التي يبدو أن لها تأثيرًا جوهريًا في البحث اللاحق.

وتفيد هذه الخاصية في:

• تحديد الدراسات التي شكلت أساسًا منهجيًا أو معرفيًا لأبحاث لاحقة.

• التعرف على الأوراق التي ساهمت في تطوير نتائج أو أفكار بحثية.

• اختصار الوقت عند مراجعة عدد كبير من الاستشهادات.

• اكتشاف العلاقات البحثية التي قد لا تظهر من خلال العدد الإجمالي للاستشهادات وحده.

لكن وصف الاستشهاد بأنه شديد التأثير لا يعني أن الدراسة الأصلية صحيحة أو أن نتائجها موثوقة؛ فهو مؤشر على طبيعة تأثيرها في الورقة التي استشهدت بها، وليس حكمًا على سلامة أدلتها. كما أن تحديد هذه الاستشهادات يعتمد على إتاحة النص الكامل للورقة المستشهِدة.

ما المقصود بـ Citation Intent؟

يشير مفهوم (Citation Intent) إلى الغرض الذي دفع الباحث إلى الاستشهاد بدراسة سابقة داخل بحثه.

وتصنف Semantic Scholar نية الاستشهاد إلى ثلاثة أنواع رئيسية:

• الخلفية (Background): الاستشهاد لتقديم معلومات تاريخية أو نظرية أو توضيحية مرتبطة بالموضوع.

• المنهج (Method): الاستشهاد للإشارة إلى إجراء أو طريقة أو تجربة سابقة استُخدمت في الدراسة الحالية.

• امتداد النتائج (Result Extension): الاستشهاد عند توسيع نتائج بحث سابق أو البناء عليها.

وتختلف هذه التصنيفات عن نظام Scite؛ لأنها تهتم بالغرض البحثي للاستشهاد، ولا تصنفه مباشرة إلى دليل مؤيد أو معارض. كما أن إتاحة هذه البيانات مرتبطة بتوفر النص الكامل للورقة المستشهِدة.

Background Citation

يشير استشهاد الخلفية إلى استخدام الدراسة السابقة لتقديم معلومات تمهد للموضوع أو تشرح المفاهيم التي يقوم عليها البحث الحالي.

ويظهر هذا النوع غالبًا في المقدمة والإطار النظري، ومن أمثلته:

• الاستشهاد بدراسة تأسيسية عند تعريف مفهوم علمي.

• استخدام بحث سابق لشرح تطور نظرية أو اتجاه بحثي.

• الإشارة إلى نتائج سابقة لتوضيح أهمية المشكلة البحثية.

• الاستناد إلى أدبيات موجودة لتبرير الحاجة إلى إجراء دراسة جديدة.

ولا يعني هذا النوع بالضرورة أن الباحث أعاد اختبار نتائج الدراسة السابقة أو تحقق من صحتها؛ بل يوضح الدور الذي أدته في بناء السياق العلمي للبحث.

Method Citation

يظهر استشهاد المنهج عندما يستخدم الباحث طريقة أو إجراءً أو أداة سبق تطويرها أو تطبيقها في دراسة أخرى.

ومن أمثلته:

• استخدام مقياس نفسي أو تربوي سبق التحقق من خصائصه.

• تطبيق نموذج إحصائي سبق استخدامه في أبحاث مشابهة.

• الاستفادة من بروتوكول تجريبي أو طريقة لجمع البيانات.

• إعادة استخدام إجراء بحثي للمقارنة بين نتائج دراستين.

ومن المهم عدم الخلط بين استخدام منهجية دراسة سابقة وبين تأييد جميع نتائجها؛ فقد يستفيد الباحث من طريقة القياس التي استخدمتها دراسة ما، مع اختلافه تمامًا مع استنتاجاتها.

Result Extension Citation

يشير هذا النوع إلى أن البحث الحالي يبني على نتائج سابقة أو يوسع نطاقها من خلال تطبيقها في سياق جديد أو إضافة متغيرات وعلاقات لم تتناولها الدراسة الأصلية.

ويمكن ملاحظة ذلك في الحالات التالية:

• تطبيق نتيجة سابقة على مجتمع بحثي مختلف.

• إضافة متغيرات جديدة إلى علاقة سبق اختبارها.

• تطوير نموذج علمي بالاستناد إلى نتائج بحث سابق.

• اختبار ما إذا كانت النتائج السابقة تنطبق على ظروف أو بيئات مختلفة.

ولا يعني توسيع النتائج بالضرورة تأكيدها بالكامل؛ فقد تكشف الدراسة الجديدة عن حدود صلاحية النتائج السابقة أو اختلافها بين المجتمعات البحثية.

كيف يستخدم Semantic Scholar الذكاء الاصطناعي لترتيب النتائج؟

يعتمد Semantic Scholar على نماذج تعلم آلي ومعالجة اللغة الطبيعية لاستخراج المعنى من الأوراق العلمية وتحديد العلاقات بينها، وهو ما يساعد في تحسين اكتشاف الدراسات ذات الصلة بدلًا من الاكتفاء بمطابقة الكلمات المفتاحية.

وتتضمن عملية الاستكشاف عدة عناصر:

• تحليل عناوين الأوراق والملخصات والبيانات الوصفية المتاحة.

• التعرف على الموضوعات والمجالات البحثية المرتبطة بالدراسة.

• الاستفادة من شبكة الاستشهادات لتحديد الأوراق المتصلة بالموضوع.

• تقديم نتائج ومواد بحثية تساعد المستخدم على الانتقال من ورقة إلى أخرى.

ومع ذلك، لا ينبغي تفسير ظهور ورقة في مرتبة متقدمة على أنه إثبات لجودتها المنهجية؛ لأن ترتيب نتائج البحث يعكس مدى صلتها بالاستعلام وفق النظام، وليس تقييمًا أكاديميًا شاملًا لموثوقيتها.

كيف تساعد TLDR في فرز الدراسات بسرعة؟

تقدم خاصية (TLDR) ملخصًا قصيرًا للغاية للورقة العلمية، يركز على أهم ما يتعلق بهدف الدراسة ونتائجها، لتسهيل تحديد مدى ارتباطها بموضوع البحث قبل الانتقال إلى قراءتها كاملة.

ويمكن توظيفها في:

• استبعاد الأوراق التي لا تتناول المشكلة البحثية بصورة مباشرة.

• تحديد الدراسات التي تستحق القراءة المتعمقة.

• تكوين تصور أولي عن أهداف الأوراق ونتائجها.

• تسريع مرحلة الفرز الأولي عند التعامل مع عدد كبير من المنشورات.

لكن يجب الانتباه إلى أن ملخصات TLDR ليست متاحة لجميع الأوراق والتخصصات؛ إذ تشير المنصة إلى أن تغطيتها تتركز في علوم الحاسب والطب الحيوي والبيولوجيا، مع وجود قيود مرتبطة بتوافر المحتوى. كما أن الملخص المختصر لا يغني عن مراجعة المنهجية والنتائج والقيود في النص الأصلي.

Scite AI مقابل Semantic Scholar: مقارنة مباشرة

تختلف أفضلية كل أداة بحسب المهمة البحثية التي يريد الباحث تنفيذها؛ لذلك فإن المقارنة الصحيحة لا تعتمد على عدد الخصائص فقط، وإنما على مدى ملاءمة كل خاصية لاحتياجات الباحث.

يوضح الجدول التالي الفروق الأساسية بين المنصتين عبر مراحل البحث العلمي المختلفة:

وتستند المقارنة إلى الخصائص الرسمية المعلنة للمنصتين، وليس إلى اختبار موحد أُجري على عينة واحدة من الأبحاث.

تحليل سياق الاستشهاد

تتفوق Scite في هذه المهمة؛ لأن تحليل سياق الاستشهاد يمثل أساس تصميمها، وتعرض المقطع النصي الذي ورد فيه المرجع مع التصنيف الآلي للعلاقة بين البحثين.

أما Semantic Scholar فتساعد في فهم نوع الاستشهاد وغرضه، لكنها لا تقدم التصنيف الثلاثي نفسه الذي تستخدمه Scite.

كشف التأييد والمعارضة

تقدم Scite أفضلية واضحة عندما يريد الباحث معرفة ما إذا كانت الدراسات اللاحقة قد قدمت أدلة داعمة أو متعارضة مع نتائج ورقة محددة.

في المقابل، تصنيفات Semantic Scholar مثل Background وMethod وResult Extension تشرح الغرض من الاستشهاد، ولا ينبغي التعامل معها باعتبارها بدائل مباشرة لتصنيفات التأييد والمعارضة.

كشف الاستشهادات المؤثرة

تتميز Semantic Scholar بتقديم مؤشر (Highly Influential Citations)، الذي يساعد على تحديد الاستشهادات التي يُحتمل أن يكون لها تأثير جوهري في البحث المستشهِد.

وتوفر Scite بدورها معلومات تفصيلية عن الاستشهادات وسياقاتها، لكنها تركز بصورة أكبر على طبيعة العلاقة بين الاستشهاد والدراسة الأصلية.

اكتشاف الدراسات الجديدة

تقدم Semantic Scholar تجربة أكثر ملاءمة للبحث الأولي واسع النطاق، بفضل محرك البحث والمرشحات والتنبيهات والتوصيات البحثية.

وتفيد Scite أيضًا في اكتشاف الأوراق من خلال البحث داخل سياقات الاستشهاد، خاصة عندما يريد الباحث العثور على دراسات ناقشت نتيجة أو منهجية معينة.

استكشاف شبكة الاستشهادات

تساعد Semantic Scholar على تتبع العلاقات بين الأبحاث، والانتقال من الدراسة الأصلية إلى الأبحاث التي استشهدت بها، ثم اكتشاف الدراسات المتصلة بهذه المجموعة.

أما Scite فتضيف إلى هذا المسار معلومات عن طبيعة الاستشهادات، وهو ما يساعد على معرفة ما إذا كانت العلاقة بين الدراسات قائمة على التأييد أو الاختلاف أو مجرد الإشارة.

مراجعة الأدبيات

تعد Semantic Scholar نقطة بداية مناسبة لجمع الأوراق العلمية وتوسيع قائمة الدراسات السابقة، بينما تكون Scite أكثر فائدة في مرحلة تحليل العلاقات بين النتائج وتقييم كيفية استقبال الدراسات داخل المجال.

وللحصول على مراجعة أدبيات قوية، ينبغي الجمع بين اكتشاف الدراسات وتقييمها المنهجي، ويمكن الاستفادة من خدمة توفير المراجع وتلخيص الدراسات السابقة لتنظيم المصادر وربطها بموضوع الدراسة.

مراجعة منهجية

لا تكفي أي من الأداتين وحدها لإجراء مراجعة منهجية مكتملة؛ لأن هذه العملية تتطلب استراتيجية بحث موثقة، ومعايير واضحة للإدراج والاستبعاد، وفحصًا منهجيًا لمخاطر التحيز.

يمكن استخدام Semantic Scholar لتوسيع نطاق اكتشاف الدراسات، وScite لفحص سياقات الاستشهادات، لكن ينبغي استكمال البحث في قواعد البيانات المتخصصة بحسب المجال، مع الالتزام بإرشادات إعداد المراجعات المنهجية (PRISMA 2020).

bmj.com+2

فحص قائمة المراجع

تتفوق Scite في هذا الجانب بفضل خاصية (Reference Check)، التي تسمح برفع ملف البحث ومراجعة كيفية الاستشهاد بالمراجع الموجودة فيه، بما في ذلك الإشعارات التحريرية المتاحة.

أما Semantic Scholar فتساعد في التحقق من وجود الأوراق وبياناتها واكتشاف الاستشهادات المرتبطة بها، لكنها لا تقدم الوظيفة نفسها لفحص قائمة المراجع دفعة واحدة.

اكتشاف الأبحاث المسحوبة

تقدم Scite ميزة عملية في إظهار إشعارات السحب والقلق التحريري والتصحيحات عندما تكون هذه المعلومات متاحة ضمن مصادر بياناتها.

ومع ذلك، ينبغي الرجوع إلى صفحة الناشر وقواعد بيانات السحب المستقلة، مثل قاعدة (Retraction Watch) التي أصبحت متاحة من خلال Crossref وتُحدّث بياناتها بانتظام.

تلخيص الأوراق

تتميز Semantic Scholar بخاصية TLDR التي تختصر محتوى بعض الدراسات في ملخص شديد الإيجاز، بينما تقدم Scite مساعدًا بحثيًا يمكنه الإجابة عن الأسئلة بالاستناد إلى الأدبيات العلمية المتاحة لديه.

ولا ينبغي الاعتماد على أي من الملخصات وحدها عند تقييم جودة البحث؛ لأن التفاصيل المنهجية والقيود الإحصائية قد لا تظهر في الملخص المختصر.

سهولة الاستخدام

تعد Semantic Scholar أكثر مباشرة للمستخدم الذي يريد البحث عن أوراق علمية، أو متابعة مؤلف معين، أو إنشاء قائمة بالدراسات المرتبطة بموضوعه.

أما Scite فتحتاج إلى فهم أفضل لمفهوم سياق الاستشهاد والتمييز بين التصنيفات الثلاثة، ولذلك تكون فائدتها أكبر عندما يكون الباحث مستعدًا لقراءة النصوص المحيطة بالاستشهادات وتفسيرها.

التكلفة وإتاحة الوصول

تختلف الأداتان من حيث نموذج الوصول؛ إذ تقدم Semantic Scholar خدماتها الأساسية مجانًا، بينما تعتمد Scite على الاشتراكات للوصول إلى مجموعة من وظائفها المتقدمة.

وتعرض صفحة Scite الرسمية، وقت إعداد هذا المقال، خطتي Basic بسعر 12 دولارًا شهريًا وPro بسعر 40 دولارًا شهريًا عند الفوترة السنوية، إضافة إلى خطط مؤسسية بأسعار مخصصة وتجربة مجانية لمدة سبعة أيام. وقد تتغير الأسعار والعروض بحسب البلد والاشتراك وتحديثات المنصة.

أيهما أدق في تقييم موثوقية الأبحاث؟

لا توجد إجابة مطلقة تجعل إحدى الأداتين أدق في جميع جوانب التقييم؛ فالدقة هنا مرتبطة بنوع المعلومة التي يحاول الباحث التحقق منها.

إذا كان الهدف هو فحص سياق الاستشهادات واكتشاف الأدلة المتعارضة، فإن Scite أكثر تخصصًا. أما إذا كان الهدف هو اكتشاف الدراسات وتحليل تأثيرها والعلاقات البحثية، فإن Semantic Scholar تقدم وظائف أكثر ملاءمة لهذه المرحلة.

متى يكون Scite أكثر إفادة؟

تكون Scite أكثر فائدة عندما يكون الباحث قد حدد بالفعل دراسة أو مجموعة دراسات ويريد فهم كيفية استقبالها في الأبحاث اللاحقة.

وتظهر أهميتها في الحالات التالية:

• عند تقييم ما إذا كانت نتائج دراسة معينة قد حصلت على دعم من أبحاث لاحقة.

• عند البحث عن دراسات قدمت نتائج مخالفة أو لم تتمكن من تكرار النتائج السابقة.

• عند مراجعة المراجع قبل إدراجها في رسالة الماجستير أو الدكتوراه.

• عند فحص دراسة قديمة أو مثيرة للجدل لمعرفة طبيعة الاستشهادات التي حصلت عليها.

• عند إعداد مناقشة نقدية للدراسات السابقة بدلًا من الاكتفاء بتلخيص أهدافها ونتائجها.

متى يكون Semantic Scholar أكثر إفادة؟

تكون Semantic Scholar أكثر ملاءمة عندما يكون الباحث في بداية عملية البحث أو يحتاج إلى توسيع مجموعة الدراسات المرتبطة بمشكلة بحثية معينة.

وتبرز فائدتها في الحالات التالية:

• عند البحث عن أوراق علمية جديدة في تخصص معين.

• عند اكتشاف الدراسات الأكثر ارتباطًا بورقة بحثية محددة.

• عند تحديد المؤلفين والأبحاث التي شكلت أساسًا لتطور مجال علمي.

• عند متابعة الأوراق الجديدة والاستشهادات التي تظهر لأبحاث معينة.

• عند فرز عدد كبير من الأوراق باستخدام الملخصات السريعة والمرشحات البحثية.

لماذا لا يصح اعتبار Highly Influential Citation حكمًا على جودة البحث؟

لأن وصف الاستشهاد بأنه مؤثر يشير إلى أهميته داخل الورقة التي استشهدت بالبحث، ولا يحدد ما إذا كانت النتائج التي يتضمنها المصدر صحيحة أو قوية من الناحية المنهجية.

فقد تعتمد دراسة لاحقة بصورة جوهرية على بحث سابق، ثم تكشف عند إعادة اختباره عن مشكلة في نتائجه أو حدوده.

وبالتالي، يجب فهم (Highly Influential Citations) باعتبارها مؤشرًا على التأثير البحثي، وليس شهادة جودة أو موثوقية للورقة الأصلية.

لماذا لا يعني Contrasting Citation أن البحث الأصلي خاطئ؟

لأن ظهور استشهاد متعارض قد يعكس اختلافًا بين الدراسات في تصميم التجربة أو خصائص العينة أو ظروف التنفيذ أو أدوات القياس.

وقد تكون الدراسة الأصلية صحيحة ضمن حدود مجتمعها وظروفها، بينما تصل دراسة أخرى إلى نتيجة مختلفة عند تطبيق المنهج على مجموعة أخرى.

لذلك، ينبغي أن يدرس الباحث أسباب الاختلاف قبل إصدار حكم على أي من الدراستين، وأن يميز بين التعارض الحقيقي في الأدلة والاختلاف الناتج عن اختلاف السياقات البحثية.

لماذا لا يعني Supporting Citation أن البحث صحيح نهائيًا؟

لأن البحث الذي يقدم دليلًا مؤيدًا قد يعاني بدوره من ضعف في تصميم الدراسة أو محدودية حجم العينة أو تحيز في اختيار المشاركين.

وقد تتكرر النتيجة نفسها في أكثر من بحث بسبب الاعتماد على منهجية متشابهة أو بيانات محدودة، دون أن يكون ذلك كافيًا لإثبات صحتها بصورة نهائية.

ولهذا ينبغي تقييم قوة الأدلة مجتمعة، مع مراعاة جودة الدراسات التي تقدم الدعم، وليس الاكتفاء بعدد الاستشهادات الداعمة.

كيف تؤثر خوارزميات التصنيف في النتيجة؟

تعتمد الأداتان على نماذج حسابية تستخرج المعلومات من النصوص وتحدد العلاقات بين الأوراق، ولذلك تتأثر النتائج ببيانات التدريب وطبيعة اللغة وسياق الجملة وتوفر النص الكامل.

ومن أهم العوامل التي ينبغي مراعاتها:

• اختلاف التخصصات: قد تختلف طريقة التعبير عن التأييد أو الاعتراض بين العلوم الطبية والإنسانية والهندسية.

• غموض اللغة العلمية: قد تستخدم الجملة تعبيرًا يبدو مؤيدًا، بينما يكون المقصود منها مجرد الإشارة إلى دراسة سابقة.

• نقص السياق: قد يؤدي اقتطاع جملة واحدة إلى فقدان معلومات مهمة تظهر في الجمل السابقة أو اللاحقة.

• تفاوت التغطية: قد لا تتوفر بعض الأبحاث أو نصوصها الكاملة ضمن البيانات التي تستخدمها الأداة.

• تغير النماذج: قد تتطور الخوارزميات مع تحديث البيانات وأساليب التدريب، ولذلك لا ينبغي اعتبار نتائج تقييم قديم وصفًا نهائيًا للأداء الحالي.

وتوضح الأبحاث المنشورة عن تصنيف الاستشهادات أن هذه المهمة تواجه تحديات خاصة بسبب عدم توازن الفئات وصعوبة التمييز بين الإشارة العادية والدعم أو التعارض.

هل نتائج Scite دقيقة فعلًا؟ ماذا تقول الدراسات العلمية؟

لا يمكن الحكم على دقة Scite من خلال وصفها التسويقي أو حجم قاعدة بياناتها فقط؛ بل ينبغي الرجوع إلى الدراسات التي قارنت تصنيفاتها بالتقييم البشري، مع مراعاة اختلاف العينات والمناهج البحثية المستخدمة.

وتوجد دراسة مهمة في هذا السياق أجراها باحثون من جامعتي ريجاينا ومينيسوتا، ونُشرت عام 2023، واختبرت مدى توافق تصنيفات Scite مع أحكام الباحثين البشريين.

ماذا اختبرت دراسة Bakker وزملائه؟

هدفت دراسة (Bakker, Theis-Mahon, & Brown, 2023) إلى تقييم قدرة Scite على تحديد المعنى الفعلي للاستشهادات العلمية، ومقارنة تصنيفاتها الآلية بتقييم الباحثين الذين راجعوا سياقات الاستشهاد.

واعتمد الباحثون على عينة سابقة من المراجعات المنهجية التي تضمنت الاستشهاد بأبحاث مسحوبة، ثم استخدموا البحث المباشر عن هذه المراجع داخل Scite لمقارنة النتائج.

وشملت منهجية الدراسة ما يلي:

• جمع عينة أصلية تتكون من 324 استشهادًا وردت في المراجعات المنهجية المختارة.

• التحقق من عدد الاستشهادات التي استطاعت Scite تصنيفها بالفعل.

• تسجيل تصنيف الأداة لكل استشهاد، سواء كان داعمًا أو متعارضًا أو مجرد إشارة.

• إجراء تقييم بشري مستقل لطبيعة الاستشهادات.

• استخدام مقاييس الدقة والاستدعاء ومقياس (F1) لمقارنة نتائج الأداة بالتقييم البشري.

وتجدر الإشارة إلى أن العينة لم تكن ممثلة لجميع الأبحاث والتخصصات، بل ركزت على سياق محدد يرتبط بالاستشهاد بأبحاث مسحوبة داخل مراجعات منهجية.

نتائج المقارنة بين الذكاء الاصطناعي والتقييم البشري

أظهرت الدراسة اختلافًا ملحوظًا بين تصنيفات Scite والأحكام البشرية، وكانت النتائج الرقمية كما يلي:

كما تراوحت قيم مقياس (F1) بين صفر و0.58، وهو ما دفع الباحثين إلى وصف دقة التصنيف في العينة المدروسة بأنها منخفضة.

ومن أهم الملاحظات التي كشفتها النتائج:

• الاستشهادات الداعمة: أظهرت الأداة دقة إيجابية مرتفعة نسبيًا عند اختيار هذه الفئة، لكنها لم تتمكن من اكتشاف عدد كبير من الحالات التي اعتبرها المقيمون البشريون داعمة.

• الاستشهادات التي تشير إلى المصدر: سجلت الأداة قدرة مرتفعة على استدعاء هذه الفئة، لكنها صنفت عددًا من الحالات ضمنها رغم أن المقيمين البشريين اعتبروها داعمة أو متعارضة.

• الاستشهادات المتعارضة: واجهت الأداة صعوبة واضحة في تحديدها داخل العينة، مقارنة بالأحكام البشرية.

وتكمن أهمية الدراسة في أنها تقدم اختبارًا مستقلًا نسبيًا لأداء الأداة في ظروف استخدام واقعية محددة، بدلًا من الاكتفاء بمقاييس الأداء التي يعلنها مطورو النظام.

لماذا يجب عدم التعامل مع تصنيف Scite كحكم نهائي؟

توضح نتائج دراسة Bakker وزملائه أن تصنيف الاستشهادات قد يختلف عن تفسير الباحثين للنصوص، ولذلك فإن الاعتماد على التصنيف الآلي دون قراءة السياق قد يؤدي إلى استنتاجات غير دقيقة.

ومن الضروري مراعاة ثلاثة أمور:

• خصوصية العينة: اقتصرت الدراسة على استشهادات مرتبطة بأبحاث مسحوبة في مراجعات منهجية، ولا يمكن تعميم نتائجها مباشرة على جميع التخصصات.

• التغطية المتاحة: لم تتمكن Scite من تصنيف جميع الاستشهادات الموجودة في العينة الأصلية؛ إذ صنفت 98 فقط من أصل 324.

• تطور النماذج: الدراسة المنشورة عام 2023 لا تثبت أن أداء كل إصدار لاحق من Scite سيظل مطابقًا للأداء الذي اختبرته.

والاستنتاج المنهجي السليم هو أن Scite أداة مساعدة في اكتشاف الأنماط، وليست بديلًا عن التقييم البشري أو القراءة النقدية للبحث الأصلي.

ما الفرق بين دقة النموذج ودقة الاستخدام الواقعي؟

ينبغي التمييز بين الأداء الذي يحققه النموذج على مجموعة اختبار محددة، والأداء الذي يقدمه عند استخدامه في أبحاث متنوعة وفي ظروف مختلفة.

ففي دراسة تطوير Scite المنشورة عام 2021، عرض الباحثون نتائج اختبار النموذج على مجموعة ثابتة تضم 9,708 أمثلة، وكانت النتائج الخاصة بالتصنيفات الثلاثة كما يلي:

وتوضح هذه الأرقام أن الأداء يختلف بوضوح بين الفئات؛ فالنموذج كان أفضل في التعرف على الاستشهادات التي تكتفي بذكر الدراسة، بينما كانت قدرته على اكتشاف جميع الحالات الداعمة والمتعارضة أقل.

ويجب تفسير هذه الأرقام باعتبارها نتائج اختبار للنموذج في الدراسة المنشورة عام 2021، لا باعتبارها قياسًا مباشرًا ومحدثًا لكل الاستخدامات الحالية للمنصة.

لماذا تظل قراءة النص الأصلي ضرورية؟

لأن التصنيف الآلي يعرض إشارة أولية عن طبيعة الاستشهاد، لكنه لا يضمن فهم جميع التفاصيل التي تحدد قوة الدليل أو حدود النتائج.

ويحتاج الباحث عند مراجعة الورقة الأصلية إلى التحقق من:

• السؤال البحثي والأهداف التي سعت الدراسة إلى تحقيقها.

• تصميم الدراسة والمنهج المستخدم في جمع البيانات.

• حجم العينة وخصائص المشاركين وطريقة اختيارهم.

• النتائج الفعلية والتحليلات الإحصائية المستخدمة.

• القيود التي أقر بها الباحثون في الدراسة.

• مدى توافق الاستنتاجات مع النتائج المعروضة.

وهذا يتفق مع مبادئ مراجعة الأدبيات التي تؤكد أهمية الاعتماد على المصادر الأولية، وفهم الدراسات السابقة وتحليلها بدلًا من الاكتفاء بعرض معلومات مختصرة عنها.

ما الذي لا يخبرك به Scite ولا Semantic Scholar؟

على الرغم من أهمية أدوات تحليل الاستشهادات العلمية، فإنها لا تستطيع تقييم جميع العناصر التي تحدد جودة البحث وموثوقيته؛ لأن تحليل العلاقة بين الدراسات يختلف عن فحص الطريقة التي أُجريت بها الدراسة الأصلية.

وتوجد مجموعة من العوامل التي يجب على الباحث مراجعتها بصورة مستقلة:

جودة تصميم الدراسة

يحدد تصميم الدراسة مدى ملاءمة الطريقة البحثية للإجابة عن السؤال المطروح، ولذلك قد تكون الورقة كثيرة الاستشهادات لكنها تستخدم تصميمًا لا يسمح باستخلاص النتائج التي يدعيها الباحث.

وتشمل العناصر التي ينبغي فحصها:

• مدى توافق التصميم التجريبي أو الوصفي أو الارتباطي مع أهداف الدراسة.

• وجود مجموعة ضابطة عند الحاجة إليها.

• ملاءمة طريقة توزيع المشاركين أو اختيارهم.

• إمكانية استبعاد التفسيرات البديلة للنتائج.

• وجود قيود منهجية قد تؤثر في الاستنتاجات النهائية.

ويمكن الاستفادة من خدمات إعداد الإطار النظري عند بناء الأساس المعرفي للدراسة وربط النظريات والدراسات السابقة بمشكلة البحث.

حجم العينة

يؤثر حجم العينة في قدرة الدراسة على اكتشاف العلاقات أو الفروق التي تسعى إلى اختبارها، ولذلك لا يكفي أن تعرض الأداة استشهادات داعمة دون مراجعة مدى كفاية البيانات التي استندت إليها الدراسة.

ومن الجوانب المهمة:

• عدد المشاركين: هل يتناسب مع طبيعة السؤال البحثي والتصميم المستخدم؟

• طريقة تحديد العدد: هل استند الباحث إلى حساب مسبق لحجم العينة؟

• معدل الانسحاب: هل فقدت الدراسة عددًا مؤثرًا من المشاركين أثناء التنفيذ؟

• تمثيل المجتمع: هل تعكس العينة خصائص المجتمع المستهدف؟

• القوة الإحصائية (Statistical Power): هل تستطيع الدراسة اكتشاف التأثير المتوقع بدرجة مناسبة؟

وتوضح الأدبيات الإحصائية أن تحديد حجم العينة يرتبط بعوامل مثل حجم التأثير المتوقع والتباين ومستويات الخطأ المقبولة، وليس بمجرد اختيار عدد كبير من المشاركين.

تحيز الاختيار

يحدث تحيز الاختيار عندما تؤدي طريقة اختيار المشاركين أو استبعادهم إلى تكوين عينة لا تمثل المجتمع المستهدف بصورة مناسبة، وهو ما قد يؤثر في النتائج حتى عندما تكون الحسابات الإحصائية صحيحة.

وينبغي مراجعة:

• طريقة استقطاب المشاركين وتوزيعهم على مجموعات الدراسة.

• المعايير المستخدمة لقبول المشاركين واستبعادهم.

• مدى اختلاف خصائص المشاركين عن خصائص المجتمع الأصلي.

• احتمالية أن تكون بعض الفئات قد استُبعدت بصورة تؤثر في النتيجة.

• كيفية التعامل مع البيانات المفقودة وحالات الانسحاب.

ولا تستطيع تصنيفات الاستشهادات وحدها اكتشاف هذه المشكلات؛ لأنها تتطلب قراءة المنهجية والبيانات والإجراءات التي اتبعها الباحث.

Risk of Bias

يشير مفهوم مخاطر التحيز (Risk of Bias) إلى احتمالية أن تؤدي أخطاء التصميم أو التنفيذ أو القياس أو تحليل البيانات إلى نتائج لا تعكس الأثر الحقيقي الذي تحاول الدراسة قياسه.

وفي التجارب العشوائية، توفر أداة (Cochrane RoB 2) إطارًا منظمًا لتقييم خمسة مجالات رئيسية:

• التحيز الناتج عن عملية التوزيع العشوائي.

• الانحراف عن التدخلات المحددة في الدراسة.

• نقص بيانات النتائج.

• التحيز في قياس النتائج.

• التحيز في اختيار النتائج المنشورة.

ويختلف هذا التقييم عن تصنيف Supporting أو Contrasting في Scite؛ لأن الأول يفحص سلامة النتائج البحثية، بينما الثاني يصف طبيعة الاستشهاد بالدراسة.

القوة الإحصائية

تعبر القوة الإحصائية عن قدرة الدراسة على اكتشاف تأثير حقيقي إذا كان موجودًا، وتتأثر بحجم العينة وحجم التأثير والتباين ومستوى الدلالة الإحصائية.

وقد يؤدي ضعف القوة الإحصائية إلى عدم اكتشاف تأثير موجود بالفعل، كما قد يؤدي تكرار اختبار عدد كبير من الفرضيات دون ضبط مناسب إلى ظهور نتائج إيجابية غير مستقرة.

ولذلك يجب مراجعة:

• حجم التأثير (Effect Size) وليس قيمة الدلالة الإحصائية وحدها.

• فترات الثقة (Confidence Intervals).

• مستوى الدلالة المستخدم في الاختبارات.

• مدى ملاءمة الاختبارات الإحصائية لطبيعة البيانات.

• احتمالية وجود تعدد في الاختبارات أو تحليلات لم تكن محددة مسبقًا.

صلاحية أدوات القياس

قد تستخدم الدراسة استبيانًا أو مقياسًا أو اختبارًا لقياس متغير معين، لكن وجود الأداة في البحث لا يثبت أنها تقيس المفهوم المقصود بصورة صحيحة.

وينبغي التحقق من:

• صدق الأداة (Validity).

• ثبات الأداة (Reliability).

• مدى ملاءمة الأداة للفئة المستهدفة.

• صلاحية الترجمة والتكييف الثقافي عند استخدام أداة أجنبية.

• وجود أدلة منشورة على الخصائص السيكومترية للأداة.

وتوضح مراجعات أدوات تقييم الجودة المنهجية أهمية اختيار طريقة التقييم بحسب نوع الدراسة، بدلًا من استخدام معيار واحد لجميع التصاميم البحثية.

صلاحية النتائج للتعميم

تشير صلاحية التعميم إلى إمكانية تطبيق نتائج الدراسة على مجموعات أو بيئات أخرى غير المجموعة التي أجريت عليها التجربة.

وقد تكون النتيجة صحيحة بالنسبة إلى عينة محددة، لكنها لا تنطبق بالضرورة على مجتمعات أخرى تختلف في خصائصها أو ظروفها.

ويجب مراجعة مدى اختلاف البيئة البحثية، والخصائص الديموغرافية للمشاركين، والظروف الزمنية والمكانية، ومدى تشابه إجراءات الدراسة الجديدة مع إجراءات الدراسة الأصلية.

جودة المجلة والتحكيم

يمثل النشر في مجلة محكمة خطوة مهمة في مسار البحث العلمي، لكنه لا يضمن وحده أن كل دراسة منشورة تتمتع بجودة منهجية مرتفعة.

ومن الضروري التحقق من:

• وجود عملية تحكيم علمي حقيقية وموثقة.

• وضوح سياسات النشر والتصحيح والسحب.

• شفافية هيئة التحرير والإجراءات التحريرية.

• وجود سياسات واضحة بشأن تضارب المصالح.

• سلامة المجلة من الممارسات الناشرة المضللة.

وتؤكد سياسات النشر العلمي في الجامعات ضرورة الفصل بين إجراءات التحكيم وبين مسؤولية الباحث عن دقة البيانات والنتائج والمراجع.

تضارب المصالح

قد تؤثر المصالح المالية أو المؤسسية أو الشخصية في تصميم الدراسة أو تفسير النتائج أو طريقة عرضها، ولذلك يجب ألا يتجاهل الباحث هذا الجانب عند تقييم المراجع.

ويشمل الفحص:

• الجهات التي مولت الدراسة.

• العلاقات بين الباحثين والجهات المستفيدة من النتائج.

• الإفصاح عن المصالح المالية أو المهنية.

• مدى استقلالية تحليل البيانات وتفسير النتائج.

• وجود معلومات ناقصة في إقرارات تضارب المصالح.

وتعد الشفافية في الإفصاح عن التمويل والمصالح جزءًا من ممارسات النزاهة البحثية المعتمدة في النشر الأكاديمي.

الفرق بين دراسة أصلية ومراجعة منهجية

تختلف طبيعة الأدلة التي تقدمها الدراسة الأصلية عن الأدلة التي تقدمها المراجعة المنهجية، ولذلك ينبغي تحديد نوع المصدر قبل استخدامه في الاستدلال العلمي.

• الدراسة الأصلية (Original Research): تعرض بيانات جُمعت أو حُللت بهدف الإجابة عن سؤال بحثي محدد.

• المراجعة السردية (Narrative Review): تقدم مناقشة للأدبيات المرتبطة بموضوع معين، وقد تختلف منهجية اختيار الدراسات فيها.

• المراجعة المنهجية (Systematic Review): تتبع إجراءات محددة للبحث عن الدراسات واختيارها وتقييمها وتجميع نتائجها.

• التحليل البعدي (Meta-analysis): يستخدم أساليب إحصائية لتجميع نتائج دراسات متعددة عندما تسمح طبيعة البيانات بذلك.

وقد يكون الاستشهاد بمراجعة منهجية مناسبًا لتكوين تصور شامل عن الأدلة، لكن الباحث الذي يريد الاستدلال على تجربة محددة قد يحتاج إلى الرجوع إلى الدراسة الأصلية نفسها.

كيف تستخدم Scite AI وSemantic Scholar معًا بدلًا من اختيار أحدهما؟

يحقق الجمع بين الأداتين استفادة أكبر من استخدام كل واحدة بصورة منفصلة؛ لأنهما تغطيان مراحل مختلفة من العمل البحثي، من اكتشاف الدراسات إلى فحص الأدلة التي تقدمها الأبحاث اللاحقة.

ويمكن تنظيم العمل من خلال سبع مراحل مترابطة:

المرحلة الأولى: اكتشاف الدراسات عبر Semantic Scholar

ابدأ بتحديد الموضوع البحثي والكلمات المفتاحية الأساسية والمرادفات المرتبطة به، ثم استخدم Semantic Scholar للعثور على الأوراق العلمية التي تتناول المشكلة البحثية بصورة مباشرة.

ويفضل أن تتضمن عملية البحث:

• استخدام المصطلحات الأساسية باللغة الإنجليزية إلى جانب المقابلات العربية.

• تحديد الفترة الزمنية المناسبة للموضوع.

• البحث عن الدراسات الأصلية والمراجعات العلمية.

• حفظ الأوراق المرتبطة بالموضوع داخل المكتبة البحثية.

• عدم استبعاد الدراسات القديمة لمجرد تاريخ نشرها إذا كانت مراجع تأسيسية.

المرحلة الثانية: تحديد الأوراق المؤثرة والمرتبطة

بعد تكوين القائمة الأولية، استخدم شبكة الاستشهادات وميزة (Highly Influential Citations) لتحديد الأوراق التي شكلت أساسًا لأبحاث أخرى.

ويجب عند تنفيذ هذه المرحلة:

• تحديد الدراسات التي تكرر استخدامها في الأدبيات.

• اكتشاف الأبحاث التي طورت نتائج الدراسات السابقة.

• البحث عن المراجع التي ترتبط مباشرة بمتغيرات الدراسة.

• التمييز بين الورقة التأسيسية والورقة الحديثة التي تقدم أدلة جديدة.

• عدم اعتبار كثرة الاستشهادات معيارًا كافيًا للاختيار.

المرحلة الثالثة: فحص الاستشهادات في Scite

انتقل إلى Scite لفحص الأوراق التي حددتها في المرحلة السابقة، وابدأ بمراجعة الاستشهادات الداعمة والمتعارضة والإشارات العادية.

ويفضل تسجيل المعلومات التالية لكل دراسة:

• إجمالي الاستشهادات التي ظهرت لها.

• عدد الاستشهادات الداعمة.

• عدد الاستشهادات المتعارضة.

• عدد الاستشهادات التي تكتفي بالإشارة إلى المصدر.

• أهم الدراسات التي قدمت أدلة مؤيدة أو مخالفة.

• السياقات النصية التي تفسر طبيعة العلاقة بين الدراسات.

المرحلة الرابعة: البحث عن الدراسات المتعارضة

لا تكتفِ بالدراسات التي تدعم الفرضية البحثية، بل ابحث بصورة مقصودة عن الأدلة التي تقدم نتائج مختلفة أو مخالفة.

ويمكن تنفيذ ذلك من خلال:

• فتح الاستشهادات المتعارضة ومراجعة النص الكامل للدراسات.

• مقارنة أهداف الأبحاث المتعارضة ومناهجها.

• تحديد الاختلافات في حجم العينات وخصائص المشاركين.

• مقارنة أدوات القياس والتحليلات الإحصائية.

• تفسير أسباب الاختلاف بدلًا من اختيار الدراسة التي تتفق مع توقعات الباحث.

المرحلة الخامسة: فحص السحب والإشعارات التحريرية

قبل اعتماد أي مرجع، تحقق من وجود إشعارات سحب أو تصحيح أو قلق تحريري، ولا تعتمد على ظهور الحالة في أداة واحدة فقط.

وتشمل إجراءات الفحص:

• مراجعة إشعارات Scite المتاحة.

• فتح صفحة الناشر الأصلية للورقة.

• البحث عن سجل الدراسة في Crossref وقاعدة Retraction Watch.

• قراءة سبب التصحيح أو السحب، وليس الاكتفاء بوجود العلامة.

• تحديد ما إذا كان الإشعار يؤثر في النتائج التي تريد الاستشهاد بها.

المرحلة السادسة: فتح الورقة الأصلية والتحقق يدويًا

تظل هذه المرحلة ضرورية حتى بعد الحصول على نتائج جيدة من الأداتين، لأنها تسمح بفحص الأدلة التي استند إليها الباحثون بأنفسهم.

ركز على قراءة الملخص والمنهجية والنتائج والمناقشة والقيود، مع التحقق من أن الاستشهاد الذي ستستخدمه يدعم بالفعل الجملة التي تريد كتابتها.

المرحلة السابعة: توثيق القرار في مراجعة الأدبيات

بعد الانتهاء من الفحص، نظم النتائج في مصفوفة للدراسات السابقة، بحيث لا تقتصر على عنوان الدراسة وسنة نشرها، بل تتضمن معلومات تساعد على المقارنة النقدية.

ومن المفيد أن تتضمن المصفوفة:

ويمكن ربط هذه المرحلة بإعداد الإطار النظري والدراسات السابقة بصورة منهجية، مع التأكد من أن التحليل يعكس فهم الباحث للأدلة وليس مجرد تجميع للمراجع.

أفضل طريقة لفحص مرجع قبل وضعه في رسالة ماجستير أو دكتوراه

يحتاج الباحث إلى اتباع إجراءات تحقق متسلسلة قبل إدراج أي مرجع في الرسالة؛ لأن وجود الدراسة في محرك بحث أكاديمي لا يضمن صحة بياناتها أو استمرار صلاحية نتائجها.

ويمكن استخدام القائمة التالية باعتبارها قائمة مراجعة عملية:

هل البحث موجود أصلًا؟

ابدأ بالتحقق من وجود الورقة العلمية في موقع المجلة أو الناشر، ولا تعتمد على ظهور عنوانها في نتائج البحث وحده.

• ابحث بالعنوان الكامل للورقة.

• تحقق من أسماء المؤلفين وتاريخ النشر.

• تأكد من وجود سجل نشر يمكن الوصول إليه.

• تحقق من المعرف الرقمي (DOI) إن وجد.

• قارن البيانات الموجودة في المنصة ببيانات الناشر.

هل النسخة المنشورة هي النسخة النهائية؟

قد توجد أكثر من نسخة للبحث، مثل المسودة الأولية والنسخة المقبولة للنشر والنسخة النهائية المنشورة.

ويجب التمييز بينها لأن التعديلات التي تطرأ أثناء التحكيم قد تؤثر في المنهجية أو النتائج أو الاستنتاجات.

ولذلك، يفضل اعتماد النسخة النهائية المنشورة عند توافرها، مع التأكد من وجود أي تعديلات أو تحديثات لاحقة.

هل توجد Retraction أو Correction؟

افحص سجل الورقة للتأكد من عدم وجود سحب أو تصحيح أو إشعار تحريري قد يؤثر في استخدامها.

ويمكن تنفيذ ذلك من خلال Scite، ثم الرجوع إلى الناشر وقاعدة Retraction Watch للتحقق من طبيعة الإشعار وأسبابه.

ولا ينبغي استبعاد كل دراسة تعرضت لتصحيح تلقائيًا؛ بل يجب تحديد ما إذا كان التصحيح يمس المعلومة التي يريد الباحث الاستناد إليها.

كيف استشهدت به الأبحاث اللاحقة؟

تساعد هذه الخطوة على فهم مكانة الدراسة داخل المجال العلمي، ومعرفة ما إذا كانت الأبحاث اللاحقة قد أكدت نتائجها أو ناقشتها أو قدمت نتائج مختلفة عنها.

استخدم Scite لعرض سياقات الاستشهاد، وSemantic Scholar لاستكشاف الدراسات المرتبطة والمؤثرة، ثم راجع الأوراق التي تقدم الأدلة الأكثر صلة بموضوعك.

هل الاستشهاد يدعم الجملة التي تريد كتابتها فعلًا؟

من الأخطاء الشائعة أن يستشهد الباحث بدراسة لمجرد أن عنوانها يبدو مرتبطًا بموضوع الفقرة، دون التأكد من أن نتائجها تدعم الادعاء المكتوب.

وللتأكد من صحة الاستخدام:

• افتح النص الكامل للدراسة.

• حدد النتيجة التي تريد الاستشهاد بها.

• قارن النتيجة بالجملة التي ستكتبها.

• تحقق من حدود الدراسة وعدم تعميمها خارج نطاقها.

• تجنب الاستناد إلى ملخص آلي بدلًا من النص الأصلي.

هل هناك أبحاث متعارضة أقوى؟

ينبغي البحث عن الدراسات التي تقدم نتائج مخالفة، ثم مقارنة قوة أدلتها بالدراسة التي ترغب في اعتمادها.

ولا يكفي عدّ الاستشهادات المتعارضة؛ بل يجب مقارنة التصميم البحثي وحجم العينة وجودة القياس والقوة الإحصائية، وتحديد مدى انطباق النتائج على السؤال البحثي نفسه.

هل المرجع أصلي أم ثانوي؟

يجب معرفة ما إذا كان المصدر يقدم بيانات أصلية أم ينقل نتائج دراسات أخرى؛ لأن هذا الاختلاف يؤثر في قوة الاستدلال وطبيعة المعلومة التي يمكن استخدام المرجع لإثباتها.

فإذا كنت تريد الاستشهاد بنتيجة تجربة معينة، فمن الأفضل الرجوع إلى الدراسة الأصلية التي أجرت التجربة، وليس الاكتفاء بمراجعة ثانوية نقلت النتيجة عنها.

هل تحتاج إلى مصدر آخر أكثر مباشرة؟

قد يكون المرجع صحيحًا ومرتبطًا بالموضوع، لكنه لا يقدم دليلًا مباشرًا على الادعاء الذي تريد إثباته.

في هذه الحالة، ابحث عن دراسة أصلية أو تجربة أو مراجعة منهجية تتناول السؤال بصورة أكثر مباشرة، مع مراعاة جودة الدليل وحداثته.

ويمكن الاستفادة من فحص المراجع والتشابه النصي ضمن المراجعة النهائية للرسالة، مع الفصل بين التحقق من صحة المصدر والتحقق من أصالة الصياغة.

Scite AI أم Semantic Scholar لمراجعة الأدبيات؟

لا توجد أداة واحدة تستطيع تنفيذ جميع مراحل مراجعة الأدبيات بالكفاءة نفسها؛ ولذلك يعتمد الاختيار على المرحلة التي يعمل عليها الباحث، وطبيعة المصادر التي يحتاج إليها.

لمرحلة البحث والاستكشاف

تكون Semantic Scholar خيارًا مناسبًا للبدء في استكشاف الموضوع وتحديد الأوراق العلمية المرتبطة به.

ويمكن استخدامها للبحث بالكلمات المفتاحية، والوصول إلى الأوراق ذات الصلة، ومتابعة الاستشهادات، والتعرف على الباحثين الذين يعملون في المجال.

أما Scite فتكون مفيدة عندما يبدأ الباحث في الانتقال من مرحلة العثور على الدراسات إلى تحليل ما تقوله الأدبيات عنها.

لبناء قاعدة الدراسات السابقة

تساعد Semantic Scholar في تجميع الدراسات وحفظها وتنظيمها، بينما تساعد Scite في إضافة معلومات عن طبيعة الاستشهادات التي حصلت عليها تلك الدراسات.

ومن الأفضل ألا تقتصر قاعدة الدراسات السابقة على عدد الاستشهادات، بل تتضمن أيضًا أهداف الدراسات ومناهجها ونتائجها وحدودها.

لتحديد الأوراق المحورية

يمكن استخدام مؤشر (Highly Influential Citations) في Semantic Scholar لاكتشاف الأوراق التي كان لها تأثير واضح في أبحاث أخرى.

وبعد ذلك يمكن فحص تلك الأوراق في Scite لمعرفة طبيعة الأدلة التي قدمتها الدراسات اللاحقة، وتحديد ما إذا كانت النتائج مدعومة أو محل خلاف.

لفهم الخلاف العلمي

تقدم Scite أفضلية في هذه المرحلة لأنها تتيح الوصول إلى الاستشهادات المتعارضة ومراجعة السياقات النصية التي وردت فيها.

لكن تحديد سبب الخلاف يحتاج إلى قراءة الدراسات نفسها، ومقارنة مناهجها وبياناتها وظروف تنفيذها.

للمراجعات المنهجية

يمكن استخدام الأداتين كجزء مساعد من عملية اكتشاف الدراسات والتحقق من المراجع، لكن لا ينبغي الاعتماد عليهما باعتبارهما مصدر البحث الوحيد.

وتتطلب المراجعة المنهجية:

• تحديد سؤال بحث واضح.

• اختيار قواعد البيانات المناسبة للتخصص.

• تسجيل استراتيجية البحث والكلمات المفتاحية وتواريخ البحث.

• وضع معايير محددة للإدراج والاستبعاد.

• إجراء فحص مستقل للدراسات المؤهلة.

• تقييم مخاطر التحيز وجودة الأدلة.

• توثيق مراحل الاختيار والتحليل وفق الإرشادات المناسبة.

وتقدم إرشادات (PRISMA 2020) إطارًا لتحسين شفافية الإبلاغ عن المراجعات المنهجية، بينما يقدم دليل كوكرين (Cochrane Handbook) إرشادات أكثر تفصيلًا بشأن الإجراءات المنهجية وتقييم مخاطر التحيز.

للرسائل الجامعية

يستفيد طالب الماجستير أو الدكتوراه من الأداتين في بناء الدراسات السابقة ومراجعة المراجع، لكن يجب أن تظل قرارات اختيار المصادر وتفسير الأدلة قائمة على معايير أكاديمية واضحة.

وتساعد هذه المنهجية في تجنب مشكلة الاعتماد على عدد الاستشهادات أو الملخصات الآلية عند بناء الإطار النظري وتحديد الفجوة البحثية.

Scite AI مقابل Semantic Scholar للباحث السعودي

يحتاج الباحث في الجامعات السعودية إلى أدوات تساعده على الوصول إلى الدراسات الدولية، مع مراعاة طبيعة المراجع العربية ومتطلبات الجامعة والتخصص والمرحلة الأكاديمية.

ومن المهم ألا يكون اختيار الأداة مبنيًا على شهرتها فقط، بل على مدى ملاءمتها للمهام البحثية التي ينفذها الباحث.

لطلاب البكالوريوس

يمكن أن تكون Semantic Scholar نقطة انطلاق مناسبة للطالب الذي يعد مشروعًا بحثيًا أو يبحث عن دراسات مرتبطة بموضوع معين.

ويستطيع الطالب استخدامها لفهم المجال وتحديد الدراسات الأساسية، ثم الاستفادة من Scite عند الحاجة إلى فحص كيفية استخدام تلك الدراسات في الأبحاث اللاحقة.

لطلاب الماجستير

يحتاج طالب الماجستير إلى الجمع بين اكتشاف الأدبيات وتحليلها نقديًا، ولذلك يمكنه استخدام Semantic Scholar لتجميع الدراسات، ثم Scite لفحص الاستشهادات المرتبطة بالمراجع الأساسية.

ويجب أن يركز على بناء مراجعة أدبيات مترابطة، توضح أوجه الاتفاق والاختلاف والفجوات التي تستهدفها الرسالة.

لطلاب الدكتوراه

تكون الحاجة إلى الجمع بين الأداتين أكبر في مرحلة الدكتوراه؛ لأن الباحث يحتاج إلى بناء فهم متعمق لتطور المعرفة في تخصصه، وتحديد الأوراق المحورية والخلافات العلمية والفجوات البحثية.

ويمكن أن يستفيد من Scite في فحص الدراسات التي تقوم عليها فرضياته، ومن Semantic Scholar في تتبع شبكة الأبحاث المرتبطة بها.

للمشرف الأكاديمي

يمكن للمشرف استخدام Semantic Scholar للوصول السريع إلى الأدبيات المرتبطة بموضوع الطالب، واستخدام Scite لفحص طبيعة الاستشهادات التي حصلت عليها المراجع الأساسية.

لكن ينبغي أن يظل التقييم الأكاديمي للمشرف قائمًا على المنهجية والبيانات وجودة الاستنتاجات، وليس على تصنيفات المنصتين وحدها.

للباحث الذي يعد مراجعة منهجية

يمكن استخدام Semantic Scholar لتوسيع عملية اكتشاف الدراسات، والاستفادة من Scite في مراجعة المراجع وفهم الأدلة المتعارضة.

لكن يجب توثيق قواعد البيانات واستراتيجيات البحث وتواريخ التنفيذ، وعدم الاعتماد على توصيات الذكاء الاصطناعي وحدها لتحديد الدراسات المؤهلة.

للباحث الذي يراجع مراجع رسالته قبل المناقشة

تكون Scite مفيدة بصورة خاصة في هذه المرحلة، خصوصًا عند استخدام Reference Check لفحص المراجع والكشف عن الإشعارات التحريرية والاستشهادات المتعارضة.

كما يمكن استخدام Semantic Scholar للتحقق من بيانات الأوراق واستكشاف الأبحاث التي استشهدت بها، مع مراجعة صفحات الناشرين للتأكد من النسخ النهائية.

تجربة عملية: ماذا يحدث إذا كانت الورقة "عالية الاستشهاد" لكنها متنازع عليها؟

لفهم الفرق العملي بين الأداتين، يمكن افتراض وجود ورقة علمية قديمة حصلت على عدد كبير من الاستشهادات، لكنها أصبحت محل خلاف بعد نشر دراسات لاحقة لم تتمكن من تكرار نتائجها.

هذا السيناريو يوضح لماذا قد يعطي تحليل عدد الاستشهادات وحده انطباعًا غير مكتمل عن مكانة الدراسة.

سيناريو عدد استشهادات مرتفع

لنفترض وجود دراسة افتراضية حصلت على 1,000 استشهاد علمي، وأصبحت مرجعًا شائعًا في تخصصها.

لكن بعد سنوات، ظهرت دراسات تقدم نتائج مخالفة، وأخرى تؤكد بعض النتائج، بينما استخدم عدد كبير من الباحثين الورقة لتقديم خلفية نظرية.

في هذه الحالة، لا يمكن الاستنتاج أن الدراسة موثوقة لمجرد ارتفاع عدد الاستشهادات؛ إذ يجب فحص طبيعة تلك الاستشهادات والأدلة التي تقدمها.

كيف تبدو النتيجة في Semantic Scholar؟

قد تظهر الدراسة ضمن الأوراق ذات الانتشار والتأثير المرتفعين، مع وجود عدد كبير من الاستشهادات وبعض الاستشهادات شديدة التأثير.

وتساعد هذه المعلومات على فهم مكانة الورقة داخل المجال، لكنها لا توضح وحدها ما إذا كانت الدراسات اللاحقة قد أيدت نتائجها أو اعترضت عليها.

ماذا قد يكشف Scite؟

عند فحص الورقة في Scite، يمكن أن تظهر أنماط مختلفة من الاستشهادات، مثل:

• دراسات تقدم أدلة متوافقة مع النتائج الأصلية.

• دراسات تقدم نتائج مخالفة أو لم تتمكن من تكرارها.

• أبحاث تستخدم الورقة لتقديم خلفية نظرية.

• دراسات تناقش القيود أو المشكلات المرتبطة بالنتائج السابقة.

وهنا تظهر القيمة الإضافية لتحليل سياق الاستشهاد؛ إذ يستطيع الباحث الانتقال من مجرد معرفة انتشار الورقة إلى فهم طبيعة النقاش العلمي حولها.

كيف يقرأ الباحث التناقض بين الإشارات؟

لا ينبغي مقارنة العدد الإجمالي للاستشهادات الداعمة والمتعارضة بطريقة حسابية بسيطة ثم إصدار حكم نهائي.

بل يجب مراجعة كل دراسة مهمة وفقًا لعدد من العناصر:

• مدى قوة التصميم البحثي.

• حجم العينة وخصائصها.

• جودة أدوات القياس.

• ملاءمة التحليل الإحصائي.

• مدى إمكانية تكرار النتائج.

• تاريخ نشر الأدلة ومدى ارتباطها بالظروف الحالية.

القرار الصحيح بعد ظهور التعارض

يجب أن يكون القرار مبنيًا على مجموع الأدلة، وليس على تصنيف واحد أو مؤشر عددي منفرد.

فقد يقرر الباحث الاستمرار في استخدام الدراسة مع توضيح حدودها، أو استبدالها بمصدر أحدث وأكثر مباشرة، أو عرض الخلاف العلمي باعتباره جزءًا من مشكلة البحث.

والأهم هو عدم تقديم النتائج المتنازع عليها باعتبارها حقائق علمية محسومة.

هل كثرة الاستشهادات دليل على صحة البحث؟

لا، فكثرة الاستشهادات تعكس مدى حضور الورقة في الأدبيات العلمية، لكنها لا تثبت صحة النتائج أو قوة المنهجية.

ويجب فهم الاستشهاد وفق الغرض الذي استخدمه الباحث من أجله، وليس من خلال عدده فقط.

الاستشهاد للتأييد

يحدث عندما يقدم الباحث دليلًا يتفق مع نتيجة أو استنتاج سابق، وقد يكون ذلك من خلال تجربة جديدة أو تحليل مستقل.

ومع ذلك، يجب فحص جودة الدراسة الداعمة قبل اعتبارها دليلًا قويًا؛ لأن تكرار النتيجة لا يضمن صحتها بصورة تلقائية.

الاستشهاد للخلفية

يستخدم لتقديم معلومات أساسية عن الموضوع أو تعريف المفاهيم أو توضيح النظريات التي يقوم عليها البحث.

ولا يعني بالضرورة أن الباحث اختبر نتائج المصدر الذي يستشهد به أو تحقق منها بصورة مستقلة.

الاستشهاد للمنهج

يشير إلى استخدام إجراء أو أداة أو طريقة سبق تطبيقها في دراسة أخرى، وقد يستفيد الباحث من المنهجية حتى عندما تختلف نتائج دراسته عن نتائج المصدر الأصلي.

الاستشهاد للمقارنة أو التفنيد

يحدث عندما يستشهد الباحث بدراسة سابقة لمقارنة نتائج بحثه بها، أو لإظهار وجود اختلاف بين الأدلة المنشورة.

وقد يساعد هذا النوع من الاستشهادات على تحديد الفجوات العلمية وتطوير أسئلة بحثية جديدة.

الاستشهاد لانتقاد نتيجة سابقة

قد يستخدم الباحث مرجعًا سابقًا لتوضيح وجود خطأ أو قصور أو مشكلة في النتائج التي توصل إليها.

وفي هذه الحالة، لا يمثل الاستشهاد تأييدًا للدراسة، بل قد يكون وسيلة لتصحيح المعرفة العلمية أو إعادة تقييمها.

لماذا لا ينبغي استخدام Citation Count منفردًا؟

لأن العدد الإجمالي لا يوضح سبب الاستشهاد أو طبيعة العلاقة بين الأوراق العلمية، كما لا يميز بالضرورة بين الدراسات التي تدعم النتيجة وتلك التي تنتقدها.

وتدعو مبادئ التقييم المسؤول للبحوث إلى استخدام المؤشرات الكمية في سياقها المناسب، مع الاستناد إلى التقييم النوعي المتخصص.

كيف تكتشف أن مرجعك العلمي قديم أو مسحوب أو موضع خلاف؟

لا يكفي التحقق من تاريخ نشر الدراسة، بل يجب مراجعة سجلها العلمي والتأكد من استمرار صلاحية نتائجها في ضوء التحديثات والأدلة التي ظهرت لاحقًا.

Retraction

يعني السحب صدور إشعار رسمي يفيد بأن الورقة المنشورة لم تعد قابلة للاعتماد بالصورة التي كانت عليها، وفق الأسباب التي حددها الناشر أو المحرر.

ويجب عند اكتشاف حالة سحب مراجعة الإشعار الأصلي وسبب القرار، وتحديد ما إذا كان المرجع لا يزال صالحًا للاستشهاد في سياق تاريخي أو نقدي، مع توضيح حالته للقارئ.

Correction

يشير التصحيح إلى تعديل خطأ أو معلومة غير دقيقة في ورقة منشورة، وقد يكون تأثيره محدودًا أو جوهريًا بحسب طبيعة التعديل.

لذلك ينبغي مقارنة النسخة السابقة بالنسخة المصححة، والتأكد من أن المعلومة المستخدمة في البحث لم تتأثر بالتصحيح.

Expression of Concern

يعبر بيان القلق التحريري عن وجود مخاوف بشأن ورقة علمية تستدعي تنبيه القراء إليها، وقد يصدر بينما لا يزال التحقيق جاريًا أو قبل الوصول إلى قرار نهائي.

ولا ينبغي التعامل معه باعتباره سحبًا رسميًا؛ بل يجب قراءة تفاصيل البيان ومتابعة أي تحديثات لاحقة من الناشر.

COPE: Committee on Publication Ethics+1

Contrasting Evidence

يشير إلى وجود أدلة منشورة تقدم نتائج مختلفة أو تتعارض مع بعض نتائج الدراسة الأصلية.

ولا يعني وجود هذه الأدلة أن الورقة قد سُحبت أو ثبت خطؤها، بل يستدعي مقارنة الدراسات وتحليل أسباب الاختلاف بينها.

Newer Replication Studies

تساعد دراسات التكرار الحديثة على معرفة ما إذا كانت النتائج السابقة قد أمكن إعادة إنتاجها في تجارب مستقلة.

ويجب مقارنة ظروف التجربة الأصلية بالدراسات الجديدة، والتحقق من التشابه في التصميم والعينة وأدوات القياس، قبل استخلاص حكم بشأن قابلية تكرار النتائج.

أخطاء شائعة عند استخدام أدوات الذكاء الاصطناعي للبحث العلمي

قد تؤدي سهولة الوصول إلى المعلومات والتصنيفات الآلية إلى أخطاء في تفسير الأدلة، خاصة عندما يستخدم الباحث المخرجات باعتبارها أحكامًا نهائية بدلًا من كونها أدوات مساعدة.

ومن أبرز الأخطاء التي يجب تجنبها:

الاعتماد على رقم الاستشهادات فقط

قد يؤدي استخدام عدد الاستشهادات وحده إلى تفضيل الدراسات الأكثر انتشارًا على الدراسات الأكثر ملاءمة أو جودة.

والأفضل هو الجمع بين عدد الاستشهادات وسياقها وجودة المنهجية وحداثة الأدلة ومدى ارتباطها بالسؤال البحثي.

اعتبار كلمة "Influential" مرادفًا لـ "صحيح"

الاستشهاد شديد التأثير لا يعني أن الورقة صحيحة، وإنما يشير إلى دورها المهم في البحث الذي استشهد بها.

ولذلك يجب فحص الأدلة التي تستند إليها الدراسة، وعدم الخلط بين التأثير العلمي والموثوقية المنهجية.

اعتبار "Contrasting" مرادفًا لـ "خاطئ"

قد تعكس الاستشهادات المتعارضة اختلافًا في الظروف أو المناهج أو العينات، وليس بالضرورة وجود خطأ في الدراسة الأصلية.

ويجب تحليل أسباب التعارض ومقارنة قوة الأدلة قبل إصدار الحكم.

نسخ الملخصات دون قراءة النص الأصلي

قد تحذف الملخصات الآلية تفاصيل مهمة تتعلق بحجم العينة والقيود والمنهجية والنتائج الثانوية.

لذلك ينبغي استخدام الملخص لتحديد مدى ارتباط الدراسة بالموضوع، ثم فتح النص الأصلي عند اتخاذ قرار الاستشهاد بها.

تجاهل النصوص التي لا تتوفر الأداة على وصول كامل إليها

قد لا تعرض الأدوات جميع الاستشهادات بسبب محدودية الوصول إلى النصوص الكاملة أو مشكلات استخراج البيانات.

ولذلك لا ينبغي اعتبار غياب التصنيف دليلًا على عدم وجود استشهادات أو أدلة علمية أخرى.

استخدام الذكاء الاصطناعي بدلًا من التقييم الأكاديمي

تستطيع الأدوات تسريع البحث وتنظيم المعلومات واكتشاف العلاقات بين الدراسات، لكنها لا تتحمل مسؤولية القرار العلمي الذي يتخذه الباحث.

ويجب أن يظل تقييم الأدلة وتفسير النتائج والتحقق من المراجع مسؤولية الباحث، مع الالتزام بقواعد النزاهة الأكاديمية وسياسات الجامعة.

كلية العلوم اﻹنسانية واﻻجتماعية+2

Scite أم Semantic Scholar؟

لا توجد أداة تتفوق على الأخرى في جميع مراحل البحث العلمي؛ فاختيار الأداة المناسبة يتوقف على الهدف الذي يريد الباحث تحقيقه.

ويمكن تلخيص الأفضلية العملية في النقاط التالية:

الفائز في اكتشاف الأدبيات

Semantic Scholar

تتفوق Semantic Scholar في اكتشاف الدراسات العلمية وتوسيع نطاق البحث، بفضل محرك البحث الأكاديمي والمرشحات والمكتبة البحثية والتوصيات والتنبيهات.

الفائز في تحليل سياق الاستشهاد

Scite AI

تتميز Scite في هذه المهمة من خلال عرض المقاطع التي وردت فيها الاستشهادات وتصنيفها إلى داعمة أو متعارضة أو مجرد إشارات.

الفائز في فحص المراجع

Scite AI

توفر Scite خاصية Reference Check التي تساعد على فحص المراجع والإشعارات التحريرية، وهي وظيفة عملية عند مراجعة الرسائل والأبحاث قبل تقديمها.

الفائز في كشف الخلاف العلمي

Scite AI

تقدم Scite أداة أكثر تخصصًا لاكتشاف الاستشهادات المتعارضة وفهم سياقاتها، بينما تساعد Semantic Scholar على اكتشاف الدراسات المرتبطة والمؤثرة التي يمكن الرجوع إليها لمتابعة النقاش العلمي.

هل الحل الأفضل هو الجمع بين الأداتين؟

الجمع بينهما

نعم، الجمع بينهما هو الاختيار الأكثر فائدة للباحث الذي يريد مراجعة الأدبيات بصورة متكاملة؛ إذ يمكن استخدام Semantic Scholar لاكتشاف الدراسات وتحديد الأوراق المحورية، ثم استخدام Scite لفحص سياقات الاستشهاد ومراجعة المراجع واكتشاف الأدلة المتعارضة.

لكن يجب استكمال هذه العملية بقراءة النصوص الأصلية وتقييم جودة تصميم الدراسات ومخاطر التحيز؛ لأن أيًا من الأداتين لا يقدم حكمًا نهائيًا على موثوقية البحث العلمي.

الأسئلة الشائعة

ما الفرق بين Smart Citations وHighly Influential Citations؟

تعرض (Smart Citations) في Scite سياق الاستشهاد وتصنفه إلى داعم أو متعارض أو مجرد إشارة، بينما تحدد (Highly Influential Citations) في Semantic Scholar الاستشهادات التي يبدو أن لها تأثيرًا جوهريًا في الورقة المستشهِدة. الأولى تركز على طبيعة العلاقة بين الاستشهاد والدراسة الأصلية، والثانية تركز على أهمية الاستشهاد في بناء البحث اللاحق.

هل Scite يكشف الدراسات التي تناقض البحث الأصلي؟

نعم، يستطيع Scite تحديد الاستشهادات التي يصنفها النموذج على أنها متعارضة، وعرض المقاطع النصية المرتبطة بها. لكن ينبغي قراءة الأوراق الأصلية للتحقق من طبيعة التعارض وأسبابه، وعدم اعتبار التصنيف الآلي دليلًا نهائيًا على خطأ الدراسة الأصلية.

هل Semantic Scholar يقيس جودة البحث أم تأثيره؟

تساعد Semantic Scholar في قياس بعض مؤشرات التأثير والاستشهادات، مثل الاستشهادات شديدة التأثير، كما توفر أدوات لاكتشاف الدراسات وتحليل العلاقات بينها. لكنها لا تقدم تقييمًا شاملًا لجودة التصميم البحثي أو صحة النتائج أو مخاطر التحيز.

ما معنى Supporting وContrasting وMentioning في Scite؟

تشير Supporting إلى استشهاد يقدم دليلًا مؤيدًا لنتيجة أو ادعاء في الدراسة المشار إليها، بينما تشير Contrasting إلى وجود دليل أو نتيجة مخالفة، وتعني Mentioning أن الدراسة اللاحقة تشير إلى المصدر دون تقديم دليل واضح يؤيده أو يعارضه في السياق المصنف.

ما معنى Background وMethod وResult Extension في Semantic Scholar؟

تعبر Background عن استخدام المرجع لتقديم خلفية معرفية أو نظرية، وتشير Method إلى الاستفادة من طريقة أو إجراء بحثي سابق، بينما تعبر Result Extension عن البناء على نتائج أبحاث سابقة أو توسيعها. وهذه التصنيفات تشرح الغرض من الاستشهاد، ولا تعني بالضرورة تأييد النتائج أو معارضتها.

هل يمكن الاعتماد على Scite في المراجعات المنهجية؟

يمكن استخدام Scite كأداة مساعدة لفحص المراجع واكتشاف الاستشهادات المتعارضة، لكنها لا تغني عن البحث المنهجي في قواعد البيانات المتخصصة وتوثيق استراتيجية البحث ومعايير اختيار الدراسات وتقييم مخاطر التحيز.

هل يمكن استخدام Semantic Scholar لبناء الدراسات السابقة؟

نعم، يمكن استخدامها لاكتشاف الأوراق العلمية المرتبطة بالموضوع، وتتبع الاستشهادات، والتعرف على الدراسات المحورية، وتنظيم الأوراق في مكتبة بحثية. ومع ذلك، يجب استكمال البحث بمصادر وقواعد بيانات أخرى بحسب التخصص، ثم قراءة الدراسات الأصلية وتحليلها.

هل يمكن الجمع بين Scite وSemantic Scholar؟

نعم، ويعد الجمع بينهما خيارًا عمليًا؛ إذ تستخدم Semantic Scholar في مرحلة اكتشاف الأدبيات وتحديد الأوراق المرتبطة، ثم تستخدم Scite في فحص سياق الاستشهادات وتحديد الدراسات التي تدعم النتائج أو تعارضها.

هل Scite بديل عن Scopus أو Web of Science؟

لا، فالأدوات الثلاث ليست بدائل متطابقة. تركز Scite على سياق الاستشهادات، بينما تقدم قواعد مثل Scopus وWeb of Science خدمات فهرسة واسترجاع وتحليل ببليومتري ضمن مجموعات تغطية ومعايير مختلفة. ويعتمد الاختيار على متطلبات البحث والجامعة والتخصص.

هل Semantic Scholar بديل عن Google Scholar؟

يمكن استخدام Semantic Scholar بديلًا في بعض مهام البحث الأكاديمي، لكنه ليس بديلًا مطابقًا لـGoogle Scholar من حيث التغطية وآليات الفهرسة والخصائص. وتتميز Semantic Scholar بخصائص الذكاء الاصطناعي مثل TLDR وHighly Influential Citations، بينما يظل استخدام أكثر من محرك بحث مفيدًا لتوسيع نطاق اكتشاف الدراسات.

هل أدوات الذكاء الاصطناعي قادرة على الحكم النهائي على موثوقية البحث؟

لا، تستطيع الأدوات تقديم مؤشرات تساعد على تقييم الأدبيات واكتشاف المشكلات المحتملة، لكنها لا تستطيع وحدها فحص جميع عناصر التصميم البحثي والبيانات والتحليل الإحصائي وتضارب المصالح. ولذلك يظل التقييم الأكاديمي البشري وقراءة النص الأصلي ضروريين.

هل عدد الاستشهادات المرتفع يعني أن الورقة صحيحة؟

لا، فقد تحصل الورقة على استشهادات كثيرة بسبب تأثيرها النظري أو المنهجي أو بسبب الجدل الذي أثارته. ويجب التمييز بين الانتشار والتأثير العلمي من جهة، وصحة النتائج وجودة المنهجية من جهة أخرى.

كيف أتحقق من تصنيف Scite يدويًا؟

افتح تقرير الاستشهاد الخاص بالورقة، ثم اختر الاستشهاد الذي تريد مراجعته، واقرأ المقطع النصي الذي ظهر فيه المرجع. بعد ذلك افتح الدراسة التي قامت بالاستشهاد، وتحقق من سياق العبارة والنتائج والمنهجية، ثم حدد بنفسك ما إذا كانت العلاقة داعمة أو متعارضة أو مجرد إشارة.