من بين انتقاداتي العديدة لرصد مستوى وحجم المساهمة العربية في الإنتاج العلمي، من خلال نتائج القياس للاقتباسات العربية، هو أن اغلب قواعد البيانات الأجنبية لا تولي عناية للمجلات الصادرة باللغة العربية، وهو ما يكشف عن قدر من عدم الموضوعية في القياس، ناهيك عن نواقص أخرى في كيفية حساب الإقتباس وأسسه وتقدير معامل التأثير( Impact Factor) والذي يمثل مؤشرا على أهمية المجلة وترتيبها العالمي.
ويرتبط معامل التأثير ارتباطاً وثيقاً بالمجال العلمي للمجلة التي يعبر عنها. فمثلاً تتراوح نسبة الاستشهاد في أول سنتين من تاريخ نشر البحث بين 1-3 بالمئة في المجلات المتخصصة في الرياضيات والفيزياء، بينما تتراوح بين 5-8 بالمئة في المجلات المتخصصة في علوم الأحياء، ونفس التباين نجده في العلوم الاجتماعية والانسانية، ويعبر معامل التأثير عن معدل الاستشهادات التي يتلقاها البحث الواحد، مما يعني إنه لا يتبع توزيعاً احتمالياً طبيعياً ، لذا فإن استخدام المتوسط الحسابي لا يعبر بشكل صحيح عن هذا التوزيع الاحتمالي.
ويمكن للعديد من الأبحاث – خاصة ذات معامل التأثير المنخفض- أن تكون الكثير من استشهاداتها لأبحاث كتبت من قبل نفس مؤلف البحث (وهو ما يعرف بالاستشهاد الذاتي، أي أن الباحث يعيد الاقتباس من نفسه (ويدور جدل حول مدى تأثير ذلك على صحة مدلول معامل التأثير بشكل عام).
كذلك يمكن للمجلة أن تقوم بنشر عدد أكبر من الأبحاث ذات الطابع المسحي، والتي تقوم بتصنيف الأبحاث في مجال معين دون تقديم إضافة علمية جديدة، وعادة ما يتم الاستشهاد بهذا النوع من الأبحاث بشكل أكبر بكثير من غيرها من الأبحاث التي تقدم إضافة علمية جديدة مما يرفع من معامل التأثير لهذه المجلة ويرفع ترتيبها ضمن المجلات في مجالها العلمي.
وعند حساب معامل التأثير تتم قسمة مجموع الاستشهادات على عدد المواد القابلة للاستشهاد بها، ويمكن لبعض المجلات أن تقلل من عدد المواد التي تعتبرها قابلة للاستشهاد من أجل تضخيم معامل التأثير، فهناك جدل حول ما يمكن اعتباره قابلاً للاستشهاد وما لا يمكن اعتباره كذلك، كافتتاحية المجلات التي تقوم بعض البحوث بالاستشهاد بها مع أنها قد لا تعتبر مادة قابلة للاستشهاد عند حساب معامل التأثير.
كذلك فإن آلية احتساب الاقتباس على سبيل المثال تقوم في بعض الجامعات العربية بخاصة الخليجية مثلا بتقديم منح لباحثين غربيين مشهورين للتشارك مع باحثين سعوديين في بحوث مشتركة، وهو ما يقود إلى زيادة عدد الإشارات لتلك الاقتباسات وتحسين نقاط الجامعة التي ينتمي لها الباحث الخليجي رغم انه مساهمته البحثية قد لا تكون ذات دلالة..
أما الجانب الآخر في موضوع المجلات فهو الترتيب: Ranking – ويتم الترتيب للمجلات استنادا لعدد من المعايير وهي:
أ : Eigenfactor وتعني عدد الاقتباسات الواردة في مجلة مشهورة.
ب :– impact factor عدد الاقتباسات بشكل عام نسبة لما يصلح للاقتباس أو الاستشهاد به
ت :– h-index عدد من يتم تصنيفهم في رتبة العلماء من الذين يكتبون في المجلة.
ث :– Expert survey إجراء استطلاعات رأي للخبراء لتحديد مكانة(رتبة) المجلة.
ه : ـ- Publication power approachعدد المرات التي نشر فيها العلماء البارزون.
و :– Altmetrics الإشارة لها من قبل صفحات العلماء في مواقع التواصل الاجتماعي.
واعتقد ان ظهور مقياس عربي في هذا المجال أمر يخفف نوعا ما من هنات المقاييس السائدة، واعني بذلك قاعدة البيانات Arcif، وهي قاعدة بيانات عربية ترصد الاقتباسات المرجعية للمجلات العلمية المحكمة الصادرة في 19 من الدول العربية و 8 دول غير عربية يتم اصدار مجلات محكمة فيها باللغة العربية، واعتمدت قاعدة البيانات هذه على مؤشرات بلغت 32 مستفيدة فيها من قواعد البيانات العالمية الأخرى. وقد تبين من البيانات ان 19.52% من الباحثين العرب هم الذين تم الاقتباس من دراساتهم او الاستشهاد بها من بين الباحثين الذي خضعوا للرصد. ويمكن للمعنيين بهذا الموضوع العودة الى رابط هذه القاعدة وهي: http://emarefa.net/arcif/.