تعلیق اعتبار نشریات علمی: مطالعه موردی پایگاه گزارش استنادی نشریات طی سال‌های 2010 تا 2014

نوع مقاله : مقاله پژوهشی

نویسندگان

1 استادیار گروه علم اطلاعات و دانش‌‌شناسی، دانشکده علوم تربیتی و روانشناسی، دانشگاه اصفهان، اصفهان، ایران

2 کارشناس ارشد کتابداری و اطلاع‌رسانی پزشکی، واحد توسعۀ تحقیقات بالینی بیمارستان شهید بهشتی، دانشگاه علوم پزشکی همدان، همدان، ایران

3 دانشجوی دکترای علم اطلاعات و دانش‌شناسی، دانشکده مدیریت، دانشگاه تهران. تهران، ایران

چکیده

هدف: مجله‌­های نمایه شده توسط پایگاه اطلاعاتی وب آو ساینس کلریویت انلیتیکس در صورتی‌که از طریق خوداستنادی زیاد و یا تبادل استنادی قراردادی با مجله‌های دیگر اقدام به دستکاری ضریب تأثیر خود کنند، به‌صورت موقت از پایگاه گزارش استنادی نشریات تعلیق می‌شوند. پژوهش حاضر با هدف مطالعه ویژگی مجله‌های تعلیق شده طی سال­‌های 2010 تا انتهای 2014 انجام گرفته است.
روش: پژوهش حاضر از نظر هدف، کاربردی و از نظر رویکرد، نوعی مطالعه توصیفی است که با استفاده از شاخص‌­های علم‌­سنجی انجام شده است. جامعه پژوهش شامل 225 مجله است که طی سال­‌های 2010 تا انتهای 2014 از پایگاه گزارش استنادی نشریات تعلیق شده­‌اند. داده‌های پژوهش با استفاده از پایگاه گزارش استنادی نشریات و وب آو ساینس گردآوری شد.
یافته­‌ها: نتایج پژوهش نشان می‌­دهد که مجله‌هایی از 117 حوزه موضوعی از سابقه تعلیق برخوردار بوده‌­اند که بیشترین تعداد تعلیق در حوزه‌های موضوعی مهندسی برق و الکترونیک، مدیریت و هوش مصنوعی به وقوع پیوسته است. بررسی سهم کشورهای جهان از مجله‌های تعلیق شده نشان داد که کشورهای ایالات متحده، انگلستان و هلند دارای بیشترین تعداد مجله‌های تعلیق شده، بوده‌­‌اند. بررسی مدت زمان تعلیق مجله‌ها نیز نشان داد که 3/41 درصد از مجله‌ها به مدت یک سال و 2/38 درصد نیز به مدت دو سال در حالت تعلیق قرار داشته­‌اند. همچنین 65 درصد از مجله‌های تعلیق شده در سال پیش از تعلیق، در چارک‌­های اول و دوم رشته خود قرار داشته‌­اند.
نتیجه­‌گیری: با توجه به این‌که دو نشریه علمی کشور سابقه حضور در لیست مجله‌های تعلیق شده را داشته‌اند، آگاهی‌بخشی به پژوهشگران و دست‌اندرکاران نشریات علمی در کنار رصد منظم عملکرد استنادی مجله‌ها می‌تواند از وقوع رخدادهای مشابه در آینده جلوگیری نماید. 

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Suppression of Scholarly Journals: A Case Study of Journal Citation Reports during 2010 to 2014

نویسندگان [English]

  • Mohammad Amin Erfanmanesh 1
  • Ronak Hamzei 2
  • Amirhosein Rajabzadeh Assarha 3
1 Assistant Professor of Inrformain Science, Faculty of Education and Psychology, University of Isfahan, Isfahan, Iran
2 Master of MLIS Student, Clinical Research Development Unit of Beheshti Hospital, Hamadan University of Medical Sciences, Paramedical Faculty, Shahid Beheshti Medical University Sciences,Tehran, Iran
3 PhD Student in Library and Information Science, Faculty of Management, University of Tehran. Tehran, Iran
چکیده [English]

Objective: Journals indexed by the Clarivate Analytics’ Web of Science (WOS) are temporarily suppressed from the Journal Citation Reports, if they manipulate their impact factor and present extreme outliers in citation behavior through excessive self-citations and citation stacking with other journals. The current research aims to investigate the different characteristics of the suppressed journals by Clarivate Analytics, in a five-year time span (from 2010 to 2014).
Methodology: The current study is an applied research in terms of objectives while it is a descriptive study in terms of data analysis and conducted using scientometric indicators. Research population comprised of 225 suppressed journals from the Journal Citation Reports during 2010-2014. Data was collected from the Journal Citation Reports and Web of Science.
Findings: Results of the study revealed that at least one journal from 177 different subject categories were suppressed during 2010 to 2014. The highest number of title suppressions was belonging to electronics and electrical engineering, management and artificial intelligence. Of the interesting findings of the research is the low presence of medical journals in the suppressed lists. Investigating the share of world countries showed that the United States, United Kingdom, the Netherlands and Germany had the greatest number of suppressions. 41.3 percent and 38.2 percent of the journals were suppressed for one and two years, respectively. Moreover, 65 percent of the suppressed journals were ranked in the first and second quartiles of their subject categories a year before suppression. Even some journals were the first journals in their categorical ranking of JCR before suppression.
 
Conclusion: In the five-year period of this study, 32 countries were engaged in journal suppression by having at least one suppressed journal. Notably, the most frequent language of the suppressed journals was English that can be interpreted and about half of the suppressed journals belonged to authoritative international publications like Sage, Wiley-Blackwell, Taylor and Francis, Springer and Routledge. Of course, almost 80 percent of the suppressed titles could meet the Clarivate Analytics criteria again and remove the suppression after two years.Considering the fact that two Iranian journals had the record of suppression, awareness of the researchers and journals’ editorial board members of the country as well as regular monitoring of the journals’ citation performance may avoid occurrence of suppressions in the future.

کلیدواژه‌ها [English]

  • Journal suppression
  • Journal Citation Reports
  • Self-citation
  • Citation Stacking

مقدمه

 در دهه‌های پایانی سده بیستم و ابتدای سده بیست و یکم، مجله‌های علمی به‌عنوان یکی از مهم‌ترین محمل‌های انتشار دستاوردهای به‌روز علمی، نقش قابل توجهی در پیشبرد دانش بشر ایفا کرده‌اند. در سال‌های گذشته، اقبال روزافزونی به‌ استفاده از مجله‌های علمی برای انتشار بروندادهای پژوهشی به ‌ویژه در رشته‌هایی که با علم روز و فناوری بیشتر سروکار دارند، وجود داشته است (تصویری قمصری، 1384؛ پاکدامن و علوی، 1389؛ تیو و کار[1]، 2000؛ گورگاس و کولارس[2]، 2005). همین امر باعث شده روز به روز بر اهمیت مجله‌های علمی افزوده شود.

امروزه ارزیابی کیفیت و عملکرد نشریات علمی از موضوعات بسیار مهم در مطالعات سنجش و ارزیابی علم و فناوری محسوب می‌شود. در این راستا، ابزار مختلفی برای ارزیابی عملکرد نشریات علمی به وجود آمده که نمایه­‌های استنادی[3] از جمله این ابزار محسوب می­‌شوند. پایگاه وب آو ساینس[4] از محصولات کلریویت انلیتیکس[5] (این پایگاه از سال 1964 تا 1992 به مؤسسه اطلاعات علمی[6] و از سال 1992 تا 2016 به مؤسسه تامسون رویترز[7] تعلق داشته و از سال 2016 متعلق به کلریویت انلیتیکس است)، پایگاه اسکوپوس[8] از محصولات مؤسسه الزویر[9]، پایگاه گوگل اسکالر[10] از محصولات گوگل و همچنین نمایه استنادی علوم جهان اسلام[11] از جمله مهم­ترین پایگاه‌­های استنادی در سطح بین­المللی محسوب می­‌شوند. اعتبار یک نمایه استنادی تا حد بسیار زیادی به کیفیت و اعتبار منابع نمایه شده در آن پایگاه بستگی دارد. از این رو هر یک از نمایه­‌های فوق، معیارهایی را جهت بررسی درخواست عضویت مجله‌های علمی و نمایه­‌سازی محتوای آن‌ها مد نظر قرار می‌دهند.

مؤسسه کلریویت به‌عنوان مهم­ترین و معتبرترین نمایه­‌کننده مجله­‌های علمی؛ معیارهایی شامل زمان‌بندی دقیق انتشار مجله، وجود فرآیند همتراخوانی[12] دقیق، رعایت مقررات بین‌المللی نشر، پیروی از دستورالعمل­‌های اخلاق پژوهش و نشر، انتشار به زبان‌­های بین­‌المللی، کیفیت ناشر، تنوع بین­‌المللی نویسندگان، خوانندگان، اعضای هیئت تحریریه و داوران مجله و کیفیت و عملکرد استنادی مقاله­‌های منتشر شده را در گزینش مجله­‌های علمی لحاظ می­کند (صالحی و رحیمی، 1385). عملکرد مجله‌های نمایه شده توسط مؤسسه کلریویت به‌صورت سالانه از طریق پایگاه گزارش استنادی نشریات[13] مورد ارزیابی قرار گرفته و شاخص­‌هایی مانند ضریب تأثیر[14]، شاخص آنی[15]، نمره تأثیرگذاری مقاله[16] و غیره برای هر مجله محاسبه و اعلام می­‌گردد. نتایج رتبه­‌بندی مجله‌ها در پایگاه گزارش استنادی نشریات مؤسسه کلریویت با حدود یک و نیم سال تأخیر منتشر می­‌شود تا مقاله­‌های منتشر شده در مجله­‌ها از فرصت کافی برای دریافت استناد برخوردار باشند.

نحوه عملکرد مجله‌های علمی نمایه شده در پایگاه گزارش استنادی نشریات به‌صورت منظم از سوی مؤسسه کلریویت رصد می‌شود. با این وجود، اطلاع دست‌اندرکاران مجله‌ها از سازوکار رده‌بندی مجله‌ها و تأکید بیش از حد گزارش سالانه بر ضریب تأثیر و تعداد استناد دریافتی، باعث شده تعدادی از مجله‌ها از روش‌های غیرمعمول برای افزایش امتیاز استنادی و در نتیجه بهبود رده کلی در حوزه موضوعی خود استفاده کنند. خوشبختانه پایش دائمی و کنترل مستمر مؤسسه کلریویت و استفاده از روش‌های علم‌سنجی و تحلیل متن بسیار قوی باعث شده که روش‌های غیرمعمول مجله‌ها به سرعت شناسایی شده و اقدامات لازم در خصوص آن‌ها انجام گردد. یکی از این تصمیمات که از سال 2008 عملی شده، این است که اگر تشخیص داده ­شود، مجله‌ای با روش غیرمعمول توانسته در رده‌بندی و کسب امتیاز جهش داشته باشد، به مدت یک سال از پایگاه گزارش استنادی نشریات کنار گذاشته می‌شود و پس از آن، مجدداً عملکرد آن مورد بررسی قرار می‌گیرد. این عمل با عنوان «تعلیق یا تعلیق مجله[17]» شناخته شده است و چنین مجله‌هایی را نشریات تعلیق شده یا تعلیق شده[18] می‌نامند. طی این فرآیند، مسئولان تهیه گزارش سالانه، بررسی می‌کنند که اگر یک مجله با بهره‌گیری از خوداستنادی‌های بیش از حد یا با تبادل استناد با مجله‌های دیگر جهش استنادی داشته باشد و در واقع تشخیص داده شود که استنادها و در نتیجه ضریب تأثیر دست‌کاری شده باشد، برای یک سال از رده‌بندی کنار گذاشته می‌شود. با وجود این که مجله تعلیق شده در مرحله اول به مدت یک سال از پایگاه گزارش استنادی نشریات کنار گذاشته می­‌شود، اما مقاله‌های منتشر شده در آن مجله همچنان در پایگاه  وب آو ساینس نمایه شده و پس از سپری کردن زمان یک‌ ساله تعلیق، در صورتی‌که عملکرد صحیح و اخلاقی مجله مورد تأیید قرار گیرد، مجدداً به پایگاه گزارش استنادی نشریات اضافه می­‌گردد و ضریب تأثیر و سایر شاخص‌­های ارزیابی برای آن محاسبه می­‌شود.

تعلیق مجله‌ها در دو مرحله انجام می‌گیرد. در ابتدا گروه فنی کلریویت از طریق مطالعات دقیق استنادی و آماری، فهرستی از مجله‌های دارای عملکرد استنادی مشکوک را آماده می‌کنند. در مرحله بعد هر مجله در جلسه سردبیران کلریویت و با حضور متخصص موضوعی مطرح شده و با توجه به شواهد موجود، تصمیم‌گیری نهایی به عمل می­‌آید. هر سال، فهرستی از مجله‌های تعلیق شده توسط مؤسسه کلریویت منتشر می‌شود. به‌طورکلی مجله‌ها به دو دلیل اصلی تعلیق می­‌شوند. دلیل اول خوداستنادی مجله[19] در سطح بسیار بالا است. استناد مقاله‌های منتشر شده یک مجله به مقاله‌های قبلی همان مجله امری کاملاً شایع است و خصوصاً در مجله‌های بسیار با کیفیت که اثرگذارترین پژوهش‌­های یک حوزه را منتشر می­‌کنند، نویسندگان ناچارند تا به میزان بیشتری به مقاله­‌های همان مجله استناد کنند؛ اما مشکل، زمانی ایجاد می­‌گردد که یک مجله به صورت عمدی نویسندگان را ملزم نماید که به تعداد زیادی از مقاله‌های آن مجله استناد دهند تا از این طریق تعداد استنادهای دریافتی و ضریب تأثیر خود را به صورت ساختگی افزایش دهد. در این حالت تعداد کل استنادهای دریافتی مجله در پنجره دو ساله، ضریب تأثیر، رتبه مجله در حوزه موضوعی نمایه شده، تعداد و درصد خوداستنادی مجله و میزان تأثیر خوداستنادی­‌ها بر ضریب تأثیر و رتبه مجله به عنوان شاخص­های مهم در تصمیم‌گیری لحاظ می‌گردد. با توجه به داده‌های هر ساله پایگاه گزارش استنادی نشریات و با توجه به تفاوت‌های موضوعی، حد آستانه‌ای[20] برای خوداستنادی مجله‌ها تعیین و عناوینی که درصد خوداستنادی بالاتری نسبت به حد آستانه داشته باشند، در لیست مجله‌های تعلیق شده قرار می­‌گیرند. عملکرد استنادی یکی از مجله‌های تعلیق شده به دلیل خوداستنادی بالا در تصویر 1 قابل مشاهده است. همان‌طور که در این تصویر قابل مشاهده است،80 درصد از استنادهای دریافتی مجله در پنجره دو ساله محاسبه ضریب تأثیر (1308 استناد از مجموع 1619 استناد) به صورت خوداستنادی مجله بوده است. ضریب تأثیر کلی این مجله معادل 722/10 محاسبه شده، در حالی که ضریب تأثیر بدون در نظر گرفتن خوداستنادی­‌ها تنها معادل 060/2 بوده است. به بیان دیگر، خوداستنادهای زیاد باعث شده که ضریب تأثیر مجله به صورت ساختگی بیش از پنج برابر شود.

 

 

تصویر 1.  نمونه‌ای از تعلیق مجله‌های علمی به دلیل خوداستنادی زیاد

 

دومین دلیل تعلیق مجله‌ها، وجود حجم بالای استنادهای قراردادی میان آن مجله و مجله‌های دیگر است. در این حالت، مقاله­‌های یک مجله به صورت گسترده از سوی مقاله­‌های منتشر شده در مجله دیگر مورد استناد قرار می­‌گیرند که در این حالت هم مجله استنادکننده یا بخشنده[21] و هم مجله استنادشونده یا پذیرنده[22] در لیست مجله‌های تعلیق شده قرار می‌گیرند. استنادهای قراردادی میان دو مجله ممکن است به این دلیل که هر دو متعلق به مؤسسه انتشاراتی واحدی هستند، هیئت تحریریه مشترک در هر دو مجله وجود دارند و یا توافقی میان دو مجله انجام شده است، رخ ­دهد. عملکرد استنادی یکی از مجله‌های تعلیق شده به دلیل استناد قراردادی در تصویر 2 قابل مشاهده است. مجله مذکور در سال 2012 در لیست مجله‌های تعلیق شده قرار گرفته است. همان‌طور که در این تصویر مشخص است، مجموع استنادهای دریافتی مجله استنادشونده در سال‌های 2010 و 2011 (پنجره زمانی محاسبه ضریب تأثیر 2012) معادل 86 استناد بوده که از این میان، 62 استناد (1/72 درصد) از سوی مجله استنادکننده اول دریافت شده است.

 


 

تصویر 2. نمونه‌ای از تعلیق مجله‌های علمی به دلیل استناد قراردادی

  

باید این مسئله را مد نظر داشت که اتفاقات فوق گاهی به صورت غیرعامدانه و به‌دلیل عدم توجه  دست­‌اندرکاران، اعضای هیئت تحریریه و ناشران علمی  به وقوع می‌­پیوندد. اما به نظر می‌رسد این سازوکار با این ‌که گاهی با انتقاداتی هم همراه شده است (مثلاً لزوم توجه به مجله‌هایی که به دلیل حیطه کاملاً تخصصی، ذاتاً مجبور به خوداستنادی هستند (کرل[23]، 2014)، باعث شده مجله‌های علمی توجه مناسبی به اصول اخلاقی نشر داشته و از دست‌کاری شاخص‌­های عملکردی خود خودداری نمایند. بعد از گذشت 9 سال از عملی شدن ایده تعلیق مجله‌ها، بررسی مشخصات مجله‌هایی که طی این مدت تعلیق شده‌اند و این که مدت زمان تعلیق آن­‌ها به چه میزان بوده، می‌تواند حاوی اطلاعات سودمندی باشد. به همین‌ منظور در این پژوهش، ویژگی‌ مجله‌های تعلیق شده در یک بازه زمانی پنج‌ساله (2010-2014) مورد مطالعه قرار می­‌گیرد تا به پرسش‌های زیر پاسخ داده شود:

  1. روند زمانی تعلیق مجله‌ها در بازه زمانی 2010 تا 2014 چگونه بوده است؟
  2. مجله‌های تعلیق شده متعلق به کدام یک از حوزه‌های موضوعی بوده‌­اند؟
  3. توزیع جغرافیایی مجله‌های تعلیق شده بر اساس محل انتشار آن­‌ها چگونه بوده است؟
  4. مجله‌های تعلیق به چه زبان‌هایی منتشر شده‌­اند؟
  5. مجله‌های تعلیق توسط کدام مؤسسات نشر بین‌­المللی منتشر شده‌­اند؟
  6. مجله‌های تعلیق چند سال در حالت تعلیق به سر برده‌­اند؟
  7. مجله‌های تعلیق شده از چه سطح کیفی در حوزه موضوعی خود برخوردار بوده­‌اند؟

 

پیشینه پژوهش

در جستجو برای مقالات مشابه در پایگاه‌های اطلاعاتی، پژوهشی در داخل یا خارج از کشور که مشخصاً به موضوع مورد بررسی در این پژوهش یعنی تعلیق مجله‌ها در گزارش استنادی مجله‌ها پرداخته باشد، یافت نشد. با این وجود، در ادامه تعدادی از پژوهش‌­های مرتبط انجام شده مورد اشاره قرار می­‌گیرند.

کرل (2014) در پژوهشی به بررسی مجله‌های تعلیق شده پرداخته تا درستی سازوکار مؤسسه کلریویت را برای حذف مجله‌هایی که بیش از حد معمول خوداستنادی داشته‌اند، مورد واکاوی قرار دهد. او خوداستنادی بیش از حد را معلول دو علت می‌داند: یکی ماهیت موضوعی مجله‌ها که به سبب تخصصی بودن ناگزیر از خوداستنادی هستند و یکی انجام عملی غیراخلاقی و دست‌کاری استنادها برای افزایش ضریب تأثیر. در پایان، کرل هشدار می‌دهد که این سازوکار کلریویت در حذف مجله‌هایی که بیش از حد معمول خوداستنادی دارند، باعث می‌شود تا به قول معروف خشک و تر با هم سوزانده شود و مجله‌هایی که به سبب موضوع خود یا اتفاقاً بیش از حد به خود استناد کرده‌اند، در این بین متضرر می­‌شوند.

   شاه‌بداغی و همکاران (1395) در پژوهشی، وضعیت مجله‌های علوم پزشکی کشور را بر اساس شاخص‌های گزینش نمایه‌نامه مدلاین[24] مورد بررسی قرار دادند. نتایج این پژوهش نشان داد که 12 عنوان مجله داخلی که در مدلاین نمایه می‌شوند، از لحاظ رعایت بیشتر شاخص‌های ساختاری در وضعیت قابل قبولی قرار دارند، اما از نظر میزان رعایت تنوع بین‌المللی هیئت تحریریه مجله، حمایت انجمن‌های علمی و درج تضاد منافع از سوی نویسندگان وضعیت مطلوبی ندارند. مرادی، جنوی و کاظمی (1396) در پژوهش خود با در نظر گرفتن مقالات سلب‌ امتیاز شده[25] در پایگاه وب آو ساینس به عنوان شاخص سوءرفتار علمی[26]، به مطالعه تطبیقی وضعیت کشورهای جهان پرداخته‌ و گزارش کرده‌اند که بیشترین نوع بد اخلاقی علمی، مربوط به سرقت علمی است. نتایج این پژوهش نشان داد که بیشترین مقالات تعلیق‌شده به کشور چین تعلق دارد و کشورهای ایران، هند و پاکستان بیشترین میزان سوء رفتار علمی را نسبت به کل تولیدات علمی‌شان داشته‌اند. با این‌که در حال حاضر، با این واقعیت روبه‌رو هستیم که سلب امتیاز مقالات به‌عنوان شاخص مهمی برای بررسی سوءرفتارهای پژوهشی در نظر گرفته می‌شود و عده‌ای با این توجیه که فعلاً معیار بهینه‌تری به عنوان شاخصی برای سوءرفتار پژوهشی وجود ندارد، از آن استفاده می‌کنند (هسلمن[27]، گرف[28]، اشمیت[29] و رینهارت[30]، 2017)، به نظر می‌رسد باید هم در پژوهش و هم در کاربرد این معیار در زمینه سوءرفتارهای پژوهشی با احتیاط بیشتری عمل کرد. آبریتیس[31] (2015) در پژوهش خود به بررسی مقاله‌های سلب امتیاز شده به عنوان شاخص سوءرفتارهای پژوهشی در حوزه موضوعی سلامت پرداخت. نتایج نشان داد که در نظر گرفتن مقاله‌های سلب امتیازشده به عنوان شاخص میزان سوءرفتارهای پژوهشی ایرادهایی اساسی دارد: 1- سوءرفتارهای پژوهشی در عرصه‌هایی غیر از انتشار مقالات هم نمود دارند؛ 2- اگر مقاله‌ای حاوی داده‌های نادرست و در نتیجه مصداق سوء رفتار پژوهشی باشد، لزوماً سلب امتیاز نمی‌شود؛ شاید اصلاح شود و شاید اصلاً این فریبکاری تشخیص داده نشود. 3- یادداشت‌های سلب امتیاز و تصحیح که در نشریات منتشر می‌شوند، بیشتر به تصحیح اطلاعات مقاله‌ها مربوط می‌شوند تا اعلام فریبکاری و سوء‌رفتار پژوهشی. با این حال، وی تأکید می‌کند که ما همچنان به معیارهایی نیاز داریم که مشخص کند حجم و گستره سوءرفتارهای پژوهشی در فضای پژوهشی و دانشگاهی چقدر است و وجود آمار دقیق و درست از این پدیده کمک شایان توجهی به برنامه‌ریزی و مقابله با آن خواهد کرد.

   مرور مطالعات پیشین نشان می­‌دهد که علی‌رغم اهمیت زیاد بحث تعلیق مجله­‌های علمی، تاکنون پژوهش‌­های بسیار محدودی در این زمینه در داخل و خارج از کشور انجام شده است. پژوهش حاضر در وهله اول در صدد آشنایی جامعه علمی کشور با مفهوم تعلیق مجله‌ها، ویژگی این قبیل مجله‌ها و دلایل تعلیق آن‌ها می­‌باشد. همچنین یافته­‌های این پژوهش می­‌تواند از سوی دست‌اندرکاران نشریات علمی کشور که در پایگاه‌های بین‌­المللی نمایه می­‌شوند نیز مورد استفاده قرار گیرد تا با آشنایی بیشتر با مفاهیم مربوطه، بتوانند از وقوع اتفاقات مشابه برای  مجله­‌های ایرانی جلوگیری نمایند.

 

روش پژوهش

پژوهش حاضر از نظر هدف، کاربردی و از نظر رویکرد، نوعی مطالعه توصیفی است که با استفاده از شاخص‌های علم­‌سنجی انجام شده است. جامعه پژوهش شامل 225 مجله تعلیق شده از پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا انتهای 2014 میلادی است. تمامی 225 مجله در پژوهش حاضر مورد مطالعه قرار گرفتند و نمونه­‌گیری انجام نشد. علت انتخاب بازه زمانی مذکور به این دلیل است که نتایج ارزیابی سالانه پایگاه گزارش استنادی نشریات با یک و نیم سال تأخیر منتشر می‌­شود. در حالی‌که در ابتدای سال 2018 میلادی هستیم، آخرین نسخه منتشر شده این ارزیابی به سال 2016 تعلق دارد. همچنین آخرین لیست اعلام شده از سوی مؤسسه کلریویت در مورد مجله‌های تعلیق شده مربوط به سال 2015 میلادی است. داده­‌های پژوهش در مرداد و شهریور سال 1396 گردآوری شد. در آن زمان آخرین گزارش استنادی ارائه شده، مربوط به سال 2015 بود که عملکرد مجله‌ها در سال 2014 را در اختیار قرار می­‌داد. به همین دلیل بازه زمانی پنج ‌ساله طی سال­‌های 2010 تا انتهای 2014 در این پژوهش لحاظ گردید. ابتدا لیست مجله­‌های تعلیق شده از طریق بخش مجله‌های تعلیق شده از وب‌سایت مؤسسه کلریویت به آدرس زیر استخراج شد[32]. سپس اطلاعات مربوط به هر مجله با مراجعه به پایگاه­‌های وب آو ساینس و گزارش استنادی نشریات جمع‌آوری و در فایل صفحه گسترده اکسل ذخیره و مورد تحلیل قرار گرفت.

 

 

 

یافته‌ها

پرسش اول. روند زمانی تعلیق مجله‌ها در بازه زمانی 2010 تا 2014 چگونه بوده است؟

مطالعه پراکندگی تعداد مجله‌های تعلیق شده در هر سال نشان می­‌دهد که بیشترین تعداد تعلیق مجله‌ها در سال‌­های 2012 (65 عنوان) و 2011 (50 عنوان) به وقوع پیوسته است. همچنین تعداد 39 عنوان مجله در سال 2014، تعداد 38 عنوان مجله در سال 2013 و تعداد 33 عنوان مجله در سال 2010 در لیست مجله‌های تعلیق شده قرار داشته­‌اند.

 

جدول 1. تعداد مجله‌های تعلیق شده طی سال­های 2010 تا 2014

سال

تعداد مجله‌های تعلیق شده

2010

33

2011

50

2012

65

2013

38

2014

39

 

پرسش دوم. مجله‌های تعلیق ‌شده متعلق به کدام یک از حوزه‌های موضوعی بوده­‌اند؟

بررسی حوزه موضوعی 225 مجله تعلیق شده پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2014 نشان می­‌دهد که 6/78 درصد این مجله­‌ها مربوط به نسخه علوم پایگاه جی .سی. آر.[33] و 4/21 درصد نیز مربوط به نسخه علوم اجتماعی[34] این پایگاه بوده­‌اند. بدیهی است ازآنجا که مجله­‌های نمایه شده در نمایه استنادی هنر و علوم انسانی[35] در پایگاه گزارش استنادی نشریات لحاظ نمی­‌گردند و ضریب تأثیر برای آن­‌ها محاسبه نمی‌­شود، به همین دلیل مجله تعلیق ‌شده‌ای نیز در این زمینه وجود ندارد. مطالعه جزئی‌تر حوزه موضوعی مجله‌ها نشان می­‌دهد که بیشترین تعداد مجله‌های تعلیق شده به ترتیب به دسته­‌های موضوعی مهندسی برق و الکترونیک (11 عنوان)، مدیریت، هوش مصنوعی و سیستم­‌های اطلاعاتی (9 عنوان) و مهندسی مکانیک (8 عنوان) اختصاص داشته است (جدول 2). به طور کلی از 263 حوزه موضوعی در پایگاه‌های مؤسسه کلریویت، 117 حوزه موضوعی (5/44 درصد) طی سال­‌های 2010 تا 2014 دارای حداقل یک مجله تعلیق شده بوده‌­اند. همچنین نام سه مجله حوزه علم اطلاعات و دانش­‌شناسی تحت عنوان مدیریت و فناوری اطلاعات[36](در سال 2014)، امانت بین‌کتابخانه‌ای و فرآهم­‌آوری مدارک[37] (در سال 2014) و مجله کتابخانه حقوق[38] (در سال‌­های 2011، 2012و 2013) در میان مجله‌های تعلیق شده قرار داشته‌­اند. نکته حائز اهمیت این است که هر مجله ممکن است با توجه به پوشش موضوعی و همچنین ماهیت میان­‌رشته­‌ای، در بیش از یک حوزه موضوعی نمایه شود و در این حالت در هر یک از دسته­‌های موضوعی به‌صورت جداگانه لحاظ شده است.

 

جدول 2. حوزه موضوعی مجله‌های تعلیق شده در پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2014

 

پرسش سوم. توزیع جغرافیایی مجله‌های تعلیق شده بر اساس محل انتشار آن­‌ها چگونه بوده است؟

مطالعه محل نشر مجله‌های تعلیق شده نشان می‌دهد که بیشترین تعداد مجله‌ها به ترتیب به ایالات ‌متحده (54)، انگلستان (35)، هلند (14)، برزیل (14) و لهستان (11) تعلق داشته‌­اند. به طور کلی، 32 کشور جهان دارای حداقل یک مجله تعلیق شده بوده­‌اند. یافته­‌های پژوهش نشان می‌­دهد که دو مجله ایرانی نیز در لیست مجله‌های تعلیق شده قرار داشته‌­اند. مجله بین­‌المللی پژوهش‌­های محیطی[39] از انتشارات دانشگاه تهران در سال 2013 و مجله ایرانی سیستم­‌های فازی[40] از انتشارات دانشگاه سیستان و بلوچستان در سال­‌های 2012 و 2013 در لیست مجله‌های تعلیق شده قرار داشته‌­اند (تصاویر 3 و 4). همان‌طور که در تصاویر قابل مشاهده است، در سال­‌هایی که مجله‌ها تعلیق شده‌اند، ضریب تأثیر برای آن­‌ها محاسبه نشده است. اسامی ده کشور دارای بیشترین تعداد مجله‌های تعلیق شده در جدول 3 ارائه شده است.

 

جدول 3. کشور مجله‌های تعلیق شده در پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2014

 

 

 

 

تصویر 3. تعلیق مجله بین‌­المللی پژوهش‌­های محیطی در سال 2013

 

 

تصویر 4. تعلیق مجله ایرانی سیستم­‌های فازی در سال­‌های 2012 و 2013

 

 

 

پرسش چهارم. مجله‌های تعلیق ‌شده به چه زبان‌هایی منتشر شده‌­اند؟

مطالعه زبان مجله‌های تعلیق شده نشان می­‌دهد که حدود 78 درصد از مجله‌های مورد بررسی به زبان انگلیسی منتشر شده‌­اند. از آنجا که زبان انگلیسی زبان اصلی علمی دنیا محسوب می­‌شود، تعداد بالای مجله‌های تعلیق شده انگلیسی قابل پیش‌بینی است. مجله‌های چندزبانه (15)، پرتغالی (9)‌ و آلمانی (6) با اختلاف زیاد از زبان انگلیسی در رتبه‌های بعدی قرار دارند. اطلاعات مربوط به زبان مجله‌های تعلیق شده در جدول 4 قابل مشاهده است.

 

جدول 4. زبان مجله‌های تعلیق شده در پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2014

 

پرسش پنجم. مجله‌های تعلیق شده توسط کدام مؤسسات نشر بین‌­المللی منتشر شده‌­اند؟

اسامی ده مؤسسه انتشاراتی بین‌­المللی دارای بیشترین تعداد مجله‌های تعلیق شده طی سال­‌های 2010 تا 2014 در جدول 5 ارائه شده است. نتایج نشان می‌­دهد که سیج[41] (17 عنوان)،  وایلی-بلک­ول[42] (16 عنوان)، تیلور اند فرنسیس[43] (13 عنوان)، اشپرینگر[44] (12 عنوان) و راتلج[45] (12 عنوان) بیشترین سهم را از انتشار مجله‌های تعلیق‌شده داشته‌­اند. ناشران مذکور همگی در زمره معتبرترین مؤسسات انتشاراتی جهانی محسوب می‌­شوند و بیشترین تعداد مجله‌های بین­‌المللی را منتشر می‌کنند.

 

 

 

 

جدول 5.  ناشر مجله‌های تعلیق شده در پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2014

 

 

پرسش ششم. مجله‌های تعلیق ‌شده چند سال در حالت تعلیق به سر برده­‌اند؟

بررسی عملکرد مجله‌های تعلیق شده در پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2015 نشان می­‌دهد که 3/41 درصد از این مجله‌ها به مدت یک سال و 2/38 درصد نیز به مدت دو سال در حالت تعلیق قرار داشته‌­اند. همچنین 7/14 درصد از نشریات به مدت سه سال، 6/3 درصد به مدت چهار سال و 2/2 درصد نیز به مدت پنج سال تعلیق شده‌­اند (جدول 6). مسلماً اگر مجله­‌ای برای چند سال متوالی در لیست مجله‌های تعلیق شده قرار داشته باشد و نتواند استانداردهای مورد نظر مؤسسه کلریویت را به دست آورد، از پایگاه­‌های این مؤسسه کنار گذاشته می‌­شود.

 

جدول 6.  مدت تعلیق مجله‌های تعلیق شده در پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2014

 

پرسش هفتم. مجله‌های تعلیق شده از چه سطح کیفی در حوزه موضوعی خود برخوردار بوده‌­اند؟

جهت پاسخگویی به سؤال فوق، عملکرد مجله‌ها یک سال قبل از تعلیق شدن در پایگاه گزارش استنادی نشریات مورد مطالعه قرار گرفت. از آنجا که مجله‌های تعلیق شده به حوزه­‌های موضوعی مختلف تعلق دارند و امکان مقایسه ضریب تأثیر آن­‌ها وجود ندارد، جهت پاسخگویی به این سؤال از شاخص چارک ضریب تأثیر[51] استفاده شد. در خصوص مجله‌هایی که در بیش از یک حوزه موضوعی نمایه شده‌­ا‌ند، شاخص­ چارک ضریب تأثیر برای هر حوزه موضوعی به‌صورت جداگانه محسوب شد. نتایج پژوهش نشان می­‌دهد که 4/32 درصد مجله‌های تعلیق شده، یک سال قبل از زمان تعلیق در چارک اول (25 درصد برتر مجله‌های رشته بر اساس ضریب تأثیر)، 8/32 درصد مجله‌ها در چارک دوم، 7/26 درصد مجله‌ها در چارک سوم و تنها 1/8 درصد مجله‌ها در چارک چهارم حوزه موضوعی خود قرار داشته‌­اند. در میان مجله‌های تعلیق شده نام مجله آموزش علوم کالبدشناسی[52] از انتشارات وایلی دیده می­‌شود که در سال قبل از تعلیق، با درصد ضریب تأثیر[53] معادل 485/98، برترین مجله حوزه موضوعی خود بوده است. مجله‌های مدل‌­سازی رایانه­ای در مهندسی و علوم[54] با درصد ضریب تأثیر معادل342/99، سیستم‌­های اطلاعات تجاری[55] با درصد ضریب تأثیر معادل 621/99، انفورماتیک صنعتی آیتریپل­ای با درصد ضریب تأثیر معادل 153/99 و حمل و نقل[56] با درصد ضریب تأثیر معادل 077/98، همگی در سال قبل از تعلیق، بهترین مجله حوزه موضوعی خود بوده و بالاترین ضریب تأثیر را داشته‌­ا‌ند اما در سال بعد در لیست مجله‌های تعلیق شده قرار گرفته­‌اند.

 

بحث و نتیجه­‌گیری

پژوهش حاضر یکی از اولین مطالعات انجام شده در زمینه مجله‌های تعلیق شده محسوب می‌­شود. در این راستا، تعداد 225 مجله تعلیق شده از پایگاه گزارش استنادی نشریات طی سال­‌های 2010 تا 2014 مورد مطالعه قرار گرفتند. نتایج پژوهش نشان داد که 117حوزه موضوعی پایگاه گزارش استنادی نشریات، حداقل دارای یک نشریه تعلیق شده در بازه زمانی مورد مطالعه بوده‌­اند. بیشترین عنوان مجله‌ها به حوزه‌­های موضوعی مهندسی برق و الکترونیک، مدیریت، هوش مصنوعی و سیستم­‌های اطلاعاتی و مهندسی مکانیک اختصاص داشته است. نتایج پژوهش نشان داد که بیشترین تعداد مجله‌های تعلیق شده مربوطه به علوم پایه و سپس در علوم اجتماعی بوده­‌اند، این در حالی است که بیشترین بداخلاقی‌های علمی نیز در علوم پایه گزارش شده است (مرادی، جنوی و کاظمی، 1396). از یافته‌­های قابل توجه پژوهش، حضور اندک مجله‌های حوزه علوم پزشکی در میان مجله‌های تعلیق شده بود. دلیل این مسئله ممکن است توجه بیشتر مجله‌های این حوزه به مبانی اخلاق پژوهش و نشر باشد. مطالعه محل نشر مجله‌ها نشان داد که 32 کشور جهان دارای حداقل یک عنوان در میان مجله‌های تعلیق شده بوده‌اند و بیشترین تعداد عناوین به ایالات‌متحده، انگلستان و هلند تعلق داشته است. سه کشور دارای بیشترین تعداد مجله‌های تعلیق شده، به همراه آلمان بیشترین تعداد مجله­‌های علمی بین­‌المللی را نیز منتشر می­‌کنند و محل فعالیت بزرگ­ترین مؤسسات انتشاراتی دنیا محسوب می­‌شوند. مرور کشورهای مذکور نشان می­‌دهد که مجله‌هایی وابسته به کشورهای پیشرو علمی مانند آلمان، فرانسه، چین و ژاپن نیز در لیست مجله‌های تعلیق شده قرار داشته‌­اند. اگرچه کشور چین در زمینه تعداد مقالات سلب امتیاز شده در رتبه اول جهان قرار داشته (مرادی، جنوی و کاظمی، 1396)، اما در خصوص تعداد مجله‌های تعلیق شده در رتبه هشتم قرار داشته و تنها هشت مجله این کشور از سابقه تعلیق برخوردار بوده‌اند. حضور دو مجله ایرانی در لیست مجله‌های تعلیق شده، از یافته‌های قابل تأمل این پژوهش است و لزوم توجه بسیار زیاد اعضای هیئت تحریریه و دانشگاه‌های کشور در زمینه رصد دائمی وضعیت مجله‌های علمی را نشان می­‌دهد.

این یافته که بیشترین تعداد مجله‌های تعلیق شده به زبان انگلیسی منتشر می‌­شوند، با توجه به این مسئله که انگلیسی زبان علم جهانی محسوب شده و تمرکز اصلی مؤسسه کلریویت نیز بر نشریات انگلیسی زبان معطوف است (تستا[57]، 2018)، قابل تفسیر است. مطالعه ناشران مجله‌های تعلیق شده نشان می‌دهد که مجموع بیش از 31 درصد از این مجله‌ها توسط پنج مؤسسات انتشاراتی بزرگ و معتبر بین‌المللی شامل سیج، وایلی-بلک­ول، تیلور اند فرنسیس، اشپرینگر و راتلج منتشر می‌شوند. البته باید به این نکته نیز توجه داشت که حدود نیمی از کل مجله‌های علمی جهان نیز از سوی این مؤسسات انتشاراتی چاپ می­‌شوند. نتایج پژوهش انجام گرفته از سوی یونسکو نشان می‌‌‌دهد که 42 درصد مقاله­‌های علمی جهان تنها توسط سه مؤسسه انتشاراتی شامل الزویر، اشپرینگر و وایلی-بلک­ول منتشر می‌شوند (ارتباطات علمی، 2015). نتایج پژوهش نشان داد که حدود 80 درصد مجله‌های تعلیق شده، پس از دو سال توانسته‌­اند مجدداً معیارهای مؤسسه کلریویت را به دست آورده و از حالت تعلیق خارج شوند. از این رو می‌­توان بیان نمود که بیشتر مجله‌های تعلیق شده برای ماندگاری در پایگاه گزارش استنادی نشریات، مجبور به اصلاح روند انتشار و توجه بیشتر به اصول اخلاقی نشر شده­‌اند. همچنین بررسی کیفیت مجله‌های تعلیق شده نشان داد که پنج عنوان از مجله‌های مذکور، در سال قبل از تعلیق، دارای بالاترین ضریب تأثیر در رشته تخصصی خود بوده‌­اند. به طور کلی، 3/65 درصد مجله‌های تعلیق شده در سال قبل از تعلیق، در میان 50 درصد مجله‌های برتر رشته خود (چارک اول و دوم) قرار داشته­‌اند. این مسئله را به دو صورت می­توان تفسیر نمود. از یک سو، ممکن است جایگاه مناسب مجله‌ها به دلیل عملکرد استنادی نادرست آن­‌ها بوده که این مسئله از سوی مؤسسه کلریویت شناسایی و منجر به تعلیق مجله مربوط شده است. از سوی دیگر، ممکن است مجله‌های مذکور از روال منطقی و کیفیت بالایی برخوردار بوده‌­اند، اما عدم توجه به عملکرد استنادی آن­‌ها در سال­‌های منجر به تعلیق، باعث تعلیق آن­‌ها شده است. بنابراین، حتی مجله‌های علمی معتبر و با کیفیت نیز باید توجه دائمی به کیفیت و عملکرد استنادی مقاله­‌های منتشر شده خود داشته و از اصول اخلاق نشر تبعیت نمایند.

پژوهش حاضر با محدودیت‌­هایی نیز همراه بوده است. در این پژوهش تنها مجله‌های تعلیق شده در پایگاه گزارش استنادی نشریات طی سال‌های 2010 تا 2014 میلادی مورد مطالعه قرار گرفته‌­اند. یکی از مهم­ترین انگیزه‌­های انجام این پژوهش، آشنایی هر چه بیشتر جامعه علمی کشور و خصوصاً سردبیران و اعضای هیئت تحریریه نشریات علمی با مفهوم تعلیق مجله‌ها، شرایط وقوع آن و ویژگی مجله‌های تعلیق شده بود. با توجه به این‌که دو نشریه علمی کشور از سابقه حضور در لیست مجله‌های تعلیق شده برخوردار بوده‌­اند، آگاهی بخشی به پژوهشگران و دست‌اندرکاران نشریات علمی در کنار رصد منظم عملکرد استنادی مجله‌ها می‌­تواند از وقوع رخدادهای مشابه در آینده جلوگیری نماید. پژوهش‌های آینده می‌توانند دلایل تعلیق و همچنین اثر تعلیق بر عملکرد استنادی، شاخص­‌های کاربرد و آلتمتریک مجله‌های علمی را بررسی نمایند.



[1]. Tiew & Kaur

[2]. Georgas & Cullars

[3]. Citation Indices

[4]. Web of Science (WoS)

[5]. Clarivate Analytics

[6]. Institute for Scientific Information (ISI)

[7]. Thomson Reuters

[8]. Scopus

[9]. Elsevier

[10]. Google Scholar

[11]. Islamic World Science Citation Index (ISC)

[12]. Peer-review

[13]. Journal Citations Report (JCR)

[14]. Impact Factor (IF)

[15]. Immediacy Index

[16]. Article Influence Score

[17]. Title Suppression

[18]. Suppressed Journals

[19]. Journal Self-citation

[20]. Threshold

[21]. Donor Journal

[22]. Recipient Journal

[23]. Krel

[24]. Medline

[25]. Retracted Articles

[26]. Scientific Misconduct

[27]. Hesselmann

[28]. Graf

[29]. Schmidt

6. Reinhart

[31]. Abritis

[32]. http://ipscience-help.thomsonreuters.com/incitesLiveJCR/JCRGroup/titleSuppressions.html

[33]. JCR- Science Edition

[34]. JCR-Social Science Edition

[35]. Art & Humanities Citation Index

[36]. Information Technology & Management

[37]. Interlending & Docuent Supply

[38]. Law Library Journal

[39]. International Journal of Environmental Research

[40]. Iranian Journal of Fuzzy Systems

[41]. Sage

[42]. Wiley-Blackwell

[43]. Taylor & Francis

[44]. Springer

[45]. Routledge

[46]. Elsevier

[47]. World Scientific Publication

[48]. Inderscience Publishers

[49]. Science Press

[50]. Verlag Hans Huber

[51]. Impact Factor Quartile

[52]. Anatomical Sciences Education

[53]. Impact Factor Percentile

[54]. Computer Modeling in Engineering & Sciences

[55]. Enterprise Information Systems

[56]. Transport

[57]. Testa

پاکدامن، نشانه؛ علوی، فهیمه (1389). تحلیل استنادی مقالات فصلنامه تحقیق در علوم و مهندسی نفت (سال­های 80 - 86). دانش‌شناسی، 2(8)، 49-60.
تصویری ‌قمصری، فاطمه؛ جهان‌نما، محمدرضا (1385). تحلیل استنادی پایان‌نامه‌های پژوهشگران پژوهشکده مهندسی جهاد کشاورزی. مطالعات ملی کتابداری و سازماندهی اطلاعات، 67(17)، 75-88.
شاهبداغی، اعظم؛ فرهادی، آرزو؛ شکفته، مریم؛ کرمی، منوچهر (1395). وضعیت ساختاری مجلات علوم پزشکی کشور بر اساس شاخص‌های گزینش نمایه‌نامه مدلاین. مدیریت اطلاعات سلامت، 13(3)، 203-208.‎
صالحی، کیوان؛ رحیمی، حسین (1385). تعیین فرآیند ارزیابی مجلات در مؤسسه اطلاعات علمی (آی اس آی). فصلنامه کتاب، 17(2)، 141-160.
مرادی، شیما؛ جنوی، المیرا؛ کاظمی، حمید (1396). مطالعه تطبیقی بی‌اخلاقی علمی در جهان. فصلنامه مطالعات ملی کتابداری و سازماندهی اطلاعات. زودآیند. بازیابی از http://nastinfo.nlai.ir/article_2213.html (دسترسی در 5 بهمن 1396)
References
Abritis A. (2015). An assessment of retractions as a measure of scientific misconduct and impact on public health risks. Graduate Theses and Dissertations, University of South Florida.
Georgas, H., & Cullars, J. (2005). A citation study of the characteristics of the linguistics literature. College & Research Libraries66(6), 496–516.
Hesselmann, F., Graf, V., Schmidt, M., & Reinhart, M. (2017). The visibility of scientific misconducts: a review of the literature on retracted journal articles. Current Sociology Review, 65(6), 814-845.
Krel, F. (2014). Losing the number of the game: abundant self-citation put journals at risk for a life without an impact factor. European Science Editing, 40(2), 36-38.
Moradi, Sh., Jenavi, E., & Kazemi, H. (2017). Comparative study of scientific misconducts in the world. Journal of National Studies on Librarianship and Information Organization. Retrieved from http://nastinfo.nlai.ir/article_2213.html, 25 Jan. 2017. (in Persian)
Pakdaman, N., & Alavi, F. (2010). Citation analysis of articles of Research in Petroleum Science and Engineering Quarterly (2001-2007). Knowledgology, 2(8), 49-60. (in Persian)
Salehi, K., & Rahimi, H. (2006). Determining evaluation process of journals in ISI. Book Quarterly, 17(2), 141-160. (in Persian)
Scholarly Communications (2015). Retrieved from http://unesdoc.unesco.org/images/0023/002319/ 231938e.pdf (Accessed 30 January 2018)
Shahbodaghi, A., Farhadi, A., Shekofteh, M., & Karami, M. (2016). Structural situation of Iranian medical journals based on Medline selection measures. Health Information Management, 13(3), 203-208. (in Persian)
Tasviri Ghamsari, F., & Jahannama, M. (2006). Citation analysis of thesis of researchers of Agricultural Engineering Research Center. Journal of National Studies on Librarianship and Information Organization. 67(17), 75-88. (in Persian)
Testa, J. (2018). Journal Selection Process. Web of Science, Clarivate. Retrieved from: https://clarivate .com/essays/journal-selection-process/ (Accessed 30 January 2018)
Tiew, W. S., & Kaur, K. (2000). Citation analysis of Journal of Natural Rubber Research, 1988-1997. Malaysian Journal of Library & Information Science, 5(2), 45-56.