رتبه بندی کیفی موتورهای کاوش فارسی و غیر فارسی در بازیابی اطلاعات حوزه اسلام

نوع مقاله : مقاله پژوهشی

نویسندگان

1 کارشناسی ارشد علم اطلاعات و دانش شناسی- دانشگاه بین المللی امام رضا (ع)، مشهد، ایران.

2 استادیار، گروه علم اطلاعات و دانش شناسی، دانشکده علوم تربیتی و روانشناسی، دانشگاه فردوسی مشهد، مشهد، ایران.

3 استادیار، گروه علم اطلاعات و دانش شناسی، دانشکده علوم تربیتی و روانشناسی، دانشگاه امام رضا (ع)، مشهد، ایران.

چکیده

هدف: هدف پژوهش حاضر تعیین رتبۀ کیفیِ محتوای صفحات وب بازیابی‌شده از موتورهای کاوش فارسی و غیرفارسی در حوزه اسلام است.
روششناسی: این پژوهش از نظر هدف کاربردی است و به روش پیمایشی‌ _ توصیفی انجام شده است. ابزار گردآوری داده‌ها، سیاهۀ ارزیابی محقق‌ساخته با چهار معیار و متشکل از گویه‌های عمومی و تخصصی است. روایی ابزار با نظر متخصصان و پایایی آن نیز با استفاده از ضریب آلفای کرونباخ تأیید شد. نمونۀ آماری این پژوهش دارای سه بخش است: موتورهای کاوش «پارسی‌جو»، «یوز»، «گوگل» و «یاهو»؛ پنج کلیدواژه انتخاب‌شده در حوزه اسلام و نیز ده صفحۀ نخست وب بازیابی شده از جستجوی این کلیدواژه‌ها.
یافتهها: تنها در معیار پیوندها بین چهار موتور کاوش مورد بررسی تفاوت معنادار وجود دارد. همچنین بین چهار موتور کاوش از نظر هریک از گویه‌های عمومی و تخصصی تفاوت معناداری وجود ندارد و از گویه‌های تخصصی تنها در هشت گویه از دو معیار «پیوندها» و «سوگیری» تفاوت معناداری وجود داشت. با توجه به میانگین رتبه‌ها، اولویت موتورهای کاوش به‌ این ترتیب است: گوگل، یوز، پارسی‌جو و یاهو. یافتۀ دیگر پژوهش نشان داد بین گویه‌های عمومی و تخصصی در هر یک از موتورهای کاوش از نظر کیفیت محتوای صفحات وب بازیابی‌شده تفاوت معناداری وجود دارد. همچنین از نظر کیفیت محتوای صفحات وب بازیابی‌شده، بین چهار موتور کاوش، تفاوت معناداری وجود ندارد.
نتیجهگیری: به‌منظور رسیدن به موتور کاوشی ایده‌آل در زبان فارسی با تأکید بر هویّت ایرانی _ اسلامی، سرمایه‌گذاری دولتی و همکاری نهاد‌ها و سازمان‌های علاقه‌مند و فعّال در این زمینه ضروری است.

کلیدواژه‌ها


عنوان مقاله [English]

Qualitative ranking of Persian and non-Persian search engines in information retrieval of Islamic subjects

نویسندگان [English]

  • Naeimeh Morvarid 1
  • Hassan Behzadi 2
  • Iraj Radad 3
1 MA, Department of Knowledge and Information Science, Faculty of Education and Psychology, Imam Reza International University, Mashhad, Iran.
2 Assistant Prof., Department of Knowledge and Information Science, Faculty of Education and Psychology, Ferdowsi University Of Mashhad, Mashhad, Iran.
3 Assistant Prof., Department of Knowledge and Information Science, Faculty of Education and Psychology, Imam Reza International University, Mashhad, Iran.
چکیده [English]

Purpose: The purpose of this study was to determine the quality of the content of web pages in the Islamic domain retrieved by Persian and non Persian search engines.
Methodology:This was an applied research carried out through descriptive survey. A self-developed checklist was used to gather the needed data. The sample population of this research consisted of three categories: 1. Parsijoo, Yooz, Google and Yahoo search engines; 2. five keywords searched in these search engines; 3. the first ten hits retrieved by the search engines. 14 experts in Islamic fields were hired to evaluate the content quality of retrieved web pages.
Findings: Results showed that there was no significant difference between search engines regarding the four criteria except for the links in which Google was ranked higher than others. Also, there was no significant difference between the four search engines for each of the general and specialized statements. Among the specialized statements, there was a significant difference only in eight statements of two criteria of “links” and “bios”. According to the mean values of the ranks, the priority of search engines was as follows: Google, Yooz, Parsijoo and Yahoo. Another finding of the study showed that there was a significant difference between the general and specialized statements in each search engine regarding the content quality of retrieved web pages. Also, there was no significant difference between search engines to the extent of the content quality of web pages.
Conclusion: In order to develop the ideal search engine in Persian with an emphasis on Iranian- Islamic identity, the government investments as well as cooperation among interested organizations are essential.

کلیدواژه‌ها [English]

  • Qualitive ranking
  • Persian search engines
  • Non-persian search engines
  • Islam
  • Websites

مقدمه وبیان مسئله

وب جهان‌گستر به‌عنوان فضایی منحصربه‌فرد، یکی از کانال‌های اصلیِ اطلاعات و ارتباطات شناخته می‌شود (چن و مک رِدی[1]، 2010). با وجود حجم زیاد اطلاعات در فضای وب، کاربران برای دسترسی به اطلاعات مورد نیاز خود نیازمند ابزاری هستند که این حجم عظیم اطلاعات را پایش کند و موارد مورد نظر آنها را به‌صورت دسته‌بندی‌شده و با بالاترین درجه ارتباط، در اختیار قرار دهد. از همین رو، ابزارهای کاوش پا به عرصه وب گذاشته‌اند و روز‌به‌روز بر تنوع، گستردگی و کاربری آنها افزوده می‌شود (شکیبا و ظریف‌زاده، 1394). بیشتر افراد برای کشف و دستیابی به اطلاعات، از یک موتور جستجو مانند گوگل[2]، یاهو[3]، بینگ[4] و نظایر آنها استفاده می‌کنند؛ به گونه‌ای که تعداد کاربرانی که از موتورهای کاوش اینترنتی استفاده می‌کنند، سالانه رو به افزایش است و تقریباً 5/6 میلیارد جستجو به صورت روزانه در سراسر جهان در حال انجام است (آلن[5]، 2017).

امروزه با رشد روزافزون  فناوری‌های اطلاعاتی و ارتباطی و اهمیتِ در دسترس داشتن اطلاعات در کمترین زمان ممکن، این اندیشه عمومیت یافته است که با در اختیار داشتن یک رایانه، امکان اتصال به اینترنت و زمان کافی، می‌توان معتبرترین و صحیح‌ترین اطلاعات را (در هر زمینۀ‌ موضوعی) از اینترنت بازیابی کرد. این تصور از آنجا نشأت می‌گیرد که با ورود کلیدواژۀ مورد نظر در قسمت جستجوی موتورهای کاوش اینترنت و فشار یک دکمه، می‌توان به حجم عظیمی از اطلاعات دست یافت. قابلیت دسترس‌پذیری، سرعت بالا و تعداد بی‌شمار مدارک بازیابی‌شده در این روش، این وسوسه را ایجاد خواهد کرد که دیگر روش‌های سنّتی و کتابخانه‌ای در بازیابی اطلاعات به فراموشی سپرده خواهد شد و به اینترنت به‌عنوان معتبرترین منبع، اتکا و اکتفا شود. عدۀ زیادی اینترنت را یک کتابخانۀ مجازی یا رقومی (دیجیتالی) تصور می‌کنند، در صورتی که اینترنت یکی از رسالت‌های اصلیِ کتابخانه _ گزینش معتبرترین اطلاعات _  را زیر پا گذاشته است. در دنیای اینترنت هر کسی می‌‌تواند یک متخصص و پژوهشگر شمرده شود و به انتشار اندیشه‌ها و نوشته‌های خود بدون تأیید از سوی سازمان یا مؤسسه‌ای معتبر بپردازد (پشوتنی‌زاده و منصوری، 1387)؛ مسئله‌ای که اهمیت ارزیابی نظام‌های بازیابی اطلاعات را دوچندان نموده است.

امروزه ارزیابی نظام‌های بازیابی اطلاعات بخش ضروریِ تلاش‌های پژوهشگران علم اطلاعات شده‌است تا با استفاده از آن بتوانند میزان موفقیت و اثربخشی یک نظام را مشخص کنند (حریری، باب‌الحوائجی، فرزندی‌پور و نادی راوندی، 1392). در این بین، استفادۀ گسترده از موتورهای کاوش سبب ‌علاقه‌مندی پژوهشگران به بررسی اثربخشی موتورهای کاوش شده است (مانند: لواندووسکی[6]، 2015). این موضوع سبب شده رفتار جستجوی کاربران را در موتورهای کاوش خاص درک کنند (مانند: لوپاتووسکا، فنتون و کمپوت[7]، 2012)؛ زیرا چنین پژوهش‌هایی، گواه مناسبی در بهبود عملکرد این ابزارها و کیفیت نتایجی است که آنها ارائه می‌دهند (بورامول[8]، خلادی[9] و دوان[10]، 2011).

در سال‌های اخیر، ارزیابی موتورهای کاوش بومی نیز مورد توجه پژوهشگران مختلف قرار گرفته است، زیرا جمعیت غیر انگلیسی‌زبان که از اینترنت برای جستجوی اطلاعات خود استفاده می‌کنند، به‌سرعت گسترش یافته است (چانگ[11]، 2006). در حال حاضر 5/56% صفحات وب به زبان انگلیسی است. لیکن مقادیر مختلفی از اطلاعاتِ در دسترس به زبان‌های دیگر هستند، به‌گونه‌ای که تعداد کاربران اینترنتی در سال 2016 شامل 3/26 %  انگلیسی‌زبان و سایر کاربران (حدود 74%) غیرانگلیسی‌زبان هستند (رُزسا، کوملُدی و چو[12]، 2015). بیش از 115 میلیون‌ نفر در دنیا، فارسی‌زبان هستند که از آن میان، حدود 5/46 میلیون نفر را کاربران اینترنت ایران تشکیل می‌دهد. با توجه به اینکه اغلب کاربران فارسی‌زبان به‌منظور رفع نیاز اطلاعاتی خود به موتورهای کاوشی چون «گوگل»، «یاهو» و ... مراجعه می‌کنند و  به‌دلیل تمرکزنداشتن این‌گونه موتورهای کاوش بر زبان، فرهنگ، جغرافیا، مذهب و ... نتایج مورد انتظار را نمی‌یابند، یکی از راه‌حل‌های رفع این مشکل، توسعۀ موتور کاوش بومی است، زیرا به‌دلیل درک بهتر نیاز اطلاعاتی کاربران بومی، ارائه خدمات متناسب با بوم، فرهنگ و خط و زبان فارسی و درک بهتر زبان بومی کاربران، اهمیت ویژه‌ای دارد (ویکی طرح جویشگر، 10 آبان 1395). همگام با این مسئله، ویژگی‌های خاصّ زبان فارسی در گویش و همچنین شیوه نگارش (رسم الخط) ، آن را از بسیاری زبان‌های رایج امروزی دنیا متمایز می‌سازد. این تمایز، لزوم وجود ابزارهای کاوشی را برای ایران مطرح می‌کند که علاوه بر دارا بودن واسط جستجوی فارسی، از امکانات و قابلیت‌های یک ابزار کاوش خوب نیز برخوردار باشد.

موضوع دیگری که علاوه بر خط و زبان فارسی باید به آن توجه کرد، توجه موتورهای کاوش ملی به مذهب، فرهنگ و ملیت هر کشور است. موتورهای کاوش ملی با سعی در حفظ و صیانت و پرداختن بیشتر به مسائل ذکرشده ایجاد می‌شوند. اسلام‌‌هراسی و القای ترس و وحشت از اسلام، از جمله مسائلی که در چند دهۀ اخیر مورد توجه رسانه‌های جهانی و به‌صورت خاص، رسانه‌های غربی قرار گرفته است (درخشه، حسینی فائق، 1389). این موضوع در حوزۀ اطلاع‌رسانی و اینترنت نیز قابل مشاهده‌است. بنابراین، انتظار می‌رود موتورهای کاوش فارسی در این زمینه بیشتر کار کنند و اطلاعات مرتبط‌تری را ارائه کنند و در این حوزۀ مهم رتبۀ بالاتری داشته باشند.

با توجه به این مطالب و اینکه موتورهای کاوش فارسی نسبت به سایر موتورهای کاوش متداول دنیا مانند گوگل و یاهو، در ابتدای راه پیشرفت و توسعه خود قرار دارند و نیز اهمیت به‌کارگیری و ارزیابی این موتورهای کاوش، بررسی وضعیت و شناسایی توانایی‌ها و قابلیت‌ها و نقاط ضعف و محدودیت‌های آنها، طراحان موتورها  را در طراحی و کاربران را در انتخاب ابزار کاوشی مناسب، یاری می‌رساند. بنابراین، این پژوهش بر آن است تا به‌دلیل رشد منابع فارسی در اینترنت و احساس نیاز به این‌گونه موتورها در اینترنت به رتبه‌بندی کیفیِ موتورهای کاوش فارسی و غیرفارسی در بازیابی اطلاعات فارسی در حوزه اسلام بپردازد و در این راستا مشخص کند که این دو نوع موتور کاوش (فارسی و غیرفارسی) نسبت به یکدیگر در چه درجه‌ای از کیفیت قرار دارند و کدام‌یک عملکرد بهتری را دارا هستند. در همین راستا، مسئله اساسیِ پژوهش حاضر، رتبه‌بندی کیفیِ موتورهای کاوش فارسی و غیرفارسی در معیارهای چهارگانه (پوشش و دامنه، صلاحیت و اعتبار، پیوندها و سوگیری) در حوزه اسلام است.

پرسش‌های پژوهش

1_ رتبه موتورهای کاوش مورد بررسی در معیارهای چهارگانه به چه صورت است؟

2_ رتبه موتورهای کاوش مورد بررسی در گویه‌های عمومی به چه صورت است؟

3_ رتبه موتورهای کاوش مورد بررسی در گویه‌های تخصصی به چه صورت است؟

فرضیههای پژوهش

1_ بین رتبه گویه‌های عمومی با تخصصی در هر یک از  موتورهای کاوش مورد بررسی اختلاف معناداری وجود ندارد.

2_ بین کیفیت محتوای صفحات وب بازیابی‌شده از موتورهای کاوش فارسی و غیرفارسی در حوزه اسلام، اختلاف معناداری وجود ندارد.

پیشینۀ پژوهش

«شافی»[13] و «رادر»[14] (2005) در پژوهشی متفاوت میزان جامعیت و مانعیت پنج موتور کاوش را در بازیابی اطلاعات علمی در زمینه بیوتکنولوژی بررسی کردند. یافته‌های پژوهش آنان نشان داد «سایروس»[15] در بازیابی مدارک علمی بهترین عملکرد را دارد[16] و به‌دلیل بازکاوی استنادهای مجلۀ خود همراه با منابع وب، توانست بالاترین میزان جامعیت و مانعیت را کسب کند. پس از آن گوگل در رتبه بعدی قرار گرفت. گوگل همچنین بهترین جانشین برای بازیابی مدارک علمی وب _ پایه است.

«دمیرسی و همکاران»[17] (2007) با هدف بررسی عملکرد موتورهای کاوش در پیداکردن اسناد و مدارک ترکی، پژوهشی را بر روی پنج موتور محبوب گوگل، یاهو، ام.اس.ان، آل د وب و اسک انجام دادند. آنها فهرستی از عبارت‌های جستجو به زبان ترکی تعیین کردند، سپس بیست نتیجۀ بازیابی‌شده از جستجوی هر عبارت در هر موتور کاوش، از لحاظ مرتبط یا نامرتبط‌بودن بررسی و جامعیت و مانعیت موتورهای کاوش محاسبه شد. یافته‌ها نشان داد بهترین موتور کاوش در پیداکردن مدارک ترکی، گوگل است و موتورهای کاوش محلی عمکرد پایین‌تری در بازیابی اطلاعات مدارک ترکی دارند و نیازمند بهبود بیشتری نسبت به موتورهای کاوش بین‌المللی هستند.

در پژوهشی دیگر عملکرد موتورهای کاوش فارسی ارزیابی شده است. «عرفان‌منش و دیده‌گاه» (2010) در پژوهش خود به‌دنبال آزمایش‌کردن عملکرد شانزده موتور کاوش فارسی بر اساس شش معیار انتخاب شده از بانک داده سایت الکسا بودند و نشان دادند که عملکرد این موتورهای کاوش فارسی در وب، با استفاده از تحلیل متناظر و روش وب‌سنجی، ضعیف است. همچنین یافته‌های این پژوهش نشان داد موتور کاوش «قطره» در بیشترین ویژگی‌ها از قبیل رتبه ترافیک، مدت زمان صرف شده در سایت و میانگین تعداد بازدید از صفحه توسط کاربر، بالاترین رتبه را داشته و موتور کاوش «کاوشگر» بیشترین تعداد بازدیدکنندگان خارجی و «بگردیم» هیچ کاربر خارجی نداشته است.

 «بار _ ایلان»[18] و «لیون»[19] (2011) در پژوهش خود با عنوان «روشی برای ارزیابی نتایج موتور جستجو» با رویکرد و ساختاری متفاوت به ایجاد روش‌شناسی برای ارزیابی نتایج جستجوی بازیابی‌شده از منابع مختلف پرداختند. در این پژوهش از یک روش دومرحله‌ای برای مقایسه و ارزیابی نتایج جستجوی کشوری خاص از گوگل و لیوسرچ[20] (بینگ) توسط کاربران استفاده شده است. کاربران اروپایی هستند و نتایج جستجو از شش منبع گرفته شده است. این کاربران نتایج نُه پرسشِ از قبل انتخاب شده را ارزیابی کردند و رتبه‌بندی ارجح خود و بهترین رتبه‌بندی از این شش منبع را برگزیدند. یافته‌ها نشان داد گروهی از کاربران در این پژوهش محیط رابط گوگل محلی خود را ترجیح می‌دهند، و گوگل در سفارشی‌سازی نتایج جستجو در کشوری خاص موفق بوده و لیو سرچ در این جنبه از گوگل موفقیت کمتری داشت.

«لوپز»[21] و «ریبیرو»[22] (2011) در پژوهشی با عنوان «ارزیابی مقایسه‌ای موتورهای جستجو وب در بازیابی اطلاعات حوزه سلامت» موتورهای کاوش عمومی ام اس ان[23]، گوگل، یاهو و ساپو[24] و تخصصی پزشکی مدلاین پلاس، وب ام دی[25] و ساپوساود[26] را در بازیابی اطلاعات بالینی، رشته‌های پزشکی و شدت بیماری را از نظر میزان دقت از دیدگاه کاربر بررسی کردند. یافته‌ها نشان داد موتورهای جستجوی عمومی وب از نظر دقت، از موتورهای تخصصی پزشکی و حوزۀ سلامت بهتر هستند و گوگل عمدتاً در ده نتیجۀ اول بهترین عملکرد را دارد.

«وانگ»[27]، «وانگ، وانگ، لی»[28]، «لیانگ»[29] و «خو»[30] (2012) در پژوهشی که بر روی موتورهای کاوش عمومی گوگل، یاهو، اسک[31] و ام.اس.ان انجام دادند، بازیابی اطلاعات مربوط به سرطان سینه را مقایسه و ارزیابی کردند. بدین منظور، در هر موتور کاوش 200 نتیجه اول انتخاب شد، سپس هر رکورد ارزیابی و رکوردها بر اساس مفیدبودن، بین صفر تا ده رتبه‌بندی شدند. نتایج این پژوهش نشان داد گوگل در بازیابی اطلاعات رتبۀ اول را کسب کرده است و موتورهای ام.اس.ان، اسک و یاهو به‌ترتیب در رتبه‌های بعدی قرار گرفتند.

«سورام»[32]، «نورمن‌اندرسن»[33] و «کلمنسن»[34] (2013) در پژوهش خود با عنوان «کیفیت وب‌سایت‌های دولتی: ارزیابی ادراک مدیران سایت و توصیف کیفیت وب‌سایت‌ها» با رویکردی خاص به بررسی درک و تجربه و توصیف کیفیت وب‌سایت‌ها و مسائل مربوط به طراحی از دیدگاه مدیران سایت‌ها در نهادهای دولتی پرداختند. بدین منظور هشت مدیر وب‌سایت نروژی، از چهار نوع مختلف وب‌سایت مصاحبه شدند. یافته‌ها‌ نشان داد مسائل مربوط به کاربردپذیری، بُعد مهمی را در کیفیت وب‌سایت‌ها دارد و تحلیل نویسندگان از چگونگی توصیف و شرح کیفیت وب‌سایت‌ها از نظر مدیران سایت، اختلاف قابل توجهی را در بیان این کیفیت نشان می‌دهد و بیشتر در بیان کیفیت وب‌سایت‌ها به مسائلی چون کاربرپسندی، مسائل مربوط به محتوا و استفادۀ مؤثر از وب‌سایت و دسترس‌پذیری اشاره‌کرده‌اند.

«والیا و گوپتا»[35] (2013) در بررسی وب‌سایت‌های کتابخانه‌های ملی آسیا، ویژگی‌های دسترس‌پذیری 23 وب‌سایت‌ کتابخانۀ ملی کشورهای آسیا و اقیانوسیه را با توجه به ویژگی‌های عمومی وب‌سایت، آدرس اینترنتی، تاریخ و زمان، ناوبری (راهبری)، محتوا، جستجو،گرافیک و ... تحلیل و بررسی کردند. یافته‌ها نشان داد وب‌سایت کتابخانه ملی ژاپن در رتبه اول از نظر دسترس‌پذیری قرار دارد. وب‌سایت کتابخانه‌های ملی قزاقستان، چین، اندونزی، ایران، ویتنام، عربستان، قطر، فیلیپین و سوریه، در رتبه دوم تا دهم  و سایر وب‌سایت‌ها در رده‌های بعدی قرار دارند.

«فانگ»[36] و همکاران (2014) در پژوهش خود با عنوان «کیفیت اطلاعات آنلاین درباره بیماری‌های مقاربتی: کدام وب‌سایت‌ها را بیماران باید بخوانند؟» در یک جامعه مورد بررسی متفاوت، کیفیت اطلاعات آنلاین درباره بیماری‌های مقاربتی و تعیین اینکه کدام وب‌سایت برای خواندن بیماران مناسب هستند را بررسی کردند. در این پژوهش، درستی، دسترس‌پذیری، خوانایی، اعتبار و جامعیت 75 وب‌سایت ارزیابی شد. به‌منظور تعیین پنج اصطلاح مربوط به این بیماری که اغلب جستجو می‌شود، از ابزار کلیدواژه‌ای گوگل ادواردز استفاده شد. این اصطلاحات در گوگل جستجو و پانزده وب‌سایت بازیابی‌شدۀ اول در معیارهای پیش‌گفته ارزیابی گردید. یافته‌ها‌ نشان داد کیفیت اطلاعات موجود در وب‌سایت‌های متفاوت، با یکدیگر متناقض و در تضاد هستند و اطلاعات ارائه‌شده در وب‌سایت‌های دولتی برای کاربران عمومی از نظر معیارهای بررسی شده، مناسب‌تر است.

در بین پژوهش‌های فارسی و در یکی از نخستین پژوهش‌ها در حوزۀ ارزیابی ابزارهای کاوش وب با رابط جستجوی فارسی، «کوشا» (1381) در پژوهشی با عنوان «مطالعه مقایسه‌ای بر روی ابزارهای کاوش وب با واسط جستجوی فارسی» شش ابزار کاوشی را که امکان جستجوی اطلاعات از طریق واسط فارسی داشتند، با استفاده از 27 معیار ارزیابی کرد. یافته‌ها نشان داد از نظرگاه امکانات جستجو و بازیابی اطلاعات، موتور کاوش گوگل دارای رتبه اول و راهنمای موضوعی ایران‌هو[37]، رتبه دوم را داراست. در همان سال «کمیجانی» (1381) در پایان‌نامه خود کارایی موتورهای کاوش عمومی و تخصصی وب را در بازیابی اطلاعات کشاورزی  مقایسه کرده است. وی هفت موتور کاوش عمومی و دو موتور کاوش تخصصی کشاورزی را از لحاظ مرتبط‌بودن، اعتبار، روزآمدی و تعداد پیوندهای غیرفعال ارزیابی کرد. یافته‌ها نشان داد در تمامی معیارها، موتورهای کاوش عمومی بهترین نتایج را بازیابی کرده است که در این میان این سهم از آنِ گوگل است.

«شاکری» (1387) با رویکردی متفاوت جامعیت و مانعیت ابزارهای کاوش فارسی اینترنت در بازیابی اطلاعات حوزه کتابداری و اطلاع‌رسانی را بررسی کرده است. بدین منظور، ده ابزار کاوشیِ حایز شرایط تحقیق انتخاب و میزان ربط مدارک بازیابی شده از آنها از طریق مشاهدۀ مستقیم نتایج بررسی شد. یافته‌ها حاکی از آن است که بین جامعیت و مانعیّت ابزارهای کاوش مورد مطالعه، اختلاف معناداری وجود دارد که از نظر نسبت جامعیت و مانعیّت، موتورهای کاوش وب‌گاه، دهیو و گوگل فارسی به ترتیب، رتبه‌های اول تا سوم را به‌دست آوردند و راهنمای موضوعی آفتاب کمترین میزان را داراست. «افنانی» (1387) نیز در پژوهشی به چگونگی توانمندی‌های ابزارهای کاوش اینترنت با واسط جستجوی فارسی از لحاظ: 1. امکانات و قابلیت‌های جستجو و بازیابی اطلاعات 2. نحوه نمایش اطلاعات 3. واسط جستجوی کاربر پرداخته است. این پژوهش از طریق سیاهه وارسی 47 معیاری به بررسی 22 ابزار کاوشی که برای انجام پژوهش انتخاب شدند، پرداخته است. یافته‌های پژوهش نشان داد بیش از 90% ابزارهای کاوش مورد مطالعه از لحاظ وضعیت امکانات جستجو و بازیابی اطلاعات، ضعیف عمل کردند و کمتر از 5% آنها از لحاظ وضعیت نحوۀ نمایش اطلاعات و واسط جستجوی کاربری خوب ارزیابی شدند و به‌طور کلی گوگل فارسی، از لحاظ مجموع ابعاد سه‌گانۀ پژوهش، بالاترین امتیاز را گرفت.

در هجدهمین کنفرانس ملی سالانۀ انجمن کامپیوتر ایران (1391) دو پژوهش دربارۀ  ارزیابی موتورهای کاوش صورت گرفت. پژوهشی که توسط «موسوی، عظیم‌زاده، محمودی و یاری» با عنوان «ارائه چارچوبی جامع و کارا برای ارزیابی موتورهای جستجوی فارسی» انجام شد، به ارائه چارچوبی مناسب برای سنجش کارایی موتورهای کاوش پرداخت که در عین کم‌هزینه‌بودن، جنبه‌های گوناگونی چون کیفیت نتایج بازگشتی، واسط کاربری، محبوبیت و پوشش را با تمرکز اصلی بر زبان فارسی، در نظر گرفته است. نتایج بررسی‌ها نشانگر کارایی قابل ملاحظه موتورهای کاوش عمومی همچون گوگل و ابرموتورهای کاوش فارسی همچون سلام و بیاب است. همچنین، موتور کاوش «پارسی‌جو» مناسب‌ترین موتور کاوش فارسی معرفی شده است. «عظیم‌زاده، سموری و یاری» نیز در پژوهش خود در این کنفرانس با عنوان «بررسی و مقایسۀ کیفی موتورهای جستجو در حوزۀ وب فارسی» میزان پاسخگویی موتورهای کاوش به نیاز کاربران فارسی‌زبان را بررسی کردند. در این خصوص کیفیت نتایج و میزان رضایت کاربران از یک موتور کاوش فارسی در کنار موتورهای کاوش محبوبی مانند «گوگل» و «بینگ» ارزیابی شده است. نتایج به‌دست‌آمده نشان می‌دهد موتور کاوش «گوگل» در معیارهای سنجش کیفی نسبت به سایر موتورهای کاوش مورد مقایسه، عملکرد بهتری داشته است و موتورهای کاوش «بینگ» و «بومی» در رتبه‌های دوم و سوم قرار می‌گیرند. همچنین نتایج این مقاله نشان‌دهندۀ عملکرد قابل قبول و نزدیک موتور کاوش بومی «پارسی‌جو» با موتور کاوش «بینگ» است.

«آقایی‌میرک‌آباد» (1391) در پایان‌نامۀ خود واسط‌کاربر سه موتور کاوش فارسی «ریسمون»، «پارسی‌جو» و «جس‌جو» را از دیدگاه دانشجویان با استفاده از پرسش‌نامۀ هفت‌مؤلفه‌ای با 56 معیار و همچنین سیاهه وارسی ارزیابی کرد. با توجه به نتایج سیاهۀ وارسی، موتورهای کاوش «گوگل فارسی»، «ریسمون» و «پارسی‌جو» به‌ترتیب در رتبه‌های اول تا سوم قرار گرفتند.

«گل‌زردی، مقدادی و قادرزاده» (1392) در پژوهشی با عنوان «مقایسۀ عملکرد موتورهای جستجوی رایج در جستجوی صفحات وب فارسی» با انجام آزمایش‌های مختلف، تفاوت عملکرد انواع موتورهای جستجو را در نحوۀ رتبه‌بندی صفحات فارسی مقایسه کردند. بدین‌منظور پنج موتور کاوش فارسی و دو موتور کاوش «گوگل» و «یاهو» را از لحاظ میزان دقت و ربط صفحات بازیابی‌شده مقایسه کردند. یافته‌های این پژوهش نشان داد «گوگل» و «یاهو» نسبت به موتورهای کاوش فارسی عملکرد بهتری دارند.  پنج موتور کاوش فارسی نیز تا حدی توانستند نزدیک به هم عمل کنند.

 «زندیان، مسعودی نصرآبادی، لطیفی و زادولی خواجه» (1394) در پژوهش خود با رویکردی متفاوت عملکرد جستجو در موتورها و ابرموتورهای کاوش در بازیابی اطلاعات را در حوزه علم اطلاعات و دانش‌شناسی از دیدگاه کاربران و به روش فنّی ارزیابی کردند. یافته‌ها حاکی از آن است که در بازیابی نتایج از میان فراموتورها، «اینفو» بهترین عملکرد را در رتبه‌بندی نتایج از دیدگاه کاربران و در ارزیابی به روش فنی دارد. موتور کاوش گوگل نیز از دیدگاه کاربران بهترین عملکرد رتبه‌بندی نتایج را در میان موتورهای کاوش دارد و از دیدگاه کاربران عملکرد رتبه‌بندی در موتورهای کاوش، بهتر از عملکرد رتبه‌بندی در فراموتورهای کاوش است به‌طوری‌که عملکرد رتبه‌بندی در فراموتورهای کاوش در سطح ضعیفی قرار دارد.

«فارسی، عظیم‌زاده و فرهودی» (1395) به‌منظور پایش اولیۀ موتورهای کاوش پژوهشی را انجام دادند. در این راستا، با تهیۀ پرسش‌نامه و تکمیل آنها توسط 33 کاربر، میزان کاربردپذیری جویشگرهای فعال بررسی شد و چهار جویشگر عمومیِ «پارسی‌جو»، «یوز»، «تارجو» و «ریسمون» امتیاز نهایی را کسب کردند. در ادامه، برای ارزیابی دقیق جویشگرهای یادشده از معیار استاندارد NDCG استفاده گردید. نتایج پژوهش نشان داد دقت موتور کاوش «گوگل» از بقیه بالاتر است. پس از آن به‌ترتیب «پارسی‌جو»، «بینگ» و «یوز» قرار دارند. هرچند فاصلۀ این موتورهای کاوش از یکدیگر چندان زیاد نیست، اما فاصله معناداری میان آنها و گوگل وجود دارد.

با توجه به بررسی پژوهش‌های صورت‌گرفته در این زمینه در داخل و خارج از ایران، می‌توان گفت تاکنون پژوهشی در زمینه ارزیابی و رتبه‌بندی موتورهای کاوش فارسی با غیرفارسی در حوزه موضوعی اسلام انجام نشده و به پژوهش‌های بیشتری در این زمینه نیاز است.

روش پژوهش

«بوشا»[38] و «هارتر»[39] معتقدند بخش عمدۀ پژوهش‌های مرتبط با کتابداری، از نظر ماهیت، کاربردی بوده‌اند (پاول، 2001). پژوهش حاضر نیز از این قاعده مستثنا نیست. نوع این پژوهش با توجه به ملاک هدف، کاربردی است. این پژوهش از نظر نوع نیز به روش پیمایشی‌ _  توصیفی انجام ‌شد. جامعۀ آماری پژوهش دارای سه بخشِ موتورهای کاوش فارسی و غیرفارسی، صفحات وب بازیابی شده از آنها و کلیدواژه‌های انتخاب‌شده است که در زیر به‌ترتیب، نحوۀ انتخاب هر یک از این موارد شرح داده می‌شود.

برای انتخاب موتورهای کاوش غیرفارسی گوگل و یاهو، به پژوهش‌های پیشین مراجعه و مشخص شد بیشتر کاربران اینترنت _ به‌ویژه ایرانیان _ نیازهای اطلاعاتی خود را از طریق موتورهای کاوش متداول و شناخته‌شده‌ای مانند گوگل، یاهو و بینگ[40] برآورده می‌کنند و این موتورها پرکاربردترین و محبوب‌ترین وب شمرده می‌شوند (دری، 1393). همچنین با توجه به رتبه‌بندی سایت الکسا[41]، مشخص شد در ایران، موتور کاوش گوگل رتبه اول و یاهو رتبه دومِ پراستفاده‌ترین موتورهای کاوش را در اختیار دارند. برای انتخاب موتورهای کاوش فارسی نیز پس از شناسایی تمام موتورهای کاوش فارسی و تهیۀ فهرست از آنها، به صفحۀ مربوط به تمامی آنها مراجعه و ویژگی‌های مختلف آنها  بررسی شد. سپس با توجه به رتبه‌بندی سایت الکسا، دو موتور کاوشِ «پارسی‌جو» و «یوز» که رتبه بالاتری داشتند، به‌عنوان نمونۀ نهایی موتورهای کاوش فارسی، انتخاب شدند[42].

جامعۀ بعدی مورد مطالعه در پژوهش حاضر، عبارت‌های جستجوی حوزۀ اسلام است که به‌دلیل امکان‌پذیرنبودن مطالعه تمامی آنها، تعداد پنج کلیدواژه بررسی شد. ملاک انتخاب این کلیدواژه‌ها نیز داشتن بیشترین میانگین جستجو در دوازده ماه منتهی به تاریخ گردآوری داده‌های پژوهش در ابزار گوگل ادوردز[43] و همچنین تأیید دو متخصص حوزه اسلام بود. این پنج عبارت جستجو عبارتند از: اثبات امام زمان (عج)، شیعه جعفری، فلسفه حجاب، قیام امام حسین (ع) و وجوه اعجاز قرآن.

نمونۀ آماری دیگر این پژوهش، صفحات وب بازیابی شده در پنج کلیدواژۀ انتخاب‌شده از چهار موتور کاوش در یک بازۀ زمانی یک‌ماهه (نیمۀ مرداد 95 تا نیمۀ شهریور 95) است؛ بدین‌صورت که ده مقاله نخست برای ارزیابی انتخاب شدند (پیش‌فرض ارائه نتایج در هر صفحه، ده مورد است). «شکیبا و ظریف‌زاده» (1394) در پژوهش خود نشان دادند مطالعات اخیر نشان می‌دهد 68% کاربران بر روی نتایج ارائه شده در صفحه اول و 92% بر روی نتایج سه صفحۀ اول کلیک می‌کنند. در پژوهش حاضر نیز در موارد اندکی که با وجود بررسی دو صفحه اول، هنوز به ده مقاله مناسب نرسید، صفحه سوم نیز بررسی شده است.

به‌منظور جمع‌آوری اطلاعات از سیاهۀ ارزیابی محقق‌ساخته استفاده شد. بدین‌منظور، ابتدا براساس پیشینۀ نظری و با مرور نوشتارها و مطالعه انواع سیاهۀ ارزیابی‌، تمامی معیارها و گویه‌های مربوط به محتوا، عوامل و شاخصه‌هایی که می‌توانستند در آزمون پرسش‌ها و فرضیه‌های پژوهش حاضر استفاده شوند شناسایی و فهرست شدند و سیاهه‌ای از اطلاعات دربارۀ ارزیابی کیفیت محتوای صفحات اینترنتی تهیه شد که با حذف شاخصه‌های دارای همپوشانی و همچنین موارد مشابه و ترکیب موارد نسبتاً مشابه، سیاهۀ ارزیابی‌ای با 39 گویه در چهار معیار «پوشش و دامنه»، «صلاحیت و اعتبار»، «پیوندها» و «سوگیری» ساخته شد. گویه‌های سیاهه ارزیابی به‌صورت بسته طراحی شد. بعضی از گویه‌ها با طیف لیکرت پنج‌گزینه‌ای از خیلی کم تا خیلی زیاد و بعضی نیز که امکان طیفی بودن آنها معقول به نظر نمی‌رسید، به‌صورت دو گزینه‌ای (بلی، خیر) نمره‌گذاری شدند که در بعضی موارد، در صورتی که پاسخ یک گویه «بلی» بود، به گویه بعدی پاسخ داده می‌شد.

ارزیابی صفحات وب بازیابی شده در گویه‌های تخصصی[44]، جمعاً توسط چهارده متخصص حوزۀ اسلام و در گویه‌های عمومی که نیاز به ارزیابی توسط متخصص موضوعی را نداشت، توسط دو متخصص بازیابی اطلاعات، انجام شد. لازم به ذکر است، ارزیابان از متخصصان حوزۀ اسلام بودند که درس‌های حوزوی در سطوح دو به بالا خوانده‌اند و با محیط وب آشنایی کافی داشتند.

همچنین به‌منظور تعیین روایی، سیاهۀ تنظیم‌شده به رؤیت شش نفر از متخصصان علم اطلاعات و دانش‌شناسی رسید و پس از دریافت دیدگاه‌های آنان، نسبت به اصلاح آن اقدام و سرانجام سیاهۀ ارزیابی نهایی تنظیم گردید. به‌منظور بررسیِ پایاییِ سیاهۀ ارزیابیِ استفاده‌شده در این پژوهش، از ضریب آلفای کرونباخ[45] استفاده شد که برای گویه‌های تخصصی برابر با 722/0 و برای گویه‌های عمومی 718/0 محاسبه گردید. همچنین به‌منظور درستی ارزیابی، آزمون ضریب توافق کاپا به تفکیک پرسش‌های عمومی و تخصصی صورت گرفت؛ که این ضریب برای پرسش‌های عمومی و تخصصی به‌ترتیب برابر با 502/0 با سطح معناداری 004/0 و 485/0 با سطح معناداری 007/0 به‌دست آمد و چون سطح معناداری هر دو ضریب از 05/0 کمتر است، هر دو قابل قبول است که نشان از درستی انجام پژوهش دارد.

یافتههای پژوهش

قبل از پرداختن به تجزیه‌وتحلیل‌ داده‌ها،  نخست باید نرمال‌بودن متغیرها بررسی می‌شد که نتایج اجرای آزمون کولموگروف اسمیرنف نشان داد چون مقدار سطح معناداری برای همۀ ابعاد به تفکیک همه متغیرها از 05/0 کمتر است، بنابراین با اطمینان 95% نرمال‌بودن متغیرها رد شد. در این‌صورت، برای پاسخ به پرسش‌ها و آزمون فرضیه‌ها باید از آزمون‌های ناپارامتری استفاده شود. سپس هر پرسش و فرضیه به‌صورت مجزا ارائه و آزمون صورت‌گرفته و نتایج حاصل از آن برای آن پرسش یا فرضیه بیان می‌شود.

1- رتبۀ موتورهای کاوش مورد بررسی در معیارهای چهارگانه (شامل پوشش و دامنه، صلاحیت و اعتبار، پیوندها و میزان سوگیری مطالب) به چه صورت است؟

هدف از این پرسش، بررسی رتبۀ موتورهای کاوش به تفکیک چهار معیار سیاهۀ ارزیابی بود که با استفاده از آزمون ناپارامتری کروسکال والیس به آن پرداخته شد. یافته‌های مربوط در جدول 1 آورده شده است.

جدول 1. نتایج آزمون کروسکال والیس برای رتبه‌بندی موتورهای کاوش مورد بررسی

معیار

موتورهای کاوش

تعداد

میانگین رتبه‌ها

اولویت

آماره کای دو

درجه آزادی

سطح معناداری

پوشش و دامنه

پارسی جو

250

488/61

4

1/272

3

0/736

یوز

250

497/32

3

گوگل

250

516/86

1

یاهو

250

499/21

2

صلاحیت و اعتبار

پارسی جو

250

496/16

3

6/845

3

0/077

یوز

250

517/55

2

گوگل

250

524/70

1

یاهو

250

463/60

4

پیوندها

پارسی جو

250

473/80

4

11/351

3

0/010

یوز

250

485/11

3

گوگل

250

527/30

1

یاهو

250

515/79

2

سوگیری

پارسی جو

200

406/60

3

4/963

3

0/175

یوز

200

414/94

1

گوگل

200

410/96

2

یاهو

200

369/51

4

 

یافته‌های جدول 1 نشان می‌دهد در سه معیار «پوشش و دامنه»، «صلاحیت و اعتبار» و «سوگیری» مقدار سطح معناداری برای رتبه موتورهای کاوش مورد بررسی، از 05/0 بیشتر است. بنابراین، با اطمینان 95% بین چهار موتور کاوش «پارسی‌جو»، «یوز»، «گوگل» و «یاهو» تفاوت معناداری وجود ندارد. تنها در معیار پیوندها، مقدار سطح معناداری برای رتبه موتورهای کاوش مورد بررسی، برابر با 01/0 و از 05/0 کمتر است که در نتیجه آن، با اطمینان 95% می‌توان بیان داشت که بین چهار موتور کاوش «پارسی‌جو»، «یوز»، «گوگل» و «یاهو» از نظر پیوندها تفاوت معناداری وجود دارد و موتور کاوش گوگل در اولویت برتر نسبت به سایر موتورهای کاوش قرار دارد. پس از آن، با توجه به میانگین رتبه‌ها، به‌ترتیب موتورهای کاوش «یاهو»، «یوز» و «پارسی‌جو» قرار دارد.

2- رتبۀ موتورهای کاوش مورد بررسی در گویههای عمومی به چه صورت است؟

در این پرسش، به بررسی چهار موتور کاوش مورد بررسی در هر یک از گویه‌های عمومی و رتبۀ این موتورها از برآیند گویه‌های عمومی، با استفاده از آزمون ناپارامتری کروسکال والیس، پرداخته می‌شود. نتیجۀ این آزمون، در جدول 2  ارائه شده است.

جدول 2. نتایج آزمون کروسکال والیس برای رتبه‌بندی موتورهای کاوش مورد بررسی در گویههای عمومی

معیارها

گویههای عمومی

آماره کای دو

درجه آزادی

سطح معناداری

پوشش و دامنه

5

4/296

3

0/231

6

4/296

3

0/231

صلاحیت و اعتبار

1

3/935

3

0/269

2

3/935

3

0/269

3

3/412

3

0/332

5

4/064

3

0/255

6

6/110

3

0/106

8

5/244

3

0/155

9

1/831

3

0/608

10

1/831

3

0/608

12

5/155

3

0/161

13

/849

3

0/838

14

/849

3

0/838

پیوندها

1

2/165

3

0/539

2

3/608

3

0/307

3

2/165

3

0/539

4

3/608

3

0/307

6

2/405

3

0/493

7

2/331

3

0/507

8

1/852

3

0/604

یافته‌های جدول 2 نشان می‌دهد مقدار سطح معناداری برای رتبه موتورهای کاوش مورد بررسی در هر یک از گویه‌های عمومی از 05/0 بیشتر است. بنابراین با اطمینان 95% بین چهار موتور کاوش پارسی‌جو، یوز، گوگل و یاهو از نظر هریک از گویه‌های عمومی تفاوت معناداری وجود ندارد.

       جدول 3. نتایج آزمون کروسکال والیس برای رتبه‌بندی موتورهای کاوش مورد بررسی در برآیند گویههای عمومی

برآیند گویه‌های عمومی

موتور کاوش

تعداد

میانگین رتبه

اولویت

آماره کای دو

درجه آزادی

سطح معناداری

پارسی‌جو

50

91/29

4

1/848

3

0/605

یوز

50

102/24

3

گوگل

50

106/21

1

یاهو

50

102/26

2

 

با نگاهی به یافته‌های جدول 3 می‌توان دریافت که مقدار سطح معناداری برای رتبه موتورهای کاوش مورد بررسی در برآیند گویه‌های عمومی، از 05/0 بیشتر است. بنابراین با اطمینان 95% بین چهار موتور کاوش پارسی‌جو، یوز، گوگل و یاهو از نظر هریک از گویه‌های عمومی تفاوت معناداری وجود ندارد. با این‌حال، با توجه به میانگین رتبه‌ها، اولویت موتورهای کاوش به‌ترتیب زیر است: گوگل، یاهو، یوز و پارسی‌جو.

3- رتبۀ موتورهای کاوش مورد بررسی در گویههای تخصصی به چه صورت است؟

هدف از این پرسش بررسی چهار موتور کاوش در هر یک از گویه‌های تخصصی (پرسش‌هایی که باید توسط متخصص سنجیده می‌شد و شامل 19 پرسش از 39 پرسش سیاهۀ ارزیابی بود) و رتبه این موتورها از برآیند گویه‌های تخصصی است. این امر با استفاده از آزمون ناپارامتری کروسکال والیس، انجام گرفت که نتیجه این آزمون در جدول4 گزارش شده است.

جدول 4. نتایج آزمون کروسکال والیس برای رتبه‌بندی موتورهای کاوش مورد بررسی در گویههای تخصصی

معیار

گویه‌های تخصصی

آماره کای دو

درجه آزادی

سطح معناداری

پوشش و دامنه

1

/638

3

0/888

2

1/932

3

0/587

3

/464

3

0/927

4

1/341

3

0/719

صلاحیت و اعتبار

4

2/411

3

0/492

7

7/292

3

0/063

11

7/084

3

0/069

پیوندها

5

9/306

3

0/025

سوگیری

1

1/997

3

0/573

2

21/159

3

0/000

3

17/636

3

0/001

4

5/527

3

0/137

5

12/045

3

0/007

6

5/384

3

0/146

7

21/159

3

0/000

8

17/636

3

0/001

9

14/604

3

0/002

10

12/045

3

0/007

11

5/384

3

0/146

 

یافته‌های جدول4 نشان می‌دهد مقدار سطح معناداری برای رتبه موتورهای کاوش مورد بررسی در هر یک از گویه‌های تخصصی، به‌جز گویه «اعتبار پیوندها» و هفت گویه‌ از معیار سوگیری، از 05/0 بیشتر است. از این رو، با اطمینان 95% می‌توان بیان داشت که بین چهار موتور کاوش «پارسی‌جو»، «یوز»، «گوگل» و «یاهو» از نظر هریک از گویه‌های تخصصی، به‌جز هشت گویه ذکر شده‌ از دو معیار پیوندها و سوگیری، تفاوت معناداری وجود ندارد. همچنین در گویۀ پنجم پیوندها، موتور کاوش «گوگل» دارای اولویت برتر است، و پس از آن به‌ترتیب موتورهای کاوش «یاهو»، «یوز» و «پارسی‌جو» قرار دارد و در تمام گویه‌های معنادار سوگیری (گویه‌های 2، 3، 5، 7، 8، 9 و 10) موتور کاوش یاهو دارای رتبۀ پایین‌تری است و این بدین معناست که موتور کاوش یاهو دارای سوگیری بیشتری است.

جدول 5. نتایج آزمون کروسکال والیس برای رتبه‌بندی موتورهای کاوش مورد بررسی در برآیند گویههای تخصصی

برآیند گویه‌های تخصصی

موتور

تعداد

میانگین رتبه

اولویت

آماره کای دو

درجه آزادی

سطح معناداری

پارسی‌جو

200

397/77

3

5/917

3

0/116

یوز

200

408/87

2

گوگل

200

424/93

1

یاهو

200

370/44

4

 

با نگاهی به یافته‌های جدول 5 می‌توان دریافت که سطح معناداری برای رتبه موتورهای کاوش مورد بررسی در برآیند گویه‌های تخصصی از 05/0 بیشتر است، بنابراین بین چهار موتور کاوش «پارسی‌جو»، «یوز»، «گوگل» و «یاهو» از نظر هریک از گویه‌های تخصصی تفاوت معناداری وجود ندارد. با این‌حال، با توجه به میانگین رتبه‌ها، اولویت موتورهای کاوش به‌ این ترتیب است: گوگل، یوز، پارسی‌جو و یاهو.

پس از پاسخ‌گویی به پرسش‌های پژوهش، در ادامه دو فرضیه پژوهش بررسی می‌شود.

فرضیه1: بین رتبه گویه‌های عمومی با تخصص در هر یک از  موتورهای کاوش مورد بررسی، اختلاف معناداری وجود ندارد.

برای بررسی این فرضیه، هر یک از موتورهای کاوش با استفاده از آزمون من ویتنی بررسی‌ شده‌اند که نتیجۀ این آزمون در جدول6 گزارش شده است.

جدول 6. نتایج آزمون من ویتنی برای بررسی تفاوت  موتورهای کاوش فارسی و غیر فارسی از نظر کیفیت محتوای صفحات

موتو کاوش

گویه ها

تعداد

میانگین رتبه‌ها

اولویت

آماره من‌ویتنی

سطح معناداری

پارسی‌جو

تخصصی

200

150/17

1

66

0/000

عمومی

50

26/82

2

یوز

تخصصی

200

150/42

1

16

0/000

عمومی

50

25/82

2

گوگل

تخصصی

200

150/29

1

43

0/000

عمومی

50

26/36

2

یاهو

تخصصی

200

149/52

1

196

0/001

عمومی

50

29/42

2

 

چنانکه یافته‌های جدول 6 نشان می‌دهد، مقدار سطح معناداری برای رتبۀ گویه‌های عمومی و تخصصی در هریک از موتورهای کاوش از 05/0 کمتر است. بنابراین، با اطمینان 95% بین گویه‌های عمومی و تخصصی در هریک از موتورهای کاوش از نظر کیفیت محتوای صفحات وب بازیابی شده تفاوت معناداری وجود دارد. در واقع، با نگاهی به یافته‌های پیشین باید چنین بیان داشت که برای هر چهار موتور کاوش مورد بررسی، رتبۀ گویه‌های تخصصی نسبت به گویه‌های‌ عمومی بیشتر است؛ بنابراین گویه‌های تخصصی نسبت به گویه‌های عمومی در اولویت قرار دارند.

فرضیه 2: بین کیفیت محتوای صفحات وب بازیابی شده از موتورهای کاوش فارسی و غیرفارسی در حوزه اسلام، اختلاف معناداری وجود ندارد.

برای بررسی فرضیۀ فوق، ابتدا از آزمون کروسکال والیس برای مقایسه چهار موتور با یکدیگر استفاده می‌شود، سپس با استفاده از آزمون من‌ویتنی، دو گروه موتورهای کاوش فارسی و غیر فارسی را مقایسه می‌کنیم. نتایج آزمون کروسکال والیس و من‌ویتنی در جدول‌های 7 و 8 ارائه شده است.

جدول 7. نتایج آزمون کروسکال والیس برای بررسی تفاوت موتورهای کاوش از نظر کیفیت محتوای صفحات

موتورهای کاوش

تعداد

میانگین رتبه‌ها

اولویت

آمارۀ کای دو

درجه آزادی

سطح معناداری

پارسی‌جو

250

496/27

3

3/230

3

0/357

یوز

250

507/88

2

گوگل

250

521/28

1

یاهو

250

476/57

4

 

یافته‌های جدول 7 نشان می‌دهد با اطمینان 95% بین چهار موتور کاوش «پارسی‌جو»، «یوز»، «گوگل» و «یاهو» از نظر کیفیت محتوای صفحات وب بازیابی شده تفاوت معناداری وجود ندارد؛ ولی با توجه به میانگین رتبه‌ها، اولویت موتورهای کاوش به‌ترتیب برابر «گوگل»، «یوز»، «پارسی‌جو» و «یاهو» است.

جدول 8. نتایج آزمون من‌ویتنی برای بررسی تفاوت موتورهای  کاوش فارسی و غیرفارسی از نظر کیفیت محتوای صفحات

موتورهای کاوش

تعداد

میانگین رتبه‌ها

اولویت

آماره من‌ویتنی

سطح معناداری

فارسی

500

502/07

1

124213/500

0/863

غیر فارسی

500

498/93

2

 

با توجه به یافته‌های جدول 8 ، بین دو گروه موتور کاوش فارسی و غیرفارسی از نظر کیفیت محتوای صفحات وب بازیابی شده، تفاوت معناداری وجود ندارد.

بحث و نتیجهگیری

در پژوهش حاضر سعی شد رتبۀ موتورهای کاوش فارسی و غیرفارسی در حوزه اسلام در شاخص‌های عمومی و تخصصی بررسی شود. یافته‌های پژوهش نشان داد در معیارهای پوشش و دامنه، صلاحیت و اعتبار و سوگیری، هر چهار موتور کاوش با یکدیگر اختلاف معناداری ندارند؛ ولی در معیار پیوندها، اختلاف معناداری بین موتورهای کاوش وجود دارد و موتور کاوش «گوگل» در کیفیت پیوندهایش، در اولویت برتر قرار دارد (جدول 1). اگر چه رویکرد پژوهش‌های «کمیجانی» (1381) و‌ «زندیان و همکاران» (1394) متفاوت از پژوهش حاضر است، اما در این پژوهش‌ها‌ نیز موتور کاوش گوگل رتبه نخست را به‌دست آورد. شاید بتوان سابقۀ طولانی موتور کاوش گوگل، بهره‌مندی از الگوریتم‌های بهتر، دامنۀ پوشش وسیع‌تر، استفاده از امکانات جانبیِ بهتر و محیط واسطِ کاربر جذاب‌تر و ... را دلیل برتری این موتور کاوش نسبت به سایر موتورهای کاوش دانست.

«کوشا» (1381) که به بررسی موتورهای کاوش در زبان فارسی پرداخت نیز به این نتیجه رسید که موتور کاوش «گوگل» رتبه اول را دارد؛ هرچند این رتبه از نظرگاه امکانات جستجو و بازیابی اطلاعات کسب شده بود. «موسوی و همکاران» (1391) نیز که در پژوهش خود به‌دنبال ارائه چارچوبی جامع و کارا برای ارزیابی موتورهای جستجوی فارسی بودند، موتور کاوش «پارسی‌جو» را مناسب‌ترین موتورِ کاوش فارسی معرفی کردند. این در حالی است که در پژوهش حاضر موتور کاوش «یوز» جایگاه بهتری را دارد. البته، باید توجه داشت که در پژوهش «موسوی و همکاران» موتور کاوش «یوز» جزءِ جامعه پژوهش نبود. «عظیم‌زاده و همکاران» (1391) نیز دریافتند که موتور کاوش «گوگل» در معیارهای سنجش کیفی نسبت به سایر موتورهای کاوش مورد مقایسه، عملکرد بهتری دارد. این یافته دربارۀ بیشتر معیارهای مورد بررسی پژوهش حاضر نیز صدق می‌کند. دیگر یافتۀ اصلیِ پژوهش نشان داد بین موتورهای کاوش مورد بررسی در معیارهای پوشش و دامنه، صلاحیت و اعتبار و سوگیری، اختلاف معناداری ندارد. شاید بتوان دلیل این امر را به ساختار و نحوۀ رتبه‌بندی موتورهای کاوش و همچنین گسترش دانش فنی و پیشرفت الگوریتم‌های موتورهای کاوش  نسبت داد.

 یافتۀ دیگر پژوهش نشان داد در هر یک از گویه‌های عمومی موتورهای کاوش مورد بررسی با یکدیگر اختلاف معناداری وجود ندارد (جدول 2).  همچنین در برآیند گویه‌های عمومی نیز، موتورهای کاوش با یکدیگر اختلاف معناداری ندارند (جدول 3). این یافته‌ها می‌تواند حاکی از آن باشد که صفحات وب فارسی موجود در حوزه اسلام همگی از لحاظ رعایت گویه‌های عمومی در یک سطح قرار دارند؛ زیرا موتورهای کاوش _ چه فارسی و چه غیرفارسی _ در تشخیص و رعایت شاخص‌های عمومی مطرح در این پژوهش همانند مسائل مختلفی چون وجود نام نویسنده، پست الکترونیکی نویسنده، روزآمدی صفحات وب، بازخورد، وجود پیوندها و... یکسان عمل کردند و الگوریتم‌های موتورهای کاوش در این زمینه شبیه یکدیگر است. همچنین، مشخص شد که موتورهای کاوش مورد بررسی در برآیند گویه‌های تخصصی با یکدیگر اختلاف معناداری ندارند (جدول 4). با توجه به پیشینه‌های پژوهش، به برخی پژوهش‌ها که به بررسی گویه‌ای خاص پرداخته و اختلاف معنادار را در موتورهای کاوش در آن زمینه بررسی کرده‌اند، برمی‌خوریم. پژوهش «کمیجانی» (1381) با پژوهش حاضر هم‌راستا نیست به دلیل اینکه بیان کرده در بازیابی «مدارک مرتبط» بین موتورهای کاوش تفاوت معناداری وجود دارد، در حالی‌که در پژوهش حاضر بین گویه‌های تخصصی (که یکی از این گویه‌های تخصصی، مدارک مرتبط است) در موتورهای کاوش تفاوت معناداری وجود ندارد.

بررسی فرضیۀ اول پژوهش نشان داد در هر چهار موتور کاوش، گویه‌های تخصصی اختلاف معناداری با گویه‌های عمومی دارند و این گویه‌های تخصصی هستند که در اولویت برتری قرار دارند (جدول 6). براساس این یافته‌ها، هر یک از گویه‌های تخصصی شامل: میزان مناسب سطح اطلاعات ارائه‌شده، ربط و جامعیّت مطالب، اعتبار مطلب، نویسنده، سایت دربردارندۀ صفحه، منبع، پیوند و گویه‌های معیار سوگیری، دارای رتبه بالاتری در موتورهای کاوش نسبت به گویه‌های عمومی هستند که این مسئله می‌تواند به دلایل زیر باشد:

توجه بیشتر موتورهای کاوش و الگوریتم رتبه‌بندی آنها به گویه‌های تخصصی نشانگر توجه بیشتر صفحات وب فارسی موجود در حوزه اسلام به این معیارها و شاخص‌هاست. همچنین به‌دلیل ارزیابی گویه‌های تخصصی توسط متخصصان حوزه اسلام که با دقت و توجه بیشتری نسبت به بررسی گویه‌های عمومی صورت گرفته است. بنابراین، رتبه بالاتری را نیز کسب کرده است.

آخرین یافته پژوهش نیز نشان داد که بین چهار موتور کاوش «پارسی‌جو»، «یوز»، «گوگل» و «یاهو» و نیز بین دو گروه موتورهای کاوش فارسی و غیرفارسی از نظر کیفیت محتوای صفحات وب بازیابی‌شده، تفاوت معناداری وجود ندارد (جدول‌های 7 و 8). در پژوهش «آقایی میرک‌آباد» (1391) که اولین پژوهشی است که موتور کاوش «پارسیجو» را بین جامعه موتورهای کاوش فارسی خود دارد و به ارزیابی واسط کاربر سه موتور کاوش فارسی پرداخته است، رتبه «پارسی‌جو» سوم است و «گوگل فارسی» در رتبه اول قرار گرفته است. همچنین در پژوهش «بار_ ایلان و لیون» (2011) نیز گوگل رتبه نخست را به خود اختصاص داد. در پژوهش حاضر نیز گوگل دارای اولویت اول و پارسی‌جو دارای اولویت سوم است، که با نتایج پژوهش حاضر هم‌راستاست. نتایج پژوهش «گل‌زردی و دیگران» (1392) که دومین پژوهشی است که موتور کاوش «پارسی‌جو» را مورد ارزیابی قرار داده، با نتایج پژوهش حاضر هم‌راستا نیست زیرا رتبۀ موتور کاوش «پارسی‌جو» بعد از «گوگل» و «یاهو» قرار گرفته است؛ در حالی‌که در پژوهش حاضر «یاهو» در اولویت آخر قرار دارد.  در پژوهشی که برای شناسایی ابزارهای کاوش فارسی توسط «کوشا» (1381) صورت گرفت، نشان داده شد که موتور کاوش مستقل و بومی‌ای که هم دارای پایگاه اطلاعاتی مستقل از موتورهای کاوش بین‌المللی، دارای زبان فارسی و هم مکان جغرافیایی آن در ایران باشد، وجود ندارد. همچنین بیان داشته که لزوم طراحی و توسعه یک ابزار کاوش ملی با امکانات و قابلیت‌های جستجوی پیشرفته به زبان فارسی در داخل کشور ضروری است. بنابراین، موتورهای کاوشی با این ویژگی‌ها راه‌اندازی شدند و روزبه‌روز در حال پیشرفت هستند. در پژوهش‌های مشابه دیگری که به‌عنوان اولین پژوهش‌ها در این زمینه کار شد، بیشتر ابزارهای کاوشی که به‌عنوان ابزارهای کاوش با واسط جستجوی فارسی (اعم از ابزار کاوش مستقل فارسی و یا وابسته به ابزار کاوشی بین المللی) انتخاب شدند، اکنون دیگر یا قابل دسترس نیستند و یا کاربری آنها از ابزار کاوشِ فارسی‌بودن خارج شده است و دیگر در این زمینه مطرح نیستند. ولی پژوهش‌های اخیری که در این زمینه صورت‌گرفته بیشتر به ابزارها و موتورهای کاوش مستقلّ بومی توجه کرده و آنها را ارزیابی کرده است. حال با توجه به یافته‌ها و نتایج پژوهش حاضر، پیشنهادهای زیر ارائه می‌شود:

_ با توجه به نقطه‌ضعف موتورهای کاوش به‌خصوص موتور کاوش «پارسی‌جو» در بازیابی مدارک تکراری و کور، پیشنهاد می‌شود این موتورهای کاوش در الگوریتم‌های اجرایی خود برای رتبه‌بندی مدارک مرتبط بازنگری دیگری داشته باشند و آنها را برای بازیابی هرچه بهتر مدارک بهبود بخشند.

_ با توجه به پایین‌بودن معیارهای صلاحیت و اعتبار شامل مشخص‌بودن نویسنده و اعتبار آن، اعتبار سایتی که نوشته در آن قرار دارد، ذکر منابع و اعتبار آن و روزآمدی مطالب و پیوندها در موتورهای کاوش مورد بررسی، پیشنهاد می‌شود صفحات وب فارسی در حوزۀ اسلام، بیشتر به این دو معیار و گویه‌های مربوط به آن توجه داشته باشند.

_ در مورد معیار پیوندها و گویه‌های آن شامل وجود پیوندهای درونی و بیرونی، هدایت درست پیوندها به صفحات مناسب و روزآمد و مرتبط با کلیدواژۀ جستجوشده و میزان کافی پیوندها و... موتورهای کاوش فارسی توجه بیشتری باید در بازیابی صفحات با این ویژگی‌ها داشته باشند و به‌خصوص صفحاتی را بازیابی کنند که اعتبار پیوندهای آن بالاتر باشد، زیرا در این گویه موتورهای کاوش فارسی اختلاف معناداری با موتورهای کاوش غیرفارسی دارند.

_ به‌منظوررسیدن به موتور کاوشی ایده‌آل در بازیابی اطلاعات حوزه اسلام، پیشنهاد می‌شود ایجاد محتوای غنی دینی توسط متخصصان این حوزه به‌صورت یکپارچه و با همکاری نهاد‌ها، سایت‌های علاقه‌مند و فعال در این زمینه صورت گیرد و لینکی نیز بین این محتوای یکپارچه و موتورهای کاوش فارسی برقرار گردد تا جویندگان اطلاعات دینی و اسلامی به بهترین و باکیفیت‌ترین نتایج دلخواه خود برسند. همچنین، به‌طورکلی و نه فقط خاص در حوزه اسلام، بهتر است این همکاری و یکپارچه‌سازی بین موتورهای کاوش فارسی و پایگاه‌های اطلاعاتی مانند مرکز منطقه‌ای، مگ‌ایران و .... جهت ایجاد محتوای فارسی شایسته صورت گیرد. هرچند برخی از پایگاه‌های اطلاعاتی فارسی همانند نورمگز در این مسیر پیشرفت‌های خوبی داشته‌اند، بهتر است این پیشرفت‌ها تا رسیدن به سطح مطلوب تداوم داشته باشد.



[1]. Chen & Macredie

[2]. Google

[3]. Yahoo

[4]. Bing

[5]. Allen

[6]. Lewandowski

[7]. Lopatovska, Fenton, & Campot

[8]. Bouramoul

[9]. Kholadi

[10]. Doan

[11]. Chung

[12]. Rozsa, Komlodi and Chu

[13]. Shafli

[14]. Rather

[15]. Scirus

[16].  لازم به ذکر است که در حال حاضر موتور کاوش سایروس وجود ندارد.

[17]. Demirci, Kismir & Bitrim

[18]. Bar-Ilan

[19]. Levene

[20]. Live search

[21]. lopes

[22]. Ribeiro

[23]. MSN

[24]. Sapo

[25]. Web MD

[26]. Saposaude

[27]. Wang

[28]. Li

[29]. Liang

[30]. Xu

[31]. Ask

[32]. Sorum

[33]. Normann Andersen

[34]. Clemmensen

[35]. Walia & Gupta

[36]. Fong

[37]. Iranhoo

[38]. Busha

[39]. Harter

[40]. Bing.com

[41]. Alexa.com

[42].  بررسی در اسفندماه 1394 صورت گرفته است.

[43]. www. adwords.google.com

[44].  منظور گویه‌هایی است که نیاز به داشتن تخصص در حوزه اسلام داشت و توسط متخصصان این حوزه ارزیابی گردید.

[45]. Cronbach

-      آقایی میرک‌آباد، اعظم و دیگران (1393). «ارزیابی رابط کاربر موتورهای جستجوی فارسی»، مطالعات ملی کتابداری و سازماندهی اطلاعات، 25(4)، 113-101.
-      افنانی، فریده (1387). «چگونگی توانمندی‌های ابزارهای کاوش اینترنت با واسط جستجوی فارسی»، مطالعات ملی کتابداری و سازماندهی اطلاعات، 19(1)، 126-105.
-      پاول، رونالد (2001). روشهای اساسی پژوهش برای کتابداران، ترجمۀ نجلا حریری، تهران: مرکز انتشارات علمی دانشگاه آزاد اسلامی.
-      پشوتنی‌زاده، میترا و علی منصوری (1387). «ارزیابی تارنما (وب‌سایت‌)ها توسط کودکان و نوجوانان و کتابداران کودک و نوجوان»، علوم و فناوری اطلاعات، 24(1)، 37-50.
-      حریری، نجلا و دیگران (1392). «معیارهای ارزیابی ربط در نظام‌های بازیابی اطلاعات: دانسته‌ها و ندانسته‌ها»، پژوهشنامه پردازش و مدیریت اطلاعات، 30(1)، 221-199.
-      درخشه، جلال و محمدمهدی حسینی فائق (1389). «اسلام‌هراسی در رسانه‌های غربی؛ مطالعه موردی: رسانه‌های بریتانیا»، رسانه، شماره  79، 9-28.
-      درّی، راحله (1393). «مقایسه و ارزیابی موتورهای جستجوی معنایی»، پژوهشنامه پردازش و مدیریت اطلاعات، 30(2)، 490-467.
-      زندیان، فاطمه و دیگران (1394). «مطالعه مقایسه‌ای عملکرد جستجو در موتورها و فراموتورهای جستجو»، تحقیقات کتابداری و اطلاع رسانی دانشگاهی، (74)، 5.
-    شاکری، صدیقه (1387). «بررسی نسبت جامعیت و مانعیّت ابزارهای کاوش اینترنت در بازیابی اطلاعات در حوزه کتابداری و اطلاع رسانی»، مطالعات ملی کتابداری و سازماندهی اطلاعات، 19(1)، 200-177.
-    شکیبا، طاهره و سجاد ظریف‌زاده (1394). «بررسی چالش‌های امنیتی در موتورهای جستجو و راهکارهای آنها»، منتشرشده در نخستین کنفرانس ملی محاسبات نرم، دانشگاه گیلان. بازیابی‌شده از:
-    عظیم‌زاده، معصومه؛ شهریار سموری و علیرضا یاری (1391). «بررسی و مقایسۀ کیفیِ موتورهای جستجو درحوزه وب فارسی»، مقاله منتشرشده در هجدهمین کنفرانس ملی سالانه انجمن کامپیوتر ایران، دانشگاه صنعتی شریف. بازیابی شده از: http://csi.org.ir/
-      عظیم‌زاده، معصومه و مژگان فرهودی (1395). «وب‌آزما، ارزیابی‌ها و تحلیل نتایج»، پیام دیدرس، 1(5)، 24-26.
-    کمیجانی، احمد (1381). مقایسه کارایی موتورهای کاوش عمومی و تخصصی وب در بازیابی اطلاعات کشاورزی، پایان نامه کارشناسی ارشد، دانشگاه تهران، دانشکده علوم انسانی، رشته کتابداری و اطلاع‌رسانی.
-      کوشا، کیوان (1381). «معیارهای ارزیابی ابزارهای کاوش اینترنت: مطالعه ای مقایسه‌ای بر روی ابزارهای کاوش وب با واسط جستجوی فارسی»، کتابدار، بازیابی‌شده از:
-    گل‌زردی، الهه؛ مجید مقدادی و عبدالباقی قادرزاده (1392). «مقایسه عملکرد موتورهای جستجوی رایج درجستجوی صفحات وب فارسی»، مجموعه‌مقالات همایش مهندسی کامپیوتر و توسعه پایدار با محوریت شبکه‌های کامپیوتری، مدل‌سازی و امنیت سیستم‌ها. مقاله منتشر شده در هشتمین سمپوزیم پیشرفتهای علوم و تکنولوژی، موسسۀ آموزش عالی خاوران مشهد، بازیابی‌شده از:
-    موسوی، سبحان و دیگران (1391).« ارائه چارچوبی جامع و کارا برای ارزیابی موتورهای جستجوی فارسی»، مقاله منتشر شده در هجدهمین کنفرانس ملی سالانه انجمن کامپیوتر ایران، دانشگاه صنعتی شریف. بازیابی شده از: http://csi.org.ir/
-      وب‌سایت ویکی طرح جویشگر (1394). معرفی طرح جویشگر: فلسفه ]نوشته ویکی طرح جویشگر[. بازیابی شده از: http://wiki.didras.ir
-      Allen, Robert (2017). Search Engine Statistics 2017 [website comment]. Retrieval from:http://www.smartinsights.com/search-engine-marketing/search-engine-statistics/
-      Bar-Ilan, Judit, Levene, Mark (2011). A method to assess search engine results. Online Information Review, 6(35), 854-868
-      Bouramoul, A., Kholadi, M. Kh., & Doan,  B-L. (2011). Using Context to Improve the Evaluation of Information Retrieval System. International Journal of Database Management Systems, 3(2), 22-39.
-      Chen, S. Y.; Macredie, R. D. (2010) Web-based Interaction: A Review of Three Important Human Factors. International Journal of Information Management, Vol 30, No 5, 287- 379.
-      Chung, Wingyan (2006). Studying Information Seeking on the Non-English Web: An Experiment on a Spanish Business Web Portal. International Journal of Human-Computer studies, 64(9), 811-829.
-      Demirci, R. G., Kismir, V., & Bitrim, Y. (2007). An evaluation of popular search engines on finding Turkish documents. Second International Conference on Internet and Web Applications and Services (ICIW'07), 61. New York: Institute of Electrical and Electronics Engineers (IEEE
-      Erfanmanesh, M. A., Didegah, F. (2010). Evaluating function of Persian search engines on the web. International journal of information science and management, 8(2), 77-88.
-      Fong, Pedro, Hoi-Yee Tong, Henry, Cheong, Hio-Lam, Choi, Ka-Hou, Leong, Ka-Kei, Lam, Lo-Ka, Wong, Chi-Man, Wong, Sin-Wa (2014). Quality of online information about sexually transmitted diseases : Which websites should patients read?, Online Information Review, 5(38), 650-660.
-      Lewandowski, D. (2015). Evaluating the retrieval effectiveness of Web search engines using a representative query sample. Journal of the Association for Information Science and Technology, 66(9), 1763-1775.
-      Lopatovska, I., Fenton, M. R., & Campot, S. (2012). Examining preferences for search engines and their effects on information behavior. Proceedings of the American Society for Information Science and Technology, 49(1), 1-11.
-      Lopes, Carla Teixeira & Rebeiro, Cristina (2011). Comparative evaluation of web search engine: in health information retrieval. Online Information Review, 35(6), 869-892.
-      Rózsa, G., Komlodi, A., & Chu, P. (2015, May). Online searching in english as a foreign language. In Proceedings of the 24th International Conference on World Wide Web (pp. 875-880). ACM.
-      Shafi, S. M., Rather, R. A. (2005). Precision and Recall of Five Search Engines for Retrieval of Scholarly Information in the Field of Biotechnology. Webology, 2(2). Retrieval from: http://www.webology.org/2005/v2n2/a12.htmlhttp://www.webology.org/2005/v2n2/a12.html
-      Sorum, Hanne, Normann Andersen, Kim, Clemmensen, Torkil (2013). Website quality in government: Exploring the webmaster's perception and explanation of website quality. Transforming Government: People, Process and Policy, 3(7), 322-341.
-      Walia, P., K., Gupta, M. (2013). Usability analysis of Homepage of Websites of National Libraries in Asia. Library Philosophy and Practice. Retrieval from: http://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=2335&context=libphilprac
-      Wang, Liupu, Wang, Juexin, Wang, Micheal, Li, Yong, Liang, Yanchun, Xu, Dong (2012). Using internet search engines to obtain medical information: a comparative study. Journal of Medical Internet Search. 14(3).