رویکردهای ارزیابی نظامهای بازیابی اطلاعات: پس‎زمینه و چشم‎انداز پیش‎رو

نوع مقاله: مقاله پژوهشی

نویسنده

عضو هیئت علمی دانشگاه بیرجند و دانشجوی دکترای کتابداری و اطلاع رسانی دانشگاه فردوسی مشهد

چکیده

این نوشتار با نگاهی گذرا به سیر تکاملی نظامهای بازیابی اطلاعات و ارزیابی آنها، انواع ارزیابی در این نظامها را از هم تفکیک و  به طور مفصلتر دربارة رویکردهای موجود در ارزیابی عملکرد نظامهای بازیابی، بحث کرده است. با نقد هرکدام، مدلی ترکیبی با رویکردی نظری - تصمیمی از «وانگ و فورگیونه» را معرفی می‌کند و در پایان نتایج و پیشنهادهای خود را ارائه میدهد.

کلیدواژه‌ها


مقدمه

نظامهای بازیابی اطلاعات[1] به بازنمون، ذخیره‎سازی و بازیابی اطلاعات و دانش مرتبط با نیازها و سؤالهای خاصّ کاربران می‎پردازند. کاربر در قالب یک پرسش، با واژه‎هایی از زبان طبیعی نیاز خود را مطرح می‎کند. این پرسش به‎وسیلة نظام و بر اساس یک الگوریتم مشخص با مدارک نمایه‎سازی شده مقایسه و مدارکی که بیشترین مشابهت را با پرسش کاربر دارند، عرضه می‎شوند. در نهایت، این کاربر است که میزان ربط آنها را با نیاز خود مورد سنجش قرار می‎دهد(مندل[2]، 2008). بازیابی اطلاعات، فرایندی دارای ابهام است. این ابهام به مبهم بودن عناصر دخیل در آن یعنی زبان طبیعی، نیاز اطلاعاتی، ربط و ... باز می‎گردد.

پس زمینة تاریخی نظامهای بازیابی رایانه‎ای، به گسترش روشهای نمایه‎سازی خودکار متون در دهة 60 میلادی باز می‎گردد؛ روشی که همچنان به صورت گسترده توسط ارائه‎دهندگان اطلاعات و همچنین در خدمات اینترنتی به کار می‎رود. در دهة70، مدلهای بازیابی بولی و فضای برداری و بعدها مدلهای بازیابی احتمالاتی گسترش یافتند. لکن پذیرش تجاری آنها به عنوان مدلهای انطباق جزئی (در مقابل مدلهای انطباق کامل اولیّه) در موتورهای کاوش اینترنتی که نتایج را به صورت فهرستی رتبه‎بندی شده ارائه می‎دهند، تا دهة 90 به تعویق افتاد.

امروزه نظامهای بازیابی اطلاعات نقش مهمی را در تمرکز اطلاعاتی[3] و توسعة دانش بازی می‎کنند (وانگ وفورگیونه[4]،2006) چنان‎که مدیریت دانش به منظور دسترس‎پذیر کردن حجم قابل توجه اطلاعات و مجموعه‎های گستردة علمی متنی، بدون این نظامها قابل تصور نیست. در زمان ما، استفاده از وب و موتورهای کاوش جزئی از زندگی روزمرّه تلقی می‎شود که با روشها، ابزار و رویکردهای نظامهای بازیابی اطلاعات عجین شده‎اند. در این راستا، همچون بسیاری از مفاهیم و فرایندهای دیگر، انسان دست به ارزیابی می‎زند و دربارة کیفیت کار اظهار نظر می‎کند.

ارزیابی نظامهای بازیابی اطلاعات

زمانی که صحبت از ارزیابی می‎شود، منظور داوری در مورد کیفیت و کارآمدی است. به اعتقاد «ساراسویک[5]»(1995) ارزیابی نفوذ عمده‎ای در تحقیقات، توسعه و کاربردهای مربوط به بازیابی اطلاعات دارد. به نظر «بائزا - ییتس و ریبرو - نتو[6]» (1385) در ارزیابی نظامهای بازیابی اطلاعات، به دو جنبة کلی تحلیل کارکردی[7] و ارزیابی عملکرد[8] نظام پرداخته می‎شود. در بخش تحلیل کارکردی نظام، موضوعاتی مانند آزمون تک تک کارکردها با معیارهای اثربخشی (هدفها)، هزینه – کارآیی (هزینه‎های نهایی) و هزینه – سودمندی (سود ناشی از خدمات) و همچنین تحلیل خطا، مورد توجه قرار می‎گیرد.

عملکرد نظام از نظر فضا و زمان و معیارهای دیگری که مهم‎ترین آنها ربط[9] است، ارزیابی می‎شود. در متون حوزة ما، زمانی که بحث ارزیابی نظامهای بازیابی اطلاعات مطرح می‎شود، بیشتر منظور مورد اخیر یعنی ارزیابی عملکرد بازیابی نظام از نظر ربط است.

هدف از توضیح این قسمت این بود که باید بین ارزیابی کل نظام بازیابی‎، ارزیابی عملکرد آن و ارزیابی بازیابی نظام از نظر ربط، تفاوت قایل شد؛ هرچند در بعضی از سنجه‎های ارائه شده، علاوه بر ربط، ارزیابی عملکرد به طور کلی، یعنی با توجه به جنبه‎های زمان و فضا، مورد توجه بوده است.

هدف از ارزیابی کل نظام، آمادگی برای پاسخگویی به منابع تأمین بودجه و توجیه عملکرد نظام و اثبات ارزشمندی آن، اطمینان از تداوم خدمات مناسب و اثربخشی (با مقایسه سطح مورد نظر عملکرد وسطح کنونی)، حلّ مشکلات نظام (بررسی نقاط قوّت و ضعف) و به دست آوردن اطلاعات برای طرح‎ریزی عملکرد آتی و یا طراحی و پیاده‎سازی نظامهای جدید است (پائو،1379).

در ارزیابی عملکرد یک نظام، هرچه زمان پاسخ کوتاه‎تر و فضای مورد استفاده [یِ داده‎ها] کوچکتر باشد، نظام در وضعیت بهتری است که مربوط می‎شود به عملکرد ساختارهای نمایه‎سازی‎، تعامل با سیستم عامل، تأخیرهای کانالهای ارتباطی و پیامدهای لایه‎های نرم‎افزاری عمل کننده در پس زمینه (بائزا- ییتس و ریبرو- نتو، 1385).

بنابراین، یک نظام خوب، نظامی است که نیازهای کاربر را برآورده سازد. برآوردن این نیازها، به عملکرد خوب نظام در ابعاد مختلف بستگی دارد. کیفیت پاسخها در ارتباط با نیاز اطلاعاتی، سرعت پاسخگویی و محیط رابط کاربر نظام، مهم‌ترین ابعاد هستند که در بین این سه، ارزیابی مورد اول از همه دشوارتر است.

رویکردهای ارزیابی عملکرد بازیابی نظام(ربط)

الف) رویکرد نظام مدار

ارزیابی‎ها اغلب در بازیابی اطلاعات از رویکرد نظام مدارانه[10] استفاده می‎کنند که آن هم بیشتر بر تعیین الگوریتمهای جستجو با استفاده از سنجه‎های آماری بویژه دو ضریب بسیار شناخته شدة «بازیافت و دقت[11]» متمرکز است (سالتون، 1992). نمونه‎های این روش‎شناسی ارزیابی که به «پارادایم کرنفیلد[12]» معروف است (کلوردون،1997) پروژه‎های کرنفیلد (کلوردون، میلز، و کین، 1966)، «اسمارت[13]» (سالتون،1989،1971)، «استیرز[14]» (بلرو میرون،1990، 1985)، و «تِرِک[15]» (از سال 1992توسط موسسه استاندارد وفناوری) است.

این مطالعات اگرچه به صورت طرح تجربی استاندارد انجام شده‎اند، چشم‎انداز آنها به ارزیابی، کامل نیست. دو اشکال اساسی به این رویکرد گرفته‎اند. نخست، از ربط موضوعی به عنوان مبنا یا تنها معیار ارزیابی بازیابی استفاده می‎شود. سنجه‎های آماری عملکرد مانند بازیافت و دقت، به زمینة متن کار ندارند و مستقل از متن هستند و منعکس کنندة فرایند تعاملی بازیابی نیستند و تنها نوعی داوری مقدماتی در مورد بازنمون دووجهی ربط(مربوط یا نامربوط) می‎دهند (بورلند،2003،2000). از طرفی، تنها برونداد را مورد توجه قرار می‎دهند و راهبردی یکجایه (که در ادامه توضیح داده خواهد شد) دارند و به فرایند تعاملی بازیابی توجهی ندارند. از سوی دیگر، مدارک را به مربوط و نامربوط تقسیم می‎کنند. هرچند جامعیت و مانعیت باز تعریف شده‎اند (ککالاینن و جارولین[16]،2002)، همچنان این سنجه‎های ربط محور از انعکاس طبیعت پویا و چند بعدی ربط ناتوان است (ساراسویک،1996).

دوم، بُعد کاربری از فرایند ارزیابی حذف شده است، در حالی‎که ربط مفهومی شناختی است که معنای آن به درک کاربران از اطلاعات بازیابی شده و موقعیتهای نیاز اطلاعاتی خودشان ارتباط عمده دارد (بورلاند،2003). این رویکرد تنها به درجه‎ای که بازنمون پرسش (عبارت جستجو)[17] با متن عینیتهای اطلاعاتی بازیابی شده مطابقت دارد، می‎پردازد. به بیان دیگر، مطالعات ارزیابی در این حوزه، تعریف نیاز اطلاعاتی توسط سیستم را به جای تعریفهای کاربران پذیرفته‎اند. کاربر در این رویکرد یک انتزاع[18] است نه کاربر واقعی (مندل، 2008).

ب) رویکرد کاربر مدار

با تغییر مسیر پارادایم به سمت جنبه‎های رفتاری و شناختی در بازیابی اطلاعات‎، حجم عمده‎ای از مطالعات بر ارزیابی رضایت، عملکرد و استفادة کاربر نهایی از نظامهای بازیابی اطلاعات تمرکز کردند (الیس،1996؛ رابرتسون و هنکاک بولیو،1992؛ چمبر،1994). مطالعات کاربرمدار[19] به کاربران و سطوح استفادة آنها می‎پردازند. به دلیل دشواری ارزیابی جنبه‎های فردی جستجوها و ارزیابی قضاوت کاربر از سودمندی نتایج، کار در این رویکرد بسیار دشوارتر از رویکرد نظام مدار است. در این رویکرد، تمرکز بیشتر بر فرایند است تا خروجی‎ها.

دستهبندی از نظر راهبرد جستجو

شاید مناسب باشد قبل از تقسیم مطالعات مربوط به ارزیابی عملکرد به نظام مدار و کاربر مدار، آنها را از نظر توجه به ماهیت درخواست پرسش، دسته‎بندی کنیم. در این تقسیم‎بندی، راهبرد جستجو مورد توجه قرار می‎گیرد. دو نوع راهبرد جستجوی ذکر شده، عبارتند از: راهبرد یکجایه[20] و راهبرد تعاملی[21].

در نوع اول، کاربر پرسش خود را ارائه و پاسخی را دریافت می‎کند. اما در راهبرد تعاملی، کاربر نیاز اطلاعاتی خود را از طریق مجموعه‎ای از مراحل تعامل با نظام، مشخص می‎کند.

در راهبرد یکجایه، وجه غالب کیفیت مجموعه پاسخ ارائه شده است، که خود می‎تواند نظام مدار یا کاربر‎مدار باشد. مطالعاتی که با این راهبرد صورت گرفته، ابتدا در محیط آزمایشگاهی (مانند تِرِک) و سپس در محیط واقعی انجام شدند. معیارهای ارزیابی[22] راهبرد یکجایه در رویکرد نظام‎مدار عبارتند از: جامعیت ومانعیت، سنجه ارزیابی E، ومیانگین توافقی F . این معیارها در رویکرد کاربر‎مدار عبارتند از: دستاورد جامعیت[23]، جامعیت نسبی[24]، نسبت تازگی[25] و نسبت پوشش[26].

در راهبرد تعاملی، بیشتر از کیفیت مجموعه پاسخ ارائه شده، به فرایند تعامل و اجزای آن مانند تلاش کاربر، ویژگیهای طراحی محیط رابط[27]، راهنماییهای ارائه شده از سوی نظام و طول مدت تعامل توجه می‎شود. بنابراین، باید بین راهبرد تعاملی با رویکرد کاربرمدار یکجایه، تفاوت قایل شد.

منظور از تعامل، ارتباط بین اطلاع‎جویان انسانی و نظامهای بازیابی اطلاعات است. وقتی کاربران به یک نظام بازیابی اطلاعات وارد می‎شوند، اغلب از نحوة دستیابی خود به اطلاعات، درک مبهمی دارند. بنابراین، تعامل میان سیستم و کاربر در مورد درک و بیان نیازهای اطلاعاتی، تدوین پرسشها، انتخاب از میان مآخذ موجود، درک نتایج کاوش و پیگیری روند پیشرفت کاوش کاربران، می‎تواند انجام شود. رفتار اطلاع‎یابی[28] و بازخورد ربط[29] در این بخش با نظامهای بازیابی پیوند می‎خورند. بر اساس این نوع نگاه، ارزیابی با آزمایش اطلاع‎جویی واقعی کاربر نهایی و فرایندهای بازیابی آغاز می‎شود (جارولین و اینگورسن[30]،2004). مدل اطلاع‎یابی گزینشی (میوه چینی)[31] بیتس و سایر مدلهای تشریح و بازنمایی اعمال و فعالیتهای شناختی کاربر در خلال فرایند بازیابی اطلاعات (به عنوان مثال بلکین،1980؛ اینگورسن،1996؛ کولثاو، 1991) از این دسته‎اند. در ارزیابی نظامهای تعاملی، به طراحی محیط رابط، بازیافت و دقت (در بسیاری از محیطهای تعاملی، کاربران فقط به اسناد معدودِ با ربط و با مانعیت بالا نیاز دارند)، زمان لازم برای یادگیری کار با نظام، زمان لازم برای برای دستیابی به هدفها در وظایف معیار، نرخ خطا، و تداوم استفاده از محیط رابط در طی زمان و... توجه می‎شود.

در مدل استاندارد، فرایند دسترسی به اطلاعات، این واقعیت مورد توجه قرار نمی‎گیرد که بسیاری از کاربران دوست ندارند با سیاهه‎ای طولانی و به هم ریخته از نتایج بازیابی (که به‎ طور مستقیم به نیاز اطلاعاتی‎شان نمی‎پردازد) مواجه شوند. همچنین، حاوی این فرض اساسی است که نیاز اطلاعاتی کاربر، ایستاست و فرایند اطلاع‎جویی یک فرایند اصلاح پیاپی است، تا جایی که فقط اسناد مربوط به نیازهای اطلاعاتی اصلی، بازیابی شوند. تعاملی که در هنگام مرور واژه‎های پیشنهادشده به عنوان نتیجة بازخورد ربط، مرور ساختارهای اصطلاحنامه‎ای، یا مشاهدة نمایة موضوعی گردآوردهای اسناد به وسیلة کاربر رخ می‎دهد، در مدل استاندارد چندان مورد توجه قرار نمی‎گیرد.

چنان‎که ملاحظه می‎شود، یکی از مسائل مهم در این نوع نظامها، بازخورد ربط است. بازخورد ربط در شکل اصلی آن به یک چرخة تعامل اطلاق می‎شود که در آن، کاربر مجموعة کوچکی از اسناد را که به نظر می‎رسد با پرسش ربط دارند، انتخاب می‎کند. سپس، نظام از ویژگیهای برگرفته شده از اسناد انتخاب شدة مرتبط، برای بازنگری در پرسش اصلی استفاده می‎کند. بعد، این پرسش بازنگری شده اجرا و مجموعة جدیدی از اسناد برگردانده می‎شود. اسناد مجموعة اصلی ممکن است در سیاهة یافته‎های جدید نیز ظاهر شوند، هرچند ممکن است رتبة متفاوتی داشته باشند. از جمله روشهای اعمال بازخورد ربط می‎توان به محیط رابط برای بازخورد استاندارد ربط (جعبه‎های علامتگذاری، اسناد دیگر شبیه به این، بازخورد تصاعدی)، قرار دادن اطلاعات با ربط در پس‎ زمینه) کنترل پیشرفت و رفتار کاربران در دوره‎های تعاملی طولانی مدت)، قضاوت ربط گروهی (استفاده از قضاوتهای ربط گروه بزرگی از کاربران مختلف، برای رتبه‎بندی یا درجه‎بندی اطلاعات عمومی)،  و بازخورد شبه ربط اشاره کرد (در این روش، نظام به جای اتکا بر کاربر برای انتخاب K سند با ربط برتر، فرض می‎کند که اسناد رتبه‎بندی شده صوری‎اش با ربط هستند، و از این اسناد برای طولانی کردن پرسش با یک الگوریتم رتبه‎بندی بازخورد ربط، استفاده می‎کند) (بائزا - ییتس و ریبرو - نتو، جلد دوم، 1389).

بررسی یک مدل ترکیبی

در پژوهش مورد بررسی(وانگ و فورگیونه،2006) سعی شده است معیاری جامع و چند وجهی برای ارزیابی نظامهای بازیابی اطلاعات عرضه شود. مبنای این پژوهش بر فرایند تحلیل سلسله مراتبی[32]در بافتار نظامهای بازیابی قرار گرفته است. بحث نو این پژوهش، تمرکز بر جنبة کاربری و کاربرد نظریه‎های تصمیم‎گیری[33] در حوزة بازیابی اطلاعات است.

این پژوهش فرایند جستجوی اطلاعات[34] از منظر کاربر را در 6 مرحله (شروع، گزینش، شناسایی،  تدوین عبارت جستجو[35]، گردآوری و ارائه) مطابق مدل «کولثاو» (1991) در نظر گرفته و آن را با فرایند تصمیم‎گیری مطابقت داده است. وی معتقد است تفکر در مورد جستجوی اطلاعات به عنوان فرایند ساخت تصمیم به طور خاص در زمان ارزیابی نظامهای بازیابی اطلاعات، اهمیت ویژه‎ای دارد و از این راه می‎توان مشکل مرتبط با رویکردهای متفرق ارزیابی نظامها را هم در مورد برونداد و هم فرایند حل کرد. این تطابق در جدول 1 تشریح شده است.

 

جدول1. مراحل تصمیم‎گیری در فرایند جستجوی اطلاعات (مبتنی بر مدل وانگ و فورگیونه،2006)

مراحل فرایند جستجوی اطلاعات

مراحل تصمیمگیری در فرایند جستجوی اطلاعات

مراحل عام تصمیمگیری

شروع به کار

بازشناسی مسئله

بازشناسی مسئله

انتخاب موضوع

ارزیابی جایگزینهای موضوع عام

تشخیص یک موضوع عام

تشخیص عینیت‎ها و برقراری معیارها

شناسایی اوّلیه

جمع‌آوری اطلاعات مرتبط با موضوع عام

جمع‎آوری داده و تولید

 

بررسی ارتباط بین موضوعات جایگزین و موضوع عام

جایگزینها

تمرکز بر فرمول‎بندی

برقراری معیارها (تمرکز)

تعیین روابط بین معیارها و جایگزینها

گردآوری اطلاعات

ارزیابی جایگزینهای مقاله

ارزیابی جایگزین‎ها و توسعه

 

تشخیص مقاله‎های مرتبط

اعمال توصیه شده در بیشترین اشتراک با معیارهای تصمیم

اتمام جستجو

اتخاذ انتخابهای نهایی

توسعه یک نقشه پیاده‌سازی و به‌کاربردن آن در عمل

 

بنابراین، مبانی این پژوهش را می‎توان به صورت زیر دسته‎بندی کرد. نخست، مطالعه‎ای است در مورد مراحل تصمیم‎گیری درگیر در فرایند جستجوی اطلاعات توسط کاربران و نقش نظریه‎های تصمیم‎گیری در ارزیابی نظامهای بازیابی اطلاعات. دوم، به تشریح مدلی نظری - تصمیمی که سنجه‎های رویکردهای بروندادی و فرایندی را ترکیب می‎کند، برای ارزیابی نظامهای بازیابی اطلاعات می‎پردازد. کاربرد معیار چند وجهی مبتنی بر روش تصمیم‎گیری که فرایند سلسله مراتبی تحلیل نامیده می‎شود، ارائه مدل ارزیابی و سپس کاربرد آن در حوزة خاص کاربرد بازیابی اطلاعات، قدمهای بعدی این پژوهش است. مدل ارائه شده مبتنی بر این رویکرد، مطابق شکل 1 است.

به اعتقاد محققان طراح، این مدل سنجه‎های مختلف ارزیابی مرتبط به زمینة جستجوی اطلاعات را به شکل مجتمع به هم مرتبط می‎سازد. به دلیل اینکه یک نظام بازیابی اطلاعات بندرت در تمامی مراحل و رویّه‎های ساخت تصمیم به کاربر یاری می‎رساند، تنها سنجه‎های مرتبط، در ارزیابی باید در نظر گرفته شوند. بعضی سنجه‎ها به فرایند و بعضی به برونداد می‎پردازند که به تفکیک بیان شده‎اند.

 

 

شکل 1. مدل چند معیاره ارزیابی نظام بازیابی اطلاعات (وانگ وفورگیونه،2006)

 

که در آن حروف ذکر شده (سنجه‎های خاصّ ارزیابی) نمایانگر موارد زیر هستند:

T1     زمان صرف شده برای بازشناسی مسئله

N1    تعداد جایگزینهای موضوعی عام

T2    زمان صرف شده برای تشخیص موضوع عام

N2    تعداد مقاله‎های تولید شده برای موضوع عام

T3    زمان صرف شده برای ایجاد معیار

T4    زمان صرف شده برای تشخیص مقاله مرتبط

N3   تعداد مقاله‎های مرتبط تشخیص داده شده

N4   تعداد مقاله‎های اضافی تشخیص داده شده در وارسی دوباره

P1   سودمندی نظام

P2   یادگیری کاربر

 

تشریح فرایند سلسله مراتبی تحلیل، به عنوان یکی از پر کاربردترین روشهای مورد استفاده در پرداختن به مسائل دارای معیارهای چند وجهی تصمیم گیری [36] (که ارزیابی نظامهای بازیابی اطلاعات نیز از این دسته مسائل است) در بخش بعدی مورد توجه قرار گرفته و در نهایت، مدل ارائه شده را در یک نظام بازیابی اطلاعات (شبکه پیشگیری از خودکشی)[37] به کار برده است و نتایج را در دو حالت (با استفاده یا بدون استفاده) از این نظام، مقایسه کرده است. با به کارگیری فرایند سلسله مراتبی تحلیل، این دو حالت در معیارهای فرایند و برونداد می‎توانند مقایسه شوند. لازم به ذکر است، برای تولید داده‎های مورد نیاز فرایند سلسله مراتبی تحلیل، از یک سناریوی شبیه‎سازی شده استفاده شده است. نتایج در جدول 2 ارائه شده‎اند.

 

جدول2. ارزش سنجه‎های ارزیابی در موارد با استفاده یا بدون استفاده از نظام بازیابی اطلاعات

سنجههای ارزیابی

با استفاه از نظام بازیابی اطلاعات

بدون استفاده از نظام بازیابی اطلاعات

T1

30 ثانیه

150 ثانیه

N1

20

4

T2

15 ثانیه

60 ثانیه

N2

23

29

T3

60 ثانیه

360 ثانیه

T4

15 ثانیه

300 ثانیه

N3

11

5

N4

1

2

P1

8

5

P2

7

6

ارزشهای عددی نتایج به دست آمده در جدول 2، پس از تغییر به وزنهای مساوی به منظور سنجش برتری هرکدام از دو روش، در شکل 2 آورده شده است. اگرچه شاید برخی معیارها مهم‎تر از بقیه باشند، به دلیل پرهیز از سوگیری اوزان یکسان در نظر گرفته شده‎اند.

 

 

نتایج ارائه شده در شکل 2، نمایانگر معناداری نسبی تفاوت میان دو جایگزین در بهتر شدن ساخت تصمیم کاربر در خلال جستجوی اطلاعات است.

همچنین، نشان می‎دهد که سودمندی تصمیم‎گیری به میزان قابل توجهی با استفادة کاربر از نظام بازیابی اطلاعات، در مقایسه با زمانی که از آن استفاده نمی‎کند، بالا می‎رود (574/0 در مقابل 426/0) و کارآمدی تصمیم‎گیری به میزان بسیار زیاد با نظام بازیابی بهتر می‎شود (861/0 در مقابل 139/0). همچنین، عملکرد بازیابی اطلاعات نیز به طور معناداری با نظام بازیابی اطلاعات افزایش می‎یابد (608/0 در مقابل 392/0). حالت استفاده از این نظام بازیابی اطلاعات، برتری معناداری بر حالت استفاده نکردن از این نظام در هر دو بخش معیارهای فرایندی و بروندادی نشان می‎دهد و بیشترین برتری در فرایند است. روی‎ هم رفته، امتیاز به دست آمده 663/0 برای نظام بازیابی اطلاعات در مقایسه با امتیاز 337/0 برای مورد استفاده نکردن از این نظام، نشان می‎دهد نظام شبکه پیشگیری از خودکشی (PSN)  قدرت تصمیم‎گیری کاربر را در بازیافت اطلاعات مرتبط در مورد پیشگیری از خودکشی، افزایش می‎دهد.

محقق سپس به بحث و نتیجه‎گیری می‎پردازد. وی معتقد است این روش برای بازیافت اطلاعات حقوقی وکتابخانه‎ای نیز قابل استفاده است که می‎تواند در پژوهشهایی مورد سنجش قرار گیرد (وانگ وفورگیونه،2006).

نتیجه و پیشنهاد

چنان‎که گفته شد، تحقیقات ارزیابی در زمینة بازیابی اطلاعات بر یک جنبه (رویکرد نظام مدار) عمدتاً متمرکز شده و در عین حال از هم گسیخته است. مطالعات ارزیابی در رویکردهای مختلف از هم جدا افتاده‎اند. به اعتقاد «ساراسویک» (1995) این جدا افتادگی در سطوح ارزیابی می‎تواند به عنوان کمبود بنیادی در تمامی ارزیابیهای بازیابی اطلاعات در نظر گرفته شود. نظامهای بازیابی به عنوان فعالیتی اجتماعی، با هدف پیوند و ممکن ساختن تعاملات میان تهیه‎کنندگان/ نویسندگان اطلاعات و کاربران/ خوانندگان اطلاعات، ایجاد می‎شوند (ساراسویک، 1995). این فعالیت، ماهیتی پیچیده، شناختی و ذهنی دارد (بورلند،2003). بنابراین، ارزیابی یک نظام نه تنها در زمینة فنی وسیستمی، بلکه در زمینه‎های کاربردی باید سنجش شود. علاوه بر این، در ارزیابی باید ترکیبی از معیارهای بروندادی و فرایندی، برای انعکاس ماهیت پویا و چند بعدی ربط استفاده شود. چالش عمده در راه تلاش برای ارزیابی بازیابی اطلاعات، کاربرد مقیاسهای متنوع به روشی متحد شده و جامع است (ساراسویک، 1995) که مسیر پژوهشهای آینده را روشن می‎کند. به اعتقاد برخی از محققان، چالش آینده بر تشریح ابعاد چندگانه و اجزای نسل جدید نظامهای بازیابی اطلاعات از طریق آزمایش آنها با رویکردهای ارزیابانة متنوع، متمرکز است (رابرتسون و هنکاک بولیو،1992). در این نوشته، پژوهشی مبتنی بر این رویکرد به عنوان نمونه معرفی شد که می‎تواند مسیر را روشن‎تر کند.



[1]. Information Retrieval System (IRS).

[2]. Mandl, T.

[3]. Information focusing.

[4]. Wang, Y.D.,& Forgionne, G.

[5]. Saracevic, T.

[6]. Baeza-Yates, Ricardo; Ribeiro-Neto, Berthier.

[7]. Functional analysis.

[8]. Performance.

[9]. Relevance.

[10]. System oriented approach.

[11]. Recall & Precision.

[12]. Cranfield paradigm.

[13]. Smart.

[14]. Stairs.

[15]. TREC(Text REtrieval Conference).

[16]. Kekalainen, J., & Jarvelin, K.

[17]. Query.

[18]. Abstraction.

[19]. User oriented.

[20]. Batch mode.

[21]. Interactive.

[22].  برای توضیح بیشتر به کتاب «قلمروهای نو در بازیابی اطلاعات» مراجعه شود.

[23]. Recall effort.

[24]. Relative recall.

[25]. Novelty ratio.

[26]. Coverage ratio.

[27]. User interface.

[28]. Information-seeking behavior.

[29]. Relevance feedback.

[30]. Jarvelin, K., & Ingwersen, P.

[31]. Berry-picking.

[32]. Analytic Hierarchy Process(AHP).

[33]. Decision making.

[34]. Information search process(ISP).

[35]. Formulation.

[36]. Multiple criteria decision making(MCDM).

[37]. Preventing  Suicide Network(PSN).

-      پائو، میراندا لی (1378). مفاهیم بازیابی اطلاعات. ترجمه اسدالله آزاد و رحمت‎الله فتاحی. مشهد: دانشگاه فردوسی مشهد.

-   بائزا - ییتس، ریکاردو؛ ریبرو - نتو، برتیه (1385). قلمروهای نو در بازیابی اطلاعات.جلد اول. ترجمه علی حسین قاسمی با همکاری سیروس آزادی و علی جوامع. تهران: چاپار؛ دبیزش.

-      ــــــــــ ، (1389). قلمروهای نو در بازیابی اطلاعات.جلد دوم. ترجمه علی حسین قاسمی با همکاری سیروس آزادی و علی جوامع. تهران: چاپار؛ دبیزش.

-      Belkin, N. J. (1980). Anomalous states of knowledge as a basis for information retrieval. Canadian Journal of Information Science, 5, 133–143.

-      Blair, D. C., & Maron, M. E. (1990). Full-text information retrieval: further analysis and clarification. Information Processing & Management, 26(2), 437– 447.

-      Blair, D. C., & Maron, M. E. (1985). An evaluation of retrieval effectiveness for a full-text document retrieval system. Communications of the ACM, 28, 289–299.         

-      Borlund, P. (2000). Experimental components for the evaluation of interactive information retrieval systems. Journal of Documentation, 56(1), 71–90.

-      Borlund, P. (2003). The concept of relevance in IR. Journal of the American Society for Information Science and Technology, 54(10), 913–925.

-      Cleverdon, Cyril (1997). The Cranfield Tests on Index Language Devices. In: Sparck-Jones, Karen; Willett, Peter (Eds.): Readings in Information Retrieval. Morgan Kaufman, 47-59.

-      Cleverdon, C.W., Mills, J., & Keen, E.M. (1966). An inquiry in testing of information retrieval systems. (2 vols.). Cranfield, U.K.:Aslib Cranfield Research Project, College of Aeronautics.

-      Ellis, D. (1996). The dilemma of measurement in information retrieval research. Journal of the American Society  for Information Science, 47(1), 23–36.

-      Ingwersen, P. (1996). Cognitive perspectives of information retrieval interaction: Elements of a cognitive IR theory. Journal of Documentation, 52(1), 3–50.

-      Jarvelin, K., & Ingwersen, P. (2004). Information seeking research needs extension toward tasks and technology. Information Research, 10(1), paper no. 212. Available from http://InformationR.net/ir/10-1/paper212.html.

-      Kekalainen, J., & Jarvelin, K. (2002). Evaluating information retrieval systems under the challenges of interaction and  multidimensional dynamic relevance. In: Bruce, H., Fidel, R., Ingwersen, P., Vakkari, P. (Eds.), Proceedings of the 4th CoLIS Conference (pp. 253–270). Greenwood Village, CP: Libraries Unlimited.

-      Kuhlthau, C. (1991). Inside the Search Process: Information Seeking from the User_s Perspective. Journal of the American Society for Information Science, 42(5), 361–371.

-      Mandl, T. (2008). Recent Developments in the Evaluation of Information Retrieval Systems: Moving Towards Diversity and Practical Relevance. Informatica, 32, 27-38.

-      Robertson, S. E., & Hancock-Beaulieu, M. M. (1992). On the evaluation of IR systems. Information Processing & Management, 28(4), 457– 466.

-      Salton, G. (1992). The state of retrieval system evaluation. Information Processing & Management, 28(4), 441– 449.

-      Salton, G. (1989). Automatic text processing: the transformation, analysis and retrieval of information by computer. Reading, MA: Addison-Wesley.

-      Salton, G. (1971). The SMART retrieval systems: experiments in automatic document processing. Englewood Cliffs, NJ: Prentice-Hall.

-      Saracevic, T. (1995). Evaluation of Evaluation in Information Retrieval. Proceedings of the Eighteenth Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 138–146.

-      Saracevic, T. (1996). Relevance reconsidered. In Ingwersen, P. and Pors, N.O. (Eds.), Information Science: Integration in Perspective: Proceedings of the 2nd International Conference on Conceptions of  Library and Information Science (CoLIS 2), 201–218.

-      Schamber, L. (1994). Relevance and information behavior. Annual review of information science and technology, 29, 3– 48.

Wang, Y.D.,& Forgionne, G.(2006).  A decision-theoretic approach to the evaluation of information retrieval systems. Information Processing & Management, 42, 863-874