نوع مقاله : مقاله پژوهشی
نویسنده
عضو هیئت علمی دانشگاه بیرجند و دانشجوی دکترای کتابداری و اطلاع رسانی دانشگاه فردوسی مشهد
چکیده
کلیدواژه‌ها
مقدمه
نظامهای بازیابی اطلاعات[1] به بازنمون، ذخیرهسازی و بازیابی اطلاعات و دانش مرتبط با نیازها و سؤالهای خاصّ کاربران میپردازند. کاربر در قالب یک پرسش، با واژههایی از زبان طبیعی نیاز خود را مطرح می‌کند. این پرسش بهوسیلة نظام و بر اساس یک الگوریتم مشخص با مدارک نمایهسازی شده مقایسه و مدارکی که بیشترین مشابهت را با پرسش کاربر دارند، عرضه میشوند. در نهایت، این کاربر است که میزان ربط آنها را با نیاز خود مورد سنجش قرار میدهد(مندل[2]، 2008). بازیابی اطلاعات، فرایندی دارای ابهام است. این ابهام به مبهم بودن عناصر دخیل در آن یعنی زبان طبیعی، نیاز اطلاعاتی، ربط و ... باز میگردد.
پس زمینة تاریخی نظامهای بازیابی رایانهای، به گسترش روشهای نمایهسازی خودکار متون در دهة 60 میلادی باز میگردد؛ روشی که همچنان به صورت گسترده توسط ارائهدهندگان اطلاعات و همچنین در خدمات اینترنتی به کار میرود. در دهة70، مدلهای بازیابی بولی و فضای برداری و بعدها مدلهای بازیابی احتمالاتی گسترش یافتند. لکن پذیرش تجاری آنها به عنوان مدلهای انطباق جزئی (در مقابل مدلهای انطباق کامل اولیّه) در موتورهای کاوش اینترنتی که نتایج را به صورت فهرستی رتبهبندی شده ارائه میدهند، تا دهة 90 به تعویق افتاد.
امروزه نظامهای بازیابی اطلاعات نقش مهمی را در تمرکز اطلاعاتی[3] و توسعة دانش بازی میکنند (وانگ وفورگیونه[4]،2006) چنانکه مدیریت دانش به منظور دسترسپذیر کردن حجم قابل توجه اطلاعات و مجموعههای گستردة علمی متنی، بدون این نظامها قابل تصور نیست. در زمان ما، استفاده از وب و موتورهای کاوش جزئی از زندگی روزمرّه تلقی میشود که با روشها، ابزار و رویکردهای نظامهای بازیابی اطلاعات عجین شدهاند. در این راستا، همچون بسیاری از مفاهیم و فرایندهای دیگر، انسان دست به ارزیابی میزند و دربارة کیفیت کار اظهار نظر می‌کند.
ارزیابی نظامهای بازیابی اطلاعات
زمانی که صحبت از ارزیابی میشود، منظور داوری در مورد کیفیت و کارآمدی است. به اعتقاد «ساراسویک[5]»(1995) ارزیابی نفوذ عمدهای در تحقیقات، توسعه و کاربردهای مربوط به بازیابی اطلاعات دارد. به نظر «بائزا - ییتس و ریبرو - نتو[6]» (1385) در ارزیابی نظامهای بازیابی اطلاعات، به دو جنبة کلی تحلیل کارکردی[7] و ارزیابی عملکرد[8] نظام پرداخته میشود. در بخش تحلیل کارکردی نظام، موضوعاتی مانند آزمون تک تک کارکردها با معیارهای اثربخشی (هدفها)، هزینه – کارآیی (هزینههای نهایی) و هزینه – سودمندی (سود ناشی از خدمات) و همچنین تحلیل خطا، مورد توجه قرار میگیرد.
عملکرد نظام از نظر فضا و زمان و معیارهای دیگری که مهم‌ترین آنها ربط[9] است، ارزیابی میشود. در متون حوزة ما، زمانی که بحث ارزیابی نظامهای بازیابی اطلاعات مطرح میشود، بیشتر منظور مورد اخیر یعنی ارزیابی عملکرد بازیابی نظام از نظر ربط است.
هدف از توضیح این قسمت این بود که باید بین ارزیابی کل نظام بازیابی، ارزیابی عملکرد آن و ارزیابی بازیابی نظام از نظر ربط، تفاوت قایل شد؛ هرچند در بعضی از سنجههای ارائه شده، علاوه بر ربط، ارزیابی عملکرد به طور کلی، یعنی با توجه به جنبههای زمان و فضا، مورد توجه بوده است.
هدف از ارزیابی کل نظام، آمادگی برای پاسخگویی به منابع تأمین بودجه و توجیه عملکرد نظام و اثبات ارزشمندی آن، اطمینان از تداوم خدمات مناسب و اثربخشی (با مقایسه سطح مورد نظر عملکرد وسطح کنونی)، حلّ مشکلات نظام (بررسی نقاط قوّت و ضعف) و به دست آوردن اطلاعات برای طرحریزی عملکرد آتی و یا طراحی و پیاده‌سازی نظامهای جدید است (پائو،1379).
در ارزیابی عملکرد یک نظام، هرچه زمان پاسخ کوتاهتر و فضای مورد استفاده [یِ دادهها] کوچکتر باشد، نظام در وضعیت بهتری است که مربوط میشود به عملکرد ساختارهای نمایهسازی، تعامل با سیستم عامل، تأخیرهای کانالهای ارتباطی و پیامدهای لایههای نرمافزاری عمل کننده در پس زمینه (بائزا- ییتس و ریبرو- نتو، 1385).
بنابراین، یک نظام خوب، نظامی است که نیازهای کاربر را برآورده سازد. برآوردن این نیازها، به عملکرد خوب نظام در ابعاد مختلف بستگی دارد. کیفیت پاسخها در ارتباط با نیاز اطلاعاتی، سرعت پاسخگویی و محیط رابط کاربر نظام، مهم‌ترین ابعاد هستند که در بین این سه، ارزیابی مورد اول از همه دشوارتر است.
رویکردهای ارزیابی عملکرد بازیابی نظام(ربط)
الف) رویکرد نظام مدار
ارزیابیها اغلب در بازیابی اطلاعات از رویکرد نظام مدارانه[10] استفاده میکنند که آن هم بیشتر بر تعیین الگوریتمهای جستجو با استفاده از سنجههای آماری بویژه دو ضریب بسیار شناخته شدة «بازیافت و دقت[11]» متمرکز است (سالتون، 1992). نمونههای این روششناسی ارزیابی که به «پارادایم کرنفیلد[12]» معروف است (کلوردون،1997) پروژههای کرنفیلد (کلوردون، میلز، و کین، 1966)، «اسمارت[13]» (سالتون،1989،1971)، «استیرز[14]» (بلرو میرون،1990، 1985)، و «تِرِک[15]» (از سال 1992توسط موسسه استاندارد وفناوری) است.
این مطالعات اگرچه به صورت طرح تجربی استاندارد انجام شدهاند، چشمانداز آنها به ارزیابی، کامل نیست. دو اشکال اساسی به این رویکرد گرفتهاند. نخست، از ربط موضوعی به عنوان مبنا یا تنها معیار ارزیابی بازیابی استفاده میشود. سنجههای آماری عملکرد مانند بازیافت و دقت، به زمینة متن کار ندارند و مستقل از متن هستند و منعکس کنندة فرایند تعاملی بازیابی نیستند و تنها نوعی داوری مقدماتی در مورد بازنمون دووجهی ربط(مربوط یا نامربوط) میدهند (بورلند،2003،2000). از طرفی، تنها برونداد را مورد توجه قرار میدهند و راهبردی یکجایه (که در ادامه توضیح داده خواهد شد) دارند و به فرایند تعاملی بازیابی توجهی ندارند. از سوی دیگر، مدارک را به مربوط و نامربوط تقسیم میکنند. هرچند جامعیت و مانعیت باز تعریف شدهاند (ککالاینن و جارولین[16]،2002)، همچنان این سنجههای ربط محور از انعکاس طبیعت پویا و چند بعدی ربط ناتوان است (ساراسویک،1996).
دوم، بُعد کاربری از فرایند ارزیابی حذف شده است، در حالیکه ربط مفهومی شناختی است که معنای آن به درک کاربران از اطلاعات بازیابی شده و موقعیتهای نیاز اطلاعاتی خودشان ارتباط عمده دارد (بورلاند،2003). این رویکرد تنها به درجهای که بازنمون پرسش (عبارت جستجو)[17] با متن عینیتهای اطلاعاتی بازیابی شده مطابقت دارد، میپردازد. به بیان دیگر، مطالعات ارزیابی در این حوزه، تعریف نیاز اطلاعاتی توسط سیستم را به جای تعریفهای کاربران پذیرفتهاند. کاربر در این رویکرد یک انتزاع[18] است نه کاربر واقعی (مندل، 2008).
ب) رویکرد کاربر مدار
با تغییر مسیر پارادایم به سمت جنبههای رفتاری و شناختی در بازیابی اطلاعات، حجم عمدهای از مطالعات بر ارزیابی رضایت، عملکرد و استفادة کاربر نهایی از نظامهای بازیابی اطلاعات تمرکز کردند (الیس،1996؛ رابرتسون و هنکاک بولیو،1992؛ چمبر،1994). مطالعات کاربرمدار[19] به کاربران و سطوح استفادة آنها میپردازند. به دلیل دشواری ارزیابی جنبههای فردی جستجوها و ارزیابی قضاوت کاربر از سودمندی نتایج، کار در این رویکرد بسیار دشوارتر از رویکرد نظام مدار است. در این رویکرد، تمرکز بیشتر بر فرایند است تا خروجیها.
دستهبندی از نظر راهبرد جستجو
شاید مناسب باشد قبل از تقسیم مطالعات مربوط به ارزیابی عملکرد به نظام مدار و کاربر مدار، آنها را از نظر توجه به ماهیت درخواست پرسش، دستهبندی کنیم. در این تقسیمبندی، راهبرد جستجو مورد توجه قرار میگیرد. دو نوع راهبرد جستجوی ذکر شده، عبارتند از: راهبرد یکجایه[20] و راهبرد تعاملی[21].
در نوع اول، کاربر پرسش خود را ارائه و پاسخی را دریافت می‌کند. اما در راهبرد تعاملی، کاربر نیاز اطلاعاتی خود را از طریق مجموعهای از مراحل تعامل با نظام، مشخص می‌کند.
در راهبرد یکجایه، وجه غالب کیفیت مجموعه پاسخ ارائه شده است، که خود میتواند نظام مدار یا کاربرمدار باشد. مطالعاتی که با این راهبرد صورت گرفته، ابتدا در محیط آزمایشگاهی (مانند تِرِک) و سپس در محیط واقعی انجام شدند. معیارهای ارزیابی[22] راهبرد یکجایه در رویکرد نظاممدار عبارتند از: جامعیت ومانعیت، سنجه ارزیابی E، ومیانگین توافقی F . این معیارها در رویکرد کاربرمدار عبارتند از: دستاورد جامعیت[23]، جامعیت نسبی[24]، نسبت تازگی[25] و نسبت پوشش[26].
در راهبرد تعاملی، بیشتر از کیفیت مجموعه پاسخ ارائه شده، به فرایند تعامل و اجزای آن مانند تلاش کاربر، ویژگیهای طراحی محیط رابط[27]، راهنماییهای ارائه شده از سوی نظام و طول مدت تعامل توجه میشود. بنابراین، باید بین راهبرد تعاملی با رویکرد کاربرمدار یکجایه، تفاوت قایل شد.
منظور از تعامل، ارتباط بین اطلاعجویان انسانی و نظامهای بازیابی اطلاعات است. وقتی کاربران به یک نظام بازیابی اطلاعات وارد میشوند، اغلب از نحوة دستیابی خود به اطلاعات، درک مبهمی دارند. بنابراین، تعامل میان سیستم و کاربر در مورد درک و بیان نیازهای اطلاعاتی، تدوین پرسشها، انتخاب از میان مآخذ موجود، درک نتایج کاوش و پیگیری روند پیشرفت کاوش کاربران، میتواند انجام شود. رفتار اطلاعیابی[28] و بازخورد ربط[29] در این بخش با نظامهای بازیابی پیوند میخورند. بر اساس این نوع نگاه، ارزیابی با آزمایش اطلاعجویی واقعی کاربر نهایی و فرایندهای بازیابی آغاز میشود (جارولین و اینگورسن[30]،2004). مدل اطلاعیابی گزینشی (میوه چینی)[31] بیتس و سایر مدلهای تشریح و بازنمایی اعمال و فعالیتهای شناختی کاربر در خلال فرایند بازیابی اطلاعات (به عنوان مثال بلکین،1980؛ اینگورسن،1996؛ کولثاو، 1991) از این دستهاند. در ارزیابی نظامهای تعاملی، به طراحی محیط رابط، بازیافت و دقت (در بسیاری از محیطهای تعاملی، کاربران فقط به اسناد معدودِ با ربط و با مانعیت بالا نیاز دارند)، زمان لازم برای یادگیری کار با نظام، زمان لازم برای برای دستیابی به هدفها در وظایف معیار، نرخ خطا، و تداوم استفاده از محیط رابط در طی زمان و... توجه میشود.
در مدل استاندارد، فرایند دسترسی به اطلاعات، این واقعیت مورد توجه قرار نمیگیرد که بسیاری از کاربران دوست ندارند با سیاههای طولانی و به هم ریخته از نتایج بازیابی (که به طور مستقیم به نیاز اطلاعاتیشان نمیپردازد) مواجه شوند. همچنین، حاوی این فرض اساسی است که نیاز اطلاعاتی کاربر، ایستاست و فرایند اطلاعجویی یک فرایند اصلاح پیاپی است، تا جایی که فقط اسناد مربوط به نیازهای اطلاعاتی اصلی، بازیابی شوند. تعاملی که در هنگام مرور واژههای پیشنهادشده به عنوان نتیجة بازخورد ربط، مرور ساختارهای اصطلاحنامهای، یا مشاهدة نمایة موضوعی گردآوردهای اسناد به وسیلة کاربر رخ میدهد، در مدل استاندارد چندان مورد توجه قرار نمیگیرد.
چنانکه ملاحظه میشود، یکی از مسائل مهم در این نوع نظامها، بازخورد ربط است. بازخورد ربط در شکل اصلی آن به یک چرخة تعامل اطلاق میشود که در آن، کاربر مجموعة کوچکی از اسناد را که به نظر میرسد با پرسش ربط دارند، انتخاب می‌کند. سپس، نظام از ویژگیهای برگرفته شده از اسناد انتخاب شدة مرتبط، برای بازنگری در پرسش اصلی استفاده می‌کند. بعد، این پرسش بازنگری شده اجرا و مجموعة جدیدی از اسناد برگردانده میشود. اسناد مجموعة اصلی ممکن است در سیاهة یافتههای جدید نیز ظاهر شوند، هرچند ممکن است رتبة متفاوتی داشته باشند. از جمله روشهای اعمال بازخورد ربط میتوان به محیط رابط برای بازخورد استاندارد ربط (جعبههای علامتگذاری، اسناد دیگر شبیه به این، بازخورد تصاعدی)، قرار دادن اطلاعات با ربط در پس زمینه) کنترل پیشرفت و رفتار کاربران در دورههای تعاملی طولانی مدت)، قضاوت ربط گروهی (استفاده از قضاوتهای ربط گروه بزرگی از کاربران مختلف، برای رتبهبندی یا درجهبندی اطلاعات عمومی)، و بازخورد شبه ربط اشاره کرد (در این روش، نظام به جای اتکا بر کاربر برای انتخاب K سند با ربط برتر، فرض می‌کند که اسناد رتبهبندی شده صوریاش با ربط هستند، و از این اسناد برای طولانی کردن پرسش با یک الگوریتم رتبهبندی بازخورد ربط، استفاده می‌کند) (بائزا - ییتس و ریبرو - نتو، جلد دوم، 1389).
بررسی یک مدل ترکیبی
در پژوهش مورد بررسی(وانگ و فورگیونه،2006) سعی شده است معیاری جامع و چند وجهی برای ارزیابی نظامهای بازیابی اطلاعات عرضه شود. مبنای این پژوهش بر فرایند تحلیل سلسله مراتبی[32]در بافتار نظامهای بازیابی قرار گرفته است. بحث نو این پژوهش، تمرکز بر جنبة کاربری و کاربرد نظریههای تصمیمگیری[33] در حوزة بازیابی اطلاعات است.
این پژوهش فرایند جستجوی اطلاعات[34] از منظر کاربر را در 6 مرحله (شروع، گزینش، شناسایی، تدوین عبارت جستجو[35]، گردآوری و ارائه) مطابق مدل «کولثاو» (1991) در نظر گرفته و آن را با فرایند تصمیمگیری مطابقت داده است. وی معتقد است تفکر در مورد جستجوی اطلاعات به عنوان فرایند ساخت تصمیم به طور خاص در زمان ارزیابی نظامهای بازیابی اطلاعات، اهمیت ویژهای دارد و از این راه میتوان مشکل مرتبط با رویکردهای متفرق ارزیابی نظامها را هم در مورد برونداد و هم فرایند حل کرد. این تطابق در جدول 1 تشریح شده است.
جدول1. مراحل تصمیمگیری در فرایند جستجوی اطلاعات (مبتنی بر مدل وانگ و فورگیونه،2006)
|
مراحل فرایند جستجوی اطلاعات |
مراحل تصمیمگیری در فرایند جستجوی اطلاعات |
مراحل عام تصمیمگیری |
|
شروع به کار |
بازشناسی مسئله |
بازشناسی مسئله |
|
انتخاب موضوع |
ارزیابی جایگزینهای موضوع عام تشخیص یک موضوع عام |
تشخیص عینیتها و برقراری معیارها |
|
شناسایی اوّلیه |
جمع‌آوری اطلاعات مرتبط با موضوع عام |
جمع‌آوری داده و تولید |
|
|
بررسی ارتباط بین موضوعات جایگزین و موضوع عام |
جایگزینها |
|
تمرکز بر فرمولبندی |
برقراری معیارها (تمرکز) |
تعیین روابط بین معیارها و جایگزینها |
|
گردآوری اطلاعات |
ارزیابی جایگزینهای مقاله |
ارزیابی جایگزینها و توسعه |
|
|
تشخیص مقالههای مرتبط |
اعمال توصیه شده در بیشترین اشتراک با معیارهای تصمیم |
|
اتمام جستجو |
اتخاذ انتخابهای نهایی |
توسعه یک نقشه پیاده‌سازی و به‌کاربردن آن در عمل |
بنابراین، مبانی این پژوهش را میتوان به صورت زیر دستهبندی کرد. نخست، مطالعهای است در مورد مراحل تصمیمگیری درگیر در فرایند جستجوی اطلاعات توسط کاربران و نقش نظریههای تصمیمگیری در ارزیابی نظامهای بازیابی اطلاعات. دوم، به تشریح مدلی نظری - تصمیمی که سنجههای رویکردهای بروندادی و فرایندی را ترکیب می‌کند، برای ارزیابی نظامهای بازیابی اطلاعات میپردازد. کاربرد معیار چند وجهی مبتنی بر روش تصمیمگیری که فرایند سلسله مراتبی تحلیل نامیده میشود، ارائه مدل ارزیابی و سپس کاربرد آن در حوزة خاص کاربرد بازیابی اطلاعات، قدمهای بعدی این پژوهش است. مدل ارائه شده مبتنی بر این رویکرد، مطابق شکل 1 است.
به اعتقاد محققان طراح، این مدل سنجههای مختلف ارزیابی مرتبط به زمینة جستجوی اطلاعات را به شکل مجتمع به هم مرتبط میسازد. به دلیل اینکه یک نظام بازیابی اطلاعات بندرت در تمامی مراحل و رویّههای ساخت تصمیم به کاربر یاری میرساند، تنها سنجههای مرتبط، در ارزیابی باید در نظر گرفته شوند. بعضی سنجهها به فرایند و بعضی به برونداد میپردازند که به تفکیک بیان شدهاند.
شکل 1. مدل چند معیاره ارزیابی نظام بازیابی اطلاعات (وانگ وفورگیونه،2006)
که در آن حروف ذکر شده (سنجههای خاصّ ارزیابی) نمایانگر موارد زیر هستند:
T1 زمان صرف شده برای بازشناسی مسئله
N1 تعداد جایگزینهای موضوعی عام
T2 زمان صرف شده برای تشخیص موضوع عام
N2 تعداد مقالههای تولید شده برای موضوع عام
T3 زمان صرف شده برای ایجاد معیار
T4 زمان صرف شده برای تشخیص مقاله مرتبط
N3 تعداد مقالههای مرتبط تشخیص داده شده
N4 تعداد مقالههای اضافی تشخیص داده شده در وارسی دوباره
P1 سودمندی نظام
P2 یادگیری کاربر
تشریح فرایند سلسله مراتبی تحلیل، به عنوان یکی از پر کاربردترین روشهای مورد استفاده در پرداختن به مسائل دارای معیارهای چند وجهی تصمیم گیری [36] (که ارزیابی نظامهای بازیابی اطلاعات نیز از این دسته مسائل است) در بخش بعدی مورد توجه قرار گرفته و در نهایت، مدل ارائه شده را در یک نظام بازیابی اطلاعات (شبکه پیشگیری از خودکشی)[37] به کار برده است و نتایج را در دو حالت (با استفاده یا بدون استفاده) از این نظام، مقایسه کرده است. با به کارگیری فرایند سلسله مراتبی تحلیل، این دو حالت در معیارهای فرایند و برونداد میتوانند مقایسه شوند. لازم به ذکر است، برای تولید دادههای مورد نیاز فرایند سلسله مراتبی تحلیل، از یک سناریوی شبیهسازی شده استفاده شده است. نتایج در جدول 2 ارائه شدهاند.
جدول2. ارزش سنجههای ارزیابی در موارد با استفاده یا بدون استفاده از نظام بازیابی اطلاعات
|
سنجههای ارزیابی |
با استفاه از نظام بازیابی اطلاعات |
بدون استفاده از نظام بازیابی اطلاعات |
|
T1 |
30 ثانیه |
150 ثانیه |
|
N1 |
20 |
4 |
|
T2 |
15 ثانیه |
60 ثانیه |
|
N2 |
23 |
29 |
|
T3 |
60 ثانیه |
360 ثانیه |
|
T4 |
15 ثانیه |
300 ثانیه |
|
N3 |
11 |
5 |
|
N4 |
1 |
2 |
|
P1 |
8 |
5 |
|
P2 |
7 |
6 |
ارزشهای عددی نتایج به دست آمده در جدول 2، پس از تغییر به وزنهای مساوی به منظور سنجش برتری هرکدام از دو روش، در شکل 2 آورده شده است. اگرچه شاید برخی معیارها مهمتر از بقیه باشند، به دلیل پرهیز از سوگیری اوزان یکسان در نظر گرفته شدهاند.
نتایج ارائه شده در شکل 2، نمایانگر معناداری نسبی تفاوت میان دو جایگزین در بهتر شدن ساخت تصمیم کاربر در خلال جستجوی اطلاعات است.
همچنین، نشان میدهد که سودمندی تصمیمگیری به میزان قابل توجهی با استفادة کاربر از نظام بازیابی اطلاعات، در مقایسه با زمانی که از آن استفاده نمیکند، بالا میرود (574/0 در مقابل 426/0) و کارآمدی تصمیمگیری به میزان بسیار زیاد با نظام بازیابی بهتر میشود (861/0 در مقابل 139/0). همچنین، عملکرد بازیابی اطلاعات نیز به طور معناداری با نظام بازیابی اطلاعات افزایش مییابد (608/0 در مقابل 392/0). حالت استفاده از این نظام بازیابی اطلاعات، برتری معناداری بر حالت استفاده نکردن از این نظام در هر دو بخش معیارهای فرایندی و بروندادی نشان میدهد و بیشترین برتری در فرایند است. روی هم رفته، امتیاز به دست آمده 663/0 برای نظام بازیابی اطلاعات در مقایسه با امتیاز 337/0 برای مورد استفاده نکردن از این نظام، نشان میدهد نظام شبکه پیشگیری از خودکشی (PSN) قدرت تصمیمگیری کاربر را در بازیافت اطلاعات مرتبط در مورد پیشگیری از خودکشی، افزایش میدهد.
محقق سپس به بحث و نتیجهگیری میپردازد. وی معتقد است این روش برای بازیافت اطلاعات حقوقی وکتابخانهای نیز قابل استفاده است که میتواند در پژوهشهایی مورد سنجش قرار گیرد (وانگ وفورگیونه،2006).
نتیجه و پیشنهاد
چنانکه گفته شد، تحقیقات ارزیابی در زمینة بازیابی اطلاعات بر یک جنبه (رویکرد نظام مدار) عمدتاً متمرکز شده و در عین حال از هم گسیخته است. مطالعات ارزیابی در رویکردهای مختلف از هم جدا افتادهاند. به اعتقاد «ساراسویک» (1995) این جدا افتادگی در سطوح ارزیابی میتواند به عنوان کمبود بنیادی در تمامی ارزیابیهای بازیابی اطلاعات در نظر گرفته شود. نظامهای بازیابی به عنوان فعالیتی اجتماعی، با هدف پیوند و ممکن ساختن تعاملات میان تهیهکنندگان/ نویسندگان اطلاعات و کاربران/ خوانندگان اطلاعات، ایجاد میشوند (ساراسویک، 1995). این فعالیت، ماهیتی پیچیده، شناختی و ذهنی دارد (بورلند،2003). بنابراین، ارزیابی یک نظام نه تنها در زمینة فنی وسیستمی، بلکه در زمینههای کاربردی باید سنجش شود. علاوه بر این، در ارزیابی باید ترکیبی از معیارهای بروندادی و فرایندی، برای انعکاس ماهیت پویا و چند بعدی ربط استفاده شود. چالش عمده در راه تلاش برای ارزیابی بازیابی اطلاعات، کاربرد مقیاسهای متنوع به روشی متحد شده و جامع است (ساراسویک، 1995) که مسیر پژوهشهای آینده را روشن می‌کند. به اعتقاد برخی از محققان، چالش آینده بر تشریح ابعاد چندگانه و اجزای نسل جدید نظامهای بازیابی اطلاعات از طریق آزمایش آنها با رویکردهای ارزیابانة متنوع، متمرکز است (رابرتسون و هنکاک بولیو،1992). در این نوشته، پژوهشی مبتنی بر این رویکرد به عنوان نمونه معرفی شد که میتواند مسیر را روشنتر کند.
[1]. Information Retrieval System (IRS).
[2]. Mandl, T.
[3]. Information focusing.
[4]. Wang, Y.D.,& Forgionne, G.
[5]. Saracevic, T.
[6]. Baeza-Yates, Ricardo; Ribeiro-Neto, Berthier.
[7]. Functional analysis.
[8]. Performance.
[9]. Relevance.
[10]. System oriented approach.
[11]. Recall & Precision.
[12]. Cranfield paradigm.
[13]. Smart.
[14]. Stairs.
[15]. TREC(Text REtrieval Conference).
[16]. Kekalainen, J., & Jarvelin, K.
[17]. Query.
[18]. Abstraction.
[19]. User oriented.
[20]. Batch mode.
[21]. Interactive.
[22]. برای توضیح بیشتر به کتاب «قلمروهای نو در بازیابی اطلاعات» مراجعه شود.
[23]. Recall effort.
[24]. Relative recall.
[25]. Novelty ratio.
[26]. Coverage ratio.
[27]. User interface.
[28]. Information-seeking behavior.
[29]. Relevance feedback.
[30]. Jarvelin, K., & Ingwersen, P.
[31]. Berry-picking.
[32]. Analytic Hierarchy Process(AHP).
[33]. Decision making.
[34]. Information search process(ISP).
[35]. Formulation.
[36]. Multiple criteria decision making(MCDM).
[37]. Preventing Suicide Network(PSN).
)