کاربرد هوش مصنوعی در اطمینان از تضمین کیفیت داوری همتا با رویکرد سامانه های خبره و پردازش زبان طبیعی : پایلوت نرم افزار پژوهان
Usage of Artificial Intelligence in Ensuring Peer Review Process by Expert Systems and Natural Language Processing : Pilot Study of Pazhoohan Software
مجریان: طاها صمدسلطانی
خلاصه روش اجرا: این فرآیند با دریافت کد اخلاقی از معاونت تحقیقات و فناوری دانشگاه علوم پزشکی تبریز برای دسترسی به اطلاعات داوریهای همتا در سامانه پژوهان آغاز می شود. معیارهای ارزیابی عملکرد از طریق مقیاس رتبه بندی یا طبقه بندی باینری تعریف می شوند. سپس مجموعه دادههای برچسبگذاریشده با اختصاص برچسبهای عملکرد به داوران بر اساس نظرات کارشناسان آماده میشوند. تکنیکهای پیشپردازش، از جمله Tokenization و TF-IDF، برای عناوین و نظرات اعمال میشوند و به دنبال آن آموزش مدل برای یادگیری الگوهای دادههای ورودی و تگهای عملکرد انجام میشود. مدل آموزش دیده عملکرد داور را با تولید برچسب ها یا رتبه بندی ها پیش بینی می کند. دقت مدل با مقایسه برچسب های پیش بینی شده با برچسب های واقعی ارزیابی می شود. معیارهای ورود شامل ارتباط، طول داده کافی و قالب ساختاریافته است، در حالی که معیارهای خروج شامل موارد تکراری، محتوای نامناسب و ورودی های غیرفارسی است.
اطلاعات کلی طرح 
| مرحله جاری طرح | خاتمه قرارداد و اجرا در دانشکده/مرکز |
| کد طرح | 72171 |
| عنوان فارسی طرح | کاربرد هوش مصنوعی در اطمینان از تضمین کیفیت داوری همتا با رویکرد سامانه های خبره و پردازش زبان طبیعی : پایلوت نرم افزار پژوهان |
| عنوان لاتین طرح | Usage of Artificial Intelligence in Ensuring Peer Review Process by Expert Systems and Natural Language Processing : Pilot Study of Pazhoohan Software |
| نوع طرح | طرح فناورانه |
| اولویت طرح | اطلاعات سلامت (health information) |
| نوع مطالعه | طراحی نرم افزار یا ساختارهای مبتنی بر وب |
| تحقیق در نظام سلامت | خیر |
| آیا طرح پایاننامه دانشجویی است؟ | خير |
| مقطع پایان نامه | |
| مدت اجرا - ماه | 14 |
| نوآوری و ضرورت انجام تحقیق | بررسی همتایان در تحقیقات علمی و انتشار (1) که شامل کارشناسانی است که کار علمی را ارزیابی می کنند، بسیار مهم است (2). این فرآیند تحقیقات با کیفیت بالا را برای انتشار تضمین می کند (3). دست نوشته ها توسط تیم های تحریریه برای همتایان موضوعی ارسال می شود (4). بازبینان روششناسی، تحلیل، نتیجهگیری و اهمیت را ارزیابی میکنند (5)، به نویسندگان در بازبینیها، رسیدگی به نقاط ضعف و بهبود استدلالها کمک میکنند (6). بازبینی همتا در برابر اطلاعات نادرست، حفظ یکپارچگی ادبیات علمی (7). بررسی همتا به پیشرفت دانش (8)، تشویق به همکاری، تجزیه و تحلیل دقیق و پایبندی به استانداردها (9) شکل می دهد. ایرادات یا نادیدهانگاریها را شناسایی میکند (10)، استحکام پژوهش و اعتبار مجله را افزایش میدهد (11). علیرغم چالش هایی مانند سوگیری، بررسی همتایان از دقت تحقیق حمایت می کند (12). هوش مصنوعی (AI) انتشار اطلاعات (13) را تغییر می دهد و در بررسی همتایان (14)، حفظ کیفیت و اعتبار (15) امیدوارکننده است، اما با تعصب و محدودیت منابع مواجه است (16). هوش مصنوعی، به ویژه NLP، بررسی را با استفاده از ابزارهای خودکار ساده می کند (17). NLP، یک زیر مجموعه هوش مصنوعی، زبان انسان را درک می کند (18). داده های مبتنی بر متن را با دقت تجزیه و تحلیل می کند (19)، به کارهایی مانند ترجمه، تجزیه و تحلیل احساسات و تولید متن کمک می کند (20). NLP انقلابی در بررسی همتایان (21)، خودکارسازی ارزیابی دست نوشته، انتخاب بازبین و بازخورد (22) ایجاد می کند. این محتوا را دسته بندی می کند، سرقت ادبی را شناسایی می کند، و دست نوشته ها را با بازبینان مطابقت می دهد (23-24). در طی بررسی، NLP نظرات را ارزیابی میکند، سوگیری را شناسایی میکند، و توافق/اختلاف را برجسته میکند (25)، سرعت، عینیت و دقت را تضمین میکند (26). مطالعات اخیر NLP را در بررسی همتایان بررسی می کند (27). این مقاله استفاده از هوش مصنوعی، به ویژه NLP را در بررسی همتایان از طریق یک مطالعه آزمایشی بر روی سیستمهای محققان پیشنهاد میکند. هوش مصنوعی به ثبات، شناسایی ادبیات مرتبط و نگرانیهای اخلاقی میپردازد. یک مطالعه آزمایشی نرم افزار Pazhoohan تأثیر هوش مصنوعی بر بررسی همتایان را نشان می دهد. |
| اهداف اختصاصی | تعریف معیارهای ارزیابی عملکرد داوران در داوری همتا -اختصاص برچسب های عملکرد مناسب در اطمینان از تضمین کیفیت داوری همتا -پیش پردازش و استخراج ویژگی های مربوطهدر اطمینان از تضمین کیفیت داوری همتا -آموزش یک مدل یادگیری نظارت شده برای اطمینان از تضمین کیفیت داوری همتا -پیش بینی عملکرد داوران یا بازبینان جدید ( تست مدل) در اطمینان از تضمین کیفیت داوری همتا -ارزیابی نهایی دقت و عملکرد مدل طبقه بندی کیفیت داوری برای اطمینان از تضمین کیفیت داوری همتا |
| چکیده انگلیسی طرح | This process starts with receiving the code of ethics from the Research and Technology Vice-Chancellor of Tabriz University of Medical Sciences to access peer review information in the Pezhoohan system. Performance evaluation criteria are defined through a rating scale or binary classification. Labeled datasets are then prepared by assigning performance labels to judges based on expert opinions. Preprocessing techniques, including Tokenization and TF-IDF, are applied to titles and comments, followed by model training to learn input data patterns and performance tags. The trained model predicts the judge's performance by generating labels or ratings. The accuracy of the model is evaluated by comparing the predicted labels with the actual labels. Inclusion criteria include relevance, sufficient data length, and structured format, while exclusion criteria include duplicates, inappropriate content, and non-Persian entries. |
| کلمات کلیدی | داوری همتا: • تعریف نظری: داوری همتا یک فرآیند ارزیابی انتقادی است که در آن مقالات علمی، مقالات پژوهشی یا پیشنهادات قبل از انتشار توسط متخصصان در همان زمینه ارزیابی میشوند. این ارزیابی به اطمینان از کیفیت، دقت و اعتبار کار کمک می کند و به اعتبار کلی ادبیات علمی کمک می کند. • تعریف عملی: در چارچوب این مطالعه، داوری همتا به ارزیابی سیستماتیک پیشنهادات پژوهشی، مقالات یا پروپوزالها توسط کارشناسان واجد شرایط در یک حوزه خاص برای تعیین مناسب بودن آنها برای انتشار یا تأمین مالی در سامانه پژوهان، اشاره دارد. پردازش زبان طبیعی (NLP): • تعریف نظری: پردازش زبان طبیعی (NLP) یک حوزه بین رشتهای از هوش مصنوعی (AI) است که بر توانایی رایانهها برای درک، تفسیر و تولید زبان انسانی به روشی معنادار و مفید تمرکز دارد. NLP شامل تکنیک هایی برای پردازش و تجزیه و تحلیل زبان متنی یا گفتاری است که به ماشین ها اجازه می دهد کارهایی مانند ترجمه زبان، تجزیه و تحلیل احساسات و تولید متن را انجام دهند. • تعریف عملی: در این مطالعه، پردازش زبان طبیعی (NLP) به کاربرد تکنیکهای هوش مصنوعی برای پردازش و درک پیشنهادات داوریهای همتا مربوط میشود و نهایتا ذینفعان را قادر میسازد تا محتوای متنی پیشنهادات پژوهشی و بررسیهای ارائه شده به سامانه پژوهان را تجزیه و تحلیل و تفسیر کند. سامانه پژوهان: • تعریف نظری: سامانه پژوهان یک بستر آنلاین است که برای دانشگاه علوم پزشکی تبریز به منظور تسهیل در ارسال، ثبت و بررسی پروپوزال های پژوهشی و آثار علمی ایجاد شده است. هدف این سیستم سادهسازی جنبههای اداری ارائه و بررسی پیشنهادات پژوهشی، افزایش کارایی و شفافیت در فرآیند ارزیابی است. • تعریف عملی: در این زمینه، سامانه پژوهان به زیرساخت دیجیتال ایجاد شده توسط دانشگاه علوم پزشکی تبریز اطلاق میشود که به محققان امکان ارسال و بررسی الکترونیکی پروپوزالهای پژوهشی را میدهد. هدف این سیستم ساده سازی فرآیند ثبت و ارزیابی پژوهشها برای جامعه دانشگاهی است. |
| ذینفعان نتایج طرح | • محققان و نویسندگان: نویسندگان مقالات علمی ذینفعان هستند زیرا مشمول فرآیند داوری همتا هستند. نتایج این مطالعه میتواند بر نحوه ارزیابی آثار ارسالی آنها تأثیر بگذارد و به طور بالقوه کیفیت کار آنها را افزایش دهد. • داوران: داوران نقش مهمی در ارزیابی مقالات ارسالی دارند. یافتههای این مطالعه ممکن است بر نحوه تعامل آنها با نرمافزار بررسی همتا و نحوه ادغام بازخورد آنها در فرآیند بررسی تأثیر بگذارد. • مجلات و انتشارات دانشگاهی: این نهادها فرآیند بررسی همتا را مدیریت می کنند. نتایج این مطالعه میتواند بر نحوه اتخاذ یا اصلاح فناوریهای هوش مصنوعی و NLP برای سادهسازی و بهبود روشهای بررسی تأثیر بگذارد. • مؤسسات آکادمیک: دانشگاه ها و مؤسسات تحقیقاتی از بهبود فرآیندهای بررسی همتایان بهره مند می شوند، زیرا به حفظ کیفیت تحقیقات منتشر شده کمک می کند. اثربخشی نرم افزار پژوهان می تواند بر این مؤسسات تأثیر مثبت بگذارد. • خوانندگان و مصرف کنندگان تحقیقات: بررسی همتا با کیفیت بالا انتشارات تحقیقاتی معتبر و قابل اعتماد را تضمین می کند. ذینفعان همچنین کسانی هستند که برای اهداف دانشگاهی، حرفه ای یا شخصی به تحقیقات دقیق و قابل اعتماد تکیه می کنند. • محققان هوش مصنوعی و NLP: محققان در زمینههای هوش مصنوعی و پردازش زبان طبیعی علاقه خاصی به درک نحوه استفاده از فناوریهای آنها برای مشکلات دنیای واقعی دارند، مانند افزایش فرآیند بررسی همتایان. • توسعه دهندگان نرم افزار: کسانی که در توسعه نرم افزار Pazhoohan یا ابزارهای مشابه مبتنی بر هوش مصنوعی مشارکت دارند، از بینش این مطالعه در مورد عملکرد و اثربخشی آن بهره مند می شوند و پیشرفت های بالقوه را هدایت می کنند. • جامعه آکادمیک: فرآیند بررسی همتایان مؤثرتر به نفع جامعه دانشگاهی به عنوان یک کل است، و تضمین می کند که تحقیقات معتبر و تأثیرگذار شناخته شده و منتشر می شود. • صنعت انتشارات: شرکتهای درگیر در انتشارات آکادمیک ممکن است علاقه مند باشند که چگونه فناوریهای هوش مصنوعی و NLP میتوانند فرآیندهای خود را بهینه کنند و اعتبار انتشارات خود را حفظ کنند. • سازمانهای اخلاقی و نظارتی: سازمانهایی که به استانداردهای اخلاقی و مقررات انتشارات دانشگاهی توجه دارند میتوانند به چگونگی تأثیر هوش مصنوعی و NLP بر فرآیند بررسی همتایان علاقهمند باشند. |
اطلاعات مجری و همکاران
| نام و نامخانوادگی | سمت در طرح |
|---|---|
| طاها صمدسلطانی | مجری اول (اصلی-هیات علمی) |
| صنوبر نادریان | مجری دانشجویی(کمیته تحقیقات دانشجویی) |
| آیلار نخلبند | همکار اصلی |
| لیلا نیک نیاز | همکار اصلی |
| معاونت تحقیقات و فناوری دانشگاه (آقای دکتر خسرو ادیب کیا) | همکار اصلی |
اطلاعات تفضیلی
| حوزه خبر | خبر |
|---|---|
| رسانه ها و مردم | عنوان خبر طراحی سامانه هوشمند مبتنی بر هوش مصنوعی، جهت نمرهدهی به نظرات داوری مقالات و طرحهای پژوهشیمتن خبر سامانه هوشمندی مبتنی بر هوش مصنوعی طراحی شده است که به ارزیابی و نمرهدهی نظرات داوران مقالات و طرحهای پژوهشی میپردازد. این سامانه با بهرهگیری از فناوری پردازش زبان طبیعی، به صورت دقیق معیارهایی مانند ارتباط، لحن، و میزان پوشش مفاهیم را بررسی میکند. هدف این سامانه ارتقای کیفیت داوری علمی و افزایش اعتماد عمومی به نتایج پژوهشی است. استفاده از این سامانه میتواند به کاهش خطاهای انسانی و بهبود فرآیندهای پژوهشی منجر شود. |
| متخصصان و پژوهشگران | عنوان خبر طراحی سامانه هوشمند مبتنی بر پردازش زبان طبیعی، جهت نمرهدهی به کامنتهای داوری همتای مقالات و طرحهای پژوهشیمتن خبر سامانهای مبتنی بر پردازش زبان طبیعی طراحی شده است که به نمرهدهی و ارزیابی کامنتهای داوران همتای مقالات و طرحهای پژوهشی کمک میکند. این سامانه از تکنیکهای پیشرفته یادگیری عمیق برای تحلیل نظرات استفاده میکند و معیاری دقیق و استاندارد برای ارزیابی ارائه میدهد. دقت بالای 96 درصد این سامانه آن را به ابزاری قدرتمند برای بهبود کیفیت داوری علمی تبدیل کرده است. این سامانه به پژوهشگران در ارتقای کیفیت مقالات و طرحهای پژوهشی کمک میکند. |
| سیاستگذاران درمانی | عنوان خبر طراحی سامانه هوشمند مبتنی بر پردازش زبان طبیعی، جهت نمرهدهی به کامنتهای داوری همتای مقالات و طرحهای پژوهشیمتن خبر برای نخستین بار، سامانهای مبتنی بر هوش مصنوعی طراحی شده که میتواند کیفیت نظرات داوران مقالات و طرحهای پژوهشی حوزه سلامت را ارزیابی کند. این سامانه با تجزیه و تحلیل دقیق، معیارهای مشخصی از جمله ارتباط، لحن و پوشش مفاهیم را بررسی کرده و نمرهدهی میکند. این نوآوری به سیاستگذاران کمک میکند تا از کیفیت داوریها اطمینان حاصل کرده و برنامههای تحقیقاتی اثربخشتری را توسعه دهند. |
| سیاستگذاران پژوهشی | عنوان خبر طراحی سامانه هوشمند جهت ارزیابی کیفی نظرات داوران در مقالات و طرحهای پژوهشیمتن خبر یک سامانه هوشمند طراحی شده که قادر است نظرات داوران مقالات و طرحهای پژوهشی را از نظر کیفیت ارزیابی و نمرهدهی کند. این سامانه از فناوری هوش مصنوعی و پردازش زبان طبیعی استفاده میکند تا معیاری دقیق برای بررسی کیفیت کامنتهای داوران ارائه دهد. این ابزار میتواند سیاستگذاران پژوهشی را در اتخاذ تصمیمات بهتر در فرآیند داوری و تضمین کیفیت پژوهشها یاری کند. |
| لینک (URL) مقاله انگلیسی مرتبط منتشر شده 1 |
