П'ять моделей штучного інтелекту продемонстрували приблизно 90% точність у вирішенні фармацевтичних запитів, згідно з інформацією News-Medical.
Науковці з Школи фармацевтики Університету Пасифік у Стоктоні, США, провели оцінку п'яти великих мовних моделей на основі 227 екзаменаційних запитань з інфекційних захворювань, спрямованих на підготовку майбутніх фармацевтів. Всі протестовані системи продемонстрували точність близько 90%, з найвищим показником у 91,2%, який продемонструвала модель ChatGPT-4o-mini, як повідомляє News-Medical.
Які моделі перевіряли
У дослідженні порівнювали ChatGPT-4.1 і ChatGPT-4o-mini від OpenAI, Claude Sonnet 4 від Anthropic, Copilot у вебверсії, мобільному застосунку та браузері Edge від Microsoft, а також Gemini 2.5 Flash від Google. Усім моделям надали однакові інструкції: обрати відповідь, пояснити її правильність і вказати, чому альтернативні варіанти є неправильними.
Питання були взяті з обов'язкового курсу "Інтегровані клінічні науки: Інфекційні захворювання" для студентів другого року програми Doctor of Pharmacy в прискореному трирічному форматі. Вони охоплювали теми, такі як медична хімія, клінічна мікробіологія, фармакологія, терапія, а також фармакокінетика і фармакодинаміка. Збір даних проводився з травня по липень 2025 року, а вірність відповідей перевірялась за ключами, наданими викладачами курсу.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Складні та візуальні завдання
Нижчу точність моделі показали на питаннях із медичної хімії та клінічної мікробіології. Гіршими були результати і на завданнях вищого когнітивного рівня -- тих, що вимагали застосування, аналізу, оцінювання або створення, -- а також на питаннях із зображеннями.
Автори розподілили завдання за таксономією Блума, форматом -- з вибором відповіді або заповненням пропуску -- і наявністю зображень. Відповіді моделей оцінювали лише як правильні або неправильні; пояснення окремо не перевіряли на повноту чи клінічну безпеку. Двоє дослідників незалежно переглянули всі питання, на які принаймні одна модель відповіла неправильно, та погодилися з оцінками.
Результати свідчать, що відповіді ШІ на спеціалізовані фармацевтичні завдання варто незалежно перевіряти, насамперед у складних клінічних ситуаціях і під час інтерпретації візуальної інформації.
