#ИИ #стартапы
В Департаменте здравоохранения Москвы
провели интересное мини-исследование сервисов на основе искусственного интеллекта «Третье мнение», «Второе мнение AI (DoctorSmart)» и «Фтизисбиомед», разработанных отечественными стартапами и публично представленные в свободном доступе или для коммерческого использования.
Все сервисы имели следующие ограничения: оценка рентгенограммы (флюорограммы) только в одной проекции, нет обнаружений экстрапульмонарной патологии, не поддерживается работа с DICOM (все сервисы работают с изображениями в публичных форматах PNG и JPEG). Вероятность признака указывала только система «Третье мнение», а диагноз определял только сервис «Второе мнение AI (DoctorSmart)». Научная оценка диагностической точности алгоритмов с публикацией результатов в рецензируемом журнале была сделана только для сервиса «Фтизисбиомед».
Диагностическая точность сервисов на основе ИИ по итогам тестирования на «студенческом», не требующем сложной дифференциальной диагностики, дата-сете из 11 рентгенограмм распределилась так:
❕«Третье мнение»: совпадение – 36%, несовпадение – 64%;
❕«Второе мнение AI (DoctorSmart)»: совпадение – 18%, несовпадение – 82%;
❕«Фтизисбиомед»: совпадение – 82%, несовпадение – 18%.
В качестве выводов авторы исследования указывают, что корректный процесс разработки ИИ для медицины должен включать: обоснованную постановку задачи, разработку и калибровку на валидном дата-сете, независимую оценку диагностической точности на эталонном наборе данных (совершенно отличных от выборки, использованной для разработки), регистрацию в качестве медицинского изделия.
@it_medicine