В Москве разработана методология мониторинга и контроля сервисов на основе ИИ
В Москве разработана методология мониторинга и контроля сервисов на основе ИИ
Москва стала пионером в создании системы мониторинга и контроля сервисов искусственного интеллекта (ИИ) в здравоохранении, особенно в области лучевой диагностики. Основой этой методологии стал московский эксперимент— крупнейшее в мире проспективное многоцентровое клиническое исследование технологий компьютерного зрения, которое проводится с 2020 года. Сегодня этот проект масштабирован на всю страну (охватывает 71 регион и помог обработать более 5 миллионов исследований).
Юрий Васильев, главный врач Центра диагностики и телемедицинских технологий Департамента здравоохранения Москвы, главный внештатный специалист по лучевой и инструментальной диагностике г. Москвы:
В рамках эксперимента были разработаны инструменты для оценки качества, стабильности и эффективности ИИ-сервисов, а также механизмы их внедрения в реальную медицинскую практику.
Основной инструмент оценки сервисов на основе ИИ - матрица зрелости (разработан специалистами Центра диагностики и телемедицины Департамента здравоохранения Москвы https://www.mos.ru/dzdrav/, доступна на платформе МосМедИИ https://mosmed.ai/). Она строится на основе клинической и технической оценки ИИ технологий, распределяя их по квадрантам. Сервисы, попадающие в квадрант с высоким диагностическим и техническим потенциальном, готовы к использованию. Попадание в другие квадранты указывает на необходимость доработки сервиса (например, низкая техническая стабильность или недостаточная диагностическая точность).
Перед внедрением сервисы проходят жесткий отбор, включая тестирование на входе и далее – постоянно мониторируются.
При обнаружении проблем (например, падение показателя клинической оценки или увеличение числа технических дефектов) работа сервиса приостанавливается для доработки.
Результативность и эффективность применения ИИ-сервисов оценивается с клинической и экономической точек зрения:
Клиническая эффективность:
Снижение длительности описания исследований (на 15%).
Уменьшение гиподиагностики (до 0,1%).
Сравнение точности ИИ и врачей.
Экономическая эффективность:
Сокращение финансовых затрат.
Повышение производительности труда, доступности и охвата медицинской помощью.
Московский эксперимент показал, что успешное внедрение ИИ требует не только технологических решений, но и системного мониторинга, стандартизации и адаптации законодательства. Критериями эффективности должны быть количественные (точность, экономия) и качественные показатели (стабильность, интеграция в клинические процессы).