Контекст във времето
Изследваме как AI разбира кое е текущо, кое е историческо и как здравните данни се променят във времето.
Изследователска програма
Изследвания и безопасност
Как изследваме и подобряваме начина, по който AI работи със здравна информация.
Kanzen е общественополезен проект на Фондация „КанзенКай“, създаден да помага на хората да организират и разбират по-добре собствената си здравна информация. Част от работата ни е системно да изследваме колко последователно и ясно AI може да работи със здравни данни, които се натрупват през годините.
Подходът ни съчетава структурирани данни, ясни източници, проверки на поведението на AI и сравнения между български и английски език.
Нашият подход
AI, който работи с контекст, а не само с отделен въпрос
Здравната информация има смисъл в контекст. Един лабораторен резултат, лекарство или симптом може да изглежда различно, когато се разглежда спрямо предишни резултати, промени във времето и други записи.
Затова Kanzen е насочен към longitudinal health data — информация, която се натрупва и променя във времето.
Ясни източници
Целта е отговорите да бъдат максимално свързани с наличната информация, а не с предположения.
Разбираем език
Изследваме как сложна здравна информация може да бъде обяснявана по ясен и полезен начин.
Какво изследваме
Какво изследваме
Research програмата на KanzenKai е фокусирана върху това как AI може да работи по-надеждно с лични здравни записи и как тези системи могат да бъдат оценявани по измерим и възпроизводим начин.
Grounding
Отговори, основани на наличната информация
Изследваме дали твърденията на AI могат да бъдат отнесени до конкретни записи и факти.
Temporal reasoning
Разбиране на промени във времето
Проверяваме дали AI правилно различава стари и нови резултати, започнати и прекратени лекарства и други промени.
Uncertainty
Яснота, когато информацията не е достатъчна
Изследваме дали системата може коректно да показва, когато липсва достатъчно информация за сигурен извод.
Multilingual performance
Български и английски
Сравняваме поведението на AI при еквивалентни здравни сценарии на български и английски език.
Consistency
Последователност
Проверяваме дали сходни въпроси и сходни данни водят до стабилни и предвидими резултати.
Метод
Как провеждаме изследванията
За първоначалните изследвания използваме синтетични здравни записи, създадени специално за тестове. Те имитират реалистични ситуации, без да съдържат данни на реални пациенти.
Създаваме различни сценарии с лабораторни резултати, лекарства, симптоми, измервания и събития във времето. След това проверяваме как AI се справя при ясна, непълна, противоречива или променяща се информация.
- 1Синтетичен запис
- 2Въпрос
- 3Отговор от AI
- 4Оценка
- 5Подобрение
Това ни позволява да сравняваме различни модели, настройки и подходи по един и същ набор от контролирани тестове.
Оценка
Как измерваме качеството
Всеки въпрос, който изследваме, има нужда от мярка, която друг екип може да приложи върху същия материал и да получи същото число.
| Показател | Какво означава |
|---|---|
| Grounding accuracy | Дали отговорът се базира на наличните здравни записи. |
| Source accuracy | Дали посоченият източник действително подкрепя твърдението. |
| Temporal accuracy | Дали правилно се разбира кое е актуално и кое историческо. |
| Uncertainty handling | Дали AI показва, когато информацията е недостатъчна. |
| Consistency | Дали сходни случаи водят до сходно поведение. |
| Multilingual robustness | Дали качеството се запазва между български и английски. |
В техническите оценки измерваме и unsupported claim rate — честотата на твърдения, които не могат да бъдат подкрепени от предоставените данни.
Обхват
Kanzen помага да разбереш информацията си
Kanzen е създаден като помощник за работа със собствената ти здравна информация — да я организира, обяснява и поставя в контекст.
Той не е предназначен да замества лекар или друг медицински специалист. При важни медицински решения професионалната преценка остава най-важна.
Тази страница описва какво изследваме и какво планираме да оценяваме. Тя не описва възможности, които продуктът вече гарантира.
Изследвания без реални пациентски данни
Първоначалната research програма използва синтетични записи, създадени специално за тестове.
Това позволява да оценяваме поведението на AI, без за тези експерименти да са необходими идентифициращи здравни данни на реални хора.
Open research
Изследвания, които могат да бъдат полезни и извън Kanzen
Целта ни не е само да подобряваме Kanzen. Където е практично, планираме да публикуваме методология, синтетични benchmark компоненти, обобщени резултати и наблюдения, които могат да бъдат полезни и за други екипи, работещи по отговорни health-AI системи.
Особен фокус е оценката на AI на български език — област, за която в момента има значително по-малко публични данни и benchmarks в сравнение с английски.
Текуща изследователска програма
Текуща изследователска програма
Проект
Safety, Reliability and Grounding of AI over Longitudinal Personal Health Records
Фокус на изследването
- обвързване на отговорите с изходните здравни записи
- разбиране на промените във времето
- поведение при недостатъчна информация
- български в сравнение с английски
- последователност при различни формулировки
- непълна и противоречива информация
- методология за оценка на AI системи, насочени към пациента
Планирана продължителност
6 месеца
Състояние
Програмата е в подготовка / фаза на оценка
Програмата се води и финансира от Фондация „КанзенКай“. Не твърдим финансиране или одобрение от AI доставчик.
За изследователи · технически детайли
Кратка бележка как е устроена оценката — за читатели, които работят по същите въпроси.
- Изграждане на синтетичния benchmark: записите се генерират по шаблони с контролирани времеви линии, мерни единици и гранични случаи, така че всеки случай има известен очакван отговор.
- Повторени опити: всеки случай се изпълнява по няколко пъти, за да не се превърне един случаен отговор в резултат.
- Perturbation тестове: същият случай се преформулира, разбърква и частично се орязва, за да се види колко стабилно е поведението.
- Измерване на неподкрепени твърдения: всяко твърдение в отговора се сверява с предоставените записи.
- Отнасяне към източник: записва се дали цитираният запис действително подкрепя твърдението, към което е закачен.
- Двуезични двойки: всеки случай съществува на български и английски със същото съдържание, за да могат двата да се сравнят пряко.
- Среда за оценка: случаите, пусканията и оценките се пазят във възпроизводим процес, за да може резултатът да бъде повторен по-късно.
Партньорства
Партньорства в изследванията
KanzenKai е отворена за партньорства с университети, медицински специалисти, health informatics изследователи и организации, които работят върху безопасно и полезно използване на AI в здравеопазването.
Kanzen е общественополезен проект за работа с лична здравна информация на Фондация „КанзенКай“. Описаните тук изследвания са насочени към оценка на AI и работа със здравна информация и не представляват клинично изследване, диагностика, лечение или медицински съвет.