Desempenho de Large Language Models (LLMs) médicos locais como sistemas de suporte à decisão clínica, sob restrições de conectividade

Resumo

No contexto do apoio de saúde militar, as equipes médicas frequentemente atuam sob condições extremas, caracterizadas por severas restrições de conectividade, elevada pressão cognitiva, necessidade de mobilidade constante e limitações severas de recursos computacionais e logísticos. Neste sentido, o objetivo deste estudo foi investigar o desempenho de modelos de Large Language Models (LLMs), fine-tuned para aplicações médicas, executados localmente (offline), considerando sua aplicação em cenários operacionais com restrições de conectividade. O experimento seguiu o pipeline clássico de validação de Sistemas de Suporte à Decisão Clínica (Clinical Decision Support Systems - CDSS). O experimento foi executado por meio de um código em Python, em duas estruturas de hardware: com GPU e com CPU (sem GPU). Foram testados oito modelos, utilizando três benchmarks médicos de referência. As métricas de avaliação foram: Acurácia Clínica (%), Latência Média por Questão (em segundos), e Tokens por Segundo (TPS). Os resultados evidenciam que modelos quantizados na faixa de 8 bilhões de parâmetros, em especial o LlaMA-3.1-8B-Medical (Q4_K_M), possuem um potencial significativo para atuar como multiplicadores de força. Ao alcançar acurácias de até 74% em benchmarks médicos complexos (como MMLU_Medical e MedMCQA). Contudo, as ferramentas de inteligência artificial devem ser integradas ao espaço de batalha exclusivamente como assistentes cognitivos sob a supervisão humana.