의료 AI 기업 Sofya가 의료 제공자가 행정 업무에 소요하는 시간을 줄이고, 결과적으로 환자 치료에 집중할 수 있는 시간을 늘려주는 도구 모음을 만들고자 했을 때, 그들은 오픈 소스 방식이 그들의 사명을 가장 잘 지원할 수 있을 것이라고 결정했습니다. 이 회사는 브라질과 라틴 아메리카 전역에서 새로운 의료 솔루션 개발을 촉진하는 목표로 더 광범위한 AI 커뮤니티에 제공될 모델과 데이터 세트를 개발하기 위해 Llama 에 의뢰했습니다.

Sofya의 CEO인 Marcelo Mearim은 “Llama를 사용하는 것은 데이터 구조를 간소화하고 임상적 우수성을 지원하여 정밀 건강을 위한 추론 엔진 역할을 하는 의료 AI 전문가로서의 Sofya의 사명과 일치합니다.”라고 말했습니다.

대규모 언어 모델을 선택할 때, Sofya 팀은 역량, 투명성, 성능을 고려했습니다. 그들은 Llama가 이미 모델을 개선하기 위해 학습 내용을 기여할 개발자와 과학자로 구성된 활발한 커뮤니티를 보유하고 있다는 점을 좋아했습니다.

Mearim은 “Llama는 다양한 사용 사례에 대한 높은 적응성을 갖추고 있어 비슷한 과제를 안고 있는 기업에 강력한 선택이 될 수 있습니다.”라고 말했습니다.

실시간 솔루션을 위한 Llama 통합

---

Sofya의 모델은 Oracle Cloud 인스턴스에서 호스팅되며 Sglang 및 VLLM과 같은 프레임워크를 사용하여 모델을 제공합니다. 이 팀은 Oracle Cloud, Hugging Face, LangSmith, Sglang 및 오픈 소스 커뮤니티의 지원을 사용하여 Llama를 성공적으로 구현했습니다. Llama는 데이터 구조화, 명명된 엔터티 인식 및 질의 응답을 자동화하여 효율성을 개선하고 오류를 줄이며 의료 전문가가 환자 치료에 집중할 수 있도록 합니다.

Sofya는 클라이언트에게 실시간 솔루션을 제공해야 하므로 해당 팀은 8B와 같이 Llama의 더 작고 미세 조정된 버전을 사용하여 특정 작업의 성능을 향상시켰고, 이를 통해 밀리초 지연 시간이 있는 Llama 기반 솔루션이 탄생했습니다.

연구팀은 Llama 405B에 대한 지식 증류와 자체 반성 즉각 엔지니어링 방법을 함께 사용하여 70B, 8B, 심지어 3B와 같은 소형 모델을 미세 조정하기 위한 고품질 합성 데이터를 만들었습니다.

Llama가 운영 및 효율성에 미친 영향으로 LLM 처리 비용이 절감되고 정확도와 유연성이 향상되었습니다. 이 모델은 브라질에 위치한 Oracle Cloud를 통해 Sofya의 인프라에 호스팅되어 추가 보안 강화를 제공합니다.

Llama와 협력한 이후 Sofya는 상담당 문서 작성 및 관리 업무에 소요되는 시간을 최대 30%까지 줄였고, 의료 서비스 제공자는 더 나은 워크플로, 효율성, 환자 치료 결과 및 고객 만족도를 보고했으며 평균 CSAT 매장은 90%였습니다.

Llama의 효율성을 높이고 더 빠른 확장을 가능하게 하는 기능 덕분에 Sofya는 월 100만 건의 상담을 달성할 수 있는 궤도에 올랐습니다. 앞으로 이 회사는 다양한 도구와 검색 증강 생성을 실시간 사용을 위해 결합하는 에이전트 흐름에서 Llama 70B를 출시할 계획입니다.

“Sofya.ai는 기술과 개인 케어를 더 쉽게 결합하는 데 중점을 두고 있습니다.” Mearim이 말했습니다. “우리는 자동화와 AI 덕분에 의료 전문가가 환자와 더 많은 시간을 보낼 수 있는 미래를 만들고 있습니다.”

Sofya가 AI를 통해 헬스케어를 어떻게 혁신하고 있는지 자세히 알아보세요 .