"AI 오류 책임은 결국 약사에게"…AI기본법 핵심은?

• AI시대, 약사 미래를 설계하다③
• 올해 1월부터 'AI기본법' 시행…형사처벌, 과징금 부과
• 환자 처방전, 질환 정보 등 AI 입력 절대 금지
• AI 생성→교차 검증→기록·제공 등 법적 대비 체계 필수

[데일리팜=강혜경 기자] 존재하지도 않는 판례를 꾸며내거나, 정확하지 않은 약물 정보를 사실인양 답변하는 'AI환각(할루시네이션)'은 AI의 가장 큰 맹점으로 꼽힌다.

AI가 계속해 학습함에 따라 AI환각이 줄어들 것이라는 전망도 있지만 AI는 생성형 답변에 대해 어떠한 책임도 지지 않다 보니 약사들 역시 'AI를 신뢰하기 어렵다'는 공통된 의견을 보이고 있다.

이 때문에 강조되는 부분이 '교차 검증'이다. AI가 제공한 정보가 틀렸다면 그 책임은 약사에게 귀속될 수밖에 없기 때문이다.

---

AI가 생성한 잘못된 정보 전달, 책임 주체는 '약사'

미국에서는 AI가 쓴 가짜 판례를 변론 자료로 제출한 변호사들에 대해 법원이 제재를 가한 사례도 있다. 뉴욕 맨해튼 연방지원법원은 가짜 판례를 제출한 2명의 변호사에게 5000달러, 우리 돈 약 650만원씩의 벌금을 부과했다.

법원은 변호사들의 AI 사용이 아닌 'AI가 생성한 자료를 검증하지 않고 법정을 기만한' 부분에 대해 일갈했다. 전문가로서 최소한의 사실 확인 조차 하지 않은 태만과 아무리 도구가 발전해도 최종 결과물에 대한 도덕적·법적 책임은 결국 인간에게 있다는 게 법원의 입장이었다.

실제 해당 사건 이후 미국 일부 법원에서는 '재판에 제출하는 변론서에 AI를 사용했는지 여부를 반드시 밝히고, 인간이 직접 검증했다는 서명을 첨부하라'는 등의 세부 요구사항을 제시하고 있는 것으로 알려졌다.

결국 AI가 훌륭한 비서가 될 수 있지만, 결코 책임을 대신 지지는 않는다는 얘기다.

약사출신 우종식 법무법인 규원 변호사는 "앞선 미국의 사례처럼 AI가 생성한 잘못된 정보를 약사가 환자에게 전달했을 때 최종 책임 주체는 면허를 가진 약사가 될 수밖에 없다"며 "AI개발사가 아닌 약사에게 최종 책임이 귀속될 가능성이 높다는 얘기"라고 말했다.

특히 약사법, 개인정보보호법과 더불어 올해부터 시행되고 있는 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(약칭 인공지능기본법)은 약국에도 직접 적용되는 부분으로, 약국 역시 관련한 부분을 숙지할 필요가 있다는 설명이다.

---

약국이 알아야 할 'AI(인공지능) 기본법'은?

2025년 AI기본법이 공포, 올해 1월부터 시행됨에 따라 약국의 AI사용 환경에도 영향을 미치게 된다. 특히 AI 기본법 제2조는 사람의 생명, 신체의 안전에 중대한 영향을 미칠 우려가 있는 영역을 '고영향 AI'로 분류하고 있는데, 여기에 보건의료의 제공 및 이용체계 구축·운영이 명시적으로 포함돼 있다.

따라서 AI 프로그램이 복약지도 문구를 자동 생성하거나 병용금기 약물을 걸러내지 못해 투약 사고가 발생하더라도, 법적 최종 책임은 면허를 가진 약사에게 돌아가게 된다. 

우종식 변호사는 AI기본법에서 약사가 알아야 할 3대 핵심 의무로 ▲투명성 확보 ▲안전성 확보 ▲설명 가능성을 꼽았다.

복약 지도문이나 블로그, SNS 등을 활용하는 경우에도 AI기반 서비스임을 소비자에 고지하고, 생성형 AI결과물에는 AI생성을 표시해야 한다는 것이 투명성 확보에 해당하는 부분이다. 가령 '본 복약지도 정보는 AI를 활용해 작성되었습니다' 등을 고지해야 한다는 것이다.

또한 AI 결과물 검증 절차를 마련, 오류 대응 매뉴얼을 구비하고 환자 이의 제기시 약사가 이를 직접 설명해야 한다.

우 변호사는 "내년 1월 21일까지 계도기간 중에 있지만, 시정 명령은 즉시 가능하다"며 "약국에서는 AI 활용 현황을 파악하고 SOP(Standard Operating Procedure, 업무매뉴얼)와 환자 고지 문구를 마련해야 한다"고 말했다.

환자의 이름, 주민등록번호, 처방내용, 질환명 등을 AI에 입력하는 것은 명백한 위반으로, 반드시 비식별화해 활용해야 한다. 환자의 나이, 성별, 처방 약물 등의 데이터를 결합해 역으로 특정 개인을 유추할 수 있는 재식별 위험이 존재하는 경우 비식별화로 보기 어렵다는 것이다.

만약 환자 개인정보를 고스란히 입력하는 등의 경우 매출액의 3%에 해당하는 과징금과 5년 이하 징역·5천만원 이하 벌금에 처해질 수 있다.

우 변호사는 "환자 정보는 외부 AI에 직접 인력하는 것이 금지되며, 비식별화 해 활용해야 한다"며 "또한 사용하는 AI서비스의 개인정보 처리방침을 확인해 입력한 데이터가 AI학습에 재활용되는지 등 정책과 보안성이 높은 AI를 활용할 필요가 있다"고 말했다.

AI 환각에 의한 조제·복약지도 역시 AI 사용 여부와 무관하게 약사에게 책임이 귀속된다. 때문에 AI가 생성한 잘못된 약물 정보를 검증 없이 복약지도에 활용하는 경우 약사법 위반(자격정지·먼허취소), 민사손해배상, 형사책임(업무상과실치상) 등 법적 제재를 받을 수 있다.

그는 "AI생성 이후 답변이 의학적·약학적으로 정확한지 등을 DUR, 약학정보원 등과 대조하고 오류가 없음을 확인해야 한다. 필요한 경우 약사의 판단에 따라 내용을 수정·보완해야 한다"며 "최종 검증된 내용을 환자에게 전달하고 해당 상담 내용을 약국 시스템에 기록해야 한다"고 강조했다.

또 약국에서 이력·결과물 기록 등도 최소 3년간 보관해야 한다.

우종식 변호사는 "AI 환각, 데이터 편향, 맥락 이해 부재, 최신 정보 미반영이라는 한계를 분명히 인식하고 계도기간 중 사전 준비를 갖춰야 한다"며 "약사는 AI를 사용하되 대체되지 않아야 하며, 반드시 AI를 동반자로 활용해야 한다"고 조언했다.

과학기술정보통신부도 인간의 존엄성, 사회의 공공선, 기술의 신뢰성이라는 AI 개발·이용의 '3대 가치'와 개발·이용 과정에서 충족·확인돼야 할 인간의 자율성, 프라이버시, 공정성·포용성, 지속가능성, 안전성, 투명성 등 '6대 원칙'을 담은 AI 윤리원칙 초안을 28일 공개, 7월 8일까지 공개 의견 수렴에 돌입했다.

부처와 기관별로 파편화되어 있던 가이드라인을 하나로 묶어 사회적 혼선을 줄이고, 안전하고 신뢰할 수 있는 AI 강국으로 도약하기 위한 국가적 기준선을 세우겠다는 구상이다.

류제명 과기부 제2차관은 "AI시대의 주도권은 기술력뿐만 아니라, 그 기술을 얼마나 투명하고 안전하게 관리할 수 있느냐에 달려 있다"며 "새롭게 정립되는 윤리원칙이 사회적 수용성을 확보하고 글로벌 규범의 기준선으로 자리잡을 수 있도록 폭넓고 실질적인 의견수렴을 거쳐 최종안을 완성하겠다"고 밝혔다.