프롬프트 인젝션 공격 완벽 방어, 17세 소년이 만든 AI 보안 방패

AI를 노리는 새로운 해킹 방식인 ‘프롬프트 인젝션 공격’을 막기 위한 보호 기술이 등장했다. 특히 10대 개발자가 만든 이 시스템은 AI가 악성 지시를 받아들이기 전에 차단하고, 이상 행동까지 감지하는 방식으로 작동한다. 점점 더 중요한 일을 맡고 있는 AI의 보안을 강화할 수 있는 가능성을 보여준다.

AI를 속이는 ‘프롬프트 인젝션 공격’이란 무엇인가

최근 사람들은 이메일 작성부터 파일 관리, 웹 검색까지 다양한 일을 AI 에이전트에 맡기고 있다. 하지만 이 과정에서 ‘프롬프트 인젝션 공격’이라는 새로운 보안 위협이 등장했다.

이 공격은 겉보기에는 평범한 텍스트 속에 몰래 지시를 숨겨 넣는 방식이다. AI가 이를 읽게 되면, 원래 의도와 다르게 민감한 정보를 유출하거나, 잘못된 정보를 퍼뜨리는 행동을 하게 될 수 있다.

현재까지 이 공격을 완벽하게 막는 방법은 없다. 하지만 17세 개발자 케빈 루는 이를 방어할 수 있는 새로운 소프트웨어를 만들었다.

17세 개발자가 만든 AI 보호 ‘방패’

케빈 루가 개발한 프롬프트 인젝션 공격 방어 시스템은 의심스러운 입력을 AI 모델에 전달되기 전에 먼저 가로챈다. 동시에 AI의 반응을 계속 관찰해, 조작이 일어나는 징후가 보이면 즉시 감지한다.

실험에서는 어떤 모의 해킹도 이 시스템을 통과하지 못했다. 케빈은 이 기술이 특히 온라인 계좌나 개인 데이터를 다루는 AI의 보안을 강화하는 데 도움이 될 것으로 기대하고 있다.

이 연구는 미국 벨라민 고등학교에 재학 중인 케빈이 수행한 것으로, 2026년 리제너론 과학 인재 탐색 대회에서 결선 진출 성과를 거뒀다. 그는 1년 넘게 이 프로젝트를 진행하며 지속적으로 개선해 왔다고 밝혔다.

개발 과정에서 가장 어려웠던 점은 방향이 맞는지 스스로 판단해야 했다는 점이었다. 대신 관련 블로그와 구글 딥마인드 연구자의 강의를 참고해 아이디어를 발전시켰다. 그는 특히 코드 작성과 연구 내용을 도식으로 정리하는 과정이 가장 흥미로웠다고 말했다.

이번 연구는 AI가 단순히 똑똑해지는 것을 넘어, 안전하게 사용할 수 있는 방향으로 발전해야 한다는 점을 보여준다. 앞으로 AI가 더 많은 개인 정보와 중요한 역할을 맡게 될수록, 이런 보안 기술의 중요성은 더욱 커질 것으로 보인다.

성치훈 기자/ hello@sciencewave.kr

출처: Science News Explores, “A new shield could guard AI agents against cyberattacks”