EXPLORINEER
ko

DE — heise online

heise+ | 구글은 어떻게 AI 에이전트를 프롬프트 인젝션으로부터 보호하는가 – 인터뷰

AI1분 읽기

독일 IT 매체 heise가 Google의 AI 보안 엔지니어 Viviana Sutedjo와 나눈 인터뷰입니다. Google이 AI 에이전트를 '프롬프트 인젝션'이라는 속임수로부터 어떻게 지키는지 다룹니다.

무슨 일이 있었나

heise 기자가 뮌헨에서 Google의 AI 보안 엔지니어 Viviana Sutedjo와 대화했습니다. 이야기의 주제는 Google이 AI 에이전트를 프롬프트 인젝션으로부터 어떻게 안전하게 지키느냐입니다. 이 글은 유료 기사라서, 무료로 볼 수 있는 부분은 답변이 나오기 전까지뿐입니다.

프롬프트 인젝션이란?

프롬프트 인젝션은 교묘한 말로 AI를 속여서 하면 안 되는 일을 하게 만드는 방법입니다. 초기에는 요청을 다른 언어로 쓰거나, AI에게 슬픈 사연을 들려주어 제한을 피하는 식이었습니다. 이름은 컴퓨터 보안에서 알려진 'SQL 인젝션'이라는 취약점에서 따왔습니다. 요즘 수법은 더 어렵습니다. 예를 들어 이메일 속에 숨겨진 캘린더 초대장이 메일을 요약하는 AI 에이전트를 속일 수 있습니다.

꼭 알아둘 사실

  • AI 에이전트는 이메일을 읽거나 앱을 사용하는 등 실제 작업을 합니다.
  • 에이전트가 속으면 데이터가 새어 나가거나, 공격자의 뜻대로 움직일 수 있습니다.
  • 무료 미리보기는 답변 전에 끝나므로, 자세한 방어 방법은 확인할 수 없습니다.

왜 중요한가

AI 에이전트가 더 많은 일을 맡을수록, 속임수로 생기는 피해도 커집니다. 그래서 이런 에이전트를 만드는 회사들이 안전을 지키는 일이 매우 중요해지고 있습니다.

앞으로 지켜볼 점

  • 전체 인터뷰를 읽으면 Google이 에이전트를 지키는 방법을 자세히 알 수 있습니다(heise+ 구독 필요).
  • AI 에이전트의 힘이 커지면서 새로운 유형의 프롬프트 인젝션 공격이 나올지 지켜보세요.
  • Google과 다른 AI 회사들이 새로운 안전 기술을 내놓는지 살펴보세요.

용어 풀이

heise
독일의 IT와 기술 뉴스를 다루는 온라인 매체입니다.
Google
검색, 이메일, AI 등 다양한 서비스를 만드는 미국의 IT 기업입니다.
프롬프트 인젝션
교묘한 문장으로 AI를 속여 하지 말아야 할 일을 하게 만드는 공격 방법입니다.
AI 에이전트
사람 대신 이메일을 읽거나 앱을 쓰는 등 실제 작업을 수행하는 AI 프로그램입니다.
SQL 인젝션
데이터베이스 명령어를 몰래 끼워 넣어 시스템을 뚫는 알려진 보안 취약점입니다.
heise+
heise의 유료 구독 서비스로, 유료 기사와 인터뷰 전문을 볼 수 있습니다.
AIZDNet Korea

오픈AI, 국내 첫 '모델 마스터즈' 개최…스타트업 AI 개발 지원

오픈AI는 23일 서울사무소에서 국내 첫 '오픈AI 모델 마스터즈'를 열고 11개 기업이 자사 모델로 개발한 서비스를 시연했다. 이 프로그램은 벤처캐피털이 추천한 스타트업에 API 크레딧을 제공해 AI 아이디어의 제품화를 지원한다. 1위를 차지한 AI 영상 편집 스타트업 컷백의 사례가 대표적으로 소개됐다.

AIITmedia

잭 도시 이끄는 Block, 음성만으로 학습한 전이중 음성 모델 'Dessa' 발표 "사람과 대화하는 듯"

미국 Block(구 Square)은 10월 23일(현지 시간) 텍스트 없이 사람의 대화 음성만으로 학습한 전이중 음성 모델 'Dessa'를 연구 프리뷰로 발표했다. 잭 도시 CEO는 이 모델이 지금까지 만든 것 중 가장 자연스러운 전이중 음성 모델이라고 밝혔으며, 회사는 M4 Max 이상을 탑재한 MacBook Pro에서 로컬로 실행할 수 있다고 설명했다.

AITechCrunch

Grok, AI로 만든 ‘오디세이’ 첫 7분 공개

일론 머스크가 AI로 만든 장편 「오디세이」를 약속한 지 3개월 만에, Grok은 “우리 오디세이 시리즈의 1화”라고 부르는 7분 분량의 영상을 공개했습니다. 이 영상은 Wonder Studios와 감독 Dev Walker가 함께 제작했으며, 리뷰어는 예상보다 덜 조잡하지만 예술성, 추진력, 인간적 흥미가 부족하다고 평가했습니다.

AITechCrunch

아폴로 이코노미스트 “AI, 대부분 기업에 재무적 성과 ‘전무’”

아폴로 글로벌 매니지먼트의 수석 이코노미스트 토르스텐 슬록은 기술 업계 밖의 대기업들에서 AI가 이익률이나 근로자 1인당 매출을 개선하지 못했다고 밝혔다. 그는 기술 대기업 7곳을 제외한 S&P 493을 분석했으며, AI로 인한 생산성 향상의 증거는 찾지 못했다고 밝혔다.