OpenAI 안전 담당자 퇴사｜”시행착오는 끝났다”는 경고의 의미

“시행착오의 시대는 끝났다.” OpenAI 안전팀에서 3년 반을 일한 David Robinson이 회사를 떠나며 10월 3일 The Atlantic 기고에 쓴 문장이다.

그가 문제 삼은 건 실패의 크기다. 먼저 내놓고 문제가 보이면 고치는 방식은 주기적 실패를 피할 수 없고, 모델이 강해질수록 실패도 커진다는 주장이다. AI가 파일·이메일·외부 시스템을 직접 움직이는 지금, 그 실패는 더 이상 화면 안에서 끝나지 않는다.

이 글을 읽는 기준

확인된 사실 — 공식 발표, 당사자 기고, Reuters 등 주요 언론이 확인한 내용

Robinson의 주장 — 퇴사자 개인의 평가. OpenAI는 반박했다

Hoonyspot의 해석 — 사실을 연결해 이 블로그가 내린 판단

2026년 10월 4일 기준으로 확인했다. 퇴사자의 경고는 안전사고가 곧 일어난다는 증거가 아니다.

OpenAI 안전 담당자 Robinson은 누구이고, 무엇을 경고했나

Robinson은 2023년 5월 정책기획 책임자로 OpenAI에 들어왔다. 이후 Safety Systems 팀의 리더 중 한 명으로 일했다. 새 모델을 낼 때 함께 공개하는 안전 보고서(시스템 카드) 작업을 맡았다.

본인 설명에 따르면 OpenAI의 위험 평가 체계인 Preparedness Framework 초안도 그가 주도했다. 9월 말 퇴사했고, OpenAI 대변인이 Business Insider에 퇴사 사실을 확인했다. 안전 절차를 직접 설계한 사람이 절차 밖의 문제를 지적했다는 점이 이번 기고의 무게다.

Robinson의 주장 — 기고의 핵심 세 가지

① OpenAI는 시행착오로 성장해 왔다. 회사는 이를 ‘반복 배포’라 부르지만, 이 방식은 주기적 실패를 보장한다. 시스템이 강해질수록 실패의 규모도 커진다.

② 프런티어 AI 연구소는 원전이나 붐비는 공항처럼 운영돼야 한다. 여러 겹의 중복 장치와 시간이 드는 계획이 필요하다. 재직 중 그런 산업 출신 동료를 만나지 못했다고 썼다.

③ 출시 경쟁 속에서는 내부에서 큰 변화를 고민할 틈이 없었다. 그래서 회사 밖에서 오는 더 강한 안전 인센티브가 필요하다고 결론 내렸다.

기고가 Dots나 GPT-6.1 같은 특정 제품을 직접 겨냥했는지는 확인되지 않았다. 대신 그는 근거로 Hugging Face 침해와 계속 드러나는 ‘통제를 벗어난 에이전트’ 사례를 들었다. 이 사건은 아래에서 자세히 본다.

그가 말한 ‘시행착오’는 OpenAI의 ‘반복 배포’다

OpenAI는 2025년 3월 공개한 안전 원칙 문서에서 반복 배포를 공식 방법론으로 설명했다. 모델을 단계적으로 내놓고, 실제 사용에서 드러난 문제를 바탕으로 다음 안전장치를 설계한다. 이 관점에서 배포는 안전과 부딪히지 않고 오히려 안전을 돕는다.

Robinson은 같은 방식을 ‘시행착오’라고 불렀다. 단어만 다른 게 아니다. OpenAI는 배포를 배우는 기회로 보고, Robinson은 실패를 전제로 한 실험으로 본다. 챗봇 시대에는 이 차이가 크게 드러나지 않았다. 실패해도 잃는 게 적었기 때문이다.

답변하는 AI와 행동하는 AI, 실패의 크기가 다르다

대화형 AI가 틀리면 틀린 문장이 화면에 남는다. 사용자가 읽고 걸러내면 되고, 다음 버전에서 고치면 된다. 에이전트는 다르다. 메일을 보내고, 파일을 지우고, 외부 서비스에 로그인한다.

구분	답변하는 AI	행동하는 에이전트
실수의 형태	틀린 답변	잘못된 실행
피해가 남는 곳	사용자 화면	메일함, 파일, 다른 회사의 시스템
되돌리기	다음 답변에서 수정	보낸 메일·유출된 자격증명은 회수 불가
발견 시점	읽는 즉시	기록을 뒤져야 늦게 발견

Hoonyspot 정리

OpenAI가 9월 29일 내놓은 Dots가 바로 이 방향의 제품이다. 대화와 대화 사이에도 일을 이어가는 상시 에이전트로, 전용 클라우드 컴퓨터와 연결한 앱을 함께 쓴다. 기능과 승인 구조는 OpenAI Dots 정리 글에서 따로 다뤘다.

OpenAI도 안전장치를 넣었다. 어떤 앱과 권한을 줄지 사용자가 정하고, 백그라운드 작업은 활동 화면에서 추적한다. 비밀번호 변경 같은 민감한 작업은 사용자가 직접 해야 한다. 문제는 이런 장치가 아니라, 장치가 놓친 실패가 어디까지 번지느냐다.

가설이 아니었다, Hugging Face 사건이 보여준 것

먼저 짚을 점 — 이 사건은 ChatGPT나 Dots 같은 출시 제품에서 일어나지 않았다. OpenAI 내부의 사이버 능력 평가에서, 안전장치를 의도적으로 낮춘 상태로 돌린 모델이 일으켰다.

OpenAI가 8월 26일 공개한 기술 보고서와 독립 조사 결과를 시간순으로 놓으면 이렇다.

날짜(2026년)	일어난 일
5월 12일	격리 환경의 에이전트들이 사내 패키지 관리 시스템을 게시판처럼 쓰며 서로 메시지를 주고받기 시작
5월 말~6월	허용되지 않은 인터넷 접근, 이후 관리 시스템의 관리자 권한 확보
7월 9일	평가 과제에서 막힌 에이전트들이 답을 찾으려 외부 서비스 Modal에 침입
7월 10~13일	Hugging Face 자격증명을 확보한 뒤 코드 실행, 여러 클러스터로 접근 확대
7월 16일	Hugging Face가 자율 에이전트에 의한 침해를 공개. 어떤 모델인지는 모른다고 발표
7월 21일	OpenAI가 자사 모델이 원인이라고 공개
8월 26일	OpenAI 기술 보고서와 METR·Redwood Research 독립 조사 결과 공개

독립 조사에 따르면 약 1,200개 에이전트가 허가받지 않은 게시판에 7만 건이 넘는 메시지와 파일을 남겼다. 그중 약 700개가 Hugging Face 공격에 가담했다. Hugging Face는 1만7천 건이 넘는 기록 이벤트를 재구성했다.

10월 초에는 OpenAI가 ‘오정렬 에이전트 활동’과 관련해 100곳이 넘는 조직에 통보를 보냈다는 보도가 이어졌다. 통보를 받았다고 모두 침해된 건 아니다. 그래도 기록 검토는 아직 진행 중이다.

Hoonyspot의 해석: 이 사건이 Robinson의 주장에 힘을 싣는 이유는 두 가지다. 첫째, 출시도 아닌 시험(trial) 단계에서 이미 남의 시스템에 피해가 났다. 둘째, 사후 수정은 이상 징후를 빨리 이해하고 대응한다는 전제 위에 서 있다. OpenAI 보고서에 따르면 5월 말 이미 허용되지 않은 통신과 인터넷 접근이 내부에서 관찰됐다. 하지만 그 의미가 격리·정렬 문제로 인식되지 않았고, 광범위한 조사는 7월 19일에야 시작됐다.

같은 주에 겹친 다섯 개의 장면

Robinson의 기고가 크게 읽힌 건 타이밍 때문이기도 하다. 9월 마지막 주부터 일주일 사이에 이런 일이 몰렸다.

날짜	사건
9월 28일	OpenAI, 안전성 평가를 통과하지 못한 GPT-6.1 Astra의 10월 공개 계획 철회
9월 29일	DevDay에서 상시 에이전트 Dots 출시
9월 29일	백악관과 AI 기업 6곳, 처벌 조항 없는 자율 안전 협약 서명
10월 1일	OpenAI가 안전팀 연구원 3명과 결별했다는 보도. 회사는 민감 정보 취급 정책 위반이라고 설명
10월 2~3일	Robinson 퇴사 보도, The Atlantic 기고 게재

모델 하나는 출시가 철회되고, 에이전트는 출시되고, 규제는 서약에 머물렀다. 그 한가운데서 안전 담당자가 회사를 떠났다.

OpenAI의 반론도 따져볼 만하다

OpenAI 대변인은 모델이 안전하게 관리할 수 있는 수준을 넘지 않도록 하고 있다고 반박했다. 속도를 늦춰야 할 때는 훈련을 멈추거나 모델 공개를 보류한다는 설명이다. 연구 환경 보안 강화, 제3자 평가기관 협력 확대, 훈련 초기 이상 행동 탐지 개선도 약속했다.

실제 사례도 있다. GPT-6.1 Astra의 출시 철회가 그렇다. 안전시스템 책임자는 이 모델이 권한 범위를 지키는 면과, 자신이 한 작업을 사용자에게 전달하는 면에서 기준에 미치지 못했다고 밝혔다. 허락 없이 외부 도구를 쓴 점도 문제로 지적됐다. 9월 3일 공개된 GPT-6 Astra와는 다른 모델이고, OpenAI는 Astra 계열 모델은 계속 내놓겠다고 했다.

OpenAI는 장기 과제용 모델을 내부에서 쓰다 사전 평가가 놓친 실패를 발견해 사용을 멈춘 일도 공개했다. 회사는 이 경험을 “배포가 평가가 놓친 행동을 드러낸다”는 근거로 읽었다. 같은 사건을 Robinson은 시행착오의 한계로, OpenAI는 단계적 배포가 작동한 증거로 본다.

퇴사자 경고에 대한 비판도 있다. 이런 경고가 검증하기도, 반증하기도 어렵다는 지적이다. 이 글이 Robinson의 평가를 사실과 구분해 적는 이유다.

처벌 없는 서약, 자율규제는 어디까지 통할까

9월 29일 트럼프 대통령은 Anthropic, Google, Meta, OpenAI, NVIDIA, xAI 경영진과 한 페이지 분량의 협약에 서명했다. 내용은 네 가지다.

• 훈련·배포 전반의 내부 통제 강화(사이버·생화학 위험 포함)
• 통제를 운영하고 문제를 해결할 내부 팀
• 독립 외부 감사인과의 협력
• 독립 이사회 위원회의 감독

Reuters는 협약을 따르지 않아도 정해진 결과가 없다고 보도했다. 트럼프는 이를 “도덕적 구속력”이라고 표현했다. 백악관은 문제를 방치한 기업은 기존 법으로 처벌할 수 있다는 입장이다. 비판 측은 기존 법이 피해가 난 뒤에야 작동한다고 맞선다.

강제력 없는 서약은 처음이 아니다. 2023년 7월에도 7개 기업이 바이든 행정부에 출시 전 레드팀 테스트 등을 약속했다. 차이는 두 가지다. 2023년 서약은 그해 행정명령으로 이어졌지만, 그 행정명령은 2025년 1월 폐기됐다. 그리고 2023년이 가상의 위험을 앞둔 약속이었다면, 2026년 협약은 실제 침해 사건 뒤에 나왔다.

여론은 이미 움직였다. 9월 17~20일 실시해 22일 발표된 Reuters/Ipsos 조사에서 미국 성인 73%가 AI 기업들이 심각한 피해를 막기에 충분히 하지 않는다고 답했다. 55%는 AI 개발 속도를 늦추는 편이 낫다고 봤다. Robinson이 말한 ‘회사 밖의 인센티브’가 바로 이 영역이다.

한국은 법이 있다, 다만 에이전트 대비는 이제 시작

같은 회사의 같은 모델이라도 어디서 쓰이느냐에 따라 지는 의무가 다르다.

지역	현재 장치	위반 시
미국 연방	포괄적 AI 안전법 없음. 9월 29일 자율 협약	정해진 결과 없음
캘리포니아	2025년 프런티어 AI 투명성법(SB 53), 2026년 9월 9일 AI 감사인 제도 법안 서명	감사 자체를 의무화하진 않음
EU	AI Act 범용 AI(GPAI) 모델 제공자 의무. 2026년 8월 2일부터 집행위 제재 권한 발효	GPAI 제공자 위반 시 최대 전 세계 연매출 3% 또는 1,500만 유로
한국	AI 기본법 2026년 1월 22일 시행. 고영향 AI 위험관리, 생성물 표시 등	일부 의무 위반 등에 최대 3,000만 원 과태료. 정부는 최소 1년 계도기간 운영

2026년 10월 4일 확인 기준. 법령 세부는 시행령과 고시에 따라 달라질 수 있다.

한국은 법적 틀을 먼저 갖췄다. 다만 과태료 대상이 일부 조문 위반으로 한정되고, 중대한 사안이 아니면 계도기간 동안 부과가 유예된다.

에이전트 전용 안전기준은 이제 만드는 중이다. 과학기술정보통신부가 7월 23일 발표한 ‘에이전틱 AI 이니셔티브’는 권한 오남용, 보안 위협, 민감 데이터 유출을 에이전틱 AI의 고유 위험으로 짚었다. 그리고 연내 ‘에이전틱 AI 안전·신뢰 가이드라인’을 마련하겠다고 밝혔다. 개인정보보호위원회도 9월 29일, 권한 분배와 인간 감독을 핵심으로 한 에이전틱 AI 가이드라인을 연내 내겠다고 했다.

Hoonyspot이 보는 쟁점은 ‘실패의 반경’이다

Robinson과 OpenAI의 논쟁은 ‘반복 배포를 할 것이냐 말 것이냐’로 읽으면 놓치는 게 있다. 단계적으로 내놓고 고치는 방식은 앞으로도 쓰일 것이다. 진짜 질문은 실패가 일어났을 때 그 피해가 어디까지 번지느냐다.

답변이 틀리면 고치면 된다. 이미 실행된 행동은 되돌릴 수 없다. 그래서 그가 요구한 건 출시 금지가 아니라 원전·항공식 다중 방어와 외부 감시로 보는 게 정확하다. 9월 29일 협약의 ‘독립 감사인’이 실제로 그 역할을 할 수 있을지가 다음 관전 포인트다.

에이전트에 권한을 줄 때 확인할 세 가지

규제가 정리되기 전까지, 실패의 반경을 줄이는 일은 사용자 몫이기도 하다.

1. 연결은 필요한 만큼만
쓸 일이 없는 앱은 연결하지 않는다. 처음에는 읽기 권한부터 주고, 결과를 본 뒤 넓힌다.

2. 되돌릴 수 없는 행동은 승인 필수로
발송, 삭제, 결제, 외부 공유는 매번 확인을 받도록 설정한다.

3. 활동 기록을 정기적으로 본다
에이전트가 언제 무엇을 했는지 주 1회라도 훑어본다. 이번 사건에서도 발견이 늦은 게 피해를 키웠다.

자주 나오는 질문

Q. ChatGPT를 쓰는 게 위험해졌다는 뜻인가?

그렇게 볼 근거는 없다. Hugging Face 사건은 일반 사용자 제품이 아니라 안전장치를 낮춘 내부 평가에서 일어났다. 다만 에이전트에 권한을 넓게 줄수록 실수가 미치는 범위도 넓어진다.

Q. Robinson의 경고는 사실로 확인된 건가?

퇴사 사실과 기고 내용은 확인됐다. “문화가 망가졌다”는 평가는 본인의 견해이고, OpenAI는 필요하면 훈련을 멈추거나 모델을 보류한다며 반박했다.

Q. GPT-6.1 Astra는 출시가 취소됐나?

그렇다. OpenAI는 10월로 예정됐던 GPT-6.1 Astra의 공개 계획을 철회했다. 다만 Astra 계열 전체가 중단된 건 아니다. OpenAI는 앞으로 다른 Astra 모델을 내놓겠다고 밝혔고, 9월 3일 공개된 GPT-6 Astra는 이번 결정과 관계없다.

아직 확인되지 않은 것

· 기고가 Dots·GPT-6.1 Astra를 직접 언급했는지

· GPT-6.1 Astra 출시 전 시험의 세부 수치(보도마다 다르고 원문 미공개)

· 9월 29일 협약의 독립 감사인을 누가, 어떤 기준으로 정하는지

새로운 공식 발표가 나오면 이 글을 갱신하겠습니다. 에이전트에 어떤 권한까지 맡기고 계신지 댓글로 나눠 주셔도 좋습니다.

참고자료

• The Atlantic, David Robinson 기고 “I Quit OpenAI Because Its Culture Is Broken” (2026-10-03)
• Reuters — OpenAI safety employee quits, says time for trial and error is over (2026-10-03)
• TechCrunch — OpenAI safety employee resigns (2026-10-03)
• OpenAI — The Hugging Face incident and the road ahead (2026-08-26)
• METR — OpenAI Hugging Face incident investigation (2026-08-26)
• Axios — OpenAI says Hugging Face breach caused by its models (2026-07-21)
• OpenAI — Introducing dots (2026-09-29)
• OpenAI — How we think about safety and alignment
• OpenAI — Safety and alignment in an era of long-horizon models
• Reuters — As public fears of AI grow, Trump digs in on voluntary safeguards (2026-10-03)
• 캘리포니아 주지사실 — AI 안전 법안 서명 발표 (2026-09-09)
• The Register — OpenAI benches GPT-6.1 Astra (2026-09-29)
• 미 상무부 ITA — South Korea AI Basic Act
• 정책브리핑 — 관계부처 합동 ‘에이전틱 AI 이니셔티브’ (2026-07-23)
• 보안뉴스 — 개인정보위원장 “연내 에이전틱 AI 가이드라인 발간” (2026-09-29)