📝 내용 정리

오픈AI가 AI가 사람 대신 컴퓨터를 직접 조작하는 GUI 에이전트 “컴퓨터 유즈(Computer Use)“를 본격 확대하고 있다. 비즈니스 인사이더는 20일 오픈AI가 컴퓨터 유즈 기술을 크롬확장 프로그램과 클라우드•앱 내 브라우저, 코덱스 등에 적용하고 있다고 소개했다.

컴퓨터 유즈 자체가 새로운 기술은 아니다. 오픈AI가 2025년 1월 ‘오퍼레이터’라는 GUI 에이전트를 출시했고, 앤트로픽은 이보다 몇개월 앞서 컴퓨터 유즈를 선보였다.

이번 보도에서 더 눈길을 끄는 것은 오픈AI 연구원들이 현재 기술을 ‘중요한 전환점’으로 평가하고 있다는 점이다. 컴퓨터 유즈 팀의 아리 와인스타인은 “챗GPT가 우리보다 더 빠르게 컴퓨터와 소프트웨어를 사용할 수 있게 되면, 우리가 컴퓨터와 상호작용하는 기본적인 방식이 바뀔 것”이라고 말했다.

기술적으로도 몇 가지 변화가 있었다. 과거처럼 화면을 캡쳐해 픽셀을 분석하는 데 그치지 않고 웹페이지의 메모리 구조와 접근성 정보, 링크 구조까지 활용하며, 사람의 실제 컴퓨터 작업 데이터를 학습하고 강화학습으로 행동을 개선한다. 여기에 코덱스를 결합하면 코드를 작성하는 것뿐 아니라 실행 -> 결과 확인 -> 오류 수정까지 컴퓨터에서 직접 반복할 수 있다.

오픈 AI가 초창기부터 집중적으로 연구했던 분야 가운데 하나가 강화학습 이었다. 대표적인 사례로 도타 2 게임이 있었는데, 도타 2는 수많은 변수가 실시간으로 발생하는 복잡한 환경에서 AI가 스스로 행동하는 능력을 시험하는 무대였다.

이후 이를 ‘오픈AI 파이브(OpenAI Five)‘로 발전시켰고, 2019년에는 세계챔피언팀을 꺾었다. 핵심은 컴퓨터를 조작했다는 것이 아니라 AI가 시행착오를 반복하면서 스스로 더 나은 행동 전략을 찾아가는 것 !

이 강화학습 연구는 이후에도 오픈 AI의 중요한 축으로 남았고, 특히 2024년 공개한 ‘o1’에서는 강화학습이 언어모델의 ‘생각하는 능력’을 개선하는 핵심 방법으로 활용됐다.

도타의 강화학습과 현재의 컴퓨터 유즈가 같은 기술은 아니지만, AI가 주어진 환경에서 행동하고 결과를 평가하며 다음 행동을 결정한다는 연구 방향이 여러 형태로 발전해왔다는 점에서 연결된다.

결국 이번 보도에서 중요한 것은 컴퓨터 유즈에 새로운 기능 몇 가지가 추가됐다는 차원이 아니다. 오픈AI가 초기부터 연구해 온 강화학습과 “행동하는 AI”가 추론 모델과 에이전트를 거쳐 실제 컴퓨터 작업으로 이어지고있는 셈이다.

아직 컴퓨터 유즈가 완벽하다는 것은 아니지만, 그럼에도 오픈AI 연구원들이 지금을 중요한 전홙머으로 평가하는 이유는 분명하다.

챗GPT가 질문에 답하는 AI를 넘어, 사람이 하던 컴퓨터 작업까지 직접 수행하는 AI로 나아갈 수 있는 기반이 마련되었다는 의미이다.

🧠 생각 정리

이번 뉴스는 “강화학습”, “GUI” 같은 지금 연구하고있는 분야의 키워드가 많이 나와서 더 흥미롭게 봤던 것 같다.

이 글만 보면 강화학습이 모든것을 해결할 수 있는 마법같은 기술인 것 처럼 보이는 것 같다. AI에 무지하던 시절, 교수님이 처음 해주시는 강화학습 설명을 들었을 때, 강화학습이 간단한 개념으로 모든것을 할 수 있는 AI 기술인것 같이 느껴졌다. 하지만 막상 해보니, AI가 시행착오를 겪을 수 있는 환경을 만들어주는 역할이 너무 어려웠다. OpenAI의 연구자들은 그 시행착오를 어떻게 겪고 해결했는지 궁금해졌다.

• 코덱스, 클로드코드 같은 개발 툴을 사용하면서, 그것들이 없던 시절에 팀 프로젝트를 하면서 정했던 룰이나 고민했던 것들과 좀 다른 방향의 고민이 필요하다는 생각이 들었다. 이제 코드는 나보다 코덱스가 더 많이 보고 고친다. 나는 그냥 결과물을 보며, 코덱스에게 질문을 하며 문제를 해결해나간다. 그래서 이제는 사람이 보기 좋은 코드, 문서가 아니라 AI가 보기 좋은 코드, 문서가 뭘지 고민해야한다고 생각했다. 그리고 어디까지 문서화 해둘지도 중요한 문제인것 같다.

전에 OpenAI의 테크블로그에서 AI 주도로 어떤 서비스를 개발했으며, 어떤식으로 진행했는지에 대한 글을 본적이 있었다. 해당 연구자도 코드를 직접 보기보다 문서를 잘 정리하고, AI가 잘 이해할 수 있도록 알려주고, 우리의 요구사항을 명확히 주는게 중요하다고 했다. 그 글을 읽고 지금 진행하는 AI Pilot 대회에 해당하는 방식을 아주 단순하게 적용해봤다. 대회 규칙을 문서화해두고, 실험 진행사항들을 기록해두고, AI에게 문서를 계속 확인하며 진행하도록 한 것이다. 여기서 내가 코드를 직접 본건 거의 없는 것 같다. 아직 결과물을 만들어내지는 못했지만, 이 방법이 어떤 영향을 줄지 궁금하다 !

좀 멀리 돌아오긴한 것 같지만 결국 하고싶었던말은, GUI도 AI가 이해하기 쉬운 GUI가 있을까 ?라는 궁금증이 들었다. 이제는 컴퓨터를 인간만 쓰지도, AI만 쓰지도 않는다. 사실 얼마 전까지만해도, 인간은 모든걸 말이나 텍스트로 시키기만하고 AI가 해주는 세상이 오지 않을까 싶기도 했다. 하지만 AI가 완벽히 인간의 의도를 파악하기는 힘들기에 (인간이 쿼리를 대충 주기도 하니까) 결국 컴퓨터 세상에서 공존해야할 것 같다는 생각이 든다. 간단한 작업은 내가 해버리는게 빠르기도하니까.

AI와 인간의 제약과 능력은 명백히 다르다. 지금까지 GUI의 설계가 인간이 보기 쉽고, 이해하기 쉬운 방향으로 갔다면, 앞으로는 AI도 보고 이해하기 쉬운 방향으로 가야할 것 같다.

AI가 보고 이해하기 쉬운 GUI는 무엇일까 ?!