2020년 인공지능 기업 OpenAI는 GPT-3 머신러닝 알고리즘으로 기술계를 놀라게 했습니다. 인터넷의 광범위한 부분을 섭취한 후 GPT-3는 사람이 작성한 텍스트와 구별하기 어려운 글을 생성하고, 기본적인 수학을 수행하고, 코드를 작성하고, 심지어 간단한 웹 페이지를 만들 수도 있습니다.
OpenAI는 개발자가 코드를 작성하는 데 도움이 되는 Codex라는 AI 와 매우 인기 있고 논란이 많은 이미지 생성기 DALL-E 2 와 같은 새로운 제품을 시드할 수 있는 보다 전문화된 알고리즘을 GPT-3에 추가했습니다 . 그러다 지난해 말 회사는 GPT-3을 업그레이드하고 지금까지 가장 큰 히트를 쳤던 ChatGPT라는 바이러스성 챗봇을 출시했습니다.
이제 현금이 풍부한 신생 스타트업부터 Google과 같은 유서 깊은 거대 기술 기업 에 이르기까지, 초기 생성 AI 공간에서 수많은 경쟁자들이 경쟁을 벌이고 있습니다 . OpenAI에 대한 Microsoft의 100억 달러 후속 투자를 포함하여 수십억 달러가 업계로 유입되고 있습니다.
이번 주에는 몇 달 간의 다소 과장된 추측 끝에 OpenAI의 GPT-3 후속작인 GPT-4가 공식적으로 출시되었습니다. 블로그 게시물 , 인터뷰 및 두 개의 보고서( 여기 및 여기 ) 에서 OpenAI는 GPT-4가 거의 모든 면에서 GPT-3보다 낫다고 말했습니다.
합격 그 이상
GPT-4는 멀티모달(multimodal)입니다. 즉, 이미지와 텍스트 모두에 대해 훈련되었으며 자연어를 사용하여 이미지 내용을 식별, 설명 및 리프할 수 있다는 것을 멋진 표현으로 표현한 것입니다. OpenAI는 알고리즘의 출력이 이전 버전보다 품질이 더 좋고 정확하며 기괴하거나 독성이 폭발할 가능성이 적다고 말했습니다. 또한 수많은 표준화된 테스트에서 업그레이드된 GPT-3(GPT 3.5라고 함)보다 성능이 뛰어났으며, 변호사를 위한 변호사 자격증 시험에서 인간 시험 응시자의 상위 10%에 들었고 13점 만점에 4~5점을 받았습니다. 고등학생을 위한 15개의 대학 수준 AP(Advanced Placement) 시험.
회사에서 오용 여부를 평가함에 따라 아직 더 널리 제공되지 않은 다중 모드 기능을 과시하기 위해 OpenAI 사장 Greg Brockman은 개발자 데모 중에 종이에 웹 사이트의 개략도를 스케치했습니다 . 그는 사진을 찍고 GPT-4에게 이미지로 웹페이지를 만들도록 요청했습니다. 몇 초 만에 알고리즘은 작동하는 웹사이트에 대한 코드를 생성하고 구현했습니다. The New York Times 에서 설명한 또 다른 예에서는 알고리즘이 냉장고에 있는 음식 이미지를 기반으로 식사를 제안했습니다.
또한 회사는 GPT-4와 같은 모델에 내재된 위험을 줄이기 위한 작업도 설명했습니다. 특히 지난 8월 원시 알고리즘이 완성됐다. OpenAI는 모델을 개선하고 과잉을 억제하기 위해 8 개월을 보냈습니다.
이 작업의 대부분은 전문가 팀이 알고리즘을 찌르고 자극하고 피드백을 제공하여 수행되었으며, 이는 강화 학습을 통해 모델을 개선하는 데 사용되었습니다. 이번 주에 출시된 버전은 지난 8월의 원시 버전을 개선한 것이지만 OpenAI는 알고리즘 편향과 신뢰할 수 없는 사실 파악 등 대규모 언어 모델의 알려진 약점을 여전히 보여주고 있음을 인정합니다.
이러한 점에서 GPT-4는 기술적으로 크게 개선되었으며 익숙한 위험을 해결하는 것이 아니라 완화하는 데 진전을 이루었습니다. 그러나 이전 릴리스와 달리 OpenAI의 말을 대체로 받아들여야 합니다. 회사는 점점 더 경쟁이 치열해지고 GPT-4와 같은 대규모 모델이 안전에 미치는 영향을 언급하면서 모델 크기와 아키텍처, 훈련에 사용된 컴퓨팅 리소스, 포함된 내용 등 GPT-4가 어떻게 만들어졌는지에 대한 구체적인 내용을 공개하지 않기로 결정했습니다. 훈련 데이터 세트와 훈련 방법.
OpenAI의 최고 기술 책임자이자 공동 창립자인 Ilya Sutskever 는 The Verge에 “이 제품을 생산하는 데 거의 모든 OpenAI가 협력하는 데 매우 오랜 시간이 걸렸습니다” 라고 말했으며 다른 많은 회사도 “같은 일을 하고 싶어합니다”라고 말했습니다. 그는 계속해서 모델이 더욱 강력해짐에 따라 남용과 피해의 가능성이 있기 때문에 모델을 오픈 소스화하는 것은 위험한 제안이라고 제안했습니다. 그러나 이는 해당 분야 전문가들 사이에서 뜨거운 논쟁을 벌이고 있으며, 일부에서는 OpenAI가 비영리 단체로 설립되었을 때 명시된 가치에 어긋나는 실행을 너무 많이 보류하기로 한 결정을 지적했습니다. (OpenAI는 2019년 이익제한회사로 개편되었습니다.)
알고리즘의 전체 기능과 단점은 액세스가 더욱 확대되고 더 많은 사람들이 이를 테스트(및 스트레스)할 때까지 명백해지지 않을 수 있습니다. 이를 통제하기 전에 Microsoft의 Bing 챗봇은 사용자가 기괴하고 불안한 교환에 몰리면서 소란을 일으켰습니다.
전반적으로 이 기술은 이전 기술과 마찬가지로 매우 인상적이지만, 과장된 광고에도 불구하고 GPT-3보다 더 반복적입니다. 새로운 이미지 분석 기술을 제외하고 OpenAI가 강조하는 대부분의 기능은 이전 알고리즘의 개선 및 개선입니다. GPT-4에 대한 액세스조차 새로운 것이 아닙니다. 마이크로소프트는 이번 주 3월 8일 현재 약 4,500만 건의 채팅을 기록한 빙(Bing) 챗봇을 구동하기 위해 비밀리에 GPT-4를 사용했다고 밝혔습니다 .
대중을 위한 AI
GPT-4는 일부 사람들이 예상한 단계 변화가 아닐 수도 있지만 배포 규모는 거의 확실할 것입니다.
GPT-3은 기술 전문가들을 놀라게 하고 헤드라인을 장식한 놀라운 연구 알고리즘이었습니다. GPT-4는 검색 창, Word 문서, LinkedIn 프로필과 같은 익숙한 설정에서 수백만 명의 사람들에게 곧 출시될 훨씬 더 세련된 알고리즘입니다.
Microsoft는 Bing 챗봇 외에도 LinkedIn Premium 및 Office 365 에서 GPT-4 기반 서비스를 제공할 계획을 발표했습니다 . 처음에는 제한적으로 출시되지만 피드백에 따라 각 반복이 개선되면 Microsoft는 자사 제품을 사용하는 수억 명의 사람들에게 이를 제공할 수 있습니다. (올해 초 ChatGPT 무료 버전은 역사상 어떤 앱보다 빠르게 사용자 1억 명을 돌파했습니다 .)
널리 사용되는 소프트웨어에 생성 AI를 적용한 것은 Microsoft만이 아닙니다.
구글은 이번 주에 생성 알고리즘을 지메일(Gmail), 구글 독스(Google Docs), 슬라이드(Slides), 시트(Sheets)와 같은 자체 생산성 소프트웨어에 통합할 계획이며 개발자들에게 GPT-4 경쟁자인 PaLM에 대한 API 액세스를 제공하여 그들이 자체 앱을 구축할 수 있도록 할 것이라고 밝혔습니다. 그것의 꼭대기. 다른 모델도 나오네요. Facebook은 최근 연구원들에게 오픈 소스 LLaMa 모델에 대한 액세스 권한을 부여했으며 나중에 온라인으로 유출 되었습니다. 반면 Google이 지원하는 스타트업인 Anthropic과 중국의 거대 기술 기업 Baidu는 이번 주에 자체 챗봇인 Claude 와 Ernie를 출시했습니다 .
GPT-4와 같은 모델이 제품에 출시되면 마음대로 뒤에서 업데이트될 수 있습니다. OpenAI와 Microsoft는 피드백이 접수됨에 따라 ChatGPT와 Bing을 지속적으로 조정했습니다. ChatGPT Plus 사용자(월 20달러 구독)는 출시 시 GPT-4에 대한 액세스 권한을 부여 받았습니다.
하룻밤 사이에 업그레이드되는 스마트폰 운영 체제처럼 간단하고 눈에 띄지 않게 구축되고 있는 생태계에 GPT-5 및 기타 미래 모델이 포함되는 것을 상상하기 쉽습니다.
그리고 뭐?
최근 몇 년 동안 우리가 배운 것이 있다면 규모가 모든 것을 드러낸다는 것입니다.
새로운 기술이 사회의 광범위한 부분에 접촉되기 전까지는 어떻게 성공할지, 실패할지 예측하기 어렵습니다. 다음 달에는 제작자들이 속도를 맞추기 위해 애쓰면서 새로운 능력을 드러내고 깨지거나 망가지는 알고리즘의 더 많은 예가 나올 수 있습니다.
“안전은 이분법적인 것이 아닙니다. 그것은 과정입니다.”라고 Sutskever는 MIT Technology Review에 말했습니다 . “새로운 기능 수준에 도달하면 상황이 복잡해집니다. 이러한 기능 중 상당수는 이제 꽤 잘 이해되고 있지만 일부는 여전히 놀라울 것이라고 확신합니다.”
장기적으로 참신함이 사라지면 더 큰 질문이 떠오를 수 있습니다.
업계에서는 무엇이 달라붙는지 알아보기 위해 스파게티를 벽에 던지고 있습니다. 그러나 생성 AI가 모든 경우에 유용하거나 적절한지는 확실하지 않습니다. 예를 들어, 검색용 챗봇은 현재보다 훨씬 더 신뢰할 수 있다는 것이 입증될 때까지 기존 접근 방식보다 성능이 뛰어나지 않을 수 있습니다. 그리고 특히 대규모로 생성 AI를 실행하는 데 드는 비용 은 엄청납니다. 기업이 비용을 통제할 수 있습니까? 사용자는 비용을 입증할 만큼 매력적인 제품을 찾을 수 있습니까?
또한 GPT-4가 진전을 이루었지만 이러한 모델의 가장 잘 알려진 약점을 해결하지 못했다는 사실은 우리를 잠시 멈추게 합니다. 일부 저명한 AI 전문가들은 이러한 단점이 현재 딥 러닝 접근 방식에 내재되어 있으며 근본적인 혁신 없이는 해결되지 않을 것이라고 믿습니다.
상호 작용의 일부에서 사실적 실수와 편향되거나 유해한 반응은 숫자가 적을 때 영향이 적습니다. 하지만 수억 개 이상의 규모에서는 1% 미만이라도 큰 숫자에 해당합니다.
Diffblue의 CEO인 Matthew Lodge는 최근 IEEE Spectrum과 의 인터뷰 에서 “LLM은 오류와 환각의 영향이 크지 않을 때 가장 잘 사용됩니다.”라고 말했습니다 . 실제로 기업들은 사용자에게 Tesla의 운전대를 계속 잡고 있는 것처럼 너무 많이 의존하지 말라고 경고하는 면책 조항을 첨부하고 있습니다.
하지만 업계에서는 실험을 계속하고 싶어 하는 것이 분명합니다. 따라서 새로운 AI 조수들이 등장하면서 운전대를 잡고(희망합니다) 수백만 명의 사람들이 프레젠테이션 슬라이드, 이메일, 웹사이트를 순식간에 대량 생산하기 시작할 수도 있습니다.
이미지 출처: Luke Jones / Unsplash
