Gen AI 모델에게 비틀즈처럼 노래 가사를 써달라고 요청하고 그것이 인상적인 일을 했다면 거기에는 이유가 있습니다. 또는 모델에게 좋아하는 작가의 스타일로 산문을 써 달라고 요청했는데 모델이 그 스타일을 정확하게 복제했다면 그렇게 한 데에는 이유가 있습니다.
간단히 말해서, 당신이 다른 나라에 있고 슈퍼마켓 통로에서 찾은 흥미로운 간식의 이름을 번역하고 싶을 때 스마트폰이 라벨을 감지하고 텍스트를 원활하게 번역합니다.
AI는 그러한 모든 가능성의 정점에 서 있으며 이는 주로 AI 모델이 방대한 양의 데이터(우리의 경우 수백 곡의 비틀즈 노래와 아마도 당신이 좋아하는 작가의 책)에 대해 훈련을 받았을 것이기 때문입니다.
제너레이티브 AI(Generative AI)의 등장으로 모든 사람이 음악가, 작가, 예술가 또는 그 모두가 됩니다. Gen AI 모델은 사용자 프롬프트에 따라 몇 초 만에 맞춤형 예술 작품을 생성합니다. 그들은 만들 수 있습니다 반 고흐적 예술 작품을 감상하고 알 파치노가 그곳에 있지 않은 상태에서 서비스 약관을 읽어 보도록 할 수도 있습니다.
매혹을 제쳐두고, 여기서 중요한 측면은 윤리입니다. 점점 예술가를 대체하려는 AI 모델을 훈련하는 데 이런 창작물이 활용됐다는 게 정당한 일인가? 그러한 지적 재산의 소유자로부터 동의를 얻었습니까? 그들은 공정하게 보상받았는가?
2024년에 오신 것을 환영합니다: 데이터 전쟁의 해
지난 몇 년 동안 데이터는 Gen AI 모델을 훈련하려는 기업의 관심을 끌기 위한 자석이 되었습니다. 유아처럼 AI 모델도 순진합니다. 그들은 가르쳐야 하고 훈련을 받아야 합니다. 이것이 바로 기업이 인간을 모방하도록 모델을 인위적으로 훈련하기 위해 수백만은 아니더라도 수십억 개의 데이터가 필요한 이유입니다.
예를 들어, GPT-3는 대략적으로 단어로 변환되는 수십억(수백 개)의 토큰에 대해 교육을 받았습니다. 그러나 소식통에 따르면 이러한 토큰 수조 개가 최신 모델을 훈련하는 데 사용되었습니다.
이렇게 엄청난 양의 교육 데이터세트가 필요한 상황에서 대형 기술 기업은 어디로 갈까요?
훈련 데이터의 심각한 부족
야망과 규모는 서로 밀접하게 연관되어 있습니다. 기업이 모델을 확장하고 최적화함에 따라 더 많은 교육 데이터가 필요합니다. 이는 GPT의 후속 모델을 공개하거나 단순히 개선되고 정확한 결과를 제공하라는 요구에서 비롯될 수 있습니다.
어떤 경우에도 풍부한 학습 데이터가 필요한 것은 불가피합니다.
기업이 첫 번째 장애물에 직면하는 곳이 바로 여기입니다. 간단히 말해서, AI 모델이 학습하기에는 인터넷이 너무 작아지고 있습니다. 즉, 기업에서는 모델을 제공하고 교육하기 위한 기존 데이터 세트가 부족합니다.
이렇게 고갈되는 리소스는 AI 모델의 개발과 진화를 잠재적으로 제한할 수 있기 때문에 이해관계자와 기술 애호가를 놀라게 하고 있습니다. 이는 브랜드가 제품을 포지셔닝하는 방식과 전 세계의 일부 골칫거리가 AI 기반으로 해결되는 것으로 인식되는 방식과 밀접하게 관련되어 있습니다. 솔루션.
동시에 합성 데이터나 디지털 근친교배 형태의 희망도 있습니다. 일반인의 관점에서 합성 데이터는 AI가 생성한 훈련 데이터로, 이는 다시 모델 훈련에 사용됩니다.
유망해 보이지만 기술 전문가들은 이러한 훈련 데이터의 합성이 합스부르크 AI(Habsburg AI)로 이어질 것이라고 믿고 있습니다. 이러한 근친 교배 데이터 세트는 사실 오류, 편견을 포함하거나 횡설수설하여 AI 모델의 결과에 부정적인 영향을 미칠 수 있으므로 이는 기업의 주요 관심사입니다.
이것을 중국어 속삭임 게임이라고 생각하세요. 하지만 유일한 차이점은 전달되는 첫 번째 단어도 의미가 없을 수 있다는 것입니다.
AI 훈련 데이터 소싱 경쟁
가장 큰 사진 저장소 중 하나인 Shutterstock에는 300억 개의 이미지가 있습니다. 이것은 훈련을 시작하기에 충분하지만 테스트, 검증 및 최적화에는 다시 풍부한 데이터가 필요합니다.
그러나 사용 가능한 다른 소스도 있습니다. 여기서 유일한 특징은 회색으로 색상이 구분되어 있다는 것입니다. 우리는 인터넷에서 공개적으로 이용 가능한 데이터에 대해 이야기하고 있습니다. 다음은 몇 가지 흥미로운 사실입니다.
- 매일 7.5만 개 이상의 블로그 게시물이 실시간으로 게시됩니다.
- Instagram, X, Snapchat, TikTok 등과 같은 소셜 미디어 플랫폼에는 5.4억 명이 넘는 사람들이 있습니다.
- 인터넷에는 1.8억 개 이상의 웹사이트가 존재합니다.
- YouTube에만 매일 3.7만 개가 넘는 동영상이 업로드됩니다.
게다가 사람들은 오디오 전용 팟캐스트를 통해 텍스트, 비디오, 사진은 물론 특정 분야의 전문 지식까지 공개적으로 공유하고 있습니다.
이는 명시적으로 사용 가능한 콘텐츠입니다.
그렇다면 이를 사용하여 AI 모델을 훈련하는 것은 공정해야 합니다. 그렇죠?
이것이 앞서 언급한 회색 영역입니다. 이렇게 풍부한 양의 데이터에 접근할 수 있는 기술 기업이 이러한 요구를 수용하기 위한 새로운 도구와 정책 수정안을 내놓고 있기 때문에 이 질문에 대한 확고한 의견은 없습니다.
일부 도구는 YouTube 동영상의 오디오를 텍스트로 변환한 다음 이를 교육 목적의 토큰으로 사용합니다. 기업은 개인 정보 보호 정책을 재검토하고 있으며, 소송에 직면할 의도가 미리 결정된 모델을 교육하기 위해 공개 데이터를 사용하는 수준까지 나아가고 있습니다.
카운터 메커니즘
동시에 기업들은 AI 모델이 루프처럼 모델을 훈련하는 데 다시 사용할 수 있는 텍스트를 생성하는 합성 데이터를 개발하고 있습니다.
반면, 데이터 스크랩에 대응하고 기업이 법적 허점을 악용하는 것을 방지하기 위해 웹사이트에서는 데이터 스크랩 봇을 완화하는 플러그인과 코드를 구현하고 있습니다.
궁극적인 해결책은 무엇입니까?
실제 문제를 해결하는 데 있어 AI가 갖는 의미는 항상 고귀한 의도에 의해 뒷받침되어 왔습니다. 그렇다면 그러한 모델을 훈련하기 위해 데이터 세트를 소싱하는 것이 왜 회색 모델에 의존해야 합니까?
책임감 있고 윤리적이며 책임감 있는 AI에 대한 대화와 논쟁이 부각되고 힘을 얻게 됨에 따라 모든 규모의 기업에서는 훈련 데이터를 제공하기 위한 화이트햇 기술을 갖춘 대체 소스로 전환하고 있습니다.
여기는 샤이프 뛰어납니다. 데이터 소싱을 둘러싼 일반적인 우려 사항을 이해하는 Shaip은 항상 윤리적 기술을 옹호해 왔으며 다양한 소스에서 데이터를 수집하고 편집하기 위한 세련되고 최적화된 방법을 지속적으로 실천해 왔습니다.
White Hat 데이터 세트 소싱 방법론
이것이 바로 우리의 작업 방식에 관련 데이터세트를 식별하고 컴파일하기 위한 세심한 품질 검사와 기술이 포함되는 이유입니다. 이를 통해 우리는 이미지, 비디오, 오디오, 텍스트 및 더 많은 틈새 요구 사항과 같은 다양한 형식에 걸쳐 독점적인 Gen AI 교육 데이터 세트를 기업에 제공할 수 있었습니다.
우리의 철학
우리는 데이터세트 수집에 있어서 동의, 개인정보 보호, 공정성과 같은 핵심 철학을 바탕으로 운영하고 있습니다. 또한 우리의 접근 방식은 데이터의 다양성을 보장하므로 무의식적인 편견이 도입되지 않습니다.
AI 영역이 공정한 관행으로 특징지어지는 새로운 시대의 시작을 준비함에 따라 Shaip은 그러한 이념의 기수이자 선두주자가 되고자 합니다. AI 모델을 훈련하기 위해 의심의 여지 없이 공정하고 품질이 뛰어난 데이터세트를 찾고 있다면 지금 저희에게 연락하세요.
