정식으로 팔랑크스 클럽(동아리)의 절차에 따라, 시즌을 등록한 크루 외에는 제공, 안내되지 않습니다.
허가되지 않는 배포/재가공/캡처 등이 이루어질 시 관련 법령에 따라
손해배상 및 저작권 침해 소송을 제기할 수 있으니, 각별히 유의 바랍니다.
(본 사항은 법령 자문에 따라 '모두' 가 볼 수 있는 명시적 근거를 설립하는 과정임을 재명기합니다.)
| [실무 기획] 레퍼런스 분석 : 이 세상에는 어떤 기획들이 있는가?
커리큘럼 코드명: PXE-105
<목차>
- 어떤 기획 레퍼런스를 살펴보나요?
- 이 기획이 어떤 변화를 가져왔나요? 혹은 가져오지 않았나요?
- 이 기획에 대한 본인의 결과 평가는?
- 내가 담당 기획자였다면 가장 고심했을 부분은?
- 위 기획 레퍼런스를 통해, 내가 얻은 인사이트는?
안녕하세요. 제가 다룰 레퍼런스는 생성형 AI 중 Anthropic에서 새로 출시된 "Claude 3.5 Sonnet" 모델입니다. 지난 주, 레퍼런스 분석에서 2023년 크몽에서 가장 많은 신규 고객을 만들어낸 "끝판왕Kim"님의 전자책 컨텐츠 기획 및 판매 전략에 대해서 알아보았습니다. 레퍼런스를 뜯어보며 배울 점도 많았지만 끝판왕Kim님처럼 꾸준히 티스토리 애드센스로 수익을 낸 것과 같은 경험이 저는 없었기에 이 점을 보완할 방법에 대하여 생각해보게 되었습니다.
저는 생성형 AI를 통해 "내가 할 수 있는 일 중 AI가 대신 할 수 있는 부분을 자동화 혹은 대신 처리하게 끔 만들 수 있는 방법" 에 대한 생각을 종종 해왔습니다.
그래서!
여름 시즌 사업 기획에서 일반인, 제가 가장 간편하고 빠르게 글을 쓰는 방법을 생성형 AI의 도움을 받는 것이라고 생각했습니다. 이번 레퍼런스 분석은 타 기획에 대한 분석보다 "Claude 3.5 Sonnet"과 "ChatGPT 4o"의 문제 해결 능력과 작문 능력을 비교하여 전자책 작성에 효과적인 모델을 찾는 것입니다.
P.S.아래의 이전 기획과 개별적인 내용은 다르지만 읽고 난 후, 현재 기획안을 읽으시면 이해하기 쉬워요!
유닛1-니즈의 파악 [사업 기획_01]📖흔한 온라인 부업, 전자책을 팔아보자
유닛5-레퍼런스 분석 🐵2023년에 크몽에서 가장 전자책을 많이 판 작가는 뭐가 다를까?🕵️
STEP 01. 어떤 기획 레퍼런스를 살펴보나요?
먼저 우리에게 익숙한 ChatGPT부터 살펴보겠습니다. GPT-4o는 2024년 5월 13일, OpenAI에서 공개한 ChatGPT의 새로운 모델입니다. GPT-4o는 텍스트 뿐만아니라 이미지, 음성, 파일 등 다양한 형태의 사용자의 입력을 이해하고 처리할 수 있는 모델입니다.
OpenAI의 설명에 따르면 GPT-4o는 "가장 빠르고 가장 돈을 낼만 한 플래그십 모델"이라고 묘사하였습니다. GPT-4 Turbo보다 2배 빠르지만 지능 수준은 비슷하고, 보고 듣고 말할 수 있는 모델입니다.
세로 축은 답변의 정확도를 백분율로 나타내고, 가로 축은 여러 분야 카테고리를 놓았습니다. MMLU는 대학 수준의 다양한 지식 영역, GPQA는 대학원생 수준의 전문적 추론 능력, HumanEval는 컴퓨터 프로그래밍 능력으로 각각의 수준에서 GPT-4o는 가장 우수한 퍼포먼스를 보였습니다.
다음은 Anthropic의 Claude를 알아보겠습니다.
2024년 6월 21일, 출시된 Claude 3.5 Sonnet은 3.5 모델 중 가장 먼저 출시한 모델로, 기존의 Claude 3 모델 중 중간 퍼포먼스와 비용의 Sonnet의 속도와 비용을 유지한 채, 다양한 평가에서 Opus 모델을 능가하는 뛰어난 성능을 보여줍니다.
Claude 3.5 Sonnet의 벤치마크 결과입니다. 위의 GPT-4o도 같이 표 안에 결과가 있네요.MMLU에서 "0-shot CoT" 과 Math problem-solving을 제외한 모든 부분에서 Claude 3.5 Sonnet의 정확도가 높다는 결과를 가집니다.
지금까지 두 가지 모델의 각자 회사에서 제시한 영역별 정확도에 대하여 살펴보았습니다. 저는 직접 Claude 3.5 모델과 GPT-4o 모델에게 전자책 작성 목적에 맞는 프롬프팅을 제공하고 그에 대한 답변을 통해 어느 모델이 더 적합한 지 알아볼 예정입니다.
*0-shot CoT : 0-shot이란 간단히 정의하면 "모델이 학습 과정에서 배우지 않은 작업을 수행하는 것"을 의미합니다. 예를 들어 A를 하도록 학습한 모델이 B의 예시 샘플을 이해하고 해당 작업을 수행하는 것이라고 생각하면 됩니다. 뒤에 붙은 CoT은 "Chain of Thought"의 약자로 프롬프팅 마지막에 "단계별로 생각해보자" 같은 문장을 추가해주는 것입니다. 이 문장 하나로 AI는 질문에 대한 사고 사슬을 생성하게 되어 더 정확한 답변을 추출해낼 수 있다고 봅니다.
*두 가지 모델 모두 유료 결제와 무료 버전의 차이는 특정 시간 당 사용량 제한의 차이만 존재하므로 본 기획안의 모델 사용은 무료 버전을 이용함을 고지합니다.
STEP 02. 이 분석으로 어느 모델이 더 적합한가요? (Claude vs GPT)
먼저 0-shot 베이스의 질문을 두 모델에게 던져볼 것입니다.
제가 분석한 전자책 시장에서 바이럴된 상황과 저의 목표, 그 목표에 맞는 컨텐츠와 목차를 원한다고 두 가지 모델에게 문제를 제시하였습니다.
두 가지 모델 모두 서로 비슷한 답변을 주어서 이를 통해 문제 해결 능력과 작문 능력에 대한 비교를 하기 어려웠습니다.
다른 프롬프트를 사용하여 다시 시도해보겠습니다.
먼저 GPT-4o 입니다. '외식업 서비스의 직원 메뉴얼'이라는 주제로 가상의 목차를 만든 다음, 그 문체에 맞는 다음 내용을 요구해보았습니다.
위의 질문에 아래와 같은 답변을 냈습니다.
Claude 3.5 Sonnet에서 역시 동일하게 질문하였습니다.
하지만, 답변의 양상은 달랐습니다.
차이가 생각보다 크게 발생하였습니다. 초기 질문 프롬프터에서 작성한 글의 문체와 거의 유사하게 Claude 3.5 Sonnet은 작성하였고, GPT-4o는 그러지 못하였습니다. 또한 예시에서도, Claude 3.5의 답변은 독자에게 직접 물음을 던지는 큰 따옴표를 활용한 내용들이 실제 사례인 것처럼 묘사하여 글을 작성하였습니다.
[GPT-4o]
- 추상적인 질문의 대한 답변은 자세하게 일반화할 수 있는 수준에서 알려주었다.
- 하지만 학습할 책의 앞의 목차의 내용과 문체를 반영하여 답변을 원했지만 문체와 구체적인 사례가 부족하였다.
[Claude 3.5 Sonnet]
- 추상적인 질문에 대한 답변은 GPT-4o와 별반 다르지 않게 일반화 가능한 수준에서 비슷한 수준으로 알려주었다.
- 하지만, 학습할 내용이 주어진 프롬프터에선 이전의 내용의 구성과 문체를 반영하여 실제 저자가 쓴 것인지 구분하기 어려웠다.
- 예시를 직접 만들어 독자들이 충분히 공감할 만한 내용을 임의로 내용의 흐름에 맞게 생성하여 작성하였다.
STEP 03. 이 분석에 대한 본인의 결과 평가는? (승-무-패)
STEP 01에서 살펴본 GPT-4o와 Claude 3.5 Sonnet의 벤치마크 성능 평가와 실제 두 가지 모델에게 0-shot 베이스의 질문으로 프롬프트에서 제공된 내용을 학습하여 문제를 해결할 수 있는지, 얼마나 자연스러운 작문 능력을 가지는 지를 평가해보았습니다.
그 결과, GPT-4o 모델보다 Claude 3.5 Sonnet 모델이 질문에 대한 이해도와 답변에 대한 저자와의 유사도, 학습 내용을 바탕으로 추론을 통한 예시 작성 등의 능력이 비교적 높았다고 평가합니다.
따라서, 전자책 작성에 적합한 생성형 AI 모델은, 'Claude 3.5 Sonnet' 입니다.
- 벤치마크 성능 중 'Reasoning over text (텍스트 기반 추론)'에서 Claude 3.5 Sonnet이 GPT-4o 모델보다 정확도가 높았다 .
- 가상의 전자책 주제와 내용을 통해 다음의 내용을 작성해달라는 요구에 답변에 대한 저자와의 유사도와 추론을 통한 예시 작성의 능력이 GPT-4o와 비교하여 매우 자연스러웠다.
STEP 04. 내가 담당 기획자였다면 가장 고심했을 부분은? (1가지 detail)
생성형 AI 모델의 전자책 작성의 목적에 맞는 성능 평가를 기준으로 기획안을 분석하엿기에 위의 내용을 생략하겠습니다!
STEP 05. 위 기획 레퍼런스를 통해, 내가 얻은 인사이트는?
💡[미래의 나(기획자)에게 건네는 인사이트]
제가 분석한 GPT-4o와 Claude 3.5 Sonnet 모델 외에 Meta에서 개발한 Llama 3.1 모델도 있습니다. OpenAI와 Anthropic의 폐쇄형 모델과 달리 Meta에서 제공하는 Llama 3.1은 오픈소스로 공개된 AI 모델이라는 특징을 갖습니다.
이를 보며, 인공지능 기술의 발전은 시간이 지남에 따라 빠르게 발전할 것이며, 이를 활용하는 능력 또한 아주 중요해지겠다는 생각을 하였습니다. 기획자 뿐만아니라 다양한 직종에서 AI를 활용하는 능력은 중요해질 것이며, 또한 새롭게 출시되는 AI들의 성능은 더욱 좋아질 것 입니다.
기획자를 꿈꾸는 여러분과 저는, 새롭게 도전하는 영역에서 새로운 기술을 사용하는 것에 익숙해져야 한다는 인사이트를 얻었습니다. 나에게 익숙하고 편한 기술만이 아니라 시대 흐름에 맞춰 새롭게 등장하는 기술을 받아들이는 태도를 배우는 게 중요하다고 이번 기획안 작성을 통해 느꼈습니다.
🌟기획자로서,
위 레퍼런스 분석은 GPT-4o와 Claude 3.5 Sonnet 중
전자책 작성에 적합한 모델 분석
으로 평가한다.
"내 글 좀 대신 써줄래?" GPT-4o와 Claude 3.5 Sonnet 중 뭐가 좋을까?🤔_끝.
'🎀서비스팀 > 🦄[일반] 파트🦄' 카테고리의 다른 글
| 생일 선물로 받았어요! 추천합니다🥰_29선물 이야기 (0) | 2024.07.27 |
|---|---|
| 기획의 적은 주관성! 데이터 확보가 필요해📈 (1) | 2024.07.27 |
| AI 영어공부? 야너두? 야나두! (0) | 2024.07.21 |
| 🐎 뜨그덕.. 뜨그덕.. 뜨그덕덕덕 (5) | 2024.07.21 |
| 슈퍼앱 성공 비밀 너만 알려주는거야 🤫 대-K-B (0) | 2024.07.21 |
