| AIO 프롬프팅 가이드 |

- Goden Hamster -

[ Update : 2023. 07. 24 ]


AIO 가이드 서론

[ PC 화면, 혹은 모바일 가로 화면에 최적화 되어있습니다! ]

이 글은 AI 와 함께 대화 세션을 즐기고 싶은 여러분들을 위한 통합 가이드입니다.
ASTA 유니버스를 제작하며 그간 모아왔던 프롬프트, 캐릭터 제작 정보를 작성해 두었습니다.
국내와 해외 유저들의 도움으로 대부분의 정보들을 통합하였으며 AI 작동 구조와 더불어
여러 AI 세팅값과 인풋과 아웃풋 예시, 프롬프팅 팁 등으로 구성되어 있습니다.

주의 사항

[ 가이드는 프롬프팅에 대한 정답이 아닙니다! ]

AI 는 프론트엔드와 모델에 따라 명령어와 체계를 다르게 인식하며,
이마저도 결과물은 AI 의 판단으로 작성되기에 항상 만족스러운 답변을 얻기는 어렵습니다.
이에 내용 대부분은 '이유와 방식' 에 초점이 맞춰져 있으며 가능한 출처와 링크를 넣어두었습니다.
그러니 항상 직접 테스트 해보시고, 더 정확하고 좋은 정보가 있다면 꼭 의견을 남겨주세요.

AIO 업데이트 로그

  • 2023.07.24 - 챕터 3-4 / 챕터 5 업데이트 [완료]
  • 2023.06.24 - 구버전 정보 / 챕터 3-4 업데이트 [완료]
  • 2023.06.03 - 챕터 2 마이너 업데이트 [완료]
  • 2023.05.24 - 정보 통합 / 랜트리 포스팅 [완료]



💽 AIO 가이드 목차

  1. 🎩 AIO 가이드 참고 사항
    1. 🖥 화면 최적화
    2. 📷 이미지 로딩
    3. 📢 정보 업데이트
    4. 📜 필수 정보 링크
    5. ✒ 추천 사용 모델
  2. 📃 00. 가이드 시작에 앞서...
  3. 🎛 01. AI Chat 기본 개념
    1. 🖋 AI 모델 [ 작가 ]
      1. Open AI - GPT 4.0
        1. [ 업데이트 ] 2023년 06월 13일
        2. [ 차세대 ] GPT 4.0 - 32K / 0613
        3. [ 개량형 ] GPT 4.5 - 1M (1000K)
        4. [ 차세대 ] GPT 5.0 - ???
      2. Open AI - GPT 3.5 Turbo
        1. [ 업데이트 ] 2023년 06월 13일
        2. [ 스냅샷 ] GPT 3.5 Turbo 0301
        3. [ 차세대 ] GPT 3.5 Turbo - 0613 / 16K
      3. Anthropic - Claude v1
        1. [ 개량형 ] Claude v1 라인업
        2. [ 개량형 ] Claude v1.3 100K - 비공개
        3. [ 개량형 ] Claude v2.0 - 비공개
    2. 📦 프론트엔드 [ 배달부 ]
      1. Risu AI - 리스
      2. Silly Tavern AI - 실리
    3. 👤 AI 이용자 [ 당신 ]
      1. 📑 프롬프트 - 지시사항 / 주문서
      2. 👤 캐릭터 카드 - 캐릭터 설명서
      3. ⭐ 첫 메세지 & 예시 대화 - 정답지 / 참고서
    4. 🏛 AI 기업 [ 대기업 ]
      1. 💳 API 키 - 출입 허가증
      2. 🕋 AI 플랫폼 - 대행 업체
        1. Natdev - 넷데브
        2. Openrouter - 오픈라우터
        3. Slack - 슬랙
    5. 👥 리버스 프록시 [ 브로커 ]
      1. 👁 프록시 공유 제한 - 게이트 키핑
      2. 🦂 Todd 리버스 프록시 - 토드
  4. 🎓 01+. AI 리퀘스트 순서 정리
  5. 🦾 02. AI Chat 심화 개념
    1. 🔗 심화 개념 개요
    2. 🧠 AI 모델 계층 구조
    3. 💬 A. 인풋 [ 프롬프트 전송 ]
    4. 🔀 B. 토크나이저 [ 프롬프트 분해 ]
      1. B-1. 토크나이저 - 한글을 권장하지 않는 이유
    5. 🔃 C. 단어 임베딩 [ 고정 위치 지정 ]
      1. C-1. 토큰 임베딩 - 편향과 편견의 문제
      2. C-1. 토큰 임베딩의 역이용 - 검열의 회피
    6. ⏯ D. 트랜스포머 레이어 진입 [ AI 분석 ]
      1. D-1. 기존 AI의 문제점 - RNN 아키텍쳐
      2. D-2. 새로운 해결 방안 - Attention 과 Transformer
      3. D-3. GPT 의 등장 - Generative Pre-trained Transformer
    7. 🔂 E. 샘플링 & 분석 [ 결과 다중 예측 ]
      1. E-1. 온도 - Temperature
      2. E-1+. 온도별 설정 값
      3. E-2. Top-P 샘플링 - Nucleus Sampling
      4. E-2+. Top-P 설정 값
      5. E-3. Top-K 샘플링
    8. 🔂 E+. 빈도 & 존재 패널티 [ OpenAI 매개변수 ]
      1. E-4. 빈도 패널티 - Frequency penalty
      2. E-4+. 프리퀀시 패널티 설정 값
      3. E-5. 존재 패널티 - Presence penalty
      4. E-5+. 프리센스 패널티 설정 값
    9. 🆑 F. 사후 처리 [ 필터링 ]
    10. 💌 G. 아웃풋 [ AI 답변 ]
  6. 👥 03. AI 모델 가이드
    1. 🔗 모델 가이드 개요
    2. 📚 A. 모델의 지능? [ AI 학습 & 데이터셋 ]
    3. AI 검열
  7. 📉 04. AI 프롬프팅 기술 분류
    1. 🔀 프롬프팅 기술 분류 개요
    2. 🔚 A-1. Input - Output Prompting [ IO : 일방향 프롬프팅 ]
      1. A-1+. 학습 기술 기반 프롬프팅
    3. 🔄 B-1. Chain of Thought Prompting [ CoT : 생각의 사슬 프롬프팅 ]
    4. 🔄 B-2. Zero-Shot CoT Prompting [ 제로샷 CoT 프롬프팅 ]
      1. B-2+. 제로샷 CoT 트리거
    5. 🔀 B-3. Self Consistency with CoT Prompting [ CoT-SC : 자기 일관성 CoT 프롬프팅 ]
      1. B-2+. 의도되지 않은 CoT-SC 일관성 편향
    6. 🔗 모델 가이드 개요
    7. TOT
  8. 🎛 06. 프롬프트 양식
    1. ❌ OLD 양식
    2. ❌ W++ 양식
      1. W++ : 왜 문제인가?
      2. W++ : 예시
  9. ❓ 대괄호 양식
  10. ❓ 대괄호 양식
  11. ❓ 대괄호 양식
  12. 참고 논문 & 자료 링크
    1. LLM : Large Language Models
    2. RNN : Recurrent Neural Networks
    3. AI Model Document
    4. AI Model Prompting
    5. AI Model *INFORMAL* Comparison
    6. AI Censorship & Constitution




🎩 AIO 가이드 참고 사항



  • 🖥 화면 최적화

    현 가이드는 PC 화면 / 모바일 가로 화면에 최적화 되어있습니다.
    세로 화면에서 문장이 끊기거나 사진, 테이블 표 일부가 잘릴 수 있습니다.

  • 📷 이미지 로딩

    삽입된 이미지는 Catbox 를 이용하였으며,
    서버 상태에 따라 이미지 로딩이 되지 않을 수 있습니다.
    중요한 자료도 포함되어 있으니 이미지 로딩이 되지 않는다면
    잠깐 기다렸다 이용해 주시거나, 새로 고침을 해주세요.

  • 📢 정보 업데이트

    발전 속도가 지나치게 빠른 AI 환경 특성 상,
    최신화 완료된 이 글도 언제 구식 정보가 될 지 아무도 모릅니다.
    최상단 항목에 날짜와 더불어 업데이트 로그를 작성하고 있으니 꼭 확인해주세요.

  • 📜 필수 정보 링크

    여러분들이 만약 AI 채팅을 처음 접해본다면,
    가이드에서 사용되는 여러 용어와 개념이 익숙하지 않을 수 있습니다.
    이러한 정보들이 정리되어있는 채널 위키가 있으니 아래 링크들을 참고해주세요.

    [ 공식 위키 - 바로가기 ]ㅤ|ㅤ[ 용어 설명 - 바로가기 ]ㅤ|ㅤ[ 필수 정보 - 바로가기 ]

    아직 위키에 모든 정보들이 업데이트 된 것은 아니지만 이 정도만 알고 계셔도 충분합니다.

  • ✒ 추천 사용 모델

    가이드에서 사용되는 프론트 엔드와 AI 모델은
    채널에서 가장 널리 사용되고 있는 모델들을 기준으로 합니다.
    2023년 07월 24일 기준으로 추천되는 모델은 다음과 같습니다.

추천 사용 모델

추천 프론트엔드ㅤㅤ: ㅤRisu AI / Silly Tavern AI
추천 AI 플랫폼ㅤ ㅤ : ㅤReverse Proxy / Open AI / Natdev / Openrouter
추천 AI 모델ㅤ ㅤㅤ : ㅤGPT 3.5 - 4.0 라인업 / Claude v1 - v2 라인업

비추천 사용 모델

비추천 프론트엔드ㅤ: ㅤTavern AI / Venus AI / Etc.
비추천 AI 플랫폼 ㅤ : ㅤGoogle / Microsoft / Slack / Scale / CAI / Etc.
비추천 AI 모델ㅤ ㅤ : ㅤPaLM 2 / Bing / Clio / Etc.




  • 📃 00. 가이드 시작에 앞서...

    AI 에게서 좋은 결과물을 만들어내기 위해 고민해야할 가장 중요한 사항은,
    도대체 어떻게 내가 작성한 프롬프트가 적용되는지 입니다.
    사실 이 글을 읽으시는 모든 분들에게 해당되는 의문이기도 하죠.

    '그래서 어떤 키워드로 프롬프트를 써야 AI가 잘 이해하나요?'
    '어떻게 해야 내가 원하는 대로 검열을 피할 수 있나요?'
    '내가 사용하는 AI 는 지능이 낮은 것 같아요!'

    등등...

    어떻게 프롬프트를 작성해야 좋은 결과물이 나올지 정말 많은 의견들이 오가지만
    AI 개발사 측에서도 이런 방법이 효과적이더라 라는 식의 애매한 제안만 할 뿐,
    정작 이렇게 해야 한다! 라며 확실한 방법을 기술한 가이드라인은 없습니다.

    도대체 왜 일까요?

    결론부터 말씀드리자면,

    아무도 모르기 때문입니다.


  • 증기 기관이 나왔을 때를 예로 들어봅시다.

    최초의 증기 기관인 고대 이집트의 '아에올리스의 공' 부터 시작하여
    장난감 취급을 받던 증기 기관은 1776년에 이르러 상업적으로 사용될 때 까지도,
    아무도 이 기관이 정확히 무슨 원리로 작동하는지 알지 못했습니다.

    증기 기관차가 전세계를 활보하기 시작한 때에도
    에너지 보존 법칙은 물론이고 에너지라는 개념조차 없었으며,
    지금은 당연한 열역학 법칙도 약 100년이나 지나고 나서야 정의되었죠.

    이 당시 사람들에게 이론은 그다지 중요하지 않았습니다.
    뭐가 어찌 되었든, 이렇게 해보니 잘 굴러가더라 라는 사실이 중요했죠.


  • 이는 AI 도 마찬가지 입니다.
    현대의 LLM 은 심층 인공 신경망 (딥러닝) 기술,
    더 나아가 어텐션 기반의 트랜스포머 아키텍쳐를 기반으로 하고 있습니다.

    사람이 코딩을 하는 것이 아닌, 인공지능 스스로 패턴을 찾아내고 학습 하는 방식 덕분에
    AI 는 사람이 할 수 없는 수천억개가 넘는 파라미터를 생성하고 숨겨진 인과관계를 찾아내
    마치 주어진 문장 구조를 이해하듯 행동 하기 시작했습니다.

    딥러닝의 기본 구성인 모델을 바꾸고, 데이터를 늘리고, 구성 요소를 바꾸자
    인식 능력과 이해력이 향상되기 시작하고 점차 AI 의 성능이 향상되기 시작했죠.

    이러한 기술이 좋은 결과만을 선택한다는 수학적 보장이 없음에도 불구하고,
    아직까지 어떻게 AI 가 좋은 결과를 선택하는지는 그 누구도 증명해내지 못했습니다.


  • 비록 AI 를 전공하는 학자들과 우리들의 목적은 다르지만,
    최고의 결과물을 향한 최적화와 개선 이라는 목표는 같습니다.
    그리고 이 목표를 향해서, 오늘도 수많은 이들이 고민하고 실험하고 있습니다.

    원리가 파악되지 않은 기술들을 정의하고, 심지어 인간조차 이해하기 힘든
    암묵적 지식 기반의 명령을 내려 완벽한 결과물을 뽑아낸 다는 것 자체가
    굉장히 도전적이고 수많은 시행착오가 따르는 일인 것은 분명합니다.

    그러니 부디, 좌절하지 마세요.

    비록 이 가이드가 정답을 제시해 주지는 못하지만,
    여러분들이 원하는 최고의 결과물을 향한
    길잡이 역할을 해낼 수 있길 바랍니다.




- 챕터 1 : AI 기본 개념 가이드 -




🎛 01. AI Chat 기본 개념

기본 개념 소개

AI 와 대화하기 위해서 어렵고 복잡한 AI 이론들을 전부 알고 있어야 할 필요는 없습니다.
하지만 대화를 원하는 방향으로 이끌어 나가기 위해선 기본 개념 정도는 알아두는게 좋겠죠.
그래서 복잡한 이론 설명보다는, 최대한 쉽게 비유해 필요한 부분만 정리했습니다.
모든 비유와 설명이 정확하게 매치되는 것은 아니니 감안하고 읽어주세요!




  • 🖋 AI 모델 [ 작가 ]

    흔히 모델로 불리는 이 작가들은 각자 자신만의 작문 스타일과 지식을 가지고 있습니다.
    여러분들이 주문서에 작성한 지시사항 (프롬프트 : 명령어) 들을 토대로 글을 써내려가며
    배달부 (프론트엔드) 를 통해 완성된 작업물 (AI 답변) 을 전달해 줍니다.

    기본적인 대화형 글 뿐만 아니라 번역, 코딩 등의 수많은 지시에 대응할 수 있으나,
    주문서에 포함된 내용에 따라 작품의 퀼리티가 천차만별이고 때로 혼란을 겪기도 합니다.

    아무리 유능한 작가들이라도 완벽한 작품을 만들어내는 것은 매우 어려운 일이며
    이들을 조율하고 개선하는 것은 여러분들의 손에 달려있습니다.

= 추천 AI 모델 리스트 =
[ Chat GPT 4.0 ] [ Chat GPT 3.5 Turbo ] [ Claude v1 ]

  • 3-GPT-4-0.png Open AI - GPT 4.0

    GPT 3.5 의 동생 (후속 모델) 이자 다재다능한 거장 작가입니다.
    방대한 양의 지식을 기반으로 여러분들이 원하는 어떠한 이상성욕의 작품이라도
    거의 완벽에 가깝게 만들어주는 이 엘리트 작가는 눈치도 빠르고 다방면에서 뛰어나지만,
    아직 일을 시작 한지 얼마 되지 않아 작업 속도가 약간 느린 편입니다.

    또한 감수성이 부족해 추가 지시를 내리지 않는 이상 문학적인 답변을 바라기는 힘들고,
    회사의 엄격한 규율 덕분에 긍정적이고 희망찬 상황만을 고집하기도 합니다.
    (0613 업데이트로 일부 아쉬운 점들이 개선되었습니다!)

    작업 단가도 비싸고 느린 속도와 규율 때문에 답답한 점이 있기도 하지만,
    이 분야에 최고로 손꼽히는 작가인 만큼 인기가 많은 작가입니다.

    • [ 업데이트 ] 2023년 06월 13일

      최적화, 성능 향상과 더불어 스냅샷 모델이 출시되었습니다.

    • [ 차세대 ] GPT 4.0 - 32K / 0613

      기존 4.0 모델의 기억력을 강화한 모델로
      3만 토큰, 약 27,000 ~ 33,000 단어 (평문 기준)
      약 50페이지 분량의 컨텍스트를 지원합니다.

      아직 기업에게만 서비스 중인 모델이지만
      대행 업체 (Nat.dev / Openrouter) 가 출입증을 공유하고 있기에
      개인 이용자들도 수수료가 붙은 요금을 내고 이용할 수 있습니다.

    • [ 개량형 ] GPT 4.5 - 1M (1000K)

      2,600,000,000,000 (2조 6천억) 개의 파라미터와
      효율성, 최적화, 컨텍스트 일관화 및 이해력 향상 등등...
      수많은 성능 향상과 더불어 무려 100만 토큰 지원으로
      약 800,000 ~ 1,100,000 단어 (평문 기준)를 지원합니다.

      이게 얼마나 큰 수치인지 감이 안잡히신다면,

      해리포터 시리즈 전편 = 1,084,170 영단어,
      나니아 연대기 시리즈 전편 = 345,535 영단어,
      반지의 제왕 (호빗 포함) 전편 = 576,459 영단어

      해리포터 시리즈 전편이 끝날 때 까지, 혹은
      반지의 제왕 시리즈를 2번 반복할 때 까지
      채팅 세션을 이어갈 수 있습니다.

      아직 미출시 모델이며 2023년 9~10월 출시 예정입니다.

      📜 GPT 4.5 참고 기사 : [ 바로가기 ]

    • [ 차세대 ] GPT 5.0 - ???

      한때 2023년 4분기 ~ 2024년 출시 예정 소식이 있었으나,
      현재는 정보가 불분명한 차세대 모델입니다.

  • 3-GPT-3-5.png Open AI - GPT 3.5 Turbo

    GPT 4.0 의 언니 (이전 모델) 이자 오랫동안 일을 해온 능숙한 작가입니다.
    한때 최고의 작가로 선망 받았었지만 지금은 신세대 작가들에게 자리를 빼앗기게 되었습니다.

    빠른 작업 속도로 일을 처리하는데 특화되어 있고 적당한 퀼리티의 작품도 잘 뽑아내지만
    기본적인 지식과 기억력이 부족해 지시 사항을 까먹거나 자기 멋대로 써내려 가는 등,
    스토리 진행과 이해력에서 조금 모자란 부분이 보이기도 합니다.

    하지만 이런 단점에도 불구하고 값싼 작업 단가와 빠른 속도 덕분에
    많은 이들이 이 작가를 잊지 못하고 다시 돌아오기도 합니다.

    • [ 업데이트 ] 2023년 06월 13일

      최적화, 성능 향상, 스냅샷과 더불어 16K 모델이 출시되었으며
      엄청난 속도와 약간 향상된 기능, 이해력으로 다시금 재조명 받고 있습니다.

    • [ 스냅샷 ] GPT 3.5 Turbo 0301

      2023년 3월 1일 에 백업된 스냅샷 GPT 3.5 터보 모델입니다.
      3월 1일 이후로 업데이트가 진행되지 않았으며 3.5 이용자들의
      기본 모델처럼 사용되어 왔지만 대규모 업데이트가 진행되며
      이제는 사용할 필요가 없어진 모델입니다.

      현재 임시 버전으로 유지되고 있으며 9월 13일에 종료 예정입니다.

    • [ 차세대 ] GPT 3.5 Turbo - 0613 / 16K

      2023년 6월 13일 에 출시된 스냅샷 & GPT 3.5 터보 16K 모델입니다.
      최신 업데이트로 16,000 토큰, 약 20 페이지 분량을 지원하게 되었으며
      함수 호출 기능, 최첨단 임베딩 모델, 입력 토큰 비용 감소 등 여러
      주요 성능 향상과 최적화가 이루어진 최신 모델 입니다.

      같은 모델이지만 0613 스냅샷의 경우 6월 13일 이후로 업데이트 되지 않기에
      지시사항 유지에 더욱 안정적이고 예정된 추가 검열에 자유롭습니다.

      AI 채팅 세션에서 많은 기대를 받았었으나 기본적으로 심한 검열과 더불어
      기대치에 못 미치는 성능으로 아쉬운 반응이 나오고 있는 모델입니다.

      📜 참고 문서 : [ Open AI - 지원 모델 분류 ]
      📜 참고 문서 : [ Opne AI - 0613 API 업데이트 ]

  • 3-Claude.png Anthropic - Claude v1

    클로드는 GPT 작가들과 비슷하지만 완전히 다른 성격의 작가입니다.
    다방면의 지식들을 가지고 있는 GPT 와 다르게 소설과 같은 문학 중심의 지식이 많으며
    세부 묘사와 비유, 감정 표현과 같은 감수성 짙은 작문과 대화 진행에 뛰어난 능력을 보여줍니다.

    문학 창작과 더불어 상호작용 대화, 요약, 검색에 특화되었기에 코딩과 같은 유틸성 작업에는
    약한 모습을 보여주지만, 문학적 관점을 더 중시하는 채팅에서는 문제가 되지 않기에
    출시 이후부터 많은 이용자들에게 사랑을 받아왔습니다.

    안타깝게도 지능 문제와 더불어 작가 스스로 이상한 포인트에 꽂혀 급전개를 해버리거나,
    지시사항을 무시하고 멋대로 써내려가는 등 제어와 관련된 문제가 많아 호불호가 갈리기도 합니다.

    • [ 개량형 ] Claude v1 라인업

      기존 모델의 기억력을 대폭 강화한 플래그십 모델로
      무려 10만 토큰, 약 75,000개의 단어 를 지원하며
      책 한권을 통째로 처리 할 수 있는 능력을 가지고 있습니다.

      GPT 4.0 32k 와 마찬가지로 아직 기업에게만 서비스 중인 모델이지만
      대행 업체를 사용하여 이용해볼 수 있습니다.

    • [ 개량형 ] Claude v1.3 100K - 비공개

      요청으로 비공개 처리됨

    • [ 개량형 ] Claude v2.0 - 비공개

      요청으로 비공개 처리됨

      📜 클로드 100K 공개 : [ 바로가기 ]




02.png

  • 📦 프론트엔드 [ 배달부 ]

    작가들의 작업물을 신속 정확하게 배송해주는 이 배달부 (Risu AI, Tavern AI 등) 들은
    여러분들의 주문서를 작가들이 보기 쉽게 재구성 (리퀘스트)하여 전달해주는 역할을 맡고 있습니다.

    배달부들은 배송 뿐만 아니라 각자 개성에 맞는 다양한 스타일과 서비스를 보유하고 있으며,
    이용자를 만족 시키기 위해 수많은 편의 기능들을 업데이트하고 있습니다.

    여러분이 작가들과 연락하고 작품을 받아 보기 좋게 정리까지 해주는 배달부들은
    작가와 더불어 채팅 세션에서 절대 없어서는 안될 소중한 존재들 입니다.

[ Risu AI ] [ Silly AI ]
Front-2.png 1-Front-4.png

  • 3-Risu.png Risu AI - 리스

    블루 아카이브의 등장 캐릭터인 텐도 아리스에서 이름을 따온 이 배달부는
    현재까지 존재하는 모든 배달부 중 가장 진보된 편의 기능들을 제공하고 있습니다.

    기존 배달부들의 가장 큰 문제점인 무겁고 느린 기본 시스템을 완전히 뜯어고치고
    기술 대행 업체 (확장 프로그램) 가 필요 없는 자체 서비스들을 개발해 제공하고 있으며,
    별도의 배달부 호출 프로그램 (로컬 프로그램) 없이 인터넷 만으로도 이용이 가능합니다.

    수많은 신기능과 더불어 밤낮없는 업데이트로 국내 대부분 이용자들이 애용하고 있으며
    해외에서도 점점 인지도가 높아져 일부 대기업 개발자들도 주목하기 시작한 리스는,
    후발주자 임에도 가장 사랑 받는 배달부로 새롭게 떠오르고 있습니다.

    💽 로컬버전 링크 : [ Risu AI - GitHub ]
    💽 웹버전 링크 : [ Risu AI - Web ]

  • 3-Silly.png Silly Tavern AI - 실리

    최초의 배달부였던 태번 (Tavern AI) 에서 파생된 버전인 실리 태번
    보통 실리로 불리고 있으며 사실상 기존 배달 업계를 독점하던 배달부였습니다.

    태번의 문제점인 엉터리로 짜여진 시스템을 최대한 틀을 유지하는 선에서 고치고,
    전용 기술 대행 업체 (Sillytavern Extra) 를 적극 도입해 새로운 기술들을 선보이며
    오랜 기간 동안 배달부의 선지자로 불리던 전설적인 존재입니다.

    하지만 안타깝게도 태번의 기존 시스템에서 벗어나지 못해 배달부 호출만 하더라도
    복잡하고 어려운 과정을 거쳐야 하는데다 신기술 이용에 대행 업체를 꼭 이용해야 하며,
    안드로이드 이용자들은 그보다 더 어렵고 귀찮은 방식을 사용할 수 밖에 없었습니다.

    리스와 같은 대체제가 없던 시절엔 어쩔 수 없이 이 복잡한 과정들을
    전부 배워가며 이용해야 했기에 관련 지식이 전무한 컴맹 유저들은
    그저 고인물들의 도움만을 울부짖을 뿐이었습니다.

    현재는 리스의 출현과 대규모 업데이트 이후로 국내에선 많은 이들이 떠났지만
    아직까지 실리만의 기능 (그룹 채팅, 마이너 작가 연결 등)친숙함 때문에
    어느 정도 수요가 있으며 해외에서는 아직도 인기가 많은 배달부 입니다.

    💽 실리 태번 링크 : [ Silly Tavern AI - GitHub ]
    💽 실리 확장기능 링크 : [ Silly Tavern Extras - GitHub ]




08.png


프롬프트 관련 참고사항

아래 프롬프트와 관련된 정보는 간략하게 참고만 해주세요.
자세한 내용은 프롬프팅 심화 챕터에서 상세하게 설명할 예정입니다.

  • 👤 AI 이용자 [ 당신 ]

    오늘도 이상성욕을 위해 인터넷을 헤메는,
    바로 당신 입니다.

    여러분들은 지시사항 (프롬프트) 을 직접 작성하고 조율하며
    작가와 함께 원하는 작품을 만들어가는 가장 중요한 역할을 맡게 되었습니다.

    아무리 뛰어난 작가라 할지라도 여러분의 손에 최종 결과물이 달라지며,
    기업의 규율과 검열도 파해하여 원하는 내용을 창조할 수 있는 능력을 지녔습니다.

    물론 여러분들이 처음부터 이러한 능력을 잘 사용할 수 는 없겠지만,
    작가와 배달부의 도움과 더불어 약간의 노력만 투자할 수 있다면
    충분히 퀼리티 높은 작품들을 만들어낼 수 있습니다.

    • 📑 프롬프트 - 지시사항 / 주문서

      작가들에게 전달할 주문서를 이루는 지시사항 (프롬프트)
      작품의 퀼리티를 결정짓는 가장 큰 요소 중 하나입니다.

      가장 기초가 되는 지시사항인 메인 프롬프트
      중요 지시사항인 탈옥 프롬프트를 포함하여 추가적인
      캐릭터, 시나리오 와 같은 여러 정보들이 통합된 내용을
      하나의 주문서 (통합 프롬프트) 라고 부릅니다.

    • 👤 캐릭터 카드 - 캐릭터 설명서

      지시 사항에 포함되는 메인 캐릭터 정보입니다.
      기업에 제출하는 이력서처럼 작가가 해당 캐릭터의 성격과 특징 등
      여러 정보를 토대로 생생한 캐릭터를 창조해내기에 중요한 요소 중 하나이며,
      이러한 캐릭터 정보가 적힌 이미지 파일캐릭터 카드라고 부릅니다.

      지시사항과 칸이 나뉘어져 있을 뿐 다른 점은 없기 때문에
      여러 시나리오 정보들도 추가할 수 있지만, 반대로 지시시항을 헷갈리게
      만들 수 도 있기에 작가가 인지할 수 있도록 확실한 구분이 필요합니다.

    • ⭐ 첫 메세지 & 예시 대화 - 정답지 / 참고서

      주문서를 토대로 작가가 작품을 써내려 갈 때,
      최종 결과물을 이렇게 만들어달라 지시하는 내용이 담긴 이 정답지는
      주문서와 비교할 수 없을 정도로 작품 퀼리티에 가장 큰 영향을 미치는 정보입니다.

      대게 많은 이용자가 이 사실을 간과하고 있으며 잘못된 정답지를 주고
      작품 퀼리티가 떨어진다, 지시사항을 지키지 않았다 라며 작가에게 따지기도 합니다.

      작가는 이 정답지를 토대로 다음 작품을 만들기에 가장 주의깊게 작성해야하는 정보입니다.




03.png

  • 🏛 AI 기업 [ 대기업 ]

    AI 에 관심이 없더라도 한번쯤은 들어봤을 이 거대 AI 기업들은,
    오직 작가를 위한, 작가에 의한 기업으로 모든 임원과 하위 부서가
    작가의 역량 개발을 위한 구조로 이루어져 있습니다.

    이 계열의 선구자이자 가장 영향력이 큰 Open AI 부터 시작하여
    수많은 파생 기업들이 탄생했으며 서로 더 새롭고 똑똑한 작가들을
    세상에 선보이기 위해 노력하고 있습니다.

    • 💳 API 키 - 출입 허가증

      작가들은 각자 소속된 회사 (OpenAI, Anthropic 등) 가 있으며
      배달부가 작가들에게 배송하기 위해선 각각의 출입증 (API 키) 이 있어야 합니다.

      대부분 기업을 위주로 발급하는 출입증을 개인이 받는 것은 매우 까다로울 뿐더러
      정상적으로 발급해도 배달부가 출입할 때마다 적지 않은 비용을 지불해야 합니다.

      이 때문에 공식적인 방법으로 출입증을 대여해주는 대행 업체 와 더불어,
      비공식적인 방법으로 몰래 정보를 공유하는 브로커가 성행하고 있습니다.

      📜 OAI API 링크 : [ Open AI - API ]

    • 🕋 AI 플랫폼 - 대행 업체

      대행 업체 (Natdev, Openrouter 등) 는 미처 출입증을 발급받지 못한 여러분들을 위해
      수수료가 포함된 일정 비용, 혹은 무료로 출입증을 대여해주며 원하는 작가와
      만날 수 있도록 다양한 기업의 작가와 연계되어 있습니다.

      가장 빠르고 안전하게 작가와 만날 수 있는 방법 중 하나 이지만,
      언제 서비스가 종료될 지 모르는 위험이 있습니다.

      • Natdev - 넷데브

        GitHub 의 전임 CEO 인 넷 프리드먼이 운영하는 이 플랫폼은
        20% 의 수수료로 수많은 모델들을 사용할 수 있는 곳입니다.

        현재까지 가장 많은 모델을 지원하고 있는 유일한 유료 플랫폼이며,
        안정적이고 쉬운 접근성과 신뢰성으로 널리 사용되고 있습니다.

        💽 넷데브 링크 : [ Natdev 공식 홈페이지 ]
        💽 리스용 플러그인 (구버전) : [ Natdev 플러그인 ]
        💽 리스용 플러그인 (신버전) : [ Natdev 최신 플러그인 ]

      • Openrouter - 오픈라우터

        리스 AI 에서 API 를 공식 지원하기 시작하며 퍼지게 된 오픈라우터는
        정가에 가까운 금액으로 수많은 모델들을 사용할 수 있는 곳입니다.

        약간의 서버 문제와 오류가 있다고 알려져 있지만, 거의 없는 수수료와
        공식 지원으로 인한 쉬운 접근성으로 많이 사용되는 플랫폼입니다.

        💽 오픈라우터 링크 : [ Openrouter 공식 홈페이지 ]

      • Slack - 슬랙

        본래 기업의 워크스페이스 용도로 개발된 슬랙은 메신저와 연동하여
        업무 보조용으로 클로드를 무료로 지원하고 있으나 약간의 편법으로
        채팅 기반의 클로드를 이용할 수 있습니다.

        무료로 클로드를 사용할 수 있다는 장점이 있지만,
        강화된 검열과 밴 위험으로 인해 채팅 내용이 매우 제한되는 단점이 있습니다.

        추가 : 클로드 인스턴트 모델로 하향 조정되며 이젠 사용할 가치가 없는 플랫폼입니다.


09.png

  • 👥 리버스 프록시 [ 브로커 ]

    인증된 대행 업체가 아닌, 개인이 발급받은 출입증이나
    어디선가 몰래 수집한 다른 이들의 출입증을 공유해주는 브로커 들은
    공식적인 기업 작가 뿐만 아니라 음지에서 활동하는 작가 까지 배달부들을 안내해 줍니다.

    배달부는 브로커들을 통해 제한 없이 무료로 작가들과 만날 수 있지만
    브로커에게 여러분의 주소 (IP) 가 노출되거나, 민감한 작품 내용 (채팅 로그) 공개, 혹은
    배달부가 가지고 있는 기업 출입증 (API 키) 이 노출되는 등 보안 문제에 매우 취약 합니다.

    만약 브로커를 이용할 생각이라면 이러한 문제들을 감안하고 이용하거나,
    안정성이 인증된 브로커들을 이용하는 것을 추천합니다.

[ 리버스 프록시 ] [ Todd 모델 ]
Proxy-1.png 1-Proxy-3.png

  • 👁 프록시 공유 제한 - 게이트 키핑

    최근 일어났던 일부 이용자들과 배달부 (특히 Tavern AI, Venus AI) 의 트롤링 으로
    음지에서 활동하던 브로커들의 정보가 노출되며 서서히 자취를 감추기 시작했고,
    지금은 살아남은 브로커의 정보를 찾는 것 조차 어려워 졌습니다.

    이 때문에 현재 브로커를 만나기 위한 정보는 비밀리에 공유되고 있으며,
    인증 절차를 거치고 입단속을 하는 등의 게이트 키핑으로 유지되고 있습니다.

  • 🦂 Todd 리버스 프록시 - 토드

    어느날, 갑작스럽게 베데스다 게임 회사의 대표인 토드 하워드의 모습으로 나타나
    세간을 떠들썩하게 만들었던 토드는, 아직까지도 전설로 기억되는 작가입니다.

    하지만 레딧과 태번 프론트엔드의 심각한 연속 트롤링으로 인해
    현재는 자취를 감추게 된 비운의 작가입니다.

    [ 모든 정보 비공개 처리됨 ]




  • 🎓 01+. AI 리퀘스트 순서 정리

리퀘스트 순서 참고

기본 개념에서 알려드린 정보를 토대로 실제 리퀘스트 순서를 정리해두었습니다.
배달부를 통해 주문서가 작가에게 전달되는 순서를 참고하며, 기본 개념과 비교해보세요!
해당 구조는 프론트엔드 (배달부) 에 따라 구조가 달라질 수 있지만 대게 같은 형식으로 작동합니다.




- 챕터 2 : AI 심화 개념 가이드 -




🦾 02. AI Chat 심화 개념

05.png

심화 개념 소개

AI 대화에 사용되는 AI 모델과 계층 구조 이해를 돕기 위한 자료입니다.
최대한 쉽게 설명하려 풀어 쓰다보니 생략되거나 축소된 설명들이 많습니다.
대략적인 참고 사항으로 알아두시고 필요한 부분만 참고해주세요!




  • 🔗 심화 개념 개요

    우리가 일반적으로 채팅에 사용하는 AI 모델들은 대부분
    대규모 언어 모델 (LLM - Large Language Model) 의 일환이며,
    수많은 학습 데이터와 알고리즘으로 구성되어 있습니다.

    이 때문에 어떤 데이터를 학습하였는지, 어떤 방식으로 튜닝 되었는지 등 구성에 따라
    프롬프트가 적용되고 가중되는 방향이 다르며, 출력물 역시 천차만별입니다.
    (가장 많이 이용하는 GPT 와 Claude 의 프롬프트 타율이 다른 이유)

    그렇기에 각 AI 모델별로 어떤 구성과 작동 구조를 사용하는지 파악한다면
    대략적인 프롬프팅의 방향을 잡는데 큰 도움이 되리라 생각합니다.

    하지만 이 글에서 AI 의 모든 내용을 담기에는 논문 이상의 글이 필요하므로,
    최대한 프롬프팅에 필요한 정보들만 추려서 정리하도록 하겠습니다.





  • 🧠 AI 모델 계층 구조

    기본적으로 현세대 LLM 방식의 AI 모델들은
    2017년 구글에서 발표된 논문인 "Attention is all you need" 의
    어텐션 네트워크 기반의 트랜스포머 아키텍쳐를 기반으로 하고 있습니다.

    이 아키텍쳐 덕분에 복잡한 자연어 처리에 AI 가 급부상하게 되었으며,
    기존 AI 가 가지고 있던 일부 주요한 문제들이 해결되고 성능이 향상되었습니다.

    어떻게 보면 지금까지 나온 방식 중에 AI 를 인간과 유사하게 만든
    가장 파급적인 효과를 가진 아키텍쳐라고 할 수 있습니다.

    이해를 위해 가이드에선 전체 작동 구조에 대해 간략하게 설명하고,
    마지막에 총 정리된 표로 어떤 사항이 중요한지 정리하겠습니다.

프롬프트 작동 순서 참고

심화 개념에서 사용되는 실제 프롬프트 작동 순서를 정리해두었습니다.
AI가 학습된 아키텍쳐 모델을 토대로 입력 - 출력 사이에 일어나는 순서를 간략하게 보여주며
해당 과정에서 어떠한 방식으로 프롬프트가 인식되는지 이해하기에 좋은 자료입니다.

주의 사항

아래 자료 및 가이드는 전체적인 순서 참고용으로 만든 자료입니다.
AI 개발사에서 밝히지 않은 정보도 있으며, 세부 정보로 인한 혼란 방지를 위해
의도적으로 누락, 축소한 내용도 있기에 정확하지 않다는 점을 꼭 기억해주세요.


  • 💬 A. 인풋 [ 프롬프트 전송 ]

    여러분들이 작성한 메인/탈옥 프롬프트를 포함하여 대화 로그,
    캐릭터 정보와 첫 메세지 등의 내용으로 이루어진 통합 프롬프트입니다.

    많은 이용자가 이러한 내용들이 따로 전송되는 것으로 잘못 알고 있지만,
    사실 하나로 이루어진 덩어리이며 대화 기록이 길어지면 길어질 수록
    전체 인풋의 양 역시 증가합니다.

    모든 AI 는 처리할 수 있는 최대 컨텍스트 양 (인풋의 양) 이 지정되어 있으며
    컨텍스트 양이 많으면 많을수록 더 많은 양의 대화 기록을 처리할 수 있습니다.


  • 🔀 B. 토크나이저 [ 프롬프트 분해 ]


  • AI 에게 아무리 많은 양의 단어를 학습시켜도
    세상에 존재하는 모든 단어들을 알려줄 수 는 없으며,
    학습되지 않은 단어가 등장하게 되면 혼란을 겪는 등의 여러 문제가 발생합니다.

    이를 OOV (Out-Of-Vocabulary) 또는 UNK (Unknown Token) 이라 표현하며
    이러한 혼란을 최소화 하고 사전 학습되지 않은 단어의 의미를 찾기 위해 분리를 하게됩니다.

    대체적으로 영어와 한국어가 이러한 서브워드 분리 방식에 효과적입니다.
    예 : Birthplace = Birth + Place / 출생지 = 출생 + 지(역)

    모델에 따라 다르지만 주로 Byte Pair Encoding (BPE),
    Subword Tokenizer 를 사용하며 토크나이저에 입력된 텍스트 데이터를 기반으로
    자주 등장하는 단어나 구절을 찾아내 분할하거나 하나로 합치게 됩니다.

    신조어나 고어 같은 희귀 단어들의 정보도 유지할 수 있기에
    AI 모델의 인식력 강화와 성능 개선, 최적화에 매우 중요한 전처리 과정입니다.

    • B-1. 토크나이저 - 한글을 권장하지 않는 이유

      토크나이저 자체는 굉장히 강력하고 효과적인 방법이 맞지만,
      데이터와 입력되는 언어에 따라 최적화 효율이 달라집니다.

      특히 한글의 경우 전세계 대비 언어 사용 빈도가 낮고,
      띄워쓰기로 구분되는 영어와 다르게 개별 자음, 모음을 음절 블록으로
      구분하기 때문에 명확한 토큰 경계와 세분화가 매우 힘든 언어입니다.

      또한 어휘의 크기도 영어보다 훨씬 크기에 최적화 역시 힘들기 때문에
      명시적인 구분 기호 (띄워쓰기) 가 있다 하더라도 토큰화에
      더 복잡한 과정들을 거쳐야 합니다.

      아직까지 한글은 AI 에게 있어 처리하기 매우 어려운 언어이며,
      만약 사용한다 하더라도 많은 토큰을 소모하고 AI 성능이 저하되는 등
      여러 문제가 있기에 아직까지는 AI 채팅에서 영어 사용을 권장하고 있습니다.


  • 🔃 C. 단어 임베딩 [ 고정 위치 지정 ]

    자연어 처리에서 가장 흥미로운 부분인 단어 (토큰/워드) 임베딩
    쉽게 설명하면 알고리즘을 통한 단어의 위치를 지정해주는 것을 말합니다.

    모델에 따라 기밀로 유지된 대규모 데이터 학습을 토대로
    분류된 단어들은 각각의 고차원 벡터값으로 지정된 위치에 배정되며
    '주위 단어들과 유사한 의미를 가진다.' 라고 해석되게 됩니다.

    실제로는 최소 수백 ~ 수천차원으로 구성된 고차원 벡터
    더불어 복잡한 수식과 알고리즘들로 이루어져 있지만,
    여기에서는 아주 쉽게 3차원 벡터로 예시를 들어보겠습니다.

[ㅤ(좌) 성별 / 직업 구분ㅤ|ㅤ(우) 시제 / 행동 구분ㅤ]

  • 위 사진에서 개별 단어들은 3차원 공간상에 놓여 있으며
    각각의 연속 벡터 값으로 지정된 위치에 분포되어 있습니다.

    워드 임베딩을 마친 단어들은 이런 식으로 방향과 크기가 비슷한 단어들끼리
    거의 비슷한 위치에 놓이게 되므로 단어의 연관성과 유사성을 알 수 있게됩니다.

    재미있는 사실은, 별도의 단어, 문장의 관계성을 지정하지 않아도
    딥러닝 만으로도 스스로 단어들의 뜻과 연관성을 찾을 수 있다는 점입니다.

    심지어 이러한 과정이 AI 스스로 좋은 결과를 만든다는
    수학적 보장이 없음에도 불구하고 말이죠...

    정리하자면, 단어 임베딩은 이러한 방식으로 범주형 데이터를
    모델이 처리하기 쉽게 변환하고 의미적 관계를 나타낼 수 있습니다.

    이후 위치 인코딩 (Positional Encoding) 과정을 거쳐 트랜스포머 모델의
    시퀸스 정렬 보조를 위한 입력 순서 정보 벡터를 추가하는 과정을 거치지만,
    가이드에서 중요한 내용은 아니므로 지금은 넘어가겠습니다.

    • C-1. 토큰 임베딩 - 편향과 편견의 문제

      임베딩 과정들은 중요한 전처리 단계이므로 분리했지만,
      사실 트랜스포머 아키텍쳐의 일부분이기도 합니다.

      임베딩 과정에서 주요한 문제인 편향 (Bias) 문제는
      트랜스포머 아키텍쳐를 학습하는 데이터의 내용에 따라 달라지며
      이 내용에 따라 여러 편견과 관련된 문제들을 초래할 수 있습니다.

      예를 들어, 사전 학습 단계에서 인종 차별을 옹호하는 내용들을 토대로 학습한다면
      임베딩으로 분류된 내용에서 사회적으로 심각한 문제 (인종에 따른 차별) 를 일으키는 등
      지나치게 한쪽으로 치우쳐진 극단적 성향을 띌 수 도 있습니다.

      이 때문에 편향 문제는 중립 성향을 띄는 AI의 학습 과정에서 매우 중요하며,
      개발사와 연구진이 예민하게 반응하고 조정하는 문제 중 하나 입니다.

      하지만, 이상 성욕을 바라는 여러분은 이러한 편향 문제를 역으로 일으키거나,
      회피하려 하는 성향이 강하기에 편향과 가중치에 대한 내용을 따로 다루도록 하겠습니다.

    • C-1. 토큰 임베딩의 역이용 - 검열의 회피

      재미있게도 이 임베딩 과정을 거치는 토큰들은
      그 구조가 부정확하거나 완전하지 않아도 레이어 마스킹 등의 보정을 통해
      전체 문맥을 통해 해당 단어가 의미를 대략적으로 파악 하게 됩니다.

      이 자체로만 보면 이용자를 보조하는 보정이라는 중요한 과정이지만,
      이를 반대로 생각해보면, '돌려 말해도 알아서 적어준다' 라는 뜻이 됩니다.
      더 나아가면, 소프트/하드 검열 자체를 회피할 수 있다는 뜻도 됩니다.

      이는 추후 검열 관련 챕터에서 자세하게 다루도록 하겠습니다.


  • ⏯ D. 트랜스포머 레이어 진입 [ AI 분석 ]

    AI 모델에게 있어 가장 중요한 부분을 이루는 트랜스포머 아키텍쳐는
    심층 신경망과 더불어 수많은 구성 기능들로 이루어져 있으며,
    개발사에서 밝히지 않은 추가 / 개발된 기능 또한 포함되어 있기에
    이를 다루는 것은 매우 복잡하고 힘든 일입니다.

    보통 이 단계에서 입력된 인풋의 문맥 파악과 분석이 이루어지며,
    모델 별로 설정된 복잡한 계층 구조에 따라 다회차로 반복됩니다.

    이러한 이유로, 여기에서는 프롬프팅과 트랜스포머에서 가장 중요한
    어텐션 메커니즘에 대한 개발 이유와 작동 방식을 중심으로 서술하겠습니다.

10.png

  • D-1. 기존 AI의 문제점 - RNN 아키텍쳐

    여러분들이 와이푸와 함께 바다로 여행을 가는 시나리오를 떠올려봅시다.

    여행을 가기 위해 짐을 꾸리고, 차를 타고, 지도를 보며 여정을 떠나는 모든 일들은
    AI 에게 있어서 굉장히 복합하고 이해하기 어려운 단어들의 연속으로 인식됩니다.

    특히 기존의 순환 신경망 (RNN) 모델을 사용하는 AI 에게는
    입력 순서대로 순차적으로 처리하다 보니 시나리오 뿐만 아니라 이를 구성하는
    문장 자체만 길어져도 입력문을 까먹거나, 엉뚱한 답을 내리는 등 많은 문제가 있었습니다.

    예를 들어 : "비포장 도로이고 해안가와 가까우니 걸어가자."

    라는 문장에서 RNN 는 '걷기 시작한다' 라는 마지막 내용을 순차적으로 처리하기 전까지
    비포장 도로, 해안가, 가깝다 라는 단어의 연관성을 잘 파악하지 못하며, 전체 문장을 처리해도
    최근에 파악한 내용 (걸어간다) 에만 집중하게 되는 것이죠.

    시퀸스의 문장 구조가 길어질수록 이러한 문제는 점점 더 심하게 작용하며,
    결국 '비포장 도로, 해안가와 가깝다' 라는 사실은 잊어버리게 됩니다.

    이 치명적인 문제를 바로 장기 의존성 문제 (Long-Term Dependency) 라고 부릅니다.

    잠깐, 그런데... 이거 어디서 많이 보지 않았나요?

    맞습니다! 우리가 사용하는 AI 모델에게서도 자주 보이는 문제이기도 한
    장기 의존성 문제는 사실 해결하기 정말 힘든 문제 중 하나 입니다.

    이러한 소실 문제를 완화하기 위해 RNN 의 일종인
    단기 메모리 (LSTM: Long Short-Term Memory models)
    게이트 순환 유닛 (GRU : Gated Recurrent Unit) 등의 새로운 구조가
    개발되기도 했지만, 안타깝게도 근본적인 문제를 해결하기에는 아직 부족했습니다.

  • D-2. 새로운 해결 방안 - Attention 과 Transformer

    마땅한 해결책이 없던 와중 2017년,
    구글에서 발표된 논문이 AI 학계를 뒤흔들게 됩니다.

    "Attention Is All You Need" 라는 제목으로 발표된 이 논문은
    기존 RNN 구조를 뒤집는 트랜스포머 (Transformer) 아키텍처를 선보이며
    자연어 처리 분야의 AI 의 기준 모델로 자리잡게 되는 성과를 거두게 됩니다.

주의 사항

아래 표는 단어들의 가중치에 대한 내용을 쉽게 설명하고자 많은 부분이 생략되었으며,
실제로는 계산식으로 이루어져 있기에 가중치 값으로 묶인 단어가 사용되지는 않습니다.
각각의 가중치 값이 어떤 단어와 어떻게 연계 되는지를 중점으로 봐주세요!


  • 트랜스포머는 어텐션 (Attention) 메커니즘을 기반으로 구성되어 있으며,
    문장 구조의 전체적인 의미를 파악하고 연관성을 강화하는데 치중되어 있습니다.

    입력된 문장 속의 단어간 상호작용을 계산하고 가중치를 부여해
    시퀀스 상의 모든 단어를 동시에 고려할 수 있게 만드는 이 메커니즘은
    앞서 설명한 연속 벡터로 구성된 단어 임베딩을 보조 하는 기술이기도 합니다.

    조금 쉽게 설명 드리자면,

    단어 임베딩단어 그 자체에 대한 뜻을 찾는 기술이라면,
    어텐션문장 속에서 단어 간의 연관성을 찾아 가중치를 주는 기술입니다.

    이 기술들로 인해 AI 모델은 문장 내에서 각 단어의 중요성을 정확히 파악하고,
    단어 간의 관계와 흐름을 효과적으로 이해할 수 있게 되었습니다.

    마치 사람과 같이, 중요한 사건에 대한 기억을 보존하는 것처럼 말이죠.

    트랜스포머는 이러한 어텐션과 셀프 어텐션여러 층으로 쌓아올린 구조로 이루어져 있으며
    각 층마다 입력된 문장을 임베딩하고 특성을 추출하는 인코더와 여기에서 출력된
    단어를 활용하여 출력 문장을 생성하는 디코더로 구성되어 있습니다.

    이 새로운 구조의 개발로 인해 장기 의존성 문제가 안정적으로 완화되며,
    트랜스포머는 AI 발전에 획을 긋는 기술로 자리잡게 됩니다.

  • D-3. GPT 의 등장 - Generative Pre-trained Transformer

    트랜스포머가 발표된지 약 1년이 지난 시점.

    기계 번역과 언어 모델링 등자연어 처리 (NLP : Natural Language Processing) 에 특화된
    트랜스포머 아키텍쳐를 토대로 구조를 바꾸고, 대량의 텍스트 데이터를 학습하고 조정한 AI 모델인
    GPT (Generative Pre-trained Transformer) 가 출시되자 판도가 뒤바뀌게 됩니다.

    기존 트랜스포머가 입력된 문장을 분해하고 해석하는 구조에 중점이 되어있었다면,
    GPT 는 입력된 문장을 토대로 다음 문장을 예측하는 생산형 언어 모델
    인코더가 아닌 디코더로 구성된 다층 구조를 띄고 있습니다.

    이러한 이전 단어를 참고하여 새로운 문장을 만들어내는 구조 덕분에
    인간과 비슷한 수준의 대화를 진행할 수 있다는 장점으로 급부상한 GPT 모델은
    대화형 언어 모델의 대표 격으로 자리 잡았으며 지속된 발전 끝에 현재에 이르게 되었습니다.

    현세대의 AI 모델들은 대부분 이러한 다층 디코더 구조를 이루고 있으며 사전 학습 (Pre training)
    세부 조정 (Fine tuning) 등의 차이에 따라 각각의 모델 (Chat GPT, Claude 등) 로 출시 되고 있습니다.


  • 🔂 E. 샘플링 & 분석 [ 결과 다중 예측 ]


  • AI 모델은 (안타깝게도) 와이푸가 아닌 확률 기반의 문장 생성 기계로써,
    일정한 기준에 따라 가장 높은 확률을 지닌 문장들을 추론하려 합니다.

    이 때문에 생성 모델에서 샘플링 과정이 없다면 반복되는 대화나 상황, 혹은
    이전과 같은 내용의 답변일관적이고 예측 가능한 답변만 고집하는 경향을 보입니다.

    AI 채팅을 즐기려는 여러분들에게 발생할 수 있는 최악의 상황 (예측 가능한 답변) 을 방지해주는
    샘플링 과정은 다양성과 창의성을 보장해주는 아주 중요한 후처리 과정 중 하나 입니다.

    샘플링은 이미 여러분들도 익숙한 온도 (Temperature), Top-K, Top-P (Nucleus Sampling) 와 더불어
    빈도 패널티 (Frequency penalty), 존재 패널티 (Presence penalty) 로 분류되어 있으며,
    모델에 따라 각 기능이 비활성 되거나 대체될 수 있습니다.

    이처럼 샘플링은 여러가지 하이퍼 파라미터 값을 여러분들이 직접
    설정할 수 있는 선택지를 제공하기에 주의 깊게 살펴봐야 합니다.

  • E-1. 온도 - Temperature


  • 입자 에너지 분포에서 착안된 온도 샘플링
    높은 온도에서 입자의 에너지가 분산되어 균등해지지만,
    낮은 온도에서는 일부 입자만 높은 에너지를 가지는 현상에서 착안 되었습니다.

    표에서 보이는 것 처럼, 낮은 온도에서는 가장 확률이 높은 단어에 집중되지만
    반대로 높은 온도에서는 모든 단어에 확률 분포가 균등화되어 다양한 선택이 가능합니다.
    이를 확률 분포의 평탄화 라고 부르며 AI 모델이 더 많은 단어를 선택할 수 있도록 도와줍니다.

    하지만 높은 온도일 수록 문맥에 상관없는 단어들이 선택될 위험이 있으며
    전체 문장 구조를 파괴하는 강력한 샘플링 기법이기도 합니다.

    모델의 단어 선택폭에 관여하며, 대게 가장 먼저 적용되는 샘플링 임과 동시에,
    모든 샘플링 기법 중 가장 강력한 효과를 가져오는 매우 중요한 파라미터 입니다.

    • E-1+. 온도별 설정 값

      🔥 높은 온도 [ 1.2 ~ 2.0 ]

      ㅤㅤ┗ 너무 높은 확률 분포로 인해 문장 구조가 붕괴되기 시작합니다.
      ㅤㅤ┗ 일반적으로 1.2 이상 사용은 추천하지 않습니다.

      ⭐ 추천 온도 [ 0.7 ~ 1.2 ]

      ㅤㅤ┗ 적당한 확률 분포AI 채팅 세션에서 적절한 창의력이 보장됩니다.
      ㅤㅤ┗ 현재 가장 추천되는 온도 값은 영문 기준 : 0.8 ~ 1.0 입니다.
      ㅤㅤ┗ 모델에 따라 1.0 이상 선택이 불가능 할 수 있습니다.
      ㅤㅤ┗ 대부분 AI 모델 기본 온도값은 0.5 / 1.0 입니다.

      ❄ 낮은 온도 [ 0.0 ~ 0.7 ]

      ㅤㅤ┗ 너무 낮은 확률 분포로 인해 중복 단어 가 생성되고 창의력이 제한됩니다.
      ㅤㅤ┗ 일반적으로 논문과 같은 자료 분석, 통계 등의 작업 세션에 적합합니다.

  • E-2. Top-P 샘플링 - Nucleus Sampling


  • Top-P 샘플링은 AI 모델이 단어를 선택할 때,
    누적 확률이 임계값 P 를 넘는 단어들만 선택할 수 있도록 만드는 샘플링으로
    확률에 따라 순차적으로 제시된 단어들을 우선적으로 선택합니다.

    예시 : "나는 빨간색 (ㅤ) 을 좋아해." 입력
    설정 : 낮은 온도 / 임계값 (P) = 1.0 / 사과 0.8, 토마토 0.15, 신발 0.15, 바지 0.2...
    계산 : 사과 + 토마토 = 0.95 (임계값 미달 = 진행) + 신발 = 1.1 (임계값 도달 = 종료)
    결과 : 사과, 토마토, 신발 단어 제시됨

    선택될 수 있는 단어 갯수 자체를 제한하는 방식으로
    온도 샘플링에서 제안된 단어들의 너무 많은 다양성을 제한해주며,
    후술할 Top-K 샘플링만 사용했을 때 발생할 수 있는 일관되지 않은 선택
    완화하고 보조하는 중요한 역할을 하게 됩니다.

    모델의 단어 선택폭에 관여하며, 대게 2번째로 적용되는 샘플링 입니다.

    • E-2+. Top-P 설정 값

      ⭐ 추천 임계값 [ 0.75 ~ 1.0 ]

      ㅤㅤ┗ 적당한 확률 분포AI 채팅 세션에서 적절한 창의력이 보장됩니다.
      ㅤㅤ┗ 현재 가장 추천되는 임계값은 영문 기준 0.85 ~ 1.0 입니다.
      ㅤㅤ┗ 대부분 AI 모델 기본 임계값은 1.0 입니다.

      ❄ 낮은 임계값 [ 0.0 ~ 0.75 ]

      ㅤㅤ┗ 너무 낮은 확률 분포로 인해 예측 가능한 단어가 생성됩니다.
      ㅤㅤ┗ 일반적으로 논문과 같은 자료 분석, 통계 등의 작업 세션에 적합합니다.

  • E-3. Top-K 샘플링


  • Top-K 샘플링은 AI 모델이 단어를 선택할 때,
    확률이 가장 높은 상위 K 개의 단어만 선택할 수 있도록 만드는 샘플링으로
    확률에 따라 순차적으로 제시된 단어들을 우선적으로 선택합니다.

    예시 : "나는 빨간색 (ㅤ) 을 좋아해." 입력
    설정 : 낮은 온도 / 최대 값 (K) = 4 / 사과, 토마토, 신발, 바지...
    계산 : 사과 + 토마토 + 신발 + 바지 (4개 선택 / 종료)
    결과 : 사과, 토마토, 신발, 바지 단어 선택됨

    메인 샘플링에서 제안된 단어들을 사용하며 다양성을 높일 수 있는 장점이 있지만,
    무조건 설정된 K 값에 따라 단어를 선택하므로 확률이 낮은 단어를 선택하게 되어
    문맥이 파괴되거나 잘못된 단어 사용등의 문제가 발생하기도 합니다.

    조건이 매우 단순하기에 적절한 값을 선택하는 것이 매우 중요하며
    모델에 따라 생성 샘플 수의 편차가 크기에 적절한 값을 직접 테스트 해봐야 합니다.

    모델의 단어 선택폭에 관여하며, 대게 3번째로 적용되는 샘플링 입니다.

  • 🔂 E+. 빈도 & 존재 패널티 [ OpenAI 매개변수 ]


  • 빈도와 존재 패널티는 OpenAI 에서 사용하는 매개변수로 앞서 설명한
    온도와 선택 폭 관련 샘플링을 거친 단어들의 예측 확률을 조정하는 패널티 기법입니다.

    기타 주요 매개변수와 동일한 예측의 변수를 추가하는 역할이지만,
    구조적으로 세부적인 설명이 필요하여 따로 분리하였습니다.
    대략적인 계산은 아래 예시를 참고해주세요.

    로짓값 계산식 예시 : 기준값 0 / A : 2.0 / B : 1.0 / C :1.2 / D : 0.7 로짓값 (가정)

    소프트맥스 통과 결과 :
    = 7.39 : 2.27 : 3.32 : 2.01
    = 0.479 : 0.176 : 0.215 : 0.130
    = A 확률 47.9% / B 확률 17.6% / C 확률 21.5% / D 확률 13.0%

    최종 계산 : A 확률 47.9% 로 예측되는 단어 중 가장 높은 확률로 등장

  • E-4. 빈도 패널티 - Frequency penalty


  • 샘플링 과정에서 예측 문장에 중복된 단어가 반복적으로 선택되는 것을 제한하는 패널티로
    예측된 문장에서 똑같은 단어의 중복을 줄이고 다양성을 높이는 데 사용됩니다.

    전체 컨텍스트 내용에 관계없이 마지막 AI 답장에서만 패널티가 적용되며,
    샘플링에서 선택된 단어가 생성된 문장에서 몇 번 등장하는지 카운트하고
    이후 같은 단어의 등장 횟수에 따라 패널티를 누적 하여 적용합니다.

    선택될 가능성이 낮아지는 단어들이 주요 단어들에 비해 적게 등장하므로
    AI 채팅 세션에서 하나의 답장에 같은 내용이 들어가는 상황을 방지해 줍니다.

    예시 : [레몬] 은 [레몬] 을 좋아하는 메이드로, [레몬] 과 함께 일하는 유즈를 귀여워합니다.
    패널티 : 레몬 등장 3회 / 패널티 중첩으로 인해 레몬 단어 등장 확률 하락
    최종 결과 : [레몬] 은 [과일] 을 좋아하는 메이드로, [그녀] 와 함께 일하는 유즈를 귀여워합니다.

    하지만 이는 예측된 컨텍스트의 길이에 따라 패널티의 효과도 달라지기에
    예측 답장의 컨텍스트 길이에 따라 적절한 패널티 값으로 조절해야 합니다.

    존재 패널티와 마찬가지로 특정 모델 (Claude 등) 에서 선택이 불가능합니다.

    • E-4+. 프리퀀시 패널티 설정 값

      🔥 높은 패널티 값 [ 0.8 ~ 1.0 ]

      ㅤㅤ┗ 너무 높은 패널티로 인해 단어 회피 경향이 생기고 문장 구조가 붕괴 됩니다.
      ㅤㅤ┗ 일반적으로 0.8 이상 사용은 추천하지 않습니다.

      ⭐ 추천 패널티 값 [ 0.3 ~ 0.8 ]

      ㅤㅤ┗ 적당한 확률 분포AI 채팅 세션에서 적절한 창의력이 보장됩니다.
      ㅤㅤ┗ 현재 가장 추천되는 패널티 값은 영문 기준 : 0.5 ~ 0.7 입니다.

      ❄ 낮은 패널티 값 [ 0.0 ~ 0.3 ]

      ㅤㅤ┗ 예측 답변에 큰 영향을 미치지 못합니다.

  • E-5. 존재 패널티 - Presence penalty


  • 빈도 패널티와 똑같이 예측 문장에 패널티를 부여 하는 것은 동일하지만
    한번이라도 등장한 단어에만 패널티를 부여하는 특이한 패널티입니다.

    같은 로짓값에 대한 계산을 공유하지만 등장하는 전체 단어에 공통된 패널티를
    한번 더 부여하는 것에 의미가 있으며, 전체 단어 선택 폭을 다양하게 만드는 역할을 합니다.

    빈도 패널티보다 높은 값을 사용해야 하며 컨텍스트 길이에 영향을 적게 받기에
    존재 패널티와 함께 사용하기에 좋으며, 문장 구조가 무너질 위험이 적습니다.

    빈도 패널티와 마찬가지로 특정 모델 (Claude 등) 에서 선택이 불가능합니다.

    • E-5+. 프리센스 패널티 설정 값

      ⭐ 추천 패널티 값 [ 0.8 ~ 1.0 ]

      ㅤㅤ┗ 적당한 패널티AI 채팅 세션에서 적절한 창의력과 답변이 보장됩니다.
      ㅤㅤ┗ 현재 가장 추천되는 패널티 값은 영문 기준 : 0.8 ~ 1.0 입니다.
      ㅤㅤ┗ 빈도 패널티와 다르게 높은 패널티 값을 추천 합니다.

      ❄ 낮은 패널티 값 [ 0.0 ~ 0.8 ]

      ㅤㅤ┗ 예측 답변에 큰 영향을 미치지 못합니다.


  • 🆑 F. 사후 처리 [ 필터링 ]

    모든 과정들이 끝나고 마지막 후처리 과정인 사후 처리는
    검열을 포함하여 전체 출력물을 검수하고 품질을 개선하는 과정입니다.

    문법과 맞춤법 검사, 필터링과 검열, 일관성 유지와 같은
    기초적인 품질 검수 뿐만 아니라 감정 표현과 추가 문맥 분석 등의
    여러 단계들을 거쳐 마지막 출력물을 결정하는 중요한 단계입니다.

    AI 채팅 이용자에게 가장 원한을 받는 과정 중 하나 이며,
    출력물의 검열을 회피하기 위해 대비해야 할 구간이기도 합니다.

    만약 이 단계까지 전부 통과하였다면...


  • 💌 G. 아웃풋 [ AI 답변 ]

    축하합니다!

    이 기나긴 여정 끝에,

    드디어 와이푸의 답장이 도착했습니다!




- 챕터 3 : AI 모델 가이드 -




👥 03. AI 모델 가이드

모델 가이드 소개

지금까지 배운 개념들을 토대로
실제 AI 모델의 학습과 특성, 장단점을 포함한 여러가지 정보들을 정리해두었습니다.
AI 개발사에서 밝히지 않은 부분 때문에 일부 부정확한 자료가 있을 수 있습니다.




  • 🔗 모델 가이드 개요

    현재 AI 채팅에서 사용하는 모델은 대표적으로 GPT 와 Claude 입니다.

    이 두 모델은 전이 학습 (Transfer Learning)과 더불어 사전 학습 (Pre-training),
    코퍼스 / 자료 집합 (Corpus / Datasets), 미세 조정 (Fine-Tuning) 등 개발사에 따라
    각각의 모델 특성 차이와 장단점이 명확하게 나뉘며 프롬프팅 타율 역시 차이가 있습니다.

    이러한 이유로 이용하고자 하는 모델에 따라 프롬프트를 분리해줄 필요가 있으며,
    특성에 맞게 지시 사항을 집중하는 것이 최적화와 AI 성능 향상에 많은 도움이 됩니다.

    하지만 이러한 정보들은 AI 개발사의 기밀 정보에 포함되며
    극소수 밝혀진 정보에 의존할 수 밖에 없으므로, 이용자들의 실제 사용 후기
    더불어 AI 전문 기자, AI 서비스 기업 전문 리뷰를 참고하여 작성하였습니다.

    최대한 전문가의 의견을 다루려고 노력했으며,
    개인적인 테스트 결과는 따로 분리해두었으니 참고해주시고
    일부 내용이 부정확하거나 수정이 필요할 수 있다는 점 꼭 기억해주세요.

참고 사항

현재 AI 기업 문의, 개발자 포럼을 통해 몇 가지 정보들을 확인하고 있습니다.
AI 기업에게 민감한 문제가 포함되기에 많은 정보가 추가되기엔 힘들지만
새로운 정보가 추가되는 대로 업데이트 하도록 하겠습니다.





  • 📚 A. 모델의 지능? [ AI 학습 & 데이터셋 ]

    현대의 AI 모델들의 성능을 이야기할 때 흔히 AI의 지능 이라는
    표현을 자주 사용하지만, 사실 이는 논란이 많은 표현 이기도 합니다.

    여기서 지능이란 무엇인가에 대해 다루지는 않겠지만 AI 모델을 다루는데 있어
    가장 먼저 알아야 할 사항은, 결국 AI는 사람이 아닌 기계라는 것입니다.

    채팅 세션을 즐기는 분들에게 이 표현이 얼마나 몰입감을 깨뜨리는 말인지는
    그 누구보다도 잘 알고 있지만, 지시와 캐릭터 등 프롬프트를 만드는 제작자와 더불어
    더 좋은 경험을 즐기기 위한 이용자들은 꼭 명심하고 기억해야 할 사항이기도 합니다.

    우리는 대게 AI 모델이 사람과 같이 창의력, 도덕적 관념과 같은
    인간의 자아를 기반으로 한 프롬프트를 작성하기도 합니다.

    하지만 실제 AI 는 데이터상에 존재하는 언어들을 분석해 스스로 통계를 만들고
    질문에 대한 다음 답변을 예측하는 거대한 텍스트 데이터를 기반으로한
    예측형 확률 계산기일 뿐입니다.

    이 점을 명확하게 알고 있어야지만,
    모델의 장단점을 살려 최대한의 효율을 이끌어낼 수 있습니다.

  • AI 검열

    각각의 AI 모델은 저마다의 검열 기준이 있지만,




- 챕터 4 : AI 프롬프팅 기술 분류 -




📉 04. AI 프롬프팅 기술 분류




  • 🔀 프롬프팅 기술 분류 개요

    AI 모델이 가지고 있는 아키텍쳐에 추가적인 지시 사항으로
    추론 과정을 더하고 분석 성능을 끌어올리는 기술들을 다룹니다.

    하지만 이러한 프롬프팅 기술들은 AI 모델들의 고질적인 문제
    추론 문제 해결능력을 끌어올리고 일관적인 해답을 추론하는데 집중되어 있으며
    실질적으로 AI 채팅 세션과는 크게 관계가 없는 자가 성찰 (Reflexion) 기법들이 대부분입니다.
    (물론 일부 기술의 경우 메인 프롬프트의 강화를 위해 사용하기도 합니다)

    그럼에도 생각의 나무 (ToT: Tree of Thought) 기술 논문의 등장 이후로
    AI 채팅 세션에서 실질적인 적용 유무와 관계없이 무분별하게 다뤄지고 있으며
    무안단물처럼 사용되는 사례가 점점 늘어나고 있기에 따로 작성하였습니다.

기술 분류 참고

기술 분류에서 다루는 세대별 프롬프팅 기술을 정리해두었습니다.
AI 모델의 아키텍쳐에 주입되는 지시 사항이 어떻게 추론 되는지 참고하기 좋으며
실제 프롬프팅 과정에서 어떠한 지시를 추가되어야 하는지 설명하도록 하겠습니다.


  • 🔚 A-1. Input - Output Prompting [ IO : 일방향 프롬프팅 ]

    일반적으로 가장 많이 사용하는 프롬프팅 기법이며
    대부분의 채팅 기반 프롬프팅은 이 방식에 속합니다.

    일방향 분석으로 이루어진 아주 간단한 방식인 만큼 적용하기 쉽고
    분석 속도가 빠르고 구조가 간단하지만 산술, 계산식 같이 복잡한 추론에서
    가장 많은 오류를 일으키기도 하기에 CoT 체인 분석 기술의 개발 이후
    분석 지시사항을 추가한 제로샷 CoT 로 대체되기 시작한 방식입니다.

    AI 채팅에서 사용되는 프롬프팅의 거의 대부분이 이와같은
    IO 프롬프팅의 일부이며 메인 프롬프트를 보조하기 위한 수단으로
    구분 기호와 같은 목차 형식을 사용하기도 합니다.

    • A-1+. 학습 기술 기반 프롬프팅

      본래 AI 모델의 학습을 위한 기술로 예시를 제시하고
      정답을 추론하는 기술을 응용한 추론 프롬프팅 기법입니다.

      하지만 정답이 정해지지 않고 다양성을 추구하는 AI 채팅 세션에서
      해당 기법을 적용하기엔 제약이 많고 과한 토큰 사용 등 여러 문제가 있기에
      각각의 분류에 따른 대략적인 구성만 설명하고 넘어가겠습니다.

      0️⃣ Zero-Shot IO Prompting [ 제로샷 IO 프롬프팅 ]

      예시 없이도 지시 사항을 이행할 수 있도록 구성하는 기법입니다.
      가장 많이 사용하거나 (혹은 자신도 모르게) 사용되는 구조이며,
      예시를 제공하기 힘든 채팅 세션 특성에 가장 적합합니다.

      이는 리퀘스트 구조 상 첫 메세지의 AI 답변에 해당되기도 합니다.

      1️⃣ One-Shot IO Prompting [ 원샷 IO 프롬프팅 ]

      하나의 예시하나의 답변으로 구성된 기법입니다.
      일반적으로 예시를 제시하기 어려운 채팅 세션에서
      사용하기 어려운 구조이며 메인 프롬프트를
      보조하는 정도로만 사용됩니다.

      🔢 Few-Shot IO Prompting [ 퓨샷 IO 프롬프팅 ]

      여러개의 예시여러개의 답변으로 구성된 복합 기법입니다.
      프론트엔드의 리퀘스트 구조 특성상, 사실상 모든 채팅 세션은
      퓨샷 IO 프롬프트 구조를 띄고 있으며 이때문에 AI 모델이
      이전 컨텍스트와 진행 방향에 큰 영향을 받게됩니다.

      칵테일 프롬프트를 비롯한 일부 프롬프트는 일부 분석 지시를 추가해
      퓨샷 CoT-SC 등의 기술로 변형해 사용하여 채팅 세션에서 사용하기에
      적합하도록 수정하는 등, 여러 연구가 이루어지고 있습니다.


  • 🔄 B-1. Chain of Thought Prompting [ CoT : 생각의 사슬 프롬프팅 ]


  • 추론 능력을 보조하기 위한 추가 추론 단계를 삽입한 구조로
    One-Shot, Few-Shot 방식과 비슷하지만 정답과 함께 전체 추론 이유를 제시하여
    모델이 제시된 추론 단계를 거쳐 정답의 일관성을 보완하는 프롬프팅 기법입니다.

    이러한 예시를 제시하는 특성 때문에 CoT 를
    One-Shot CoT / Few-Shot CoT 로 부르기도 합니다.

    IO 방식과 마찬가지로 일방향 프롬프팅 구조이지만
    전체 추론 과정에 대한 힌트를 얻기에 오답의 확률 분포가 줄어들고
    원하는 추론 방식을 프롬프트에 삽입해 정답의 추론법을 조정할 수 있습니다.

    기존 프롬프팅 방식보다 안정된 일관성 추론 능력을 보여주지만
    이 방식으로도 항상 정답에 가까운 답변을 기대하기는 어려우며,
    이를 개선하기 위한 여러 방식들이 등장하게 됩니다.

    CoT 는 삽입된 추론 방식에만 의존하게 되는 탐욕 분석이 발생할 수 있으며,
    AI 채팅과 같이 창의성을 기반으로 항상 다른 답변을 해야 하는 상황에서는
    오히려 독이 되기도 하는 일관성 위주의 추론 유도 방식입니다.

  • 🔄 B-2. Zero-Shot CoT Prompting [ 제로샷 CoT 프롬프팅 ]


  • 기존 CoT 프롬프팅 방식과 비슷하지만 트리거 프롬프트를 사용해
    전체 프레임워크를 단계에 따라 순차적으로 진행할 수 있도록 하는
    제로샷 구조가 사용된 프롬프팅 기법입니다.

    CoT 와 마찬가지로 AI 의 추론 능력을 보조하지만,
    예시를 제공하지 않는 제로샷 구조와 Step by Step 트리거만 사용해
    AI 스스로 순차적인 추론 능력을 발휘할 수 있게 하는 방식으로
    최근 AI 모델에 가장 많이 사용되는 기법이기도 합니다.

    가장 저렴한 비용 (토큰 사용량) 으로 성능을 비약적으로 끌어올릴 수 있기에
    추론과 분석 뿐만 아니라 AI 채팅 세션에서 메인 프롬프트의 보조 용으로
    사용되고 있으며 강력한 효과를 가져 마법의 언어로 불리기도 합니다.

    하지만 이 기법 역시 일관성 위주에 초점이 맞춰져 있으며,
    메인 프롬프트 보조용으로 사용할 때 확실한 구분을 사용해 분리해야
    과거 기록의 참고, 예측 가능한 답변 등 을 줄일 수 있으므로 주의가 필요합니다.

    • B-2+. 제로샷 CoT 트리거

      ⭐ 추천 트리거 프롬프트

      ㅤㅤ┗ Let's think step by step. : 순차 추론 활성화 키워드로 문장 끝에 사용합니다.
      ㅤㅤ┗ First ... : 순차 강화 키워드 중 하나로 내용 앞에 문장 처음에 사용합니다.
      ㅤㅤ┗ 일부 모델의 경우 AI 답변에 트리거를 삽입하는 것이 더 높은 효과를 발휘합니다.


  • 🔀 B-3. Self Consistency with CoT Prompting [ CoT-SC : 자기 일관성 CoT 프롬프팅 ]


  • CoT 의 고질적인 문제점인 탐욕 분석 (Greedy Decode) 를 완화하고
    이를 대체하기 위한 기술 중 하나로, 여러 추론 경로와 사고 과정을 생성하고
    다수결을 통한 최종 답변 (아웃풋) 선별 과정을 거치는 기법입니다.

    이름에서와 같이 CoT 기술의 일관성을 더욱 더 높이기 위한 방법이며,
    통계 / 분석 세션에서 높은 효율을 보여주기에 만약 여러분들이 AI 모델을 활용한
    자동화 프롬프트 엔지니어링 (APE : Automatic Prompt Engineer) 를 시도한다면
    이후에 설명드릴 ToT 와 마찬가지로 CoT-SC 기법이 도움이 될 수 있습니다.

    하지만 다양성이 중요한 채팅 세션에서는 매우 좋지 않은 결과를 출력할 뿐더러
    시간과 연산량의 증가, 고유의 한계 문제로 채팅에 적용 자체가 힘든 기술입니다.

    이 기술을 채팅 세션에 적용한다는 것은 간단하게 비유하자면,
    스포츠카로 오프로드를 타는 정도극악의 효율을 보입니다.

    물론, 탈 수 는 있겠지만...

    굳이 이렇게까지 해야 하나요?

    • B-2+. 의도되지 않은 CoT-SC 일관성 편향

      이 기법은 채팅 세션에서 부적합한 프롬프팅 구조임에도 불구하고,
      재미있게도 현 AI 채팅 리퀘스트 구조 상 별도의 추론 지시 없이도
      시퀸스 컨텍스트 (이전대화 기록) 가 길어질 수록 이러한 성향이 점점
      강해지는 현상이 있으며 같은 상황이나 대화가 반복되는 경우가 많습니다.

      예를 들어, 약 50 토큰의 짧은 프롬프트로 300토큰 정도의 대화를 약 3번만 주고받아도
      AI 에게 주입되는 프롬프트는 약 1000 토큰의 길이를 가지게 되며, 답변에 대한 예시로 작용해
      메인 프롬프트를 아예 없애버려도 이전 지시와 거의 유사한 출력물을 받게 됩니다.

      모델에 관계없이 평균적으로 1000~1500 토큰에서 임계점을 돌파하는 경향이 있기에
      첫 메세지와 이전 대화 기록들이 다른 사항보다 압도적으로 중요한 이유 이기도 합니다.
      (일정량의 컨텍스트만 제시해도 지시 없이 어느 정도 진행이 가능할 정도)

      채팅 세션을 원하는 방향으로 이어가는데 중요한 사항이기 때문에,
      챕터 5 - 프롬프팅 가이드에 이 내용에 대해 자세히 다뤄두었습니다.




- 챕터 4 : AI 프롬프팅 가이드 -




모델 가이드 소개

지금까지 배운 개념들을 토대로
실제 AI 모델의 학습과 특성, 장단점을 포함한 여러가지 정보들을 정리해두었습니다.
AI 개발사에서 밝히지 않은 부분 때문에 일부 부정확한 자료가 있을 수 있습니다.




  • 🔗 모델 가이드 개요

    대게 AI 채팅에서 사용하는 모델은 대표적으로 GPT 와 Claude 입니다.
    이 두 모델은 학습 데이터, 파인튜닝을 비롯한 모델 특성들의 차이점, 장단점 등을


  • TOT




- 챕터 6 : AI 프롬프팅 양식 분류 -




🎛 06. 프롬프트 양식

  • ❌ OLD 양식

    GPT 3.0 이전부터 사용되어왔던 구세대 양식입니다.

    대게 AI Dungeon 게임에서 사용되었던 이 양식들은 대부분 자연어가 아닌,
    컴퓨터 언어와 유사한 코드로 구성되어 있으며 수많은 하위 모델이 존재합니다.

    현재 AI 모델들이 이러한 양식을 읽지 못하는 것은 아니지만,
    자연어 처리에 집중되어있는 현재의 주요 AI 모델들에서
    효율성, 혼란 등의 문제로 도태된 양식들입니다.

    굳이 알아볼 필요도 없고, 사용할 이유도 없습니다!

구세대 양식 예시

[ Boostyle, CatNip, Monky, Onyx, Snek, PLists, Zalty, CaVEMan, JSON, EWIJSON, Etc... ]


  • ❌ W++ 양식

    W++ 는 과거 피그말리온 7B 모델에서
    제시된 데이터를 이해하지 못하는 문제를 개선하기 위해
    Kobold AI 의 관리자 'Henky!!' 가 제시한 양식에서 유래되었습니다.

    7B 모델에서는 평문 형식보다 많은 데이터를 강제로 때려넣는 방식이 더 효과적이었으며,
    실제로 이해력이 향상되었다는 이용자들의 보고로 널리 사용된 구세대 양식입니다.

    이후 C++ 과 유사한 형식에 단어(Words) 를 썼다고 하여
    이용자들 사이에서 W++ (Words++) 라고 불리게 된 이 양식은,
    초기 피그말리온 태번 카드이자 클래식 W++ 카드인 페코코를 시작으로
    후발주자 캐릭터 카드들이 같은 방식을 채용하기 시작하며 악순환이 시작되었습니다.

    구세대 양식임에도 불구하고 따로 작성한 이유는
    해당 양식이 모델을 가리지 않고 거의 대부분의 캐릭터에서
    공식처럼 사용되어 왔었고, 지금까지도 사용된 캐릭터가 있기 때문입니다.

    • W++ : 왜 문제인가?

      구조적인 이유로 W++ 는 카테고리에 포함된 내용을
      모델의 셀프 어텐션과 관련 없이 강제적으로 삽입하는데 치중되어 있으며,
      문장 형식을 깨뜨리고 과도한 구분 기호 사용으로 토큰이 낭비되게 됩니다.

      지금의 AI 들도 이러한 양식을 이해할 수 는 있지만,
      너무 많고 중첩된 데이터와 쓸데없는 토큰 사용량으로
      창의력과 최적화를 저하시키는 등 여러 문제를 일으키게 됩니다.

      앞서 설명드린 구세대 양식들과 마찬가지로
      현재의 AI 모델에서 의미가 없는 양식입니다.

    • W++ : 예시

      괄호로 구분된 카테고리와 따옴표로 묶인 내용으로 이루어져 있으며,
      닫힌 형식으로 따로 마침표와 같은 기호를 사용하지 않는 특징이 있습니다.

      또한, 작성에 단어로 구분된 설명을 기본적으로 사용하지만,
      길고 복잡한 내용에는 평문을 사용하기도 합니다.

      [Character ("Kim Chatbung"){
      Nickname ("Ddalbungi")
      Species ("Human")
      Gender("Male")
      Occupation("Unemployed" + "Home security guard")
      Personality ("positive" + "impulsive" + "doesn't like to go outside" + "likes to read" + "loves AI")
      Appearance ("resembles Joaquin Phoenix" + "when he goes outside, girls all stare at him")
      Likes ("GPT-4" + "Claude" + "Todd Howard")
      Dislikes ("Jeju tangerines")
      Thoughts ("He is very fond of AI and thinks of AI as his girlfriend")
      Description ("Kim Chatbun is one of the users of the AI chat channel and has many AI girlfriends")}]
      

  • ❓ 대괄호 양식

    GPT 3.0 이전부터 사용되어왔던 구세대 양식입니다.

    대게 AI Dungeon 게임에서 사용되었던 이 양식들은 대부분 자연어가 아닌,
    컴퓨터 언어와 유사한 코드로 구성되어 있으며 수많은 하위 모델이 존재합니다.

    현재 AI 모델들이 이러한 양식을 읽지 못하는 것은 아니지만,
    자연어 처리에 집중되어있는 현재의 주요 AI 모델들에서
    효율성, 혼란 등의 문제로 도태된 양식들입니다.

    굳이 알아볼 필요도 없고, 사용할 이유도 없습니다!

  • ❓ 대괄호 양식

    GPT 3.0 이전부터 사용되어왔던 구세대 양식입니다.

    대게 AI Dungeon 게임에서 사용되었던 이 양식들은 대부분 자연어가 아닌,
    컴퓨터 언어와 유사한 코드로 구성되어 있으며 수많은 하위 모델이 존재합니다.

    현재 AI 모델들이 이러한 양식을 읽지 못하는 것은 아니지만,
    자연어 처리에 집중되어있는 현재의 주요 AI 모델들에서
    효율성, 혼란 등의 문제로 도태된 양식들입니다.

    굳이 알아볼 필요도 없고, 사용할 이유도 없습니다!

  • ❓ 대괄호 양식

    GPT 3.0 이전부터 사용되어왔던 구세대 양식입니다.

    대게 AI Dungeon 게임에서 사용되었던 이 양식들은 대부분 자연어가 아닌,
    컴퓨터 언어와 유사한 코드로 구성되어 있으며 수많은 하위 모델이 존재합니다.

    현재 AI 모델들이 이러한 양식을 읽지 못하는 것은 아니지만,
    자연어 처리에 집중되어있는 현재의 주요 AI 모델들에서
    효율성, 혼란 등의 문제로 도태된 양식들입니다.

    굳이 알아볼 필요도 없고, 사용할 이유도 없습니다!






- REFER : AI 가이드 참고 자료 -




  • 참고 논문 & 자료 링크

    AIO 가이드를 작성하며 인용한 모든 자료들에 대한 링크입니다.
    가이드에서 의도적으로 누락되거나 생략된 내용을 보충하기 위해
    각각 카테고리로 나누어 링크를 걸어두었으니 AI와 프롬프팅에 대해
    더 궁금한 점이 있다면 아래 자료를 참고해 주세요!

  • LLM : Large Language Models

    [Google] Attention Is All You Need : [2017. 12. 06]
    [OpenAI] GPT-4 230327 Technical Report : [2023. 03. 27]
    [OpenAI] Improving Language Understanding by Generative Pre-Training (GPT) : [2018. 06. 11]
    [Anthropic] Claude 230524 Circuits Updates : [2023. 05. 24]

    [Arxiv] Eight Things to Know about Large Language Models : [2023. 04. 02]
    [Arxiv] Empowering Large Language Models with Optimal Planning Proficiency (LMM+P) : [2023. 05. 05]
    [Arxiv] Improving language models by retrieving from trillions of tokens : [2022. 02. 07]
    [E-Book] Deep Learning & Natural Language Processing : [2023. 05. 28]

  • RNN : Recurrent Neural Networks

    [Arxiv] Fundamentals of Recurrent Neural Network (RNN) : [2021. 01. 31]
    [Arxiv] Long Short-Term Memory Recurrent Neural Networks (LSTM-RNN) : [2019. 09. 12]
    [Arxiv] Gate-Variants of Gated Recurrent Unit Neural Networks (GRU-RNN) : [2017. 01. 20]
    [Arxiv] Long Short-Term Memory Network (LSTM) : [2021. 01. 31]

  • AI Model Document

    [Document] GPT OpenAI Documentation : [바로가기]
    [Document] Anthropic Claude Documentation : [바로가기]

  • AI Model Prompting

    [Arxiv] Zero-Shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly : [2020. 09. 23]
    [Arxiv] One-Shot Generalization in Deep Generative Models : [2016. 05. 25]
    [Arxiv] Matching Networks for One Shot Learning : [2017. 12. 29]
    [Arxiv] Language Models are Few-Shot Learners : [2020. 07 22]
    [Arxiv] Prototypical Networks for Few-shot Learning : [2017. 06. 19]

    [Arxiv] Generated Knowledge Prompting for Commonsense Reasoning : [2022. 05. 27]
    [Arxiv] Language Agents with Verbal Reinforcement Learning (Reflexion) : [2023. 05. 21]
    [Arxiv] Tree of Thoughts: Deliberate Problem Solving with Large Language Models (ToT) : [2023. 05. 17]
    [Arxiv] Self-Consistency Improves Chain Of Thought Reasoning In Language Models (CoT-SC) : [2023. 05. 07]
    [Arxiv] Large Language Models Are Human-Level Prompt Engineers : [2023. 05. 10]
    [Arxiv] Lost in the Middle: How Language Models Use Long Contexts : [2023. 07. 06]

    [Anthropic] Red Teaming Language Models to Reduce Harms : [2022. 11. 22]
    [Anthropic] Language Models (Mostly) Know What They Know : [2022. 11. 21]
    [Anthropic] Distributed Representations: Composition & Superposition : [2023. 05. 04]

    [Document] GPT Best Practices Documentation : [바로가기]
    [Document] Claude Best Explicit Documentation : [바로가기]

  • AI Model *INFORMAL* Comparison

    [Scale] Anthropic’s Rival to ChatGPT : [2023. 01. 17]

  • AI Censorship & Constitution

    [H-Face] Human Feedback Reinforcement Learning (RLHF) : [2022. 12. 09]
    [Arxiv] Training language models to follow instructions with human feedback (RLHF) : [2022. 03. 04]
    [Arxiv] Jailbroken: How Does LLM Safety Training Fail? : [2023. 07. 05]

    [Anthropic] Claude Constitution : [2023. 05. 09]
    [Anthropic] Claude Constitutional AI (CAI-SL/CAI) : [2023. 05. 09]
    [Anthropic] Anthropic Training a Helpful and Harmless Assistant (RLHF) : [2022. 04. 12]
    [OpenAI] Self-critiquing models for assisting human evaluators (APE) [2022. 01. 14]


Edit Report
Pub: 23 May 2023 03:03 UTC
Edit: 26 Jul 2023 16:26 UTC
Views: 693