사고 문서에 쓸 모델 연결하기

Buncha Build는 표준 API 엔드포인트를 통한 클라우드 AI 제공업체, PC에서 로컬로 실행되는 모델, 내장 모델과 함께 작동해요. 어떤 것을 고르느냐에 따라 프롬프트 텍스트가 가는 곳이 달라지니, 문서를 열기 전에 정하세요. 버전 2.9.30은 세 가지를 모두 제공해요.

모델을 실행하는 세 가지 방법

클라우드 AI 제공업체

클라우드 AI 제공업체는 이미 계정이 있고 더 큰 모델을 원하는 사람에게 알맞아요. Buncha Build는 표준 API 엔드포인트로 연결해요. 프롬프트가 PC를 떠나요. 에이전트가 읽은 파일 텍스트를 포함한 프롬프트 텍스트가 해당 제공업체로 가고, 제공업체가 서비스 요금을 따로 받을 수도 있으니 민감한 자료는 작업 폴더에 두지 마세요.

PC에서 로컬로 실행되는 모델

PC에서 로컬로 실행되는 모델은 연락처 목록이나 내부 메모처럼 기기에 머물러야 하는 문서에 알맞아요. PC 밖으로 나가는 것은 없어요. 프롬프트는 선택한 엔드포인트로만 가고, 이 경우 그 엔드포인트는 기기 자체에서 실행돼요. 대신 하드웨어가 필요해요. 작은 모델은 글을 덜 잘 쓸 수 있으니 모든 diff를 읽고 결과를 시험해 보세요.

내장 모델

내장 모델은 Buncha Build와 함께 제공되므로 시작하는 데 클라우드 계정이나 별도의 엔드포인트가 필요 없어요. 프롬프트는 사용 중인 모델의 엔드포인트로만 가고, 모든 프롬프트를 기기에 두는 것은 PC에서 로컬로 실행되는 모델뿐이에요. 문서가 PC를 떠나면 안 될 때는 로컬 모델을 고르세요. 필요하면 나중에 바꾸세요.

Test 버튼으로 연결 확인하기

Test 버튼은 작업을 시작하기 전에 엔드포인트를 확인해요. 응답 시간과 컨텍스트 윈도우를 보여 줘요. 문서에서는 컨텍스트 윈도우가 중요한데, 작으면 한 번에 담는 페이지가 적고, 응답 시간이 느리면 긴 검토가 지치기 때문이에요. 변경한 뒤에는 다시 테스트하세요.

작업에 맞는 모델 고르기

긴 절차를 단계별로 다시 구성하거나 여러 문서를 맞추는 것 같은 무거운 재작성에는 큰 모델을, 연락처 줄이나 제목을 고치는 것 같은 작은 수정에는 작은 모델을 쓰세요. run_on_model은 어려운 단계 하나만 더 큰 모델에 보내고 나머지 채팅은 작은 모델에 남겨 둬요. 사본으로 둘 다 써 보세요.

품질은 달라요. 모든 diff를 읽고, 모델이 무엇을 잘하는지 알아 가는 동안 Ask first를 켜 두고, 틀린 부분은 고치세요. 어떤 모델도 내 시스템에 대한 사용자의 지식을 대신하지 못해요.