Підключіть модель для документів про інциденти
Buncha Build працює з хмарним ШІ-провайдером через стандартний API-ендпоінт, з моделлю, що працює локально на вашому ПК, або з вбудованою моделлю. Від вибору залежить, куди потрапляє текст запитів, тож вирішіть це, перш ніж відкривати документи. Версія 2.9.30 пропонує всі 3.
Три способи запустити модель
Хмарний ШІ-провайдер
Хмарний ШІ-провайдер підійде тим, хто вже має акаунт у такого провайдера й хоче більшу модель. Buncha Build підключається через стандартний API-ендпоінт. Запити залишають ПК. Текст запиту, зокрема текст файлів, які читає агент, іде до цього провайдера, а той може окремо брати плату за свій сервіс, тож не тримайте чутливі матеріали в робочій теці.
Модель, що працює локально на вашому ПК
Модель, що працює локально на вашому ПК, підходить для документів, які мають лишатися на машині, наприклад списків контактів і внутрішніх нотаток. Нічого не залишає ПК. Запити йдуть лише на вибраний вами ендпоінт, який тут працює на самому комп’ютері. Ціна за це — обладнання: менша модель може писати гірше, тож читайте кожен diff і перевіряйте результат.
Вбудована модель
Вбудована модель постачається з Buncha Build, тож для початку не потрібні ні хмарний акаунт, ні окремий ендпоінт. Запити йдуть лише на ендпоінт моделі, яку використовують, і тільки модель, що працює локально на вашому ПК, тримає кожен запит на машині. Вибирайте локальну модель, коли ваші документи не повинні залишати ПК. За потреби змініть вибір пізніше.
Перевірте з’єднання кнопкою Test
Кнопка Test перевіряє ендпоінт, перш ніж ви почнете працювати. Вона показує час відповіді й контекстне вікно. Для документів контекстне вікно важливе, бо мале вміщує менше сторінок одразу, а повільна відповідь робить довгий огляд виснажливим. Перевіряйте ще раз після змін.
Як вибрати модель під завдання
Беріть більшу модель для великих переписувань, як-от розбиття довгої процедури на фази чи узгодження кількох документів, а меншу — для дрібних правок, наприклад рядка контакту чи заголовка. run_on_model передає один складний крок більшій моделі, а решта чату лишається на меншій. Спробуйте обидві на копії.
Якість різниться. Читайте кожен diff, тримайте Ask first увімкненим, поки з’ясовуєте, що модель робить добре, і виправляйте її помилки. Жодна модель не замінить ваших знань про власні системи.
