Verbind een model voor je incidentdocumenten
Buncha Build werkt met een cloud-AI-aanbieder via een standaard API-endpoint, met een model dat lokaal op je pc draait, of met het ingebouwde model. De keuze bepaalt waar de prompttekst heen gaat, dus beslis voordat je documenten opent. Versie 2.9.30 biedt alle 3.
Drie manieren om het model te draaien
Een cloud-AI-aanbieder
Een cloud-AI-aanbieder past bij wie er al een account heeft en een groter model wil. Buncha Build verbindt via een standaard API-endpoint. Prompts verlaten de pc. De prompttekst, inclusief de tekst van bestanden die de agent leest, gaat naar die aanbieder, die zijn dienst ook apart kan rekenen, dus houd gevoelig materiaal uit de werkmap.
Een model dat lokaal op je pc draait
Een model dat lokaal op je pc draait past bij documenten die op de machine moeten blijven, zoals contactlijsten en interne notities. Er verlaat niets de pc. Prompts gaan alleen naar het endpoint dat je koos, dat hier op de machine zelf draait. De keerzijde is de hardware: een kleiner model schrijft mogelijk slechter, dus lees elke diff en test het resultaat.
Het ingebouwde model
Het ingebouwde model wordt met Buncha Build meegeleverd, dus om te beginnen heb je geen cloudaccount of apart endpoint nodig. Prompts gaan alleen naar het endpoint van het model dat in gebruik is, en alleen een model dat lokaal op je pc draait houdt alle prompts op de machine. Kies een lokaal model als je documenten de pc niet mogen verlaten. Schakel later over als dat nodig is.
Controleer de verbinding met de knop Test
De knop Test controleert een endpoint voordat je aan het werk gaat. Hij toont de reactietijd en het contextvenster. Het contextvenster is belangrijk bij documenten, omdat een klein venster minder pagina's tegelijk past, en een trage reactietijd maakt een lange review vermoeiend. Test opnieuw na wijzigingen.
Een model kiezen voor de taak
Gebruik een groter model voor zware herschrijvingen, zoals een lange procedure in fasen herstructureren of meerdere documenten op elkaar afstemmen, en een kleiner model voor kleine bewerkingen zoals een contactregel of een kop corrigeren. run_on_model stuurt één moeilijke stap naar een groter model terwijl de rest van de chat bij het kleinere blijft. Probeer beide op een kopie.
De kwaliteit varieert. Lees elke diff, laat Ask first aan staan terwijl je leert wat een model goed doet, en corrigeer wat het fout doet. Geen enkel model vervangt je eigen kennis van je systemen.
