Pēdējās dienās man bija iespēja nopietnāk iepazīties ar vienu no open-source risinājumiem darbam ar lielajiem valodas modeļiem — Open WebUI. Nevis virspusēji, bet praktiski: konfigurējot, testējot, salīdzinot ar komerciālajiem rīkiem un mēģinot saprast, kāpēc sajūta ir tik atšķirīga.
Šī pieredze izrādījās ne tikai tehniski interesanta, bet arī konceptuāli izaicinoša. Tā lika no jauna paskatīties uz jautājumiem, kas komerciālajā AI vidē bieži paliek fonā: paredzamību, kontroli, atbildības sadalījumu un pat matemātiku.
Komforts pret izpratni
Komerciālie AI asistenti ir būvēti, lai būtu ērti. Tie ir ātri, glīti, ar minimālu konfigurāciju. Lietotājs uzdod jautājumu — sistēma atbild. Viss strādā “it kā pats no sevis”.
Open-source vide darbojas citādi. Tā necenšas slēpt sarežģītību. Tieši otrādi — tā to atklāj.
Darbojoties ar Open WebUI, ļoti ātri kļūst skaidrs:
šis nav rīks tikai “rezultātam”. Tas ir rīks domāšanai par to, kā rezultāts rodas.
Un tas ir būtiski.
Modelis nav “viens vesels”
Komerciālajā vidē modelis parasti tiek uztverts kā abstrakta vienība: “GPT”, “Copilot”, “Gemini”.
Open-source pasaulē šis priekšstats sabrūk.
Te modelis ir:
- konkrēta arhitektūra,
- konkrēts parametru skaits,
- konkrēta apmācības filozofija,
- konkrētas stiprās un vājās puses.
Izvēlēties modeli nozīmē pieņemt tehnisku lēmumu. Mazāks modelis var būt stabilāks un paredzamāks. Lielāks — radošāks, bet arī riskantāks. Tas, kas komerciālajā vidē tiek uzskatīts par “novecojušu”, šeit bieži izrādās uzticams un saprotams.
Un uzticamība dažos kontekstos ir vērtīgāka par spožumu.
Prompts nav teksts. Tas ir instruments.
Strādājot ar Open WebUI, mainās arī attieksme pret promtu.
Komerciālajā vidē promts bieži ir “labi noformulēts jautājums”.
Šeit promts ir kontroles mehānisms.
Ir dažādi promtu veidi:
- sistēmas promts (nosaka uzvedību),
- uzdevuma promts (ko tieši darīt),
- ierobežojošs promts (ko nedrīkst darīt),
- verifikācijas promts (kā atbildēt, ja informācijas nav).
Nelielas izmaiņas promtā var radikāli mainīt rezultātu. Tas piespiež domāt precīzāk, strukturētāk, disciplinētāk. Faktiski — tas liek formulēt domas tā, lai tās būtu izpildāmas, nevis tikai saprotamas cilvēkam.
Parametri: vieta, kur atgriežas matemātika
Viens no interesantākajiem brīžiem ir darbs ar ģenerēšanas parametriem:
- temperature,
- top-p,
- top-k,
- max tokens,
- sampling režīmi.
Šeit vairs nepietiek ar intuīciju.
Te atgriežas statistika un varbūtību sadalījumi.
Temperature nav “radošuma slēdzis”. Tā ir nejaušības pakāpe.
Top-p nav “kvalitātes filtrs”. Tas ir kumulatīvās varbūtības griezums.
Saprotot to, mainās attieksme pret atbildēm. Tās vairs netiek uztvertas kā “pareizas” vai “nepareizas”, bet kā rezultāts konkrētai varbūtību konfigurācijai.
Un tas ir ļoti veselīgs skatījums.
Kāpēc tas viss ir svarīgi
Šī pieredze lika noformulēt vienu secinājumu:
daudzās profesionālās jomās AI problēma nav “vai atbilde ir gudra”, bet gan:
- vai tā ir pārbaudāma,
- vai tā ir reproducējama,
- vai ir skaidrs, kad atbildes nav.
Open-source rīki ne vienmēr ir ērtāki. Bet tie ir godīgāki. Tie atklāj mehānismu, nevis to maskē. Tie prasa vairāk domāšanas, bet arī dod vairāk kontroles.
Noslēgumā
Darbs ar Open WebUI man atgādināja, ka tehnoloģiju attīstībā ne vienmēr pareizais virziens ir “vēl vienkāršāk lietot”. Dažreiz pareizais virziens ir labāk saprast.
Un reizēm tas, ko komerciālā vidē uzskata par novecojušu, patiesībā ir:
- stabils,
- paredzams,
- uzticams.
Tieši tāds, kāds vajadzīgs, ja ar AI strādā nevis izklaidei, bet ar atbildību.