Светът вече полудя по изкуствения интелект и всички видяхме какво могат т.нар. големи езикови модели (Large Language Models - LLMs), които са в основата на любимите ни ChatGPT, DALL-E, Midjourney и Google Gemini. Децата ги използват, за да си пишат домашните, търговците – за да създават по-въздействащи имейли за продажби, маркетолозите – за текстове и изображения за рекламни кампании, и дори някои мениджъри вече ги питат как да управляват компаниите си.

За добро или за лошо, тази технология вече е част от нашето ежедневие. Мнозина се питат какво предстои, а технологични визионери и фантастични писатели се надпреварват да правят все по-любопитни и според мнозина

плашещи прогнози.

От масово съкращаване на работни места до появата на изкуствен свръхинтелект и достигане до т.нар. точка на технологична сингулярност – хипотетичен момент в развитието на технологиите, след който хората и машините ще се слеят в един общ свръхинтелект. Той ще се развива отвъд нашите способности за възприемане.

Промяната, която предстои в сектора през следващите месеци обаче, изглежда, няма да е към по-големите и по-мощни изкуствени интелекти, а по-скоро към по-малките. Такива, които можем буквално да носим в джоба си и да използваме за различни ежедневни дейности. Докато светът се възхищава на мощта на GPT-4 и Gemini, в сянката им наблюдаваме една не по-малко

революционна вълна – „малките езикови модели“

(Small Language Models - SLMs). Те не са толкова зрелищни, нямат универсалните знания на ChatGPT, но са изненадващо умни, адаптивни и по-близки до реалните нужди на хората. Много са добри в точно определена сфера, като същевременно използват значително по-малко изчислителни ресурси. Това ги прави особено подходящи за бизнес организации, където е важно профилирането по вертикали. Според редица експерти от бранша в тези модели се крие потенциалът за

истинска демократизация на изкуствения интелект.

Да си представим интелигентен асистент, който работи офлайн, на нашия лаптоп или дори на мобилен телефон, без да изпраща личните ни данни в облака. Или малка вградена система в болница, училище, фабрика, която разбира специфичния език и контекст на работата в това учреждение и може да реагира мигновено — без сложна инфраструктура и значителни изчислителни ресурси. Това не е футуристичен сценарий, а реалност, която малките езикови модели вече започват да изграждат. И 2025 г. се очертава като годината, в която тази реалност ще навлезе масово около нас.

Какво представляват малките езикови модели?

Това са компактни версии на големите езикови модели като ChatGPT, но с много по-малък брой параметри – обикновено от няколко десетки милиона до няколко милиарда. За сравнение – при техните по-големи „братовчеди“ този показател варира от стотици милиарди, до трилиони. Въпреки по-ограничения си мащаб малките модели са способни да изпълняват множество задачи, като генериране на текст, превод, обобщение, класификация и дори програмиране.

Специфичното при тях е, че се обучават с конкретни цели и в точно определена област на познанието, което значи, че не притежават енциклопедичните знания на LLM моделите. За сметка на това могат да бъдат фино настроени за конкретни нужди – корпоративна комуникация, медицински приложения, образователни помощници и др. Те са част от нарастваща тенденция, в която качеството на AI не се измерва само с мащаб, а с ефективност и приложимост.

Предимствата са многобройни

За разлика от големите езикови модели, които изискват сериозна изчислителна мощ и работят основно в „облачна среда“, малките могат да бъдат внедрени локално, включително на потребителски устройства. Това дава на използващите ги независимост в много отношения. В добавка означава и повече поверителност, по-ниска латентност и значително по-малки разходи за използване. Потребителите вече не са задължени да споделят чувствителни данни с външни системи, а разработчиците могат да създават адаптирани решения, които работят бързо и сигурно, дори без интернет връзка.

Същевременно това, че са малки, не им пречи да извършват добре основната си работа. Така например, ако дадено SLM приложение има за цел да ни помага с управлението на бизнеса, то ще го прави добре. Просто няма да е способно да помага на детето ни с домашното по история или да ни отговори на въпроси като „Какво да сготвя за вечеря“, защото познанията му в тези области ще са ограничени.

Друго важно предимство е, че малките езикови модели са много по-достъпни за стартиращи компании, университети и индивидуални лица. Те не изискват скъпи графични процесори или специална инфраструктура за обучение и внедряване. Това демократизира достъпа до изкуствен интелект и позволява по-широко разпространение на тази технология в ежедневни продукти и услуги – от интелигентни асистенти в дома до езикови интерфейси в производствените системи.

В същото време обществото започва да обръща все повече внимание на енергийната ефективност, сигурността и контрола върху данните. В контекста на нарастващи притеснения за огромните енергийни ресурси, които се използват при обучението и използването на изкуствения интелект, малките модели могат да предоставят решение. Те могат да ни предложат основните предимства на тази технология, но без последиците от енергийното потребление и околната среда.

И накрая – те са гаранция за етичното използване на AI и защитата на личната информация. Това ги прави особено привлекателни за сектори като здравеопазване, образование, държавна администрация и индустрия, където поверителността и локалният контрол са от ключово значение.

Какво предстои?

През следващите месеци се очаква истинска експлозия в приложението на малки езикови модели. Технологични гиганти като Google, Meta, Microsoft и стартиращи компании като Mistral, Aleph Alpha и Cohere вече пуснаха или подготвят свои решения, които са отворени, лесни за внедряване и съвместими с популярните мобилни устройства. Системи като Gemma 2B на Google и Phi-3 Mini на Microsoft, макар и да не са типични малки модели, вече демонстрират, че е възможно да се получи много висока интелигентност на обикновено крайно устройство.

Истинската революция

в този подсегмент на AI технологиите обаче вероятно няма да бъде движена от Big Tech компаниите, а по-скоро от множество по-малки играчи. Френският стартъп Mistral AI неотдавна показа възможностите на своя Mistral 7B, който включва 7 милиарда параметъра и е изключително бърз и ефективен при работа на различни локални устройства. Важно негово предимство е, че се разпространява под отворен лиценз, което може да спомогне за обособяването на истинска общност около проекта.

Друг малък езиков модел, също с отворен лиценз и създаден от общност, е TinyLlama, който е базиран на едва 1,1 милиарда параметъра. Той е изключително лек и е предвиден за работа дори върху джаджи с Raspberry Pi архитектура. Това го прави подходящ за образователни проекти, за различни IoT (Internet of Things) приложения, както и за персонализирани локални асистенти. Falcon 1B / 7B от своя страна е разработен от Technology Innovation Institute в Обединените арабски емирства, развива се с отворен код и е предвиден за използване в индустриални и академични организации.

Равносметката

Макар големите езикови модели да остават двигател на революцията в AI, вероятно именно малките ще са тези, които ще направят технологията масово достъпна и практична. Те ще влязат в нашите телефони, в автомобилите, в умните часовници и дори в класните стаи. А това ще позволи да използваме пълните възможности на изкуствения интелект по един по-отговорен към природата и по-достъпен за обществото начин.

И още нещо важно – големите технологични бегемоти вече се готвят да установят контрол и върху тази вълна на иновациите, както са правили няколко пъти при предишните. И вероятно малките езикови модели са единствената възможност този процес да бъде спрян или поне ограничен в някаква степен. Би било добре обществото ни да получи технология, развивана от общности и достатъчно на брой независими малки играчи, за да си гарантираме, че тя ще бъде фокусирана върху интересите на гражданите, а не на няколко гигантски компании, стремящи се да затворят потребителите в своите екосистеми.