Լեզուների մեծ մոդելները շարունակում են գաղութացնել տեխնոլոգիական լանդշաֆտը: Նրանք դուրս են եկել AI-ի կատեգորիայից և այժմ հայտնվում են անվտանգության, ծրագրավորման և նույնիսկ համացանցում: Դա բնական առաջընթաց է, և ոչ մի բան, որից մենք պետք է վախենանք. նրանք չեն գալիս մեր աշխատանքի համար: Բայց նրանք վերափոխում են տեխնոլոգիական արդյունաբերությունը:
Այս վերափոխման մի մասը «փոքր» մեծ լեզվական մոդելների տարածումն է: Մենք նշել ենք llama.cpp, Alpaca, Vicuna, Dolly 2.0, Koala և մի քանի այլ կայքերի տեսքը: Բայց դա միայն այսբերգի գագաթն է: Փոքր LLM-ները հայտնվում են ամեն օր, և ոմանք նույնիսկ կաշխատեն վեբ բրաուզերում: Այս միտումը խոստանում է նույնիսկ ավելի կարևոր լինել, քան «խոշոր» LLM-ների աճը, ինչպիսին է GPT-4-ը: Միայն մի քանի կազմակերպություններ կարող են կառուցել, վերապատրաստել և ղեկավարել խոշոր LLM-ները: Բայց գրեթե յուրաքանչյուրը կարող է պատրաստել փոքրիկ LLM, որը կաշխատի լավ սարքավորված նոութբուքի կամ աշխատասեղանի վրա:
Սովորեք ավելի արագ: Ավելի խորը փորեք: Տես ավելի հեռու:
AI
- NVidia-ն ներկայացրել է Nemo Guardrails-ը՝ արտադրանք, որի նպատակն է պահպանել Large Language Models-ի անվտանգ աշխատանքը: Այն թույլ չի տալիս LLM-ներին շեղվել թեմայից դուրս և պատասխանել հարցերին, որոնց չի թույլատրվում պատասխանել, ստուգում է փաստերը (օգտագործելով այլ LLM-ներ) և թույլ է տալիս մուտք գործել միայն երրորդ կողմի հավելվածներ, որոնք հայտնի են որպես անվտանգ:
- QuiLLMan-ը բաց կոդով ձայնային զրույց է: Այն օգտագործում է Vicuna-13B մոդելը՝ OpenAI Whisper-ով՝ օգտատիրոջ ձայնը արտագրելու համար, և Metavoice Tortoise-ը՝ պատասխանը վերափոխելու խոսակցական ձայնի:
- RedPajama նախագիծը մտադիր է ստեղծել լիովին բաց կոդով լայնալեզու մոդել: Այս գործընթացի առաջին քայլը վերապատրաստման համար 1,2 տրիլիոն նշանային տվյալների բազայի թողարկումն է:
- AI-ն զբաղվում է նորաձևությամբ. Հետազոտողները (Իտալիայում, ուրիշ որտե՞ղ) մշակել են մուլտիմոդալ հագուստի դիզայներ, որն օգտագործում է դիֆուզիոն մոդելներ՝ ստեղծելու ցուցումներում նկարագրված հագուստ կրող մարդկանց իրատեսական պատկերներ:
- Մենք պատահաբար խոսում ենք արագ ճարտարագիտության մասին. Միտչել Հաշիմոտոն (Hashicorp-ի հիմնադիր) քննարկում է, թե ինչ է նշանակում արագ ճարտարագիտության համար լինել իսկական ինժեներական դիսցիպլին:
- WasmGPT-ը զննարկիչում տրամադրում է ChatGPT-ի նման AI chatbot-ը գործարկելու ևս մեկ միջոց՝ այս անգամ WebAssembly-ի միջոցով: Այն օգտագործում է Cerebras-GPT-1.3B մոդելի տարբերակը: Չնայած այն շատ հակված է հալյուցինացիաների, այն ցույց է տալիս, թե ինչ կարելի է անել WASM-ով և առանց էկզոտիկ սարքավորումների:
- Stability.ai-ը՝ Stable Diffusion-ի ստեղծողը, հենց նոր հայտարարեց նոր խոշոր լեզվական մոդելի՝ StableLM-ի մասին: Մոդելը բաց կոդով է և կարող է օգտագործվել առևտրային ծրագրերում: Այն վերապատրաստվել է նոր տվյալների բազայով՝ հիմնված The Pile-ի վրա, բայց շատ ավելի մեծ:
- LLaVA-ն (Large Language and Vision Assistant) նոր մուլտիմոդալ լեզվի մոդել է, որը թույլ է տալիս վերբեռնել պատկերներ և հարցեր տալ դրանց վերաբերյալ:
- Ինչպես որ կան մասնագիտացված LLM-ների վերապատրաստման տեխնիկա, այնպես էլ հնարավոր է պատրաստել մասնագիտացված դիֆուզիոն մոդելներ պատկերի ստեղծման համար: Dreambooth-ը դիֆուզիոն մոդելների անհատականացման գործնական տեխնիկա է:
- GPT-4-ի պատկերի հնարավորությունները դեռ անջատված են: Հետազոտական խումբը ստեղծել է MiniGPT-4, որը թույլ է տալիս օգտատերերին վերբեռնել և զրուցել պատկերների մասին։ Այն հիմնված է Vicuna-ի վրա, ուստի այն կարող է (հավանաբար) աշխատել լավ սարքավորված նոութբուքի կամ աշխատասեղանի վրա:
- Web LLM-ը նախագիծ է, որն աշխատում է Vicuna 7B լայնալեզու մոդելն ամբողջությամբ Chrome բրաուզերում՝ օգտագործելով WebGPU-ն (ընթացիկ Chrome բետա-ում): Նրա կատարումը զարմանալիորեն լավ է:
- AWS-ը թողարկել է իր սեփական մեծ լեզվի մոդելը, որը կոչվում է Titan, ինչպես նաև նոր ծառայություն՝ LLM-ների վերապատրաստման և տեղակայման համար, որը կոչվում է Bedrock: Նրանց նպատակն է օգնել օգտատերերին մշակել իրենց սեփական չաթ-բոտերը, որոնք ենթադրաբար կաշխատեն AWS-ով:
- Ի՞նչ կա ChatGPT-ից այն կողմ: AutoGPT նշանակում է ChatGPT գործակալների ստեղծում, որոնք առանց միջամտության առաջադրանքներ են կատարում օգտվողի համար: Այս առաջադրանքները սովորաբար ներառում են լրացուցիչ ChatGPT հարցումներ՝ ավտոմատ կերպով ստեղծվող հուշումներով:
- Databricks-ը թողարկել է Dolly 2.0-ը՝ 12B պարամետրային մոդել, որն ամբողջությամբ բաց կոդով է և վերապատրաստվել է GPT մոդելներից անկախ տվյալների հետ (ի տարբերություն Alpaca-ի և այլ փոքր LLM-ների): Մոդելը և դրա ուսուցման տվյալները հասանելի են GitHub-ում և HuggingFace-ում:
- GPT-4-ի պլագիններից մեկը ավազարկղ է, որը թույլ է տալիս գործարկել Python ծրագրերը: GPT-3.5-ը և 4-ը հաճախ գրում էին ծրագրեր, բայց կարող էին միայն «կռահել» դրանց արդյունքի մասին: Սա կարող է մեծ առաջընթաց լինել GPT-4-ի ճշգրտության առումով, գոնե ծրագրավորման առաջադրանքների համար:
- Alibaba-ն հայտարարել է, որ կթողարկի ChatGPT-ի նման բոտ՝ Tongyi Qianwen անունով: Այն նախատեսում է ինտեգրել բոտն իր բոլոր արտադրանքներում՝ սկսած Alibaba-ի աշխատավայրում հաղորդագրությունների փոխանակման հավելվածից:
- Facebook-ը մշակել է SAM՝ ունիվերսալ հատվածավորման մոդել, որը կարող է հայտնաբերել և նշել պատկերի բոլոր առանձին օբյեկտները: Բնական լեզվի հուշումները նշում են, թե պատկերի որ օբյեկտներն եք ցանկանում մեկուսացնել:
- Գեներատիվ գործակալները օգտագործում են մեծ լեզվական մոդելներ և այլ գեներացնող AI գործիքներ՝ մարդու վարքագիծը մոդելավորելու համար: Մոդելավորման մեջ, որը դրդված էր միայն գործակալների կողմից խնջույք կազմակերպելու առաջարկով, նրանք պլանավորեցին, ուղարկեցին հրավերներ, ծանոթացան և կատարեցին շատ այլ մարդկային վարքագիծ:
- Մենք ապրում ենք փոքր մեծ լեզուների մոդելների տարածում. հիմնված Meta-ի LLaMA-ի վրա՝ 6B-ից 13B պարամետրերով և կարող են աշխատել լավ սարքավորված նոութբուքի կամ աշխատասեղանի վրա GPU-ով, ChatGPT-ի հուշում/պատասխան զույգերի վրա հիմնված լրացուցիչ ուսուցումով: Վերջիններն են Վիկունան և Կոալան; ուրիշներն անկասկած կլինեն:
- ChatGPT-ի օգտագործումն արգելվել է Իտալիայում՝ գաղտնիության խնդիրների պատճառով: (Արգելքը հանվել է ապրիլի վերջին այն բանից հետո, երբ OpenAI-ն անդրադարձել է կարգավորիչների կողմից բարձրացված խնդիրներին): Հավանական է, որ Գերմանիան կհետևի, և, հնարավոր է, եվրոպական այլ երկրներ:
- Առնվազն երեք անգամ Samsung-ի աշխատակիցները ակամա բացահայտել են տեխնոլոգիական գաղտնիքները՝ օգտագործելով ChatGPT: Նրանց հուշումները և ChatGPT-ի պատասխանները ներառվել են ChatGPT-ի լեզվական մոդելի մեջ, որտեղից նրանք արտահոսել են արտաքին աշխարհ:
- Google-ը միացրել է Bard-ի կոդերի ստեղծման հնարավորությունները: Այն նաև ավելացրել է թվաբանական և տրամաբանական լրացուցիչ հնարավորություններ, ինչը թույլ է տալիս ավելի քիչ սխալներ թույլ տալ պարզ թվաբանության և տրամաբանության մեջ:
- Հետազոտողները ստեղծել են արհեստական ինտելեկտի նոր ճարտարապետություն, որը միավորում է նեյրոնային ցանցերը խորհրդանշական մոդելների հետ այնպես, որ հաղթահարում է երկուսի սահմանափակումները:
- Generative art հավելվածը, ըստ երևույթին, ժամանակավորապես դադարեցրել է իր անվճար փորձնական հաշիվների ծրագիրը՝ ի պատասխան հարթակում ստեղծվող խորը կեղծիքների: Անվճար փորձարկումները կասեցվել են մինչև հաջորդ «համակարգի բարելավումը» իրականացվի:
Ծրագրավորում
- Pushup-ը Go-ի համար նոր վեբ շրջանակ է: Դա «կարծիք» ձևանմուշի վրա հիմնված շրջանակ է՝ Ruby on Rails կամ Django ոճով: Անտեսեք Java-ի վատ տեղեկացված ծեծկռտուքը. շրջանակը, կարծես, արժե ուսումնասիրել:
- Docs-as-Code. Etsy-ն ստեղծել է գործիքներ՝ փաստաթղթերի մշակումը դարձնելու նույնքան խիստ և պահպանելի, որքան կոդի մշակումը, ինտեգրելով փաստաթղթերը դրանց մշակման և տեղակայման խողովակաշարերում:
- AWS-ը օգտագործման համար բացել է CodeWhisperer-ը՝ GitHub Copilot-ի մրցակիցը: Այն անվճար է անձնական օգտագործման համար:
- Հարցման համաձայն՝ Kubernetes-ի տեղակայումները միտում ունեն դեպի «Կառավարվող Kubernetes», որտեղ Kubernetes-ի գործարկման պատասխանատվությունը հանձնվում է մեկ այլ ընկերության՝ սովորաբար ամպային վաճառողին:
- FerretDB-ն նոր բաց կոդով տվյալների բազա է, որն այլընտրանք է MongoDB-ին: Քանի որ այն օգտագործում է Server Side Public License (SSPL), MongoDB-ն այլևս չի կարող համարվել բաց կոդով:
- Նոր տվյալների բազան՝ NAM-DB, ցույց է տալիս, որ բաշխված գործարքները կարող են մասշտաբավորվել:
- Flyte-ը բաց կոդով կոնտեյներների նվագախմբային հարթակ է, որը նախագծվել է հատուկ տվյալների գիտության ծանրաբեռնվածության համար: Այն հիմնված է Kubernetes-ի վրա։
Անվտանգություն
- Կարևոր զեկույցը ընդգծում է AI համակարգերի անվտանգության ռիսկերը: AI-ն ունի ավանդական ծրագրաշարի բոլոր խոցելիությունները, բացի իր սեփականից. և թեև այն դեռևս հարձակման նախընտրելի վեկտոր չէ, հարձակումները նկատվել են վայրի բնության մեջ և, անկասկած, կբազմապատկվեն, քանի որ AI-ն ավելի լայն տարածում ունի:
- Գաղտնագրությունը սխալ բերելու բազմաթիվ եղանակներ կան, և խնդիրները շատ ավելի նուրբ են, քան «ինքներդ գաղտնագրման ալգորիթմներ չկիրառեք»: Ահա մի գրառում ցիպտոգրաֆիկ լավագույն փորձի վերաբերյալ, որը ցույց է տալիս, թե ինչպես կարելի է այն ճիշտ դարձնել:
- eBPF (բարելավված Berkeley Packet Filter) հզոր գործիք է բեռնարկղերի դեմ հարձակումները և սպառնալիքները հայտնաբերելու համար. այն օգտագործելի է այն իրավիճակներում, երբ ավանդական անվտանգության մոնիտորինգը չի աշխատում:
- Նոր արագ ներարկման հարձակումը հարձակվողին թույլ է տալիս գողանալ զրույցի տվյալները՝ խաբելով օգտատիրոջը՝ պատճենելու և ChatGPT-ում տեղադրելու հաղորդագրությունը:
- SAP-ը ստեղծել է Risk Explorer, որը կարող է օգնել օգտվողներին գնահատել ռիսկերը իրենց ծրագրային ապահովման մատակարարման շղթաներում: Դա հայտնի հարձակումների հիերարխիա է՝ բացատրություններով, որոնք կարելի է ուսումնասիրել գրաֆիկական ինտերֆեյսի միջոցով:
- PassGAN-ը արհեստական ինտելեկտի վրա հիմնված գաղտնաբառերի կոտրման գործիք է: Չնայած վախ հրահրող աղմուկին, դա ավելի լավ չէ, քան դաժան ուժի մեթոդները: Ավելի կարևոր է, որ դրա մշակողները օգտատերերին խորհուրդ են տալիս փոխել իրենց գաղտնաբառերը յուրաքանչյուր 3-6 ամիսը մեկ, փոփոխություն, որն ավելի խոցելի է դարձնում կայքերը և հակասում է NIST-ի, FTC-ի, Microsoft-ի և այլոց առաջարկություններին:
- Ժամանակակից մեքենաների մեծ մասի դեմ հարձակումը պահանջում է առևանգել CAN ավտոբուսը (Controller Area Network), որը միացնում է մեքենայի բոլոր համակարգերը: Դա պահանջում է որոշակի վանդալիզմ; կողպված մեքենայի վրա CAN ավտոբուս մուտք գործելու ամենադյուրին ճանապարհը լուսարձակներն են: Հարձակումը տեսել են վայրի բնության մեջ:
- Աշխատանքային ծանրաբեռնվածության անվտանգության օղակները աշխատանքի ծանրաբեռնվածության մեկուսացման նոր մոտեցում են՝ հիմնվելով դրանց անվտանգության պահանջների վրա՝ նվազագույնի հասցնելով արդյունավետության հետ կապված փոխզիջումները: Աշխատանքային ծանրաբեռնվածությունը բաժանվում է երեք դասերից մեկի՝ զգայուն, կարծրացած և վստահելի:
- ՀԴԲ-ն փակել է Genesis Market-ը՝ գողացված տվյալների և չարամիտ ծրագրերի առցանց խանութը:
- Լեզուների խոշոր մոդելներ ստեղծողները հետ չեն մնում նրանց դեմ ուղղված հարձակումներից: Անվտանգությունը, ինչպես ասում են, «ծանր խնդիր» է. բայց քանի որ մոդելներն արդեն լայն տարածում ունեն, LLM-ի վրա հիմնված խարդախությունը հետ չի մնա:
- CMU-ի հետազոտական նախագիծը տեղադրեց հարյուրավոր ցանցային սենսորներ, ներառյալ խոսափողներ, նոր CS բաժնի շենքում: Այս տեղադրումը զգալի հակասություն է առաջացրել գաղտնիության իմաստի և ապագայի վերաբերյալ:
- Կեղծ Ransomware-ը հնչում է որպես ապրիլմեկյան կատակ, բայց դա իրական է: Սպառնալիքների որոշ դերակատարներ սպառնում են վաճառել կամ բացահայտել գողացված տվյալները՝ փաստացի չստանալով տվյալները: Դա ֆիշինգի տարօրինակ տեսակ է և զարմանալիորեն արդյունավետ:
- Արտահոսած փաստաթղթերի մեծ փաթեթը նկարագրում է Ռուսաստանի լայնածավալ կիբերպատերազմի ջանքերը:
- Security Copilot-ը զրույցի օգնական է, որն օգնում է ՏՏ անձնակազմին միջադեպերին արձագանքելու հարցում: Այն հիմնված է GPT-4-ի վրա՝ հավելյալ մոդելով, որն ինտեգրում է անվտանգության միջադեպերի մասին Microsoft-ի գիտելիքներից ստացված տվյալները:
Վեբ
- Consent-O-Matic-ը զննարկիչի պլագին է, որն ավտոմատ կերպով լրացնում է անհանգստացնող թխուկների պատուհանները այնպես, որ առավելագույնի հասցնի գաղտնիությունը: Այն հասանելի է բրաուզերների վեբ խանութներից; աղբյուր կոդը գտնվում է GitHub-ում:
- Google-ի Environmental Insights Explorer-ն ապահովում է շրջակա միջավայրի և կայունության մասին տվյալների հասանելիություն աշխարհի ավելի քան 40,000 քաղաքների համար:
- Perseus-ը Rust-ի նոր բարձր արդյունավետությամբ վեբ շրջանակ է: Այն աշխատում է WebAssembly-ում:
- CGI-ն վերադառնում է: Իհարկե, այն իրականում երբեք չի անհետացել: Սակայն WCGI-ն, օգտագործելով WebAssembly-ը՝ CGI հավելվածները գործարկելու համար, ավելի ապահով և արագ է:
- WebGPU-ն առաքվում է Chrome 113-ում (ներկայումս բետա տարբերակով), և մշակումն ընթացքի մեջ է Firefox-ի և Safari-ի համար: WebGPU-ն JavaScript ստանդարտ է GPU-ների և այլ առաջադեմ գրաֆիկական սարքավորումների հետ զննարկիչից փոխազդելու համար:
- Salesforce-ը ստեղծել է հարթակ, որը թույլ է տալիս ընկերություններին ստեղծել NFT-ի վրա հիմնված հաճախորդների հավատարմության ծրագրեր: Այս ծրագրերը ընկերություններին ուղղակի հասանելիություն են տալիս հաճախորդների տվյալներին՝ վերացնելով թխուկների օգտագործման սահմանափակումների շրջանակում աշխատելու անհրաժեշտությունը: Արդյո՞ք կրիպտո դրամապանակները նոր թխուկներն են:
Ընդլայնված և վիրտուալ իրականություն
- Facebook/Meta-ն օգտագործում է գաղտնի բովանդակության մոդերատորներ Horizon Worlds-ի հսկողության համար:
- Հնարավո՞ր է գաղտնիություն վիրտուալ իրականության մեջ: Հավանաբար ոչ. Շատ բան կախված է շարժման վրա, և շարժումը ճանաչելի է: Ականջակալները թողնում են տվյալների հետք, որը շատ դժվար կլինի անանունացնել:
- Ընդլայնված իրականությունը մեռած չէ: Snap-ը թողարկում է AR «հայելիներ» խանութների համար, որոնք հաճախորդներին ցույց են տալիս, թե ինչպիսի տեսք կունենան հագուստ կրելով՝ առանց այն փորձելու: