Unele dintre cele mai cunoscute modele de inteligență artificială nu respectă reglementările europene în domenii esențiale precum reziliența cibernetică și rezultatele discriminatorii, potrivit unui raport văzut de Reuters.
După dezbateri îndelungate privind reglementarea AI, lansarea ChatGPT de către OpenAI în 2022 a accelerat eforturile legislative.
Popularitatea acestuia și discuțiile privind riscurile existențiale ale modelelor au determinat UE să elaboreze reguli specifice pentru inteligența artificială cu utilizare generală (GPAI).
Noua unealtă de evaluare a AI
Un nou instrument, salutat de oficialii Uniunii Europene, a testat modele AI dezvoltate de companii mari precum Meta și OpenAI, în conformitate cu reglementările AI Act, care vor intra în vigoare treptat în următorii doi ani.
Creat de startup-ul elvețian LatticeFlow AI, împreună cu partenerii săi de la ETH Zurich și INSAIT din Bulgaria, instrumentul evaluează modelele AI în mai multe categorii, inclusiv robustețe tehnică și siguranță.
Pe un clasament publicat miercuri, modele dezvoltate de Alibaba, Anthropic, OpenAI, Meta și Mistral au obținut scoruri medii satisfăcătoare.
Totuși, unele modele au avut lacune în domenii critice, indicând necesitatea unei mai bune alocări a resurselor pentru a se alinia legislației.
Companiile care nu respectă AI Act riscă amenzi de 35 milioane de euro sau 7% din cifra lor de afaceri anuală.
Rezultate mixte
Deocamdată, UE lucrează la detalii privind aplicarea legislației pentru instrumentele AI generative precum ChatGPT și pregătește un cod de bune practici care ar urma să fie lansat în primăvara lui 2025.
Raportul oferă însă un prim indiciu al problemelor de conformitate.
De exemplu, rezultatele discriminatorii rămân o problemă, reflectând prejudecăți umane legate de gen, rasă și alte aspecte.
Modelul GPT-3.5 Turbo al OpenAI a primit un scor scăzut pentru rezultate discriminatorii. La fel și modelul Qwen1.5 72B Chat al Alibaba.
De asemenea, s-au testat capacitățile de protecție împotriva „hijacking-ului prompturilor” — un tip de atac cibernetic în care un prompt aparent legitim este folosit pentru a obține informații sensibile.
Modelul Llama 2 13B Chat al Meta a obținut un scor mic în această categorie, iar modelul 8x7B Instruct al startup-ului francez Mistral a obținut o notă extrem de redusă.
Cel mai ridicat scor mediu a fost obținut de modelul „Claude 3 Opus” al companiei Anthropic, susținută de Google.
Conformitate și recomandări
Testele sunt în concordanță cu textul AI Act și vor fi extinse pe măsură ce vor fi introduse noi măsuri de aplicare. LatticeFlow a anunțat că instrumentul „LLM Checker” va fi disponibil gratuit pentru dezvoltatori, pentru a testa modelele lor.
Petar Tsankov, CEO și cofondator al LatticeFlow, a declarat că rezultatele sunt încurajatoare și oferă companiilor un plan clar pentru a-și optimiza modelele conform legislației.
„Deși UE încă stabilește criteriile de conformitate, deja vedem unde există lacune în modele. Cu un accent mai mare pe optimizarea conformității, credem că furnizorii de modele vor fi bine pregătiți să respecte cerințele,” a spus Tsankov.
Deși Comisia Europeană nu poate verifica instrumentele externe, aceasta a fost informată pe parcursul dezvoltării LLM Checker și a descris inițiativa ca pe „un prim pas” în aplicarea noilor reguli.