Thread of 33 posts
Aquesta setmana #PolGuasch parlava a rac1 de com la Generalitat de Catalunya dóna "resposta" a les reclamacions, clarament fent servir "Intel·ligència Artificial"
www.rac1.cat/a-la-carta/detail/b9a608bc-6c71-429d-8bb1-b4e300dc88d6
Doncs justament, tinc dues reclamacions obertes, i de la primera també vaig rebre un escrit, clarament generat per una màquina, que diu exactament res, i no adreça el motiu de la queixa, essent impossible per una persona amb vida i responsabilitats perseguir-ho realment.
Aquesta violència institucional està ja normalitzadíssima i molt estesa.
Està tan estesa, que aquí tenim al secretari de presidència fent propaganda de la IA de Microsoft (A INSTAGRAM, tot molt sobirà): https://www.instagram.com/p/DYYjOVwCPnL/?img_index=5
Passa a tot arreu, però miro presidència, perquè n'és de les més visibles:
https://news.microsoft.com/source/emea/features/la-generalitat-de-catalunya-y-microsoft-impulsan-la-adopcion-de-la-inteligencia-artificial-para-la-mejora-de-los-servicios-publicos/?lang=es
(La notícia en castellà, no sigui cas que la Generalitat de Catalunya defensés la llengua)
I no només això, sinó que el departament de presidència, d'aquest govern de tothom, que li dóna milions i milions a Microsoft, te una "guia d'IA" oficialíssima (llicència CC.0, això sí), la podríem llegir i comentar, no?
Es veu que tenim una "Estratègia Catalunya IA 2030" (per què no li han posat "CatalonIA"? si us plau?) i una "Direcció General d’Intel·ligència Artificial, Eficiència i Dades a l’Administració" amb Jaume Miralles al cap, aquí se'n parlava:
Sembla que volen fer un "Registre de sistemes d'intel·ligència artificial i altres algorismes", que… LOL? en la pràctica què voldrà dir? ja veurem.
El que sí que veiem en la carta d'intencions:
La IA és una oportunitat per optimitzar tasques, millorar la qualitat dels serveis i tenir més eines de suport per a la presa de decisions
És a dir: seguirem explotant el personal, interí ad infinitum contra la legislació vigent, donant-los zero estabilitat i, com que tenim "IA", els demanarem que facin més.
Total, si una pizza està en 15 minuts al forn a 200ºC, si el posem a 400ºC la tenim en 7.5 minuts, no?
I ara, el marc metodològic: sembla que tenim Singapur com a cas d'èxit, com a país referent.
Anem a veure, no sigui cas que, un altre cop, comencem 5 anys tard a fer institucionalment i com bojos una cosa que està a punt de mostrar una realitat més mesurada que la que ens estan venent. Perquè, oi que teníem estratègies de blockchain? (sep: https://govern.cat/salapremsa/acords-govern/8901/el-govern-aprova-la-primera-estrategia-de-blockchain-i-es-prepara-per-comencar-ne-el-desplegament-dins-l-administracio )
Doncs això, a veure què tal anem a Singapur,
There is a particular problem that we have to address very soon... and that is that, the first rung in employment, your first job upon graduation, is now seeing less demand, there is a particular problem that we have to address very soon... and that is that, the first rung in employment, your first job upon graduation, is now seeing less demand
Yet only 35% say their AI implementations have exceeded or significantly exceeded expectations, while 25% say AI has only partially met expectations
Dit d'altra manera: un 65% de les empreses a Singapur no veuen prou retorn en les seves estratègies de IA, i un 45% no veuen cap tipus de retorn.
In Singapore, organisations whose AI implementations fell short pointed to three recurring challenges: AI not performing as expected, costs being higher than expected or ROI not being achieved, and poor training data quality. These are not isolated technology problems. They point to a broader readiness gap across data, skills, governance, cost visibility, and infrastructure.
Problemes generalitzats: manca de dades, governança, visibilitat de la despesa i, la meva preferida… infraestructura!
37% say their (network, això ho afegeixo jo) infrastructure will need upgrading or replacing soon.
Singapore stands out as one of the markets where the need is more immediate, with 58% of organisations saying they need more flexible and scalable networks to operate in an AI-driven environment.
A Singapur no hi ha prou infra per tanta IA 🫠 no sé què farem aquí…
Across APAC, organisations whose AI implementations exceeded expectations cited strong in-house skills and well-performing networks and connectivity as key contributors
[…]
The next phase of AI competition will not be won by enterprises that run the most pilots. It will be won by those that can make AI work consistently, predictably, securely, and commercially across the business. For Singapore, that means treating AI not just as a technology investment, but as an execution challenge
Així que la lliçó semblaria ser que: cal més infraestructura de la que s'espera, on realment pot haver algun tipus de benefici és on ja hi havia habilitats molt fortes de les persones, i amb xarxes de bon rendiment i connectivitat.
https://www.frontier-enterprise.com/singapores-ai-race-enters-its-accountability-era/
Així que Singapur, "ni tan mal", però parteixen d'on parteixen, amb la societat que tenen i el tipus de teixit tecnològic que tenen, juguen amb algun punt d'avantatge.
Però aquest fet, còmodament s'obvia en aquest document. Saltem un segon al detall del Cas d'èxit: Singapur, van aprovar una "Estratègia nacional d'IA" al 2019, fa 6 anys, quan aquí encara parlaven els polítics de Blockchain i NFTs.
Ens diuen:
Amb visió, finançament, talent i dades, un país petit pot esdevenir gegant.
o:
Singapur s'ha consolidat com el gran hub tecnològic del Sud-est Asiàtic
Obviant és que Singapur ja ho era al 2019, fa molts anys que és referent en temes tecnològics, que tenen un ecosistema ric en molts sentits, que hi ha molta inversió de diverses bandes, amb resultats reals.
No com moltes inversions que es fan aquí, que acaben en sous de pocs o en les butxaques de Telefònica (https://naciodigital.cat/societat/el-govern-canvia-els-portatils-dels-professors-en-plena-crisi-educativa.html, això, que jo sàpiga, sense ser d'educació, ha passat uns 3 cops des del 2018 aprox.)
Veiem (alguns) casos d'ús que cita la nostríssima Generalitat de Catalunya, clarament coses que volem:
- Vigilància algorísimica 🥳 però això ja ho fan des fa anys els mossos, no? Ah, que va de fer-ho a tot arreu tota la estona! (suposadament, és clar) https://elmon.cat/politica/mossos-eviten-respondre-parlament-programes-reconeixement-facial-781120/
- Xarxa elèctrica intel·ligent: si us plau, posem en mans d'algorismes opacs decisions sobre la xarxa elèctrica, no és com si, tenint coses deterministes hagués sigut un chaos saber què va passar a Abril del 2025: https://es.wikipedia.org/wiki/Apag%C3%B3n_en_la_pen%C3%ADnsula_ib%C3%A9rica_de_2025
- Detecció de frau fiscal: https://www.tax-the-rich.eu/ ara sí? què guai Gene! O és que volen anar més fàcil contra la gent normaleta per treure'n pocs diners d'on no n'hi ha? 🤔
- Salut pública 😱
- Manteniment predictiu (sensors, de tota la vida)
- Bessó digital d'extrems: millors prediccions meteorològiques!
- Ciberseguretat: amb detecció d'intrusions i anomalies
- Processament documental: LOL, segur que els Arxivers de Catalunya estan contentíssims amb això.
- Agricultura amb drons: doncs OK
- Assistents virtuals de l'administració
- Subtitulació en temps real: perquè totis estem super contentis amb les traduccions de Netflix dels últims 3 anys, oi que sí?
- Educació adaptativa: jo també faria 3 errades per tenir els exercicis fàcils, acabar abans i després escapar-me per llegir o fer el que fos
I la veritat és que no sé què dir, moltes coses són clarament objectius que no voldria pels seus efectes socials, d'altres perquè són coses prou crítiques com perquè hi hagi més control humà, i d'altres senzillament són coses que ja estàvem fent, o en les que ja estàvem investigant, i finalment hi ha una categoria que seria "filtre bayesià passant per IA".
En fin, seguint, trobem finalment el Registre de Sistemes d'IA de la Gene: https://registreia.administraciodigital.gencat.cat/
Una pàgina web que descarrega quasi 8Mb, contacte amb Google i diverses parts terceres.
I jo mai, mai us diria que ho feu, però hi ha un cercador web corporatiu amb IA, que faria pinta de poder convertir-se en Tokens gratis.
https://registreia.administraciodigital.gencat.cat/algorisme/1176-cercador-del-web-corporatiu
Ja ho sabeu, si feu una cerca a gencat.cat, els webs dels departaments, o als webs de tràmits / canal empresa: aquesta cerca va a Google.
Però, el més important, que segur que es compleix en tots els altres:
Forma de desenvolupament
L'Administració ha comprat el sistema i ha fet un procés per integrar-lo internament.
És a dir, que la nostra estratègia d'IA, és donar diners a les empreses del Règim dels EEUUA.
Però jo el que volia era acabar l'informe, que ens informa (ja l'any passat) dels següents casos d'ús:
Traductor Jurista <--> Ciutadania: integració (propietària?) per Accenture de OpenAI, Azure Translator: https://registreia.administraciodigital.gencat.cat/algorisme/1042-generador-de-resums-de-normes-en-llenguatge-planer
Aquest, tot i que em sembla una idea "cuqui" el resultat, veuria coses complexes, en les que millor que algú que en sàpiga una mica de lleis i etc. hi entri.
També tenim l'Anonimitzador de documents: https://registreia.administraciodigital.gencat.cat/algorisme/1002-anonimitzador-de-documents
Copio sense comentaris:
El proveïdor indica que la precisió de l'eina, en dades aïllades, és d'un 96% per a noms, un 91% per persones jurídiques, un 88% per les adreces postals, un 92% per les localitzacions i un 93% per a dates. Com que els documents contenen diverses dades, els marges d’error es poden acumular i s’han de revisar manualment tos els documents
Nivell de risc: Risc mínim
Dades sobre l'equip de desenvolupament:
El rang d'edats de l'equip oscil·la entre els 29 i els 48 anys. El 70% són homes i el 30%, dones
Ehem, en el moment del document era PoC, però ja és (suposadament) realitat:
Anàlisi d'entrevistes d'intervenció social amb OpenAI: https://registreia.administraciodigital.gencat.cat/algorisme/1020-model-d'analisi-d'entrevistes-d'intervencio-social---wsocial-%28iasocial%29
Nivell de risc: limitat
Corpus de "centenars d'entrevistes" (molt, molt poc)
I també…
Transcriptor d'entrevistes d'intervenció social:
https://registreia.administraciodigital.gencat.cat/algorisme/1019-transcriptor-d'entrevistes-d'intervencio-social---wsocial-%28iasocial%29
Permet converses bilingües sense necessitat de traductor, aportant intimitat a la persona atesa, ja que no és necessària la presència d'una tercera persona (traductor o traductora).
Però també diu:
Intervenció o supervisió d'una persona en els resultats: El resultat és automatitzat, però una persona n'ha fet una validació final.
Ambdues coses són incompatibles.
I finalment, això diu força de com s'entenen el consentiment i el nivell de risc:
Nivell de risc: limitat
Riscos:
- Consentiment del ciutadà: El sistema tracta dades personals, algunes de les quals poden ser especialment sensible, així que és necessari comptar amb el consentiment del ciutadà per complir amb la normativa. Per a resoldre-ho, al principi de l’entrevista, es demana la signatura d’un consentiment informat.
Del fet que els riscos estan numerats com "1, 2, 3, 1" i podrien estar generats per IA, en parlem un altre dia.
L'informe segueix descrivint l'ecosistema de la IA, un mapa de l'ecosistema, mini-marc normatiu, etc.
Aquestes coses que serveixen per explicar malament en 2 minuts coses a qui no hi entén (jo, per exemple).
Llavors, el tenim aquí: el pla Estratègic Catalunya IA 2030, que te per objectius:
Enfortir l'ecosistema IA, impulsar la IA, posicionar Catalunya com a referent (IA).
No hi ha cap objectiu per la ciutadania, el bon govern, el benestar o la dignitat de les persones, tots tres objectius d'aquest plan són la IA, per ser IA.
Si bé, és un punt injust posar-ho així sense context, perquè en altres parts deixen clar que creuen en uns certs beneficis, sí em sembla preocupant que el pla sigui "IA porque IA", sense un objectiu específic més gran i en funció del que se suposa que fa la institució.
Organitzativament hi ha per sobre de tot una Comissió d'IA, un Comitè d'Ètica de les Dades, i una Coordinació de Protecció de Dades.
Algun dia estaria bé investigar què tan bé funcionen, qui hi és, i a què es dediquen.
Per exemple es parla d'una actualització de la instrucció 8/2020 sobre l'ús de mitjans TIC per empleats de la Generalitat, que ha d'incloure uns criteris ètics d'ús de les eines d'IA generativa; sona bé, estaria bé trobar-ne els detalls (potser hi són, més avall :-p).
D'entrada, havent vist els exemples del registre IA, em sembla que és insuficient la justificació pública de certes decisions (tècniques, ètiques i de privadesa), si bé, potser existeix per cada projecte més informació, no està enllaçada des del portal i, per tant, no és fàcilment accessible.
Metodologia 🥳. Sembla força fluffy i sense detall 😢.
Altrament el cicle de vida regala aquesta perla:
L’elaboració d’un projecte d’IA a la Generalitat comença quan es detecta un problema o una necessitat: cal millorar un tràmit? Crear un nou servei? Optimitzar un procés?
I les següents paraules clau: Agile, CRISP-DM, ML-Ops, DevOps.
Seguit de molts dibuixets i descripcions que oloren a certificació ISO, sense aportar gaire cosa interessant.
Després anem a GreenIT, on ens ensenyen una fórmula que te en compte quatre coses, i en la qual els models executats en hyperscalers sempre surten ben parats, perquè no puguem dir que @tunubesecamirio@kolektiva.social.
Si ens hi fixem, aquesta fórmula realment no te sentit, no m'estranyaria que fos generada per una IA, però vaja, en els exemples d'ús que hem vist abans, s'argumenta que un desplegament de model/algorisme d'IA és "verd perquè no s'executa en instal·lacions pròpies", això recordem, que vol dir, que s'executa en els hyperscalers.
Aquests que es deixen tanta pasta en dir que no consumeixen.
https://www.theguardian.com/technology/2025/oct/25/amazon-datacentres-water-use-disclosure
Assistents virtuals!
Copilot, realment parlem de Copilot tó el rato.
Vaja, després ens ensenyen dos assistents virtuals: Salut i OVT; que no estan al portal del registre d'IA de la Gene.
Els casos d'ús la veritat, no els veig, però vaja, volia veure com se suposa que han fet el de Salut.
En qualsevol cas, el disseny la personalitat dels assistents ô.O
Seguit de desenvolupament i testeig, i finalment de: avaluació, manteniment i millora contínua (que al document consta com a continua, però jo no tinc cap C2, no sé).
Si ja porto estona pensant-ho, aquí es fa més evident encara: a qui va dirigit aquest document? és un vòmit d'informació i ja està?
Finalment, una de les coses que fa que suporti aquest document infumable: IA responsable a la generalitat / principis ètics per a l'ús de la IA.
Comencem amb una definició d'ètica, que sembla ser IA-parafrasejada de la Vikipèdia, seguim amb 7 principis.
Per sobre:
Justícia diu que vol dir "equitat en la representació de les dades", suposo que 200 entrevistes en l'exemple que hem vist abans representa realment a la població.
Supervisió humana diu: "vetllar perquè qualsevol presa de decisions automatitzada que afecti persones es pugui impugnar i revisar", però si no recordo malament es vol posar als jutjats? Oh, sorpresa! Un dels procediments que proposen automatitzar és: "El desnonament per manca de pagament", literalment.
Confidencialitat: "tractar les dades personals com una infraestructura crítica", però només obrir Gencat, Google sap la meva IP i que he visitat el web de la Gene.
Governança de dades i IA: "Publicar els algorismes al Registre d'IA per garantir la traçabilitat i transparència", però, si no m'he descuidat alguna cosa, no hi ha cap tipus de detall de cap algorisme, no? Llavors, potser el que tenim és una façana de transparència?
La part de riscos com sempre és infumable perquè te perspectiva de "compliance" ISO / ENS, i no aporta gaire cosa útil.
Però els criteris d'ús tornen a ser interessants:
No pot prendre ni substituir la decisió, la diligència ni el criteri de l’empleat públic
Però és just al que apunten alguns plans públics, no?
Després ens diuen que els usos de la IA van en 3 fases:
- Avaluació prèvia: "és pertinent i a alineat amb els principis de l'actuació administrativa?"
- Redacció del prompt: identificar riscos, revisar dades, assegurar-se que la tecnologia és adequada
- Verificació i ús: comprovar que el resultat és fiable, comprensible i conforme als valors públics. Assumir la responsabilitat sobre el seu ús.
TL;DR: por fi plis, no posis dades personals al Copilot, tota la responsabilitat i càrrega de decisió a la persona funcionària.
I aquí realment no puc sostenir la informació que han estat donant fins ara, amb aquestes consideracions.
Em dius que la IA ajuda a redactar documents, i em dius que:
L’autoria dels continguts ha de ser sempre humana.
Em diuen que
Si s’utilitza IA per generar continguts (text, gràfic, codi), cal reconèixer-ho de
manera transparent.
I tot i això, tant en #PolGuasch (recordem que per això ha començat aquesta bogeria), com jo, i segur que tantes altres persones, n'estem segures que les respostes a les nostres reclamacions han estat processades per aquest tipus d'eines, sense fer-ho explícit.
I aquí, amb un glossari etern, s'acaba el document de presidència sobre la Estratègia Catalunya IA 2030.
Crec que armats amb aquesta informació, obriré una reclamació a la resposta de la meva reclamació original, citant el document i exigint la transparència que se suposa que han de tenir.