AI e Pubblica Amministrazione: Il Caso MyCity e le Lezioni per la Governance Algoritmica
L'introduzione di soluzioni di intelligenza artificiale nei servizi pubblici rappresenta una svolta epocale per la digitalizzazione e l'accessibilità delle istituzioni. Tuttavia, il caso del chatbot MyCity lanciato dal Comune di New York nel 2024 evidenzia con chiarezza i rischi concreti connessi all'adozione non governata di questi strumenti: dai profili di compliance alle conseguenze reputazionali e legali.
Il Caso MyCity: Dall'Innovazione all'Errore Sistemico
Concepito per semplificare l'accesso delle piccole imprese alle normative comunali, il chatbot MyCity si è trasformato rapidamente in un esempio di AI deployment fallimentare. In seguito a test indipendenti condotti da giornalisti investigativi, sono emerse gravi anomalie:
- Suggerimenti contrari alla legge su licenziamenti e gestione di segnalazioni di molestie.
- Raccomandazioni di pratiche retributive illecite (es. trattenuta indebita delle mance).
- Consigli su come eludere regolamenti edilizi e sanitari obbligatori.
Questi errori non sono rimasti confinati a casi isolati, ma hanno raggiunto potenzialmente migliaia di utenti.
Cause e Vulnerabilità di Sistema
1. Addestramento su dataset non curati:
L'AI è stata addestrata su un corpus normativo privo di validazione, con rischio di confondere eccezioni e regole generali, trattare norme obsolete come attuali e interpretare clausole derogatorie come prassi standard.
2. Supervisione umana insufficiente:
È mancato il coinvolgimento sistematico di esperti legali, compliance officer e specialisti di AI governance nella fase di validazione degli output, fondamentale soprattutto per risposte ad alto impatto regolatorio.
3. Assenza di monitoraggio proattivo:
La mancanza di dashboard di risk assessment, alert automatici e processi strutturati di feedback e auditing ha impedito l'identificazione tempestiva dei rischi.
Impatti Legali, Reputazionali e Sistemici
- Rischio di azioni civili e sanzioni amministrative per le imprese che abbiano seguito consigli illegittimi.
- Potenziale responsabilità penale per violazioni della normativa sul lavoro.
- Danno reputazionale per l'amministrazione pubblica e aumento della diffidenza verso l'AI in ambito istituzionale.
Quadro Normativo: L'AI Act e i Sistemi di Supporto Decisionale
Nel contesto europeo, l'AI Act classifica i sistemi di supporto decisionale in ambiti che toccano diritti fondamentali come "ad alto rischio", imponendo una serie di obblighi chiave:
- Registro degli errori e delle anomalie (Art. 14): documentazione sistematica dei malfunzionamenti e piani di remediation.
- Sistema di gestione della qualità (Art. 17): processi strutturati di controllo e escalation, formazione continua degli operatori.
- Obblighi di trasparenza (Art. 52): disclosure chiara dell'uso di AI, spiegazione delle logiche decisionali e disclaimers sui limiti del sistema.
Strategie di Governance AI e Prevenzione
- Data curation avanzata:
- Validazione costante delle fonti normative, versionamento delle basi dati, review periodica di coerenza e attualità.
- Human-in-the-loop:
- Sistemi automatici di escalation per query ad alto rischio verso revisori legali e compliance officer qualificati.
- Monitoraggio e auditing continui:
- Dashboard operative con metriche real-time, alert su pattern anomali, audit periodici dei log e degli output.
Raccomandazioni Operative
Per la pubblica amministrazione:
- Adozione di criteri di procurement che privilegino fornitori con comprovata esperienza in AI governance e legal tech.
- Investimento strutturale in competenze interne di AI ethics e compliance.
- Coinvolgimento sistematico degli stakeholder e creazione di programmi pilota supervisionati.
Per i compliance officer:
- Integrazione dei rischi AI nei framework di enterprise risk management.
- Collaborazione strutturata tra legal, IT e business functions.
- Definizione e monitoraggio di KPI specifici per la governance AI.
Per i fornitori di tecnologia:
- Progettazione in ottica "compliance by design" e trasparenza delle logiche decisionali.
- Contratti che disciplinano in modo chiaro la ripartizione delle responsabilità in caso di malfunzionamenti.
Conclusioni
Il caso MyCity sottolinea l'importanza di un approccio integrato e responsabile all'adozione di AI nella pubblica amministrazione e nel settore privato. La governance non può più essere un accessorio: deve essere parte integrante del ciclo di vita della soluzione AI, dalla fase di design fino al monitoraggio post-deployment.
Solo una governance algoritmica strutturata può garantire innovazione sostenibile, tutela dei diritti e salvaguardia della fiducia pubblica.
Per audit, assessment e formazione mirata sulla compliance AI nei processi pubblici e privati, i consulenti GenComply sono a disposizione.
Fonti principali: