AI e Pubblica Amministrazione: Il Caso MyCity e le Lezioni per la Governance Algoritmica

Claudio Cardinale — Sat, 28 Jun 2025 09:33:49 GMT

L'introduzione di soluzioni di intelligenza artificiale nei servizi pubblici rappresenta una svolta epocale per la digitalizzazione e l'accessibilità delle istituzioni. Tuttavia, il caso del chatbot MyCity lanciato dal Comune di New York nel 2024 evidenzia con chiarezza i rischi concreti connessi all'adozione non governata di questi strumenti: dai profili di compliance alle conseguenze reputazionali e legali.

Il Caso MyCity: Dall'Innovazione all'Errore Sistemico

Concepito per semplificare l'accesso delle piccole imprese alle normative comunali, il chatbot MyCity si è trasformato rapidamente in un esempio di AI deployment fallimentare. In seguito a test indipendenti condotti da giornalisti investigativi, sono emerse gravi anomalie:

Suggerimenti contrari alla legge su licenziamenti e gestione di segnalazioni di molestie.
Raccomandazioni di pratiche retributive illecite (es. trattenuta indebita delle mance).
Consigli su come eludere regolamenti edilizi e sanitari obbligatori.

Questi errori non sono rimasti confinati a casi isolati, ma hanno raggiunto potenzialmente migliaia di utenti.

Cause e Vulnerabilità di Sistema

1. Addestramento su dataset non curati:

L'AI è stata addestrata su un corpus normativo privo di validazione, con rischio di confondere eccezioni e regole generali, trattare norme obsolete come attuali e interpretare clausole derogatorie come prassi standard.

2. Supervisione umana insufficiente:

È mancato il coinvolgimento sistematico di esperti legali, compliance officer e specialisti di AI governance nella fase di validazione degli output, fondamentale soprattutto per risposte ad alto impatto regolatorio.

3. Assenza di monitoraggio proattivo:

La mancanza di dashboard di risk assessment, alert automatici e processi strutturati di feedback e auditing ha impedito l'identificazione tempestiva dei rischi.

Impatti Legali, Reputazionali e Sistemici

Rischio di azioni civili e sanzioni amministrative per le imprese che abbiano seguito consigli illegittimi.
Potenziale responsabilità penale per violazioni della normativa sul lavoro.
Danno reputazionale per l'amministrazione pubblica e aumento della diffidenza verso l'AI in ambito istituzionale.

Quadro Normativo: L'AI Act e i Sistemi di Supporto Decisionale

Nel contesto europeo, l'AI Act classifica i sistemi di supporto decisionale in ambiti che toccano diritti fondamentali come "ad alto rischio", imponendo una serie di obblighi chiave:

Registro degli errori e delle anomalie (Art. 14): documentazione sistematica dei malfunzionamenti e piani di remediation.
Sistema di gestione della qualità (Art. 17): processi strutturati di controllo e escalation, formazione continua degli operatori.
Obblighi di trasparenza (Art. 52): disclosure chiara dell'uso di AI, spiegazione delle logiche decisionali e disclaimers sui limiti del sistema.

Strategie di Governance AI e Prevenzione

Data curation avanzata:
Validazione costante delle fonti normative, versionamento delle basi dati, review periodica di coerenza e attualità.
Human-in-the-loop:
Sistemi automatici di escalation per query ad alto rischio verso revisori legali e compliance officer qualificati.
Monitoraggio e auditing continui:
Dashboard operative con metriche real-time, alert su pattern anomali, audit periodici dei log e degli output.

Raccomandazioni Operative

Per la pubblica amministrazione:

Adozione di criteri di procurement che privilegino fornitori con comprovata esperienza in AI governance e legal tech.
Investimento strutturale in competenze interne di AI ethics e compliance.
Coinvolgimento sistematico degli stakeholder e creazione di programmi pilota supervisionati.

Per i compliance officer:

Integrazione dei rischi AI nei framework di enterprise risk management.
Collaborazione strutturata tra legal, IT e business functions.
Definizione e monitoraggio di KPI specifici per la governance AI.

Per i fornitori di tecnologia:

Progettazione in ottica "compliance by design" e trasparenza delle logiche decisionali.
Contratti che disciplinano in modo chiaro la ripartizione delle responsabilità in caso di malfunzionamenti.

Conclusioni

Il caso MyCity sottolinea l'importanza di un approccio integrato e responsabile all'adozione di AI nella pubblica amministrazione e nel settore privato. La governance non può più essere un accessorio: deve essere parte integrante del ciclo di vita della soluzione AI, dalla fase di design fino al monitoraggio post-deployment.

Solo una governance algoritmica strutturata può garantire innovazione sostenibile, tutela dei diritti e salvaguardia della fiducia pubblica.

Per audit, assessment e formazione mirata sulla compliance AI nei processi pubblici e privati, i consulenti GenComply sono a disposizione.

Fonti principali:

AI Act -- Documentazione ufficiale

GenComply (Articoli su Public Sector)