Domenico NATALE, Member of ISO/IEC JTC1 SC7/WG6 “Software Engineering” – Representative SC7 Liason to SC42 on Artificial Intelligence, Membro della Commissione UNINFO UNI CT 533 “Intelligenza Artificiale” e del Focus Group CEN/CENELEC sull’IA – Presidente Commissione UNI CT 504 “Ingegneria del software”
Introduzione
Si può parlare di qualità in ambito informatico partendo da vari punti di vista, in particolare riferendosi ai processi, ai prodotti, al management e alla Governance. In questa sede ci si focalizzerà principalmente sugli aspetti di qualità dei prodotti, comunque consapevoli quanto essi siano influenzati dai processi adottati, dal management e dalla Governance.
L’esigenza della qualità è probabilmente sollecitata dalla disgiunzione avvenuta tra l’informatica “centralizzata” di grandi sistemi, a favore di una informatica “distribuita e diffusa”, consentita da Internet, in cui l’utente finale agisce con il prodotto, con ruoli importanti al pari dei progettisti che lo hanno creato.
L’importanza di dare risalto a modelli di qualità, deriva anche dall’esperienza di periodi passati in cui fu tralasciata l’attenzione alla qualità. Si tratta di trarre vantaggio da un insieme di “Lesson learned”, per non ripetere errori del passato, che hanno posposto la qualità come soluzione tardiva di problematiche non controllate e con errori (vedi par. 1 Antefatto).
In questa sede ci si focalizzerà sull’importanza degli aspetti di qualità del prodotto definito dall’ISO [22], con particolare riferimento al software e ai dati. Nel campo dell’ISO l’aspetto della qualità del prodotto sta emergendo con la serie di standard ISO/IEC 25000 [21] in ambito dell’Ingegneria del software (ISO/IEC JTC1/SC7[1]) Working Group 6 “Software product and system quality”. Nello specifico campo dell’Intelligenza Artificiale (IA) è attiva in ambito ISO l’apposita commissione (ISO/IEC JTC1/SC42) con la quale la commissione SC7 collabora (vedi par. 2 Un primo modello di qualità per l’IA e par. 3 “Adeguamento del modello ISO di qualità del prodotto per l’IA”).
Come riportano da altre organizzazioni di normazione, si citeranno recenti evoluzioni, ricerche e rapporti in cui prevalgono anche gli aspetti di qualità manageriali e di Governance e non ultimi quelli tecnologici (vedi par. 4 Integrazioni e originalità nella normazione europea e italiana e par. 5 Evoluzioni future e ulteriori caratteristiche di qualità per l’IA).
Prima di accennare ai possibili modelli di qualità applicabili all’IA si accenna ad alcuni casi del passato in cui gli orientamenti metodologici alla qualità, in ambito informatico, sono stati definiti solo successivamente alle prime realizzazioni pratiche.
1) Antefatto
Di seguito si riportano alcuni esempi, che non dovrebbero ripetersi, di tardiva definizione della qualità, evidenziati da Piattini (2009), [9]. E’ il caso della programmazione degli anni ’60 in cui per il linguaggio Fortran e Cobol furono realizzati molti programmi in assenza di standardizzazioni adeguate, tanto da generare il termine in ambito internazionale di “Spaghetti code”: codice software aggrovigliato come spaghetti. Ad essa seguirono negli anni ’70 le tecniche di programmazione strutturata, per mettere un po’ di ordine, anche applicando i teoremi di Bohm-Jacopini delle strutture “one-in/one-out” [2], [5], [6] e del controllo della complessità ciclomatica di McCabe (riduzione delle istruzioni decisionali in un modulo auto-consistente).
Negli stessi anni le tecniche di progettazione strutturata [4] del prodotto software furono proposte da Myers, Yourdon e Constantine, Warnier e, successivamente, Gane e Sarson, De Marco e Weinberg. Per i dati il modello E / R (Entità / Relazioni) definito da Chen fece da apripista al tema della analisi strutturata di dati. Negli anni ’80 furono suggerite metodologie complete (Merise, SSADM, SADT, DAFNE [3], Ingegneria dell’Informazione, ecc.). Questo è considerato da Booch (2018), [13], la “prima era d’oro dell’Ingegneria del software”.
Lo stesso modello di qualità, realizzato posticipatamente, è stato seguito dalle tecnologie orientate agli oggetti. Sono comparsi diversi linguaggi di programmazione orientati agli oggetti: negli anni ’60 (Simula), negli anni ’70 (Smalltalk) e negli anni ’80 (C ++, Objective – C, Eiffel), applicati prima di una loro standardizzazione.
Sono questi anni di grande sviluppo di software, anche con errori e senza controllo, con attività notevole di manutenzione migliorativa e correttiva, in un quadro generale di un grande necessario ed esteso adeguamento alle trasformazioni tecnologiche.
Negli anni ’90 l’orientamento ad oggetti è stato considerato “l’approccio” per lo sviluppo di sistemi di informazione. Sono state proposte molte metodologie, mentre la progettazione orientata agli oggetti diveniva realtà. Le metodologie più importanti sono state integrate in UML (Unified Modeling Language) e UP (Unified Process). G. Booch (2018) ha definita questa la “seconda era d’oro dell’ingegneria del software” [13].
Per ritrovare la qualità ci sono voluti vari anni di manutenzione migliorativa dopo le prime realizzazioni destrutturate (Natale, 1995), [6].
Da allora in poi l’Ingegneria del software ha subito molte evoluzioni. Alcuni esperti (Boehm, 2006) riassumono perfettamente l’evoluzione dell’ingegneria del software, come processo di tesi, antitesi e sintesi continue. Si è arrivati con tecniche “bottom-up” ai concetti astratti partendo dalle realizzazioni concrete ed in ultimo, paradossalmente, si è arrivati ai processi, al management e alla Governance e al software partendo dalla complessità reale dei dati digitali (Natale, 2001), [7], (Natale, 2008), [8]). Il progetto SQuaRE – Software Quality Requirements and Evaluation – dell’ISO/IEC 25000 [12] ne è la massima espressione definendo quattro modelli di qualità del prodotto: software, dati, servizi IT, qualità in uso. Il sempre maggiore uso di misurazioni ha inoltre contribuito a valorizzare gli approcci bottom-up.
Si è proceduti così, un succedersi di raccordi tra l’astrazione dei requisiti del software e dei dati e la concretezza dei prodotti, realizzati spesso in tutta fretta per motivi economici, industriali, e per esigenze dell’utente. Prima il “codice software” e le banche dati e poi i “metodi”, prima l’hardware e poi le standardizzazioni di costruzione. Prima le soluzioni e poi i principi teorici.
Analogamente si sta rischiando di fare lo stesso con l’Intelligenza Artificiale? ed altre tecnologie innovative? Vista la pervasività dell’IA in tutti i settori economici e la posta in gioco, visto il rischio della supremazia delle macchine sull’uomo, occorre sottolineare l’urgenza di definire un quadro di qualità soddisfacente, prima di realizzare. Ciò senza togliere nulla all’importanza dell’esperienza e delle prime realizzazioni pratiche, giustificando quanto affermava il filosofo francescano Ruggero Bacone (Ilchester, 1214 circa – Oxford, 1294): “Senza l’esperienza nulla può essere conosciuto sufficientemente”.
E’ da riprendere innanzi tutto la consapevolezza che siamo nell’era di internet. Tutto il mondo è connesso e la pervasività dell’IA riguarda tutti. Il mondo è globale non solo in senso economico, ma anche della vita e della sopravvivenza (ogni riferimento alla pandemia è voluto). Gli sviluppi verticali dell’industria e della pubblica amministrazione sono compromessi e di difficile gestione (la parola burocrazia è solo simbolica, ma manifesta questo disagio). Le problematiche si sono trasformate da verticali a interdisciplinarietà orizzontali. Le banche dati, organizzate in Silos, richiedono banche dati dialoganti, i sistemi trasformati in eco-sistemi e poi anche in Sistemi di Sistemi [14], divengono per importanza e strategicità superiori al software e ai sistemi hardware.
La complessità e il volume dei dati digitali da gestire e di cui tener conto sono talmente elevati che sta divenendo indispensabile avvalersi di algoritmi automatici per l’elaborazione ed interpretazione dei dati come nel caso delle Smart City [19].
Ma soprattutto, nessuno in passato aveva messo in discussione la supremazia dell’uomo sulle macchine, mentre adesso questo aspetto può essere messo in discussione e addirittura i sistemi decisionali stessi delle industrie e dei Governi potrebbero essere sostituiti da algoritmi di IA. Qualche considerazione era stata posta comunque da Bruno de Finetti, già nel 1952, con la pubblicazione: Macchine “che pensano” (e che fanno pensare), [1].
Adesso, anche tenendo conto di queste esperienze, è auspicabile ragionare, studiare, confrontarsi, normare, disporre di modelli di qualità con specifiche caratteristiche e sotto-caratteristiche che possano orientare le nuove realizzazioni a beneficio di tutti.
2) Un primo modello di qualità per l’IA
In questo paragrafo e nel successivo, ci si limiterà a percepire lo stato dell’arte in ambito ISO/IEC che nella sua missione ha lo scopo di raccogliere, sistematizzare e divulgare nel mondo le migliori prassi industriali e della pubblica amministrazione che emergono nei numerosi gruppi di lavoro guidati da metodi di discussione, confronto, condivisione, votazioni e trasparenza.
Si citerà il modello di qualità ISO in discussione in vari ambiti e su cui è possibile convergere, tenendo conto che nel mondo sono attivi sul tema molteplici Enti di standardizzazione, Industrie, Università e Associazioni. Per l’uso dei termini citati si faccia riferimento alle fonti ufficiali.
Il modello di qualità di seguito riportato trae origine principalmente dai modelli di qualità del software e dei dati ISO/IEC 25010 e ISO/IEC 25012 [11] appartenenti alla serie ISO/IEC 25000.
L’applicazione dei modelli dell’ISO/IEC 25000, come esempi estensibili all’IA, è stata concepita in origine da esperti appartenenti a compagnie che gestiscono enormi database specialmente per garantire la coesistenza tra sistemi. Nello stesso tempo hanno contribuito esperti per conto di compagnie che volevano beneficiare di una applicazione pre-definita del controllo qualità specialmente orientata all’usabilità dei prodotti per gli utenti finali.
L’esperienza sviluppata è passata attraverso diverse fasi, come per esempio:
- l’accettazione dei modelli teorici che ha avuto luogo contestualmente alla pubblicazione e dell’adozione delle misure/metriche di qualità;
- la formazione del personale che ha compreso che le misure non sono legate alla qualità del proprio lavoro, ma ai prodotti;
- la comprensione che sotto osservazione della qualità non c’è solo la realizzazione del software, ma anche la bontà dei requisiti;
- la consapevolezza che le serie ISO/IEC 25000 non possono essere applicate all’intero sistema informativo, ma gradualmente ai prodotti del core business e critici dell’azienda;
- la maturazione che per le nuove tecnologie non è necessario reinventare la ruota, ma combinare le caratteristiche di qualità definite e infine arricchirle con nuove funzionalità o misure.
Fatte queste premesse, ricordando che i modelli di qualità ISO (del software, dei dati, dei servizi e in uso) sono basati sulla considerazione delle così dette “caratteristiche”, è stata presentata a dicembre 2019 [20] in the 1st International Workshop on Experience with SQuaRE Series and its Future Direction (Malaysia), una prima ipotesi di modello di qualità applicato all’IA.
Come si legge dalla Fig.2, il modello di qualità in discussione, è basato su una corrispondenza tra alcune caratteristiche di qualità del software e dei dati con aspetti salienti dell’IA.
Questo approccio può affrontare in modo appropriato alcune questioni recentemente esaminate dal gruppo di studio sulle indicazioni future del Working Group ISO / IEC JTC1 SC7/WG6.
In particolare, l’approccio sopra descritto in via di ulteriori sviluppi è applicabile, con gli opportuni adeguamenti, all’IA e ad altri temi relativi alle tecnologie innovative, come: Big Data, Internet of Things, Cloud computing.
L’approccio basato su caratteristiche di qualità comprovate, si auspica faciliti positive evoluzioni, tenendo conto di applicazioni sperimentali e non solo di ragionamenti teorici. Si ritiene indispensabile “non reinventare la ruota” per ogni nuova tecnologia e di valorizzare i nuovi approcci che non vedono solo nel software (gli algoritmi) la soluzione dei problemi informatici, ma anche nei dati e particolarmente di elevata qualità.
3) Adeguamenti del modello ISO di qualità di prodotto per l’IA
Lo stato attuale degli standard ISO/IEC 25000 lascia aperta la possibilità di definire nuove caratteristiche di qualità dell’IA, da un punto di vista della qualità del prodotto e secondo il contesto di applicazione. La commissione SC42, in sinergia con l’SC7 che ha sviluppato l’ISO 25000 per le applicazioni tradizionali, è attiva negli adeguamenti dei modelli all’Intelligenza Artificiale.
ISO – International Organization for standardization
In ambito ISO la sotto-commissione SC42 si occupa di IA, al fine di:
- sostenere il programma di standardizzazione sull’IA sia dal punto di vista dei processi che dei prodotti
- fornire una guida a coloro che sviluppano applicazioni di IA
Gli esperti sono raggruppati in Working Group e trattano i seguenti temi: standard fondamentali anche di processo (WG1), Big data (WG2), affidabilità, attendibilità, fiducia (WG3), casi d’uso e applicazioni (WG4), approcci computazionali, caratteristiche computazionali delle applicazioni IA (WG5). L’SC42 sta affrontando anche i temi della qualità dei dati per analytics e machine learning (ML), terminologie, data quality management e processi, knowledge engineering, assessment, governance, liason con altri comitati (ad esempio l’SC36 su learning, education and training).
Il modello preso in esame per la qualità è quello del prodotto software tradotto in italiano dall’ISO/IEC 25010 [10] (par. 4.2) della serie ISO/IEC 25000 (modello originale in inglese: par. 4.2 Product quality model).
Su questo modello si sta ragionando per un suo completamento con ulteriori sotto-caratteristiche adatte alle problematiche dell’IA; un modello più esteso potrà essere disponibile, dopo le varie fasi di esame e approvazione previste dai metodi ISO, pervenendo ad un completamento per ogni caratteristica, ad esempio l’apprendibilità tra le funzioni appropriate, l’esplicabilità per l’usabilità e la robustezza per l’affidabilità.
Il secondo modello in esame per la qualità di un prodotto tradotto in italiano dall’ISO/IEC 25010 [10] (par. 4.1) della serie ISO/IEC 25000 riguarda la qualità in uso (modello originale in inglese: par. 4.1 Quality in use model).
Il suddetto modello di qualità in uso è un secondo modello di qualità del prodotto (compreso nello standard sul software ISO/IEC 25010, par. 4.1), inteso come traslazione di caratteristiche di qualità dai laboratori di produzione che operano su simulazioni alla realtà dell’utente. Nel modello emerge, in particolare, l’attenzione alla gestione dei rischi economici, della salute, dell’ambiente.
Il fattore più conosciuto di un approccio simile è quello della Customer Satisfaction, ma nel modello di qualità in uso si tiene maggiormente presente una visione globale dell’usabilità, tenendo conto di efficacia, efficienza e soddisfazione (ISO 9241-210 Ergonomics of Human-System Interaction [16]) e una mirata gestione e mitigazione dei rischi.
Anche su questo modello, di qualità in uso si sta ragionando per un suo completamento con ulteriori sotto-caratteristiche in approfondimento, ad esempio la mitigazione dei rischi sociali e gli aspetti etici.
Si discuterà del ruolo umano sull’efficacia, della soddisfazione legata anche alla governabilità, della mitigazione dei rischi sociali ed etici, considerabile un “super” valore più che un valore da trattare allo stesso livello degli altri rischi, compresi quelli dell’eventuale “invisibilità” di sistemi di sistemi di IA, come citata nello standard ISO/IEC/IEEE 21841 [14].
Affianco alle attività ISO si situa a livello mondiale, seppur con diversa metodologia, anche l’attività di standardizzazione dell’IEEE (Institute of Electrical and Electronics Engineers). Ad esempio è recente lo standard IEEE 7110 [28] che cita, tra altre, le seguenti caratteristiche di qualità o obiettivi/vincoli di un sistema di IA:
– sostenibilità
– equità
– responsabilità
– trasparenza
– analizzabili dei dati
– valutazione dell’impatto degli algoritmi
– legge e regolamenti
– processi di software engineering
4) Integrazioni e originalità nella normazione europea e italiana
I contributi europei ed italiani sono si stanno moltiplicando di mese in mese. In questo paragrafo e nel successivo, si intende sintetizzare lo stato dell’arte evidenziato da rilevanti documenti.
CE – Commissione Europea
La Commissione Europea ha pubblicato nel febbraio 2020 il Libro bianco sull’intelligenza artificiale contenente un approccio europeo all’eccellenza e alla fiducia auspicando un coordinamento delle implicazioni umane ed etiche dell’ IA, in base alle quali sarà possibile sviluppare un ecosistema che porti benefici a cittadini, imprese e servizi di interesse pubblico [23].
CEN – Comitato Europeo di Normazione e EC – European Commission
Il Comitato europeo di normazione [24] ha istituito un Focus Group, collegato con l’ISO.
In questo ambito sono in produzione vari documenti ad opera della Commissione Europea in cui è attivo un gruppo indipendente di esperti di alto livello che ha definito gli Orientamenti etici per un’IA affidabile. Uno schema prodotto è il seguente, disponibile cliccando sulla figura in tutte le lingue europee, [17] che riporta un quadro di riferimento in cui si dettagliano concetti di base, requisiti fondamentali nelle realizzazioni, e criteri di valutazione:
I termini peculiari definiti in ambito CEN per l’IA rispetto ai modelli esistenti sono:
- Legalità
- Etica
- Robustezza
- Safety
- Trasparenza
- Diversità, non discriminazione e equità
- Benessere sociale e ambientale
- Responsabilità
Tra le altre tematiche in discussione tra gruppi di lavoro del CEN-CENELEC e la EC – Commissione Europea risultano:
- I ruoli umani e delle macchine e i vantaggi del decision-making;
- Definizioni, terminologia e semantica
- Risk management
- Compliance
- Sovranità digitale
- Testing
- Data strategy
ETSI – European Telecommunications Standards Institute
L’ETSI ha pubblicato a giugno 2020 il Libro Bianco Intelligenza artificiale e direzioni future [27], approfondendo diversi aspetti dell’IA che interessano la standardizzazione tra cui:
- l’IA nei sistemi 5G
- l’ottimizzazione della rete
- l’IOT, l’acquisizione dei dati e il management, Governance e la Provenance dei dati
- Sicurezza e Privacy
- Testing
- Salute e applicazioni sociali
UNI/UNINFO
In Italia è attiva la commissione UNI CT 533 sull’IA, in sinergia con il sotto-comitato ISO SC42 per lo sviluppo e la revisione degli standard, attraverso anche la Liason con il JTC1 SC7 ed il Focus Group CEN. Gli esperti italiani UNI [25] e UNINFO [26], appartengono a università, imprese e rappresentanti della pubblica amministrazione. Particolare attenzione danno alla personalizzazione dei modelli di qualità ISO/IEC 25000 all’IA e alle attività di benchmarking per promuovere concrete misure dei livelli di qualità raggiunti.
Procedono ritenendo rilevante per l’IA anche lo standard ISO/IEC 25030 “Quality Requirements framework” [18] del 2019 che tratta dei requisiti della qualità in uso (QiURs), dei dati (DQRs), del prodotto software (PQRs). Senza requisiti definiti non è possibile raggiunge alcuna qualità, effettuare test completi e consentire valutazioni attendibili.
L’impostazione che si sta seguendo nella Commissione Italiana utilizza la distinzione metodologica tra i vari approcci possibili:
Qualità del prodotto e modelli:
- approfondimenti dei requisiti del software e dei dati
- definizioni delle caratteristiche e sotto-caratteristiche di prodotto dell’IA per contribuire ad un modello di qualità condiviso
- sviluppo di misure
- valutazioni dei risultati
Qualità contestuale
- analisi del contesto dei processi di sviluppo
- personalizzazioni delle attività di management e di Governance
- esame dei casi d’uso e loro applicazione
Tra le best practices italiane si considera il Libro bianco sull’Intelligenza artificiale, al servizio del cittadino, del 2018 redatto dall’AgID – Agenzia per l’Italia Digitale [15] che ha raccolto il contributo di illustri esperti italiani.
Gli argomenti trattati nel rapporto riguardano:
- Etica
- Tecnologia
- Competenze
- Ruolo dei dati
- Contesto legale
- Accompagnare la trasformazione
- Prevenire le disuguaglianze
- Misurare l’impatto
- L’Essere umano
In relazione all’argomento dei dati, si vuole sottolineare seguente originale e importante osservazione che si ritiene vitale per un buon funzionamento di sistemi di IA:
“Una sfida tipica che deve affrontare chi utilizza l’IA riguarda l’accesso, la disponibilità e la qualità dei dati. Maggiore è la qualità dei dati, migliore sarà l’accuratezza e la performance del sistema di IA. Tuttavia, spesso i dati pubblici sono raccolti da amministrazioni diverse e, in molti casi, sono frammentari, limitati e non facilmente accessibili. Tutte le amministrazioni devono allora assicurare la qualità e la fruibilità dei dati che forniscono, in maniera tale da poter essere agevolmente utilizzati per testare, utilizzare ed affinare sistemi di IA (pag. 77)”.
Per quanto riguarda la qualità dei dati, l’applicazione dell’ISO/IEC 25012 [8] rimane basilare, corroborata da nuovi sviluppi di IA (e Big Data e IoT) per favorire catalogazioni, classificazioni, integrazioni e fruibilità di dati accurati, tempestivi, credibili e conformi alle norme, idonei ad essere utilizzati da una governance umana.
Una seconda rilevante fonte italiana è costituita dalla proposta di Strategia Italiana per l’Intelligenza Artificiale (versione 2020) redatta dal Gruppo di esperti sostenuto dal MISE – Ministero dello Sviluppo Economico [16]. La strategia si orienta su:
- Incremento degli investimenti
- Ricerca e innovazione
- Adozione delle tecnologie digitali
- Offerta educativa
- Economia dei dati
- Quadro normativo ed etico
- Consapevolezza e fiducia
- Rilancio della PA
- Cooperazione europea e internazionale
Interessante la seguente visione sinottica:
Sono evidenziati tre pilastri dell’IA con riguardo all’essere umano, l’affidabilità e la sostenibilità, menzionando tra i fattori abilitanti: i dati e la loro economia, l’infrastruttura e altre tecnologie. Tra i sistemi verticali di applicazione:
– IoT, manifattura, robotica
– Servizi
– Trasporti, Agrifood, Energia
– Aerospazio e difesa
– Pubblica Amministrazione
– cultura e digital humanities
Conclusione
In molti settori si è alla ricerca di recepire ulteriori caratteristiche in approfondimento da parte di esperti del mercato che potrebbero essere incluse nei modelli di qualità in via di predisposizione da parte delle commissioni ISO ed altre organizzazioni per una visione sistemica valida internazionalmente.
Le componenti dell’IA sono molteplici, a volte considerabili indipendentemente l’una dall’altra, a volte viste nel loro insieme. Un tentativo di quadro ontologico del sistema dell’IA è raffigurato di seguito, come riportato anche nella voce Ontologia del mini Glossario del portale dell’evento in questione. Sono evidenti in alto al rettangolo i numerosi vincoli che condizionano la realizzazione di un sistema IA ed in basso le diverse piattaforme o strumenti di cui il sistema può servirsi.
Bibliografia e webgrafia (in ordine cronologico di pubblicazione o di ultimo aggiornamento)
[1] B. de Finetti, “Macchine “che pensano” (e che fanno pensare)”, Pubblicazione delle Facoltà di Scienze e di Ingegneria della Facoltà di Trieste, 1952
[2] C. Bohm, A. Jacopini “Flow diagram, Turing Machines, and languages with only two formation rules”, CACM,9,5, May 1966, pp. 366-371, op. cit. in F.P. Brooks The metical man-month, Addison-Wesley , p. 144, Publishing Company, 1972
[3] B. Scialpi, Italsiel, “DAFNE – Data and Function Networking – Sn integrated Methodology Boosting SADT Capabilities”, Premiere Conference des utilisateurs de SADT, igl, paris, novembre 1985 (Op.cit. in M. Lissandre, Mitriser SADT, Armand Colin, Paris, 1990)
[4] D. Natale, Sogei, “Software quality and the use of metrics”, International Conference on Achieving Quality on Software, AQuIS, Pisa, Aprile, 1991
[5] D. Natale “On the impact of metrics application in a large scale software maintenance environment” IEEE , Conference on software maintenance, CSM 1991, Sorrento, Ottobre 1991
[6] D. Natale “Qualità e quantità nei sistemi software – Teoria ed esperienze”, FrancoAngeli, 1995
[7] D. Natale (Sogei), M. Scannapieco (Università Sapienza), P. Angeletti (Sogei), T. Catarci (Università Sapienza), G. Raiss (AIPA) “Qualità dei dati e standard ISO/IEC 9126: analisi critica ed esperienza nella Pubblica Amministrazione italiana” – Anteprima del Convegno VLDB – Very Large Data Base, Roma, 10 settembre 2001
[8] ISO/IEC 25012, Software engineering – Software product Quality Requirements and Evaluation (SQuaRE) – Data quality model, 2008
[9] M. Piattini,“Pasado, presente y futuro de la Fabricación de Software”, Ediciones de la Universidad de Castilla – La Mancha, 2009
[10] ISO/IEC 25010, Systems and software engineering – Systems and software Quality Requirements and Evaluation (SQuaRE) – System and software quality models, 2011
[11] D. Natale, E. Viola, “I nuovi standard sulla qualità del software e dei dati”, ISO/IEC 25010 e 25012, Rivista UNI Unificazione & Certificazione, luglio/agosto 2012
[12] ISO/IEC 25000, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) – Guide to SQuaRE, 2014
[13] G. Booch, “History of software Engineering”, Researchgate.net, 2018
[14] ISO/IEC/IEEE 21841, Systems and Software Engineering, Taxonomy of Systems of Systems, 2019
[15] AgID – Agenzia per l’Italia Digitale, “Libro Bianco sull’Intelligenza Artificiale per il cittadino”, 2018 (disponibile anche in inglese)
[16] MISE – Ministero dello Sviluppo Economico, “Strategia Italiana per l’Intelligenza Artificiale”, 2020
[17] EU – European Commission “Ethics guidelines for trustworthy AI”, Expert Group on Artificial Intelligence, 2019
[16] ISO 9241-210, Ergonomics of Human-System Interaction – Part 210: Human centred design for interactive systems, 2019
[18] ISO/IEC 25030 “Systems and software Quality Requirements and Evaluation (SQuaRE) – Quality Requirements framework”, 2019
[19] D. Natale, “Smart City, Standard e Qualità dei dati”, Dossier le città del futuro: intelligenti e sostenibili, Rivista UNI Unificazione&Certificazione, settembre 2019
[20] D. Natale, A. Trenta”Examples of Practical Use of ISO/IEC 25000“, Proceedings of the 1st International Workshop on Experience with SQuaRE Series and its Future Direction, co-located with 26thAsia-Pacific Software Engineeering Conference (APSEC 2019), Putrajaya, Malaysia, december 2019
[21] D. Natale, www.iso25000.it sito personale sull’ISO/IEC 25000 riguardante la qualità del software, dati, servizi IT e qualità in uso, 2020
[22] ISO, www.iso.org International Organization for Standardization: an independent, non-governmental international organization with a membership of 164 national standard bodies, 2020
[23] CE, ec.europa.eu, Libro bianco sull’Intelligenza Artificiale, 2020
[24] CEN, www.cen.eu European Committee for standardization
[25] UNI, www.uni.com Ente italiano di normazione per “un mondo fatto bene”, 2020
[26] UNINFO, www.uninfo.it Ente di normazione federato all’UNI per le Tecnologie informatiche e loro applicazioni, 2020
[27] ETSI, www.etsi.org European Telecommunications Standards Institute, Artificial Intelligence and future directions for ETSI, White Paper N. 34, June 2020
[28] IEEE, A New Standard for Assessing the Well-being Implications of Artificial Intelligence, Daniel Schiff, Aladdin Ayesh, Laura Musikanski, John C. Havens, arXiv:2005 [cs.CY], 7 may 2020
Domenico Natale
Delegato italiano nel gruppo internazionale ISO/IEC JTC1 SC7/WG6 sull’ISO/IEC 25000. Editor degli standard ISO/IEC 25012-25024 sulla qualità dei dati, co-editor della qualità del software ISO/IEC 25010-22-23 e della qualità dei servizi ISO/IEC TS 25011-25. Presidente della Commissione UNINFO UNI CT 504 SC7 Ingegneria del software e membro di Commissioni UNI sull’Intelligenza Artificiale, Informatica Medica, Accessibilità. Rappresentante della Liaison SC7 con SC42 Intelligenza Artificiale. Membro di AG3 ISO sulla comunicazione e sensibilizzazione di standard SC7, Membro Focus Group Europeo sull’IA e del Workshop EU-Japan on AI.
Docente UNI e DNV GL sulle norme e sugli standard di qualità del prodotto. Socio Co-Fondatore dell’associazione GUFPI ISMA sulle metriche del software, socio delle associazioni CDTI e SGI. Socio onorario di UNINFO, Ente federato dell’UNI per l’IT.
[1]Legenda degli acronomi: ISO-International Organization for Standardization; IEC-International Electrotechnical Commission; JTC1-Joint Technical Commettee 1 Information Technology; SC7-Sub Commettee 7 Software Engineering
