VALSTYBĖS DUOMENŲ AGENTŪROS
GENERALINIS DIREKTORIUS
ĮSAKYMAS
DĖL VALSTYBĖS DUOMENŲ AGENTŪROS GENERALINIO DIREKTORIAUS 2023 M. KOVO 31 D. ĮSAKYMO NR. DĮ-82 „DĖL VALSTYBĖS DUOMENŲ VALDYMO PLATFORMOS VEIKIMO IR NAUDOJIMO SĄLYGŲ TVARKOS APRAŠO PATVIRTINIMO“ PAKEITIMO
2024 m. birželio 27 d. Nr. DĮ-130
Vilnius
Pakeičiu Valstybės duomenų valdymo platformos veikimo ir naudojimo sąlygų tvarkos aprašą, patvirtintą Valstybės duomenų agentūros generalinio direktoriaus 2023 m. kovo 31 d. įsakymu Nr. DĮ-82 „Dėl Valstybės duomenų valdymo platformos veikimo ir naudojimo sąlygų tvarkos aprašo patvirtinimo“, ir 1 priedą „Platformos architektūros ir funkcionalumo aprašas“ išdėstau nauja redakcija (pridedama).
Valstybės duomenų valdymo platformos
veikimo ir naudojimo sąlygų tvarkos aprašo,
patvirtinto Valstybės duomenų agentūros
generalinio direktoriaus
2023 m. kovo 31 d. įsakymu Nr. DĮ‑82,
(Valstybės duomenų agentūros
generalinio direktoriaus
2024 m. birželio 27 d. įsakymo Nr. DĮ-130
redakcija)
1 priedas
VALSTYBĖS DUOMENŲ VALDYMO PLATFORMOS architektūros ir funkcionalumo aprašas
I SKYRIUS
VALSTYBĖS DUOMENŲ VALDYMO PLATFORMOS ARCHITEKTŪRA
1. Platforma yra sudaryta iš trijų susijusių sluoksnių, atsakingų už skirtingo funkcionalumo įgyvendinimą:
1.1. duomenų sluoksnio, atsakingo už duomenų įsisavinimo iš duomenų šaltinių funkcionalumą ir apimančio jau parengtas jungtis įprastų tipų duomenims paimti ir atviras integracines sąsajas (API) sudėtingesniems duomenų paėmimo atvejams. Šis sluoksnis taip pat turi praktiškai neribotos apimties duomenims ir Platformos naudotojų skaičiui pritaikytą saugyklą („duomenų ežerą“);
1.2. valdymo sluoksnio, atsakingo už duomenų tvarkymą, apdorojimą ir transformacijas, taip pat duomenų saugumo užtikrinimą bei duomenų perdavimą kitoms aplikacijoms;
2. Platforma yra visavertiškai valdoma komercinė programinė įranga kaip paslauga (angl. Software-as-a-Service, SaaS), pagrįsta viešosios debesijos infrastruktūra.
3. Platforma naudoja debesijos infrastruktūrą, palaikančią hiperskaliavimo (angl. hyperscaling) funkciją (pvz., AWS, Azure, GCP arba lygiavertę).
4. Platformą galima atnaujinti be veiklos sustabdymo:
4.1. yra naudojamas nuolatinės integracijos (CI) / nuolatinio pristatymo (CD) metodas, kad atnaujinimai ir kiti konfigūracijos pakeitimai Platformoje būtų taikomi nestabdant veiklos arba esant nedideliam poveikiui visai Platformai;
5. Platformoje ir su ja susijusiose paslaugose yra įdiegtos operacinio atsparumo kontrolės priemonės:
5.3. Platforma nuolat srautiniu būdu siunčia (angl. stream) visus svarbiausius duomenis į kelis veikiančius pagrindinius kompiuterius įvairiuose regionuose ir prieinamumo zonose Europos Sąjungoje;
6. Platforma įgalina atitinkamas teises turinčius naudotojus Platformos įrankiais kurti automatinius duomenų įkėlimo ir iškėlimo mechanizmus taip, kad valstybės ir (ar) savivaldybių institucijų ir įstaigų, taip pat kitų šaltinių duomenys, esantys jų informacinėse sistemose, svetainėse ar kitur, galėtų būti naudojami ir Platformoje, ir už jos ribų.
7. Platformos naudotojai, turintys atitinkamas teises, gali, naudodami vartotojo sąsają arba programavimo aplinką, rankiniu būdu įkelti duomenų rinkinius, sukurti automatinį duomenų įkėlimo mechanizmą, atlikti duomenų transformacijas, duomenų analizę, sukurti vizualizacijas ir rankiniu būdu iškelti duomenis arba sukurti automatizuotą duomenų iškėlimą į išorines informacines sistemas.
8. Platforma yra pritaikyta masinei duomenų analizei ir užtikrinti didelį duomenų pralaidumą:
8.1. Platformos infrastruktūra apima Kubernetes palaikomą konteinerizavimo sprendimą, leidžiantį platformą dinamiškai didinti ir mažinti pagal kliento poreikius.
8.2. Platformos paslaugos yra horizontaliai keičiamos (angl. horizontally scalable) debesyje, kad būtų galima užtikrinti didelį prieinamumą ir konfigūruojamą apkrovos balansavimą.
8.3. Platforma užtikrina greitus ir tikslius atsakymus į užklausas bei efektyvų skaičiavimo pajėgumų naudojimą naudojant paskirstytą failų sistemą ir jos duomenų saugyklas.
9. Platforma yra interoperabili, kad būtų išvengta priklausomybės nuo tiekėjo (angl. vendor lock-in):
9.1. Platforma yra sukurta remiantis paskirstyta mikroservisų architektūra su atviromis, gerai dokumentuotomis REST API sąsajomis, skirtomis sąveikai su kitomis sistemomis, prisitaikyti prie kintančių poreikių ir išvengti priklausomybės nuo Platformos (angl. platform lock-in).
9.2. Platforma užtikrina saugius prisijungimo taškus per standartines API sąsajas ir jungtis (pvz., REST API, ODBC ir JDBC tvarkykles). Prisijungimo taškai atitinka industrijos standartus.
9.3. Platformos API sąsajos yra saugios, autentifikuotos ir audituojamos. Platformoje yra įdiegti atskaitomybės mechanizmai, leidžiantys stebėti, kokiais duomenimis kas ir kada naudojasi.
10. Platforma yra suderinama su egzistuojančiais analitiniais sprendimais. Platformoje yra numatytos jungtys su žinomais analitiniais įrankiais, tokiais kaip Tableau, PowerBI ir SAS.
II SKYRIUS
VALSTYBĖS DUOMENŲ VALDYMO PLATFORMOS FUNKCIONALUMAS
12. Duomenų įsisavinimo funkcionalumas:
12.1. Platforma įgalina Platformos naudotojus įvesti ar įkelti įvairių rūšių duomenų rinkinius ar įkelti elektronines rinkmenas:
12.1.1. sukurti teikiamų duomenų įvedimo formą ir suteikti kitiems įgaliotiems Platformos naudotojams teisę ją pildyti;
12.1.2. naudojant paprastą vartotojo sąsają, įkelti duomenis iš CSV, XML formatų rinkmenų ir pan. arba įkelti kitų formatų elektronines rinkmenas, tokias kaip nuotrauka ar nestruktūrizuotas tekstas;
12.2. Platforma turi galimybę prisijungti prie trečiųjų šalių sistemų ir sąveikauti su jomis, neatsižvelgiant į duomenų, kuriais keičiamasi, mastą, struktūrą ar schemą. Platformos naudotojas, turintis atitinkamas teises, gali, naudodamas vartotojo sąsają, aprašyti ir sukonfigūruoti duomenų paėmimo mechanizmą, leidžiantį paimti duomenų rinkinius ar elektronines rinkmenas tiesiai iš kitų informacinių sistemų. Platformoje taip pat yra įgyvendintas būdas keliais mygtuko paspaudimais masiškai eksportuoti duomenis į išorines programas, duomenų bazes ir failų sistemas:
12.2.1. Platforma turi iš karto įdiegtas jungtis, skirtas standartiniams šaltinių tipams, pavyzdžiui, SQL duomenų bazėms, išorinėms failų sistemoms, debesyje talpinamoms duomenų bazėms ir duomenų srautams. Platforma turi paruoštus prisijungimus prie dažniausiai pasitaikančių duomenų šaltinių, tokių kaip Oracle, Microsoft SQL Server, FTP server, SAS, SAP, Hive, Teradata, Sybase, DB2 ir pan. Sprendimas palaiko standartines sąsajas (pvz., JDBC, REST ir kt.).
12.2.2. Platforma palaiko lanksčią duomenų integravimo sistemą, kuri gali integruoti įvairius duomenų formatus, įskaitant struktūrizuotus (pvz., Parquet), pusiau struktūrizuotus (pvz., XML, JSON) ir nestruktūrizuotus (pvz., PDF) duomenų tipus.
12.2.3. Platforma palaiko dvikryptį duomenų judėjimą. Platforma geba skaityti duomenis iš šaltinio sistemų ir siųsti duomenis atgal į tas sistemas, naudodama atgalinį įrašymą, pvz., atnaujinti informaciją, susijusią su veiklos sprendimais.
12.3. Platforma leidžia automatizuoti duomenų ir elektroninių rinkmenų įkėlimo ir paėmimo procesus:
12.3.1. Platformos naudotojui, turinčiam atitinkamas teises, kurti automatinius procesus, kurie pagal jo numatytą datą ir laiką gali atlikti duomenų ar elektroninių rinkmenų paėmimą, išarchyvavimą ir įkėlimą į Platformos duomenų bazę;
12.4. Platformoje yra laikomasi šaltinio sistemos duomenų saugumo konfigūracijų, kai prieinama prie duomenų.
12.5. Saugumo kontrolės priemonės yra automatiškai paveldimos iš pirminių duomenų rinkinių, kad saugumo politika „sektų paskui duomenis“, kai jie naudojami, transformuojami ir modifikuojami tolesnėje duomenų apdorojimo grandinėje.
12.6. Platforma palaiko visą dirbtinio intelekto / mašininio mokymosi (DI/MM, angl. AI/ML) modeliavimo ciklą:
12.6.1. Platforma suteikia naudotojams galimybę visiškai valdyti ir diegti Python ir TypeScript funkcijas kaip modelius. Naudotojai gali diegti modelius į Platformoje sukurtas analitines programas, kad būtų galima atlikti modeliais grindžiamas operacijas ir priimti sprendimus.
12.6.2. Platforma suteikia naudotojams galimybę peržiūrėti DI/MM modelių našumo rodiklius ir įžvalgas apie juos, pavyzdžiui, validavimo statistiką ir modelio etapus. Naudotojai gali palyginti modelių versijų rezultatus.
13. Duomenų apdorojimo funkcionalumas:
13.1. Platforma įgalina naudotojus dirbti su įvairių rūšių duomenimis, leidžia juos jungti, apdoroti bei prireikus šiuos veiksmus automatizuoti. Yra galimybė naudotojui, turinčiam atitinkamas teises, dirbti su įvairių rūšių duomenimis, atlikti duomenų valymą, jungimą ir transformacijas:
13.1.1. naudojant lengvai valdomą vartotojo sąsają, duomenų įkėlimo metu leidžiančią atlikti paprastus duomenų valymo ir standartizavimo darbus, tokius kaip pasikartojančių įrašų šalinimas, reikšmių normalizacija, reikšmės pakeitimas į skaičių, išvestinių stulpelių kūrimas, stulpelių sujungimas, reikšmių pakeitimas kitomis reikšmėmis, įrašo išskaidymas į kelis stulpelius, stulpelio reikšmių užmaskavimas naudojant maišos funkcijas ir t. t. Platformos naudotojams yra suteikta galimybė parengti šablonus arba eksportuoti duomenų valymo ir standartizavimo metodus atvirojo kodo kalbomis, kad juos būtų galima pakartotinai naudoti. Platformoje yra galimybė patikrinti duomenų atitiktį naudojant konfigūruojamas validavimo taisykles (pvz., tikslumo ir (arba) išsamumo);
13.1.2. naudojant lanksčią programavimo aplinką, leidžiančią rašyti kodą SQL, R ir Python kalbomis (ar kita bendrosios paskirties programavimo kalba) taip, kad skirtingi transformacijos etapai galėtų būti parašyti naudojant skirtingą programavimo kalbą. Testavimo reikmėms galima paleisti transformacijos kodą su mažais duomenų pavyzdžiais (angl. subset), sudarytais naudojant Platformos filtrą prieš leidžiant juos su pilnais duomenų rinkiniais;
13.1.3. automatizuoti duomenų transformacijos procesus kuriant duomenų sekos planą (angl. data pipeline). Duomenų sekos grandinėje atsinaujinus duomenims prieš tai esančioje transformacijoje, duomenys atsinaujina ir esamoje transformacijoje automatiškai pasileidžiant transformacijos kodui taip, kad atnaujinus pirmąjį duomenų šaltinį pasikeistų duomenys visuose sekos grandinės žingsniuose, įskaitant ir žingsnius, įgyvendinančius duomenų vizualizacijas;
13.2. Platforma apima duomenų priėmimo, valymo ir transformavimo valdymo sistemą, kuri automatizuoja daug laiko ir klaidų reikalaujančias operacijas. Platforma suformuoja integruotą, atnaujinamą duomenų paketą, kuriuo grindžiamas Platformos inžinierių ir naudotojų atliekamas darbas:
13.2.1. Platformoje yra įdiegtas skaičiavimo servisas (angl. build service), kuris išsaugo pradinę duomenų būseną ir užtikrina transformacijų versijų kontrolę, kad duomenis būtų galima skaičiuoti, keisti ir perskaičiuoti.
13.2.2. Skaičiavimo servisas palaiko įvykiais pagrįstus trigerius, leidžiančius naudotojams inicijuoti skaičiavimą pagal nustatytus įvykius, pavyzdžiui, naujų duomenų patekimą į šaltinio sistemą.
13.2.3. Platforma leidžia naudotojams atlikti patikrinimus, kurie užtikrina, kad visos priklausomybės (tolesnės grandies duomenų rinkiniai, taikomosios programos, ataskaitos ir švieslentės, kurie remiasi ankstesnės grandies duomenimis) pilnai veiktų atsižvelgiant į naujai įvestus duomenis.
13.2.4. Platforma užtikrina intuityvią grafinę sąsają, leidžiančią naudotojams sąveikauti su skaičiavimo servisu. Joje yra pavaizduota kiekvieno skaičiavimo darbo būsena, kartu su naudojamų duomenų priklausomybėmis.
13.3. Platforma palaiko drag-and-drop duomenų sekos planus. Platforma suteikia naudotojams intuityvią drag-and-drop sąsają, nereikalaujančią jokio kodo rašymo arba tik nedidelės jo dalies, kad būtų galima kurti ir valdyti duomenų integravimo planus, kurie transformuotų neapdorotus duomenų šaltinius į „švarius“ išvesties rezultatus, reikalingus analizei atlikti;
13.4. Platformoje yra automatiškai saugomi išsamūs duomenų kilmės įrašai ir visos sistemoje duomenims taikytos transformacijos. Tai leidžia Platformos naudotojams stebėti visą duomenų gyvavimo ciklą nuo tada, kai jie pateko į sistemą neapdorotu formatu:
13.4.1. Platforma pateikia naudotojams grafinį duomenų sekos planą, kuriame matomas duomenų rinkinių ir Platformos išteklių (pvz., pirminių ir ankstesnių duomenų rinkinių) ryšys iki pat pirminio šaltinio failo.
13.4.2. Platformos naudotojams suteikiama galimybė pasirinkti transformaciją ir pamatyti susijusio duomenų rinkinio pavyzdį, transformacijos kodą ir metaduomenis, pavyzdžiui, susijusio duomenų rinkinio atnaujinimo datą, atnaujinimo trukmę, būseną, dydį ir pan.
13.4.3. Platformos naudotojai turi galimybę atskirai atnaujinti konkretų susijusį duomenų rinkinį arba taip pat atnaujinti visus įvesties (tėvinius) duomenų rinkinius, kurie reikalingi tai transformacijai, iki pat pirminių duomenų šaltinių.
13.4.4. Tais atvejais, kai su pasirinkta transformacija susijusio duomenų rinkinio atnaujinimui reikia atnaujinti ir visus įvesties (tėvinius) duomenų rinkinius iki pat pirminių duomenų šaltinių, Platforma gali tai gali padaryti automatiškai, t. y. automatiškai nustatyti priklausomybes tarp duomenų rinkinių pagal duomenų sekos planą.
13.4.5. Platforma suteikia naudotojams vizualinių filtrų pasirinkimą, kad būtų galima greitai įvertinti naujumą, prieigos teises ir kitus su duomenų rinkiniais susijusius rodiklius.
13.5. Platforma turi versijavimo funkcionalumą, taikomą ir duomenų rinkiniams, ir programiniam kodui. Prireikus yra galimybė atstatyti transformacijos paveiktus duomenų rinkinius ar pakeistą programinį kodą į pasirinktą versiją.
13.6. Platformoje yra įdiegtas servisas, kuris stebi duomenų jungčių ir transformacijų sekos būklę ir įspėja apie ją:
13.6.1. Platforma palaiko duomenų būklės stebėseną ir įspėjimus apie visų per sprendimą perduodamų duomenų savalaikiškumą, kokybę, stabilumą, išsamumą ir autentiškumą;
13.6.2. Platforma palaiko duomenų jungčių būklės patikrinimus ir įspėjimus, įskaitant iš anksto nustatytus patikrinimus dėl galimų problemų, susijusių su duomenų rinkinių būsenomis, vėlavimu, paketų dydžiais ir schemos pakeitimais. Taip pat yra įmanoma sukurti pasirinktines patikras, apimančias savo nuožiūra apibrėžtas duomenų ryšio problemas.
13.6.3. Platforma suteikia naudotojams galimybę pažymėti ir atkreipti dėmesį į konkrečias duomenų kokybės problemas, o administratoriams – jas nagrinėti ir išspręsti.
13.6.4. Platforma automatiškai atnaujina duomenų būklės ataskaitas, kad naudotojai galėtų matyti tiesioginę duomenų būklę.
13.7. Platforma turi atsišakojimo (angl. branching) funkcionalumą. Platforma suteikia naudotojams integruotą atsišakojimo funkcionalumą tiek transformacijų kodui, tiek duomenų rinkiniams. Tai sudaro sąlygas tam, kad vystymo darbai galėtų būti lygiagrečiai vykdomi neįtakojant duomenų sekų produkcijos aplinkoje, ir užtikrina, kad transformacijos kodą būtų galima įdiegti į produkcijos aplinką tik po to, kai jis buvo išbandytas ir patvirtintas.
14. Duomenų analizės, vizualizavimo ir ataskaitų formavimo funkcionalumas:
14.1. Platformoje yra realizuota Platformos naudotojo Platformos aplinka su įrankiais, kurie leidžia įvairaus žinių lygio Platformos naudotojams gauti duomenimis pagrįstus sprendimus ir atlikti įvairialypę didelės apimties duomenų analizę:
14.1.1. yra realizuotas originalių duomenų kopijų išsaugojimas ir visų duomenims taikomų transformacijų sekimas, kad būtų išvengta informacijos praradimo;
14.1.2. yra užtikrintos įvairaus žinių lygio ir techninių gebėjimų Platformos naudotojų ir jų grupių (pagal priskirtas Platformos naudotojų teises) galimybės atlikti įvairialypę duomenų analizę:
14.1.2.1. pažengusiems naudotojams (duomenų analitikams, mokslininkams, matematikams, statistikams ir pan.) yra užtikrintos galimybės Platformoje atlikti sudėtingą kompleksinę duomenų analizę (kurti modelius, taikyti mašininio mokymosi algoritmus ir pan.) naudojant Platformoje palaikomas programavimo kalbas ir tiesiogiai rašant programinį kodą;
14.2. Platformoje galima keisti pradinio Platformos aplinkos puslapio nustatymus. Įgalioti naudotojai turi galimybę apriboti visą Platformos įrankių spektrą iki tam tikrai naudotojų grupei skirto modulių ir (arba) sąsajų rinkinio.
14.3. Platformoje yra realizuota išteklių paieškos, naršymo ir tvarkymo sistema, veikianti atsižvelgiant į naudotojų teises. Platforma sudaro galimybes naudotojams su atitinkamomis teisėmis:
14.4. Platformoje yra realizuotas pranešimų valdymo ir tvarkymo funkcionalumas su galimybėmis naudotojui keisti nustatymus:
14.4.1. Naudotojas gali gauti sisteminius pranešimus apie duomenų sekos plano atnaujinimo statusą, duomenų korektiškumo įspėjimus ir kitus panašius techninius parametrus.
14.4.3. Galima nustatyti pranešimus taip, kad jie ateitų į el. pašto dėžutę, susietą su Platformos naudotojo paskyra.
14.5. Platformoje yra įgyvendintas objektų modelis. Platforma palaiko objektų modelio koncepciją, veikiančią kaip bendras tiesos šaltinis visai organizacijai:
14.5.1. Objektų modelis paverčia duomenis, saugomus lenteliniuose duomenų rinkiniuose, į kanoninį duomenų modelį, kurį sudaro objektai ir ryšiai tarp jų, atspindintys semantiškai reikšmingas sąvokas.
14.5.5. Objektų modelis sąveikauja su organizacijos saugumo architektūromis, įskaitant autorizavimą naudotis duomenų šaltiniais.
14.5.6. Platforma palaiko grafinę sąsają, kuri leidžia interaktyviai tyrinėti ryšius objektų modelyje.
14.5.8. Platforma palaiko atskiras objektų modelio transakcijas, kurios pakeičia vieno ar daugiau objektų modelio objektų savybes.
14.5.9. Platforma turi webhooks servisą, skirtą integruotis su sistemomis, kurios negali visiškai išnaudoti objektų modelio. Platforma atveria webhooks servisą, leidžiantį objektų duomenis nukreipti į išorines sistemas arba įrašyti atgal į duomenų šaltinių saugyklas naudojant pasirinktinius API kreipinius.
14.6. Platformos objektų modelį galima keisti:
14.6.2. vartotojo sąsaja suteikia administratoriams galimybę objektų modelyje kurti naujus objektų ir jų sąryšių tipus;
14.7. Platforma suteikia naudotojams galimybę ieškoti, filtruoti ir vizualizuoti objektų modelio duomenis:
14.7.1. Platforma leidžia naudotojams sąveikauti su objektiniais duomenimis. Tai apima objektų filtravimą ir paiešką.
14.7.2. Platforma palaiko point-and-click filtravimą, kad būtų galima gilintis į arba filtruoti didelį objektų skaičių.
14.8. Platforma suteikia galimybę vartotojo sąsajos programuotojams kurti aplikacijas, paremtas objektų modelio duomenimis:
14.8.1. Platforma gali sugeneruoti išsamų, konkrečiai sričiai pritaikytą programinės įrangos kūrimo rinkinį (angl. software development kit), kad techniniai naudotojai galėtų kurti aplikacijas, paremtas Platformos objektų modeliu.
14.9. Platforma leidžia naudotojams filtruoti, analizuoti ir vizualizuoti didelės apimties duomenis, naudojant duomenų mokslo ir vizualizavimo įrankius, nereikalaujančius jokio kodo rašymo arba tik nedidelės jo dalies patogioje vartotojo sąsajoje:
14.9.1. Sąsaja naudotojams, neturintiems specifinių programavimo įgūdžių, leidžia atlikti įvairialypę duomenų analizę keliais paspaudimais ar pan.:
14.9.1.1. pateikti bendrą informaciją apie duomenų lentelę: eilučių ir stulpelių skaičius, atnaujinimo datą ir pan.;
14.9.1.8. tvarkyti duomenų rinkinio stulpelius: šalinti, pervadinti, keisti tvarką, kurti naujus stulpelius;
14.9.1.10. eksportuoti duomenų rinkinius atvirais duomenų formatais, pvz., CSV formato rinkmenas ar pan.;
14.10. Platforma turi skaičiuoklės funkcionalumą:
14.10.1. Skaičiuoklės funkcionalumas palaiko duomenų įvedimą į skaičiuoklę. Naudotojai taip pat gali rašyti funkcijas, naudodami nuorodas į langelius.
14.11. Platformoje yra užtikrinta išsami modeliavimo ir simuliavimo galimybė, kad būtų galima atlikti „kas būtų, jeigu būtų“ analizę:
14.11.1. Sprendimas leidžia užduoti klausimus „kas būtų, jeigu būtų“, kad būtų galima simuliuoti įvairias veiklos sąlygas, atsižvelgiant į objektų modelį.
14.11.2. Platforma leidžia išsaugoti, saugoti, atkurti ir redaguoti „kas būtų, jeigu būtų“ scenarijus bet kuriuo metu, kad būtų galima optimizuoti tam tikrus konkrečius rezultatus.
14.12. Platformoje yra įdiegta programavimo aplinka, kurioje būtų galima rašyti kodą ir atlikti pažangias duomenų analizes bei vizualizacijas:
14.12.2. Programavimo aplinka leidžia naudotojams naudotis bet kokiais kodo paketais, įskaitant atvirojo kodo, trečiųjų šalių ar viduje sukurtais įrankiais.
14.12.3. Programavimo aplinka leidžia naudotojams pažangią programavimo logiką paversti šablonais, kurie vėliau galėtų būti naudojami naujiems duomenims apdoroti per transformacijas ir analizes.
14.13. Platforma leidžia naudotojams kurti individualius dokumentus ir ataskaitas:
14.13.1. kurti ir redaguoti ataskaitas ir dokumentus, kad būtų lengviau keistis informacija tarp naudotojų arba su išorės dalyviais;
14.13.2. kurti, redaguoti ir peržiūrėti ataskaitų šablonus, prie kurių vėliau gali prieiti ir juos naudoti įgalioti naudotojai;
14.13.3. Platforma palaiko turinio iš kitų platformoje esančių analitinių aplikacijų integravimą į individualią ataskaitą;
14.14. Platformoje yra realizuotas paprastų duomenų įvedimo formų kūrimo funkcionalumas:
14.15. Platforma suteikia geoerdvinės ir laiko analizės bei vizualizavimo galimybes:
14.15.1. palaiko geoerdvinius vaizdus ir analitines galimybes, leidžiančias naudotojams atlikti geoerdvines užduotis;
14.15.2. leidžia naudotojams vizualizuoti geoerdvinius duomenis iš įvairių duomenų šaltinių, įskaitant didelio mastelio vektorinius ar laiko duomenis;
14.15.3. leidžia naudotojams atlikti geoerdvinę taškų ir poligonų duomenų paiešką, naudojant ribinių laukų (angl. bounding box) ir poligonų susikirtimo užklausas;
14.16. Platforma užtikrina procesų analizės galimybę, kad būtų galima nustatyti procesus, gerinančius veiksmus ir automatizacijas:
14.16.1. Platformoje yra įdiegtas procesų analizės įrankis, skirtas susijusių procesų vizualizacijoms kurti (pvz., sąveikų, darbo eigos ir tinklų).
15. Aplikacijų kūrimo funkcionalumas:
15.1. Platformoje naudotojams suteikiamos priemonės, leidžiančios kurti aplikacijas individualioms užduotims atlikti naudojant objektų modelį.
15.2. Platforma leidžia naudotojams intuityviai apibrėžti ir valdyti veiklos logiką („jei taip, tuomet taip“), pavyzdžiui, generuoti perspėjimus Platformoje arba išorėje.
15.3. Platforma suteikia naudotojams galimybę kurti ir konfigūruoti švieslentes ir aplikacijas skirtingos apimties kodo reikalaujančiose aplinkose:
15.3.1. Platforma palaiko interaktyvų švieslenčių kūrimą ir internetinių aplikacijų vystymą naudojant drag-and-drop sąsają, kurioje naudojami iš anksto paruošti valdikliai (angl. widgets), pvz., objektų lentelės, savybių sąrašai, diagramos, laiko juostos.
16. Duomenų iškėlimo funkcionalumas:
16.1. Platforma leidžia saugoti ir eksportuoti tiek pirminius, tiek apdorotus duomenis atvirais formatais, tokiais kaip CSV ar XLSX.
16.2. Yra galimybė Platformos įrankiais sukonfigūruoti duomenų eksportą: duomenų rinkinius pagal nustatytą datą ir laiką iškelti po vieną ar daugiau į kitas duomenų bazes, aplikacijas ar failines sistemas. Platformoje tam, kad būtų atiduoti duomenys, turi būti paruošti prisijungimai prie JDBC, lokalios failų sistemos, HDFS, SFTP, S3, ABFS.
17. Dirbtinio intelekto (DI) ir didelių kalbos modelių (LLM, angl. large language model) funkcionalumas:
17.1. Platforma palaiko iš anksto paruoštų ir perkančiosios organizacijos teikiamų LLM integraciją:
17.2. Platforma turi LLM pagrįstą natūralios kalbos pokalbių robotą (angl. chatbot):
17.2.1. yra įdiegta LLM pagrįsta paslauga, padedanti naudotojams efektyviai naršyti ir naudotis Platforma. Paslauga palaiko skirtingas kalbas ir geba atsakyti į naudotojų klausimus apie Platformą;
17.3. Platforma leidžia naudotojams sąveikauti su objektų modeliu naudojant natūralios kalbos įvestis:
17.3.1. Yra sukurta vartotojo sąsaja, leidžianti naudotojams pateikti užklausą objektų modeliui naudojant natūralios kalbos įvestis.
17.3.2. Vartotojo sąsaja generuoja grafikus ir vizualizacijas, atsakydama į natūralios kalbos užklausas, kai tai tikslinga. Grafikus ir vizualizacijas galima redaguoti.
17.4. Platforma suteikia sąsają LLM pagrįstai logikai apibrėžti ir taikyti:
17.4.1. pateikia point-and-click kodo rašymo nereikalaujančią LLM paremtą sąsają, leidžiančią naudotojams apibrėžti veiklos logiką;
17.5. Platforma suteikia naudotojams galimybę panaudoti LLM duomenų sekoms kurti:
17.6. Platforma suteikia DI pagrįstas galimybes papildyti, paaiškinti ir ištaisyti platformoje parengtą kodą:
17.7. Platforma suteikia naudotojams galimybę pasitelkti LLM duomenims analizuoti. Platformoje yra galimybė generuoti naujus stulpelius, taikyti filtrus arba agreguoti objektų savybes naudojant natūralios kalbos įvestis.
18. Naudotojų teisių valdymo funkcionalumas:
18.1. Platforma užtikrina išsamią ir plečiamą prieigos kontrolės infrastruktūrą, kad organizacija galėtų įdiegti atitinkamus saugumo teisių lygius ir klasifikacijas. Platforma suteikia administratoriams galimybę apibrėžti ir įgyvendinti labai detalias teisių schemas iki pat langelio ar eilutės lygio:
18.1.1. Administratoriai turi galimybę naudotojams ir grupėms priskirti konkrečias prieigos teises, kurios reglamentuoja, kaip jie sąveikauja su bet kokiu ištekliu ar duomenimis.
18.1.2. Platforma turi prieinamą ir intuityvią vartotojo sąsają duomenų prieigos teisėms konfigūruoti ir valdyti. Naudodamiesi šia sąsaja administratoriai gali kurti, testuoti, įgyvendinti ir valdyti saugumo politiką. Platforma leidžia administratoriams peržiūrėti prieigos teisių politiką prieš ją įgyvendinant.
18.1.3. Platforma užtikrina prieigos kontrolės priemonių paskirstymą ir paveldėjimą visiems duomenims ir analizėms, tiesiogiai ar netiesiogiai išvestiems iš pradinių duomenų. Šis prieigos kontrolės priemonių paskirstymas vykdomas iki pat galutinio naudotojo aplikacijos, kad būtų užtikrintas prieigos kontrolės vientisumas visoje Platformoje. Pavyzdžiui, konkrečiai eilutei nustatytos prieigos teisės išlieka net ir tada, kai tie duomenys sujungiami su kitais šaltiniais, šakojami ar kitaip transformuojami.
18.1.4. Platformoje yra įdiegta tikslais pagrįsta prieigos kontrolė (angl. Purpose-Based Access Controls, PBAC), pagal kurią reikalaujama, kad naudotojai, prieš pradėdami dirbti su konkrečiais duomenų rinkiniais, paprašytų prieigos, pateiktų pagrindimą ir gautų patvirtinimą.
18.1.5. Platforma užtikrina vaidmenimis pagrįstą prieigos kontrolę (angl. Role-Based Access Controls, RBAC), kad administratoriai galėtų nustatyti, kokius duomenis naudotojai gali matyti ir kokius veiksmus jie gali atlikti, remdamiesi savo individualiais vaidmenimis ir naryste grupėse (pvz., skaityti, rašyti, valdyti, atrasti).
18.1.6. Platforma užtikrina atributais pagrįstą prieigos kontrolę (angl. Attribute-Based Access Controls, ABAC), kad administratoriai galėtų apibrėžti naudotojų prieigą prie duomenų pagal atributus (pvz., naudotojų atributus, su duomenimis susijusius atributus).
18.1.7. Visos prieigos kontrolės priemonės atskiriems naudotojams ar naudotojų grupėms yra priskiriamos administratorių ir (arba) paveldimos iš šaltinio sistemų bei gali būti atnaujinamos bet kuriuo metu.
18.1.8. Platforma leidžia nustatyti pasirinktinius vaidmenų apibrėžimus konkrečioms darbo užduotims, o ne reikalauja naudoti pagal nutylėjimą nustatytus naudotojų vaidmenis (pvz., administratoriaus ir paprasto naudotojo).
18.2. Platforma palaiko išteklių saugojimą katalogų hierarchijoje:
18.2.1. palaiko pagrindinių katalogų, į kuriuos naudotojai gali dėti išteklius pagal jų šaltinį, organizacijos struktūrą, projektinę veiklą ar kitą loginę tvarką, kūrimą;
18.3. Naudotojų paieškos rezultatuose rodomi ištekliai atitinka kiekvieno iš rodomų išteklių prieigos teises: rodomi tik tie ištekliai, kuriuos ieškantis naudotojas turi teises matyti.
18.4. Platforma palaiko išteklių apsaugojimą saugumo žymomis:
18.4.1. Papildomai prie aukščiau aprašytų prieigos teisių yra galimybė ištekliams suteikti vieną ar kelias saugumo žymas.
18.4.2. Yra galimybė naudotojams ir grupėms suteikti prieigą prie vienos ar kelių saugumo žymų. Saugumo žymų naudotojams priskyrimą gali atlikti tik naudotojai, turintys atitinkamas teises.
18.4.4. Ištekliai, kurie naudoja duomenis iš kitų saugumo žymomis apribotų išteklių, paveldi jų saugumo žymas.
18.4.5. Saugumo žymos atsiradimas ant išteklių apriboja naudotojų turėtas prieigos prie išteklių teises. Pvz., naudotojas, turintis savininko prieigos teisę prie išteklių, bet neturintis visų ištekliams suteiktų saugumo žymų, negali jų pasiekti.
18.4.6. Naudotojas privalo turėti kiekvieną išteklių saugumo žymą tam, kad galėtų pasiekti išteklius.
18.5. Platformos RESTful API palaiko ilgalaikį prisijungimą iš išorinių sistemų: Platforma gali išduoti ilgalaikį prisijungimo atpažinimo ženklą (angl. authentication token) ar slaptažodžius, kuriuos išorinės sistemos gali panaudoti automatizuotai pasiekiant sistemos išteklius naudojantis RESTful API. Įmanoma lengvai atšaukti tokius atpažinimo ženklus ar slaptažodžius, juos praradus ar paviešinus už Platformos ribų.
18.6. Platforma užtikrina saugų bendradarbiavimą tarp skirtingų organizacijų. Platforma leidžia kelioms organizacijoms pasirinktinai bendradarbiauti saugioje multi-tenant aplinkoje. Ji suteikia skirtingų organizacijų administratoriams išsamią kontrolę ir skaidrumą nustatant, kokiais duomenimis naudotojai gali dalytis su kitomis organizacijomis, kokius duomenis kitų organizacijų naudotojai gali atrasti, pasiekti ir redaguoti bei kokiais duomenimis bet kuriuo metu organizacijos dalijasi tarpusavyje.
19. Duomenų konfidencialumo užtikrinimo funkcionalumas:
19.1. Platforma suteikia galimybę užmaskuoti duomenis užuot naudojus originalius identifikacinius duomenis (pvz., užšifruoti (angl. encryption), užkoduoti (angl. scrambling). Užmaskuotus duomenis turi būti įmanoma prireikus atšifruoti:
19.1.1. Platformoje yra numatyta galimybė užmaskuoti asmenį identifikuojančią informaciją (angl. Personally Identifiable Information, PII) iš duomenų rinkinių naudojant kodą (pvz., reikšmių pakeitimą, filtravimą).
19.1.2. Platforma suteikia galimybes agreguoti duomenis, kad būtų sumažinta rizika atpažinti ar pakartotinai identifikuoti asmenis.
III SKYRIUS
VALSTYBĖS DUOMENŲ VALDYMO PLATFORMOS infrastruktūra
21. Platformos duomenų saugojimo funkcionalumas palaiko paskirstytas, saugias ir plačiai pasiekiamas duomenų saugojimo infrastruktūras, tokias kaip, pvz., Azure Blob Store, HDFS ar Amazon S3.
22. Naudojama infrastruktūra gali dinamiškai plėstis (angl. horizontal scaling) pagal realaus laiko resursų poreikį, taip užtikrindama reikalingus resursus turimam duomenų kiekiui ir naudotojų skaičiui.
23. Platforma yra įgyvendinta vieno langelio principu, tai reiškia, kad yra sukurta patogi vartotojo aplinka, per kurią galima lengvai pasiekti visus suintegruotus duomenų šaltinius bei Platformos įrankius neišeinant už Platformos ribų ir nesinaudojant papildomomis taikomosiomis programomis.
24. Platformos tarnybinių stočių veikimas yra nuolat stebimas. Į iškilusius incidentus operatyviai reaguojama ir sutrikimai šalinami pagal standartines veiklos procedūras.
25. Platforma turi integruotą (-us) autentifikavimo ir autorizavimo servisą (-us), kuris (-ie) geba integruotis su išoriniais tapatybių teikėjais (angl. identity provider) ir kuris (-ie) palaiko vieno prisijungimo (angl. single-on) su dviejų veiksnių autentifikacija (angl. two factor authentication) schemą.
26. Platformos autentifikavimo ir autorizavimo servisas (-ai) geba gauti papildomą informaciją apie vartotoją: pašto adresą, priklausomybę grupėms ir pan., bei vartotojų grupes, kurios turės būti naudojamos prieigai prie duomenų rinkinių nustatyti ir kontroliuoti.