What is KAIA
KAIA – Environmental portal open data service – is a service for sharing data files of meteorological and hydrological measurements.
KAIA datasets
The following meteorological and hydrological observation and model data files are shared as open data through the KAIA application:
- meteorological radar raw data and product data
- meteorological station observation raw data
- weather warnings data
- NEMO meteorological model data
- SWAN meteorological model data
- SWAT hydrological model data.
Using KAIA data
The data is freely available to use, both by manually managing the data in the data view and by using the API code.
Manually managing the data
Data views can be selected in the hierarchical menu on the left side of the user view and in the drop-down menu in the upper left corner. The selected data view is displayed as a list of data. The list always shows the observation or measurement time, file name and file size. In the case of weather radar data, the name of the radar is also displayed, in the case of hydrology model data, the name of the measuring station is also displayed. It should be noted that the observation time in the data list is given according to the local, Estonian time zone, but the metadata of the file name contains time of the zero time zone (UTC).
The main data views can be filtered using the drop-down menus above the data list. These drop-down menus allow you to filter results by observation time, file name, and file size. Option filters are applied when the user presses the "Filter" button. The "Clear" button next to the „Filter“ button clears the filters.
There are two ways to perform search in the application:
(1) Enter your search phrase in the window in the upper right corner of the user view. This search takes the user to the “All data” view, which is filtered according to the search phrase.
(2) Write the search phrase in the "Title", „Type“, „Radar“ or „SwatStation“ column filter box above the data in the appropriate data view. Uppercase and lowercase letters are not important as search parameters.
Using API code
In the service, the rightmost button in the row of buttons above the data list and selection menus is the "Show API links" button.
By manually filtering the data view you need in the service we can get the code of this filter in json format ("Filter for API"), which can be copied into the code.
The Swagger user view, accessible via the“Swagger“ button in the top right corner, displays the main file of the API code (source API definition) and describes the request methods (request method) and data schemas (schema).
Based on the functionality of the KAIA service, the following request methods are presented in the Swagger user view: (1) downloading data files as individual data files and (2) downloading data as data packages (zip files). An important input to the first command is the metadata query, as we need the identifiers of individual data files to download them.
KAIA datasets description and metadata
KAIA datasets are linked with the data dictionary and business dictionary of the Environment Agency's data catalogue through their Environmental Portal.
Mis on KAIA to do translate
Keskkonnaportaal avaandmete failihoidla (KAIA -Keskkonnaportaali avaandmete jagamisteenus) on meteoroloogiliste ja hüdroloogiliste mõõdistuste andmefailide avaandmete vaatamise keskkond ja jagamise teenus.
Avaandmed on juurdepääsupiiranguteta jagatavad andmed, mida kõik huvilised saavad kasutada nii mittetulunduslike kui äriliste uuringute läbiviimiseks, ettevõtmiste käivitamiseks ja andmepõhiste otsuste tegemiseks. Avaandmete loojaks ja avaldajaks on enamasti avaliku sektori asutused, aga ka ettevõtted, teadusasutused ja muud organisatsioonid, kes oma töö käigus koguvad ja haldavad andmeid. Juba kord kogutud andmete jagamine teiste andmekasutajatega aitab nende andmete taaskasutajatel kokku hoida andmekogumise ja haldamisega seotud ressursse, kasutada omandatud andmeid alternatiivselt või uuenduslikult, ning seeläbi maksimeerida nende kasutamise ühiskondliku kasu. Andmete jagamisel avaandmetena on oluline järgida, et need oleks avaldatud taaskasutamist soodustavas formaadis ja hästi kirjeldatuna.
KAIA teenuse loomine
Avalikus sektoris toodetavad andmed, sh meteoroloogilised ja muud keskkonnaseire ning ruumiandmed, oleksid digimajanduses väärtuslik ressurss, kuid nende praegune kasutamine ei vasta võimalikule potentsiaalile, eelkõige taaskasutustasude, vähese koostalitusvõime ning halva masinloetavuse tõttu. Nende probleemide likvideerimiseks kinnitas Euroopa Komisjon (EK) 2022. aasta lõpul väärtuslike andmestike avaldamise ja taaskasutamise korra, mille riiklikku rakendamist Eesti on adresseerinud KAIA teenuse loomisega. Komisjoni direktiivi lisas osutatud andmestikud, sh meteoroloogiliste ja hüdroloogiliste vaatluste andmestikud, tuleb avaldada võimalikult vaba avaliku juurdepääsu, hea dokumenteerituse, masinloetavuse ja hulgi allalaaditavuse tingimustel.
KAIA andmestikud
KAIA rakenduse kaudu jagatakse avaandmetena järgmiste meteoroloogiliste ja hüdroloogiliste andmete faile:
- Ilmaradarite toorandmed ja produktide andmed
- Meteoroloogiajaamade seire toorandmed
- Ilmahoiatuste andmed
- Meteoroloogilise mudeli NEMO andmed. Tähelepanu! NEMO andmete puhul kasutatakse koos kõrvuti olevaid sama kuupäeva ja sama prognoosi ulatusega kahte faili.
- Meteoroloogilise mudeli SWAN andmed
- Hüdroloogilise mudeli SWAT andmed
KAIA andmestike kasutamine
Andmed on KAIA teenusest vabalt kättesaadavad nii andmevaates käsitsi hallates kui API koodi kasutades.
Tähelepanu! Andmete alla laadimisel kehtib hetkel ühe kasutaja jaoks failide paketi mahu piirang 100GB. Kui alla laadimiseks valitud failide maht seda piirangut ületab, saab kasutaja sellekohase hoiatuse ja allalaadimine ei käivitu.
Andmestike käsitsi haldamine andmevaates
Andmevaated KAIA teenuses on eelpool loetletud meteoroloogiliste ja hüdroloogiliste mõõtmiste andmete põhised. Neid andmevaateid saab teenuses vaatamiseks ja salvestamiseks valida kasutajavaate vasakul äärel asuvas hierarhilises menüüs ja vasakul ülemises nurgas olevas rippmenüüs. Valitud andmevaade kuvatakse andmete nimekirjana. Nimekirjas kuvatakse alati vaatluse või mõõtmise aeg, faili nimi ja faili suurus. Ilmaradari andmete puhul kuvatakse ka radari nimi, hüdroloogia mudelandmete puhul mõõtejaama nimi. Tähelepanu! Kuigi vaatluse aeg on failinimekirjas "Aeg", "Kuupäev" või "Muutmisaeg" veerus toodud kohaliku, Eesti vööndiaja järgi, on see failinime metaandmetes kirjas null ajavööndi (UTC) ajana.
Andmete põhivaateid saab täiendavalt filtreerida andmete nimekirja kohal asuvate valikumenüüde abil. Need valikumenüüd võimaldavad tulemusi filtreerida vaatluse aja, faili nime ja faili suuruse järgi. Valikute filtreid rakendatakse, kui kasutaja vajutab nupu "Filtreeri". Nupp "Puhasta filtrid" tühjendab filtrid. Aja puhul saab valikumenüüsse liikudes avaneval kalendril ja kellal ära märkida algus- või lõpu aja või ajavahemiku - esimesele väljale läheb vahemiku alguskuupäev ning teisele lõppkuupäev. Kui on märgitud nii algus- kui lõppkuupäev, kuvatakse selles vahemikus loodud failid. Kui on täidetud ainult alguskuupäev, siis kuvatakse failid, mis on loodud alates märgitud kuupäevast. Kui on täidetud ainult lõppkuupäev, siis kuvatakse failid, mis on loodud enne märgitud kuupäeva.
Andmenimekirju on võimalik eksportida XLSX-formaadis. Kasutajale kuvatakse selleks andmevaate kohal nupp: "Salvesta XLSX failina". Nupule vajutamisel koostatakse vaate andmetest fail ja pakutakse kasutajale alla laadimiseks vastavalt brauseri seadetele. Faili salvestatakse vaate kõik veerud ja read (kaasa arvatud päiserida veergude pealkirjadega), hoolimata leheküljendamisest. Sealjuures arvestatakse eksportimisel valitud loendivaadet ning loendile rakendatud filtreid - eksportimisel eksporditakse ainult need andmed, mis on välja filtreeritud. XLSX failis on andmefaili pealkiri antud lingina, mis viib dokumendi detailvaatesse.
Koostöös teenuse arendajaga valmistatakse ette otsingu funktsionaalsust, mille abil saab otsida märksõnu eraldi otsingukastis, sh märksõnu failide metaandmetest. Hetkel on see funktsionaalsus piiratud ja otsingutel tuleb piirduda filtritega ning otsingusõnadega veergude filtrikastides.
Tehnilise abi lühikirjeldused, kuidas otsida, on lisatud üldisele otsinguaknale ja ka veeru pealkirja otsingukastile.
API koodi kasutamine
KAIA andmevaadetes andmenimekirja ja valikumenüüde kohal olevas nupureas kõige parempoolsem on nupp "Näita veebiteenuse linke".
Filtreerides teenuses käsitsi endale vajaliku andmevaate, saame sellele nupule vajutades selle filtri json formaadis koodi ("Filter, mis sisestada veebiteenusesse"), mis kopeerida Swaggeri kasutajavaatesse, mis ise avaneb KAIA kasutajavaate ülemisel valikuribal parempoolses nurgas olevast API nupust.
Swaggeri kasutajavaates kuvatakse API koodi põhifail (source API definition) ning kirjutatakse lahti päringumeetodid (request method) ja andmeskeemid (schema).
Lähtudes KAIA teenuse põhifunktsionaalsustest on Swaggeri kasutajavaates päringumeetoditena esitatud: (1) andmefailide allalaadimine üksikute andmefailidena ja (2) andmete allalaadimine andmepakkidena (zip failidena). Esimesele käsule annab olulise sisendi metaandmete päring, kuna üksikute andmefailide allalaadimiseks vajame nende failide identifikaatoreid. Järgnevalt on kirjeldatud päringumeetodite kasutamist.
Metaandmete päring (Gets metadata of documents matching a filter)
Tekita filtritega KAIA kasutajavaates andmenimekirja soovitud üksus (Näiteks nähtus: Echo-top (TOP); aeg 04.10.23 00:00 - 04.10.23 00:05; Harku radar);
Ava nupult „Näita veebiteenuse linke“ koodivaade;
Vali ja kopeeri kood (Filter, mis sisestada veebiteenusesse);
Swaggeri kasutajavaates päringumeetodi POST /_vti_bin/RmApi.svc/{list}/items/query juures vajuta nuppu "Try it out";
Kleebi kopeeritud kood Request body kasti;
Execute → Download;
Alla laetakse json formaadis andmefail andmenimekirjas välja filtreeritud faili metadataga (response_1696591329933.json);
Selles failis leidub faili identifikaator (id), mida kasutada Swaggeri vaates failide ühekaupa allalaadimise seadistamiseks.
Üksiku faili päring (File of document)
Swaggeri kasutajavaates päringumeetodi GET /_vti_bin/RmApi.svc/active/items/{id}/files/{fileId} juures vajuta nuppu "Try it out";
Sisesta faili identifikaator (Näiteks eelmises päringus saadud faili identifikaator 885136) id of the item kasti;
Execute → Download file;
Alla laetakse valitud andmefail;
Kui üksus koosneb mitmest failist, võib olla vajalik sisendi andmine ka fileid kasti, kuid see võib jääda ka 0.
Failide paki päring (Gets zipped files of documents matching a filter)
Tekita filtritega KAIA kasutajavaates andmenimekirja soovitud andmevaade. (Näiteks nähtus: Echo-top (TOP); aeg 04.10.23-05.10.23);
Ava nupult „Näita veebiteenuse linke“ koodivaade;
Vali ja kopeeri kood (Filter, mis sisestada veebiteenusesse);
Swaggeri kasutajavaates päringumeetodi POST /_vti_bin/RmApi.svc/active/items/zipped-files juures vajuta nuppu "Try it out";
Kleebi kopeeritud kood Request body kasti;
Execute → Download file;
Alla laetakse valitud failide pakk zip formaadis.
KAIA andmestike kirjeldamine
Andmestike kvaliteetne kirjeldamine ja seostamine teiste andmestikega adresseerib andmete koostalitusvõime parandamise tingimust väärtuslike andmete avaldamise ja taaskasutamise korras. Andmete kirjeldamiseks on KAIA andmestikud keskkonnaportaali kaudu liidestatud Keskkonnaagentuuri andmekataloogi andmesõnastiku ja ärisõnastikuga.