NOAA ERDDAP
Helpompi pääsy tieteellisiin tietoihin
Tuotu sinulle NOAA NMFS SWFSC ERD    

ERDDAP > Tiedot

ERDDAP on tietopalvelin, joka tarjoaa yksinkertaisen ja johdonmukaisen tavan ladata tieteellisten tietojoukkojen osajoukkoja yleisissä tiedostomuodoissa ja tehdä kaavioita ja karttoja.

Sisällysluettelo

Ongelmat, joita ERDDAP yrittää ratkaista

Ilman ERDDAP tä, kun henkilö (tai tietokoneohjelma) etsii Internetistä tietyntyyppistä tieteellistä tietoa (esimerkiksi satelliittien merenpinnan lämpötilatietoja), on ongelmia ...

ERDDAP :n ratkaisut

DAP ? OPeNDAP ? DODS ? ERDDAP ? Mitä eroa? Minun (Bobin) käsitykseni on:

DODS (Distributed Oceanographic Data System) luotiin 1990-luvulla, ennen kuin http: (!) oli olemassa. DODS järjestelmä loi ja käytti dods: protokollaa Internetissä. Kun HTTP tuli ja menestyi niin hyvin, he vaihtoivat dods::stä http::ään.

Jossain vaiheessa he ymmärsivät, että järjestelmä oli hyödyllinen muullekin kuin vain valtameren tiedoille. Joten he luopuivat tuosta DODS nimestä (vaikka se elää jossain koodissa), muodostivat pienen organisaation nimeltä OPeNDAP (external link) ja kirjoitti DAP (Data Access Protocol) -määrityksen (external link), joka standardoi metatieto- ja/tai datapyyntöjen muodon ja vastaukset metadatan ja/tai datan kanssa. OPeNDAP (organisaatio) paimene edelleen DAP (spesifikaatiota) ja on Hyrax (tietopalvelin, jota usein kutsutaan virheellisesti OPeNDAP :ksi) kirjoittaja.

Hyrax, THREDDS, GRADS, ERDDAP ja muut ovat tietopalvelimia (ohjelmistoja), jotka toteuttavat DAP . Ne kumpikin toteuttavat DAP :n osajoukon, mutta tekevät muita asioita hyvin eri tavalla.

ERDDAP käyttää koodia ("dods"-hakemistossa) (todellisuudessa Jake Hamby NASA JPL:ssä) joidenkin ominaisuuksien lukemiseen ulkoisista DAP palvelimista. ERDDAP käyttää omaa koodiaan DAP vastausten kirjoittamiseen.
 

Onko ERDDAP ratkaisu kaikkien tiedonjakelun/tietojen käyttöongelmiin?
Ei. ERDDAP yrittää löytää hyvän paikan, joka on todella hyvä ratkaisu useimpiin kohtaamiimme tiedonjakeluongelmiin. ERDDAP käyttää väliohjelmistolähestymistapaa: Se voi saada tietoja useista erityyppisistä etätietopalvelimista ja antaa ne asiakkaille monissa eri tiedostomuodoissa. Se on suunniteltu agnostiseksi ratkaisuksi, joka pyrkii tekemään muista tietopalvelimista (OPeNDAP, SOS, OBIS, WMS, ...) yhteentoimivia. Onko olemassa yhtä täydellistä datapalvelinta, joka vastaa täydellisesti kaikkien tarpeisiin? Emme usko niin. Ja vaikka luulet, että on tai tulee olemaan, kestää kauan ennen kuin kaikki siirtyvät siihen, jos koskaan. Siihen asti ERDDAP on käytettävissä juuri nyt, jotta muut tietopalvelimet saadaan yhteentoimiviksi ja palvelemaan tietoja juuri nyt.

ERDDAP voi käsitellä monia/useimpia tietojoukkoja sellaisenaan, mutta ei kaikkia. Kyse ei ole siitä, että loput tietojoukot (esim. mallidata käyttäen kuutioitua palloprojektiota) eivät olisi tärkeitä. ERDDAP :n tavoite palauttaa tiedot yleisissä tiedostomuodoissa (joista osa on melko yksinkertaisia) estää monimutkaisemman sisäisen tietorakenteen. Monimutkaisempien tietorakenteiden parissa työskentelevillä tutkijaryhmillä on usein jo valmiiksi erikoistuneet tietopalvelimet ja erikoistuneet asiakasohjelmistot, jotka on räätälöity yhteisön tarpeisiin. ERDDAP ei yleiskäyttöisenä tietopalvelimena yritä kilpailla näiden erikoistuneiden tietopalvelimien kanssa. He ovat räätälöityjä yhteisönsä tarpeisiin ja tekevät hyvää työtä. Kuitenkin usein vain kyseisen yhteisön erikoisohjelmistot"ymmärtävät"nämä tietojoukot.

Monimutkaisten tietojoukkojen ratkaisu – ERDDAP lla on tapa käsitellä monimutkaisia ​​tietojoukkoja, joita se ei pysty käsittelemään suoraan. Aivan kuin relaatiotietokanta (external link) voi tallentaa monimutkaisen tietojoukon käyttämällä vain yhtä yksinkertaista tietorakennetta (taulukkoa), ERDDAP voi palvella dataa monimutkaisemmista tietojoukoista jakamalla lähdetietojoukon muutamaksi ERDDAP -tietojoukoksi, joista jokaisella on samanlainen, yksinkertainen tietorakenne. Esimerkiksi jotkin ruudukkopohjaiset ympäristömallitietojoukot voidaan tallentaa ERDDAP :hen laittamalla merenpinnan muuttujat ([aika][leveysaste][pituusaste]) yhteen ERDDAP -tietojoukkoon ja sijoittamalla muuttujat korkeudella ([aika][korkeus][ leveysaste][pituusaste]) toisessa ERDDAP tietojoukossa. Tiedämme, että tämä ei ole ihanteellinen, mutta on välttämätöntä sallia ERDDAP palauttaa tiedot yleisissä tiedostomuodoissa (joista jotkin ovat melko yksinkertaisia).

Toinen tapa käsitellä monimutkaisia ​​tietojoukkoja (esim. mallidatalle kuutioitua palloprojektiota käyttäen) on myös tarjota datajoukosta uudelleen projisoitu versio ([aika][korkeus][leveysaste][pituusaste]), jonka kanssa ERDDAP voi työskennellä helposti. Näitä yksinkertaisempia tietorakenteita ei ole tarkoitettu korvaamaan alkuperäisiä tietorakenteita, mutta ne voivat olla hyödyllinen tapa jakaa dataa laajemmalle yleisölle.
 

Kuinka kestävä ERDDAP -projekti on?
ERDDAP on erittäin kestävä.
Jotkut ihmiset ovat yllättyneitä ja pettyneitä kuullessaan, että ERDDAP on enimmäkseen kehittänyt yksi henkilö (oli Bob Simons, nyt Chris John). [Muuten, tällä verkkosivulla olevat mielipiteet ovat henkilökohtaisia ​​mielipiteitäni eivätkä välttämättä heijasta hallituksen tai National Oceanic and Atmospheric Administration kantaa.] He pelkäävät, että jos minulle tapahtuu jotain, se on ERDDAP n loppu. Se ei yksinkertaisesti ole totta. ERDDAP :n sijoittuminen pitkän aikavälin kestävyyteen on erinomainen ja lähellä parasta mitä se voi olla.

Kyllä, olen ERDDAP :n pääkehittäjä. Olen täysin rahoitettu liittovaltion työntekijä. Rahoitukseni ei ole"pehmeää"rahaa, joten en saa apurahoja tai luota niihin. Käytän yli puolet ajastani ERDDAP kehittämiseen. Loput ajastani kuluu tietojoukkojen hallintaan. Tämä työ on hyödyllinen ERDDAP lle, koska minun on työskenneltävä oikeiden tietojoukkojen kanssa tietääkseni yksityiskohtaisesti, mitä ERDDAP on tehtävä. Esimieheni tukevat täysin työtäni ERDDAP n parissa, koska se tekee sen, mihin minut palkattiin: helpottaa kalastuksen tutkijoiden (ensisijaisesti, mutta todella kaikkien) tieteellisen tiedon saamista eri lähteistä.

Ohjelmiston ihmeellinen asia on, että sen kopioiminen ei maksa mitään. Joten tehdäkseni työtäni kirjoitan ERDDAP käytettäväksi ERD ssä. Se on mielestäni paras tapa tehdä työtäni. Pelkästään tämä syy oikeuttaa ERDDAP kehittämiskustannukset. (Luulen, että voitaisiin osoittaa, että ERDDAP on säästänyt enemmän NOAA -tutkijan aikaa kuin mitä olen käyttänyt ERDDAP kehittämiseen . Aika=rahaa.) Mutta sivuetu on, että mikä tahansa muu organisaatio voi ladata, asentaa ja käyttää ERDDAP ilmaiseksi jakaakseen omia tietojaan. tieteellistä tietoa.

Yli 90 organisaatiota vähintään 14 maassa käyttää ERDDAP :ta. Ehkä on olemassa sellainen asia kuin ilmainen lounas.

ERDDAP on Java ohjelma. Jokaisen version lähdekoodi on GitHubissa (external link), yleisimmin käytetty järjestelmä yhteistyöohjelmistoprojekteihin. Krediitit ERDDAP pisteet ovat nyt saatavilla erillisellä sivulla . Toivon, että muut lisäävät koodia tulevaisuudessa. Jos minulle tapahtuu jotain, esimieheni palkkaavat sijaisen, jolla on tietty tavoite, että hän jatkaa ERDDAP n kehittämistä. Lisäksi yritän kirjoittaa erittäin puhdasta koodia. Kirjoitan Java Doc -kommentteja. Kirjoitan kommentteja koodiin. Valitsin muuttujien nimet huolellisesti. Noudatan Java muotoiluohjeita. Kaikki tämä on yritystä tehdä koodista luettavampi muille ohjelmoijille, jotka haluavat ymmärtää ja/tai muuttaa sitä, ja minulle, koska vuoden tai kahden kuluttua olen unohtanut yksityiskohdat siitä, miten ja miksi koodi oli kirjoitettu niin kuin se oli. Puhdas koodi hyvillä kommenteilla helpottaa jatkuvaa ERDDAP työtäni, joten minulla on suuri kannustin kirjoittaa puhdasta koodia hyvillä kommenteilla.

Mutta kaikki vastaukseni tähän mennessä eivät ole kovin tärkeitä. Vain yksi asia on todella tärkeä. Vain yksi asia takaa ERDDAP tai minkä tahansa ohjelmistoprojektin kestävyyden: että ERDDAP on ilmainen ja avoimen lähdekoodin ohjelmisto (FOSS) (external link) . Erityisesti ERDDAP käyttää Apache-yhteensopivia ohjelmistolisenssejä (external link), joten kuka tahansa voi tehdä koodilla mitä haluaa.

Miksi se on tärkeää? Voisi ajatella, että ohjelmistot ovat tulevaisuudessa luotettavasti saatavilla, koska sen takana on iso yritys. Mutta esimerkiksi Google on keskeyttänyt useita projekteja (tässä on luettelo (external link)). En halua valita Googlea, koska pidän todella Googlesta ja se rahoittaa monia hienoja avoimen lähdekoodin projekteja. Microsoft on keskeyttänyt projekteja. Apple on keskeyttänyt projekteja. ... Asia on siinä, että pelkkä suuren yrityksen tuki ei takaa hankkeen jatkumista. Ohjelmiston käyttäjät eivät ole onnekkaita, ellei ohjelmisto ollut (ja siksi on aina) ilmainen ja avoimen lähdekoodin ohjelmisto (FOSS). Sitten aina, kun yksikin kehittäjä on kiinnostunut, projekti voi kehittyä ja kehittyy edelleen. FOSS on vakuutus. Itse asiassa FOSS on ainoa vakuutus, ainoa vakuutus, jolla on merkitystä. FOSS varmistaa, että ohjelmistolla on aina tie eteenpäin. Se on oikeus, jota kukaan ei voi koskaan ottaa pois.

Voidaan myös ajatella, että ohjelmistot, joissa on suuri kehittäjätiimi, ovat kestävämpiä kuin ohjelmistot, joissa on yksi pääkehittäjä. Mutta monet kehittäjät tarvitsevat yleensä paljon rahoitusta. Tiedän kuuluisan, kohtuullisen suuren projektin, jossa on 10 kehittäjää (en nolaa heitä nimeämällä heitä), joka on jatkuvassa vakavassa vaarassa keskeyttää projektin, koska heillä ei ole tarpeeksi rahoitusta. He luottavat avustuksiin. Heillä on aina vaje. Heidän suojelijansa on aina pelastanut heidät viime hetkellä, mutta on todella kyllästynyt heidän pelastamiseen. Joten jos he eivät pysty keräämään miljoonaa dollaria vuodessa apuraharahoja (tai suojelija kyllästyy liian pelastamaan heitä), he lopettavat. Ja ryhmä ei voi kuvitella, että sillä olisi alle 10 kehittäjää. Jokaisella kehittäjällä on oma roolinsa ryhmässään. Tämän valossa minusta näyttää olevan hieno merkki siitä, että vain yksi pääkehittäjä (joka on täysin rahoitettu) voi kehittää ja kehittää aktiivisesti ERDDAP :tä muutaman muun epävirallisella avustuksella. Jos tosiasia, se olisi huono merkki, jos ERDDAP vaatisi useita kehittäjiä. Se, että ERDDAP lla on vain yksi pääkehittäjä, tarkoittaa, että se ei ole valtava tehtävä, joka vaatii massiivista jatkuvaa rahoitusta; se on suhteellisen pieni tehtävä, joka vaatii vain vähän vaivaa ja rahoitusta. Se on kestävämpää, ei vähemmän.

Voisi ajatella, että sopimusyrityksen palkkaaminen ohjelmistojen kirjoittamiseen on hyvä idea. Maksua vastaan ​​he tarjoavat kehittäjille ja lupaavat jatkuvuuden (mikä on hyvä, elleivät / kunnes he lopettavat toimintansa). Mutta heillä on myös tynnyri: sinun on maksettava heille mitä he pyytävät, tai kehitystä ei enää tehdä, ellei ohjelmisto ole FOSS ja maksat heille vain koodin työstämisestä. FOSS:n avulla sinulla on aina valinnanvaraa siitä, miten edetä. Koska ERDDAP on FOSS, urakoitsijat ovat aina hyvä vaihtoehto sinulle tai kenelle tahansa ERDDAP n suhteen: jos minulle (yksi pääkehittäjälle) tapahtuu jotain tai jos minulla ei ole aikaa tehdä jotain haluamaasi muutosta, tai minä jää eläkkeelle ja et pidä sijaiseni työstä, voit aina palkata urakoitsijan tekemään haluamasi muutokset (tai tehdä ne itse).

Yhteenvetona voidaan todeta, että ERDDAP on kaksi tärkeintä kestävän kehityksen ominaisuutta:

  1. ERDDAP on pieni projekti (tarpeeksi pieni yhden pääkehittäjän hoitamaan muutaman muun epävirallisen avun kanssa), joten se ei vaadi valtavia resursseja.
  2. ERDDAP on ilmainen ja avoimen lähdekoodin ohjelmisto, joten kukaan ei voi koskaan estää sinua tai ketään muuta työskentelemästä ERDDAP parissa.
En voi kuvitella parempaa tilannetta. Toivon, että se helpottaa sinua (tai kenenkään muun) ERDDAP :n kestävyyttä koskevia pelkoja. Jos kuulet ihmisten kyseenalaisen tai estävän ERDDAP n käyttöä, koska siellä on vain yksi pääkehittäjä, opastaa heidät yllä olevaan keskusteluun tässä URL-osoitteessa: https://coastwatch.pfeg.noaa.gov/erddap/information. html#kestävä .
 

Tietojoukon lainaaminen paperissa
On tärkeää kertoa lukijoille, miten olet saanut paperissasi käyttämäsi tiedot. Katso jokaisen käyttämäsi tietojoukon metatiedot .html-sivun alareunassa olevasta Dataset Attribute Structure -osiosta, esim.
https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplMU RSS T41.html . Metatiedot sisältävät joskus vaaditun tai ehdotetun lainausmuodon tietojoukolle. "Lisenssi"-metatiedoissa luetellaan joskus tietojen käyttöä koskevia rajoituksia.

Luodaksesi sitaatti tietojoukolle:
Jos pidät tietojoukkoa tieteellisenä artikkelina, voit luoda lainauksen tekijän (katso"creator_name"tai"institution"metatiedot), tietojen latauspäivämäärän, otsikon (katso"title"-metatiedot) perusteella. ) ja julkaisija (katso"julkaisijan_nimi"-metatiedot). Jos mahdollista, liitä mukaan tiedot lataamiseen käytetyt URL-osoitteet. Jos tietojoukon metatiedot sisältävät digitaalisen objektitunnisteen (DOI ) (external link), sisällytä se luomaasi lainaukseen.
 

Kuinka lainata ERDDAP tä paperissa
Jos haluat lainata itse ERDDAP tieteellisessä artikkelissa, käytä jotain vastaavaa
Simons, RA ja Chris John. 2022. ERDDAP . https://coastwatch.pfeg.noaa.gov/erddap. Monterey, CA: NOAA / NMFS / SWFSC / ERD .

Mitä lyhenne" ERDDAP "tarkoittaa?
" ERDDAP "oli aiemmin lyhenne, mutta se kasvoi alkuperäisen kuvauksen ulkopuolelle. Ajattele sitä nyt vain nimenä, ei lyhenteenä.
 

Tiedonjakelujärjestelmiä koskevat ohjeet
Bobin mielipiteet tiedonjakelujärjestelmien suunnittelusta ja arvioinnista löytyvät täältä .
 

Voit perustaa oman ERDDAP palvelimen ja palvella omia tietojasi.

Ota meihin yhteyttä

Jos sinulla on kysymyksiä, ehdotuksia tai kommentteja ERDDAP stä yleensä (ei tästä tietystä ERDDAP asennuksesta), lähetä sähköpostia osoitteeseen erd dot data at noaa dot gov ja liitä mukaan ERDDAP URL-osoite, joka liittyy suoraan kysymykseesi tai kommenttiisi.
Tai voit liittyä ERDDAP Google-ryhmään/postituslistaan ​​käymällä osoitteessa https://groups.google.com/forum/#!forum/erddap (external link) ja klikkaa"Hae jäsenyyttä". Kun olet jäsen, voit lähettää kysymyksesi sinne tai etsiä, onko kysymys jo esitetty ja siihen on vastattu.

VASTUUVAPAUSLAUSEKE: Tällä verkkosivulla olevat mielipiteet ovat Bob Simonsin henkilökohtaisia ​​mielipiteitä, eivätkä ne välttämättä heijasta hallituksen tai National Oceanic and Atmospheric Administration kantaa.


 
Translated by Google ?
ERDDAP, versio 2.26
Vastuuvapauslausekkeet | Tietosuojakäytäntö | Ottaa yhteyttä