Dokumentointi

ERDDAP :n "files" avulla voit selata virtuaalista tiedostojärjestelmää ja ladata lähdetietotiedostoja. Toivottavasti tämä on tuttu, helppo järjestelmä, jota voit käyttää suosikkiselaimesi kanssa tai halutessasi komentoriviohjelmasta, kuten curl .

ERDDAP suunniteltiin ajatukselle, että useimmat tietojoukot ovat valtavia, joten useimmat käyttäjät tarvitsevat tai haluavat vain osajoukon tietojoukosta, josta he ovat kiinnostuneita (esim. pienempi maantieteellinen alue, pienempi aikaväli tai kaikki datamuuttujat) . Mutta ymmärrämme, että jotkut käyttäjät todella haluavat koko tietojoukon tai ainakin sen osajoukon, joka löytyy lähdedatatiedostojen osajoukosta. Jos se olet sinä, "files" voi olla sinua varten. "files" -järjestelmän yksi etu on, että näet jokaisen tiedoston koon (tavuina) ja viimeksi muokatun ajan (Zulu aikavyöhyke), joten on helppo nähdä, onko tiedostoa muutettu.

Sisällysluettelo

Klikkaus
Muut tiedostotyypit
VAROITUS! Erilaiset metatiedot ja muuttujien nimet
Ei kaikki tietojoukot
Ei FTP
Command Line Downloads curl
Näytä mediatiedostoja
"Kuinka voin käsitellä näitä tiedostoja?"
Tavualueen pyynnöt

Klikkaus

Voit käyttää "files" napsauttamalla. Millä tahansa "files" -verkkosivulla voit:

Napsauta otsikkoa (nimi, viimeksi muokattu, koko tai kuvaus) lajitellaksesi tuotteet kyseisen määritteen mukaan. Yhden otsikon napsauttaminen toistuvasti vaihtaa lajittelujärjestystä (nouseva tai laskeva). Huomaa, että "Viimeksi muokattu" käyttää Zulu aikavyöhykettä.
Napsauta hakemiston nimeä päästäksesi kyseiseen hakemistoon.
Napsauta tiedoston nimeä ladataksesi tiedoston.

Muut tiedostotyypit

Oletusarvoisesti hakemistoluettelo palautetaan HTML-taulukkona verkkosivulla. Käyttäjä voi pyytää hakemistoluettelon palauttamista eri tiedostomuodossa liittämällä minkä tahansa seuraavista tiedostopäätteistä: .csv, .htmlTable, .itx, .json, .jsonlCSV1, .jsonlCSV, .jsonlKVP, .mat, .nc, .nccsv, .tsv tai .xhtml . Esimerkiksi tämän verkkosivun sijaan:
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMURSST41/
voit pyytää hakemistoluetteloa .csv-tiedostona:
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMURSST41/.csv

VAROITUS! Erilaiset metatiedot ja muuttujien nimet

ERDDAP :n tabledap tai griddapin kautta saatavilla oleville tietojoukoille ERDDAP järjestelmänvalvojat voivat määrittää ERDDAP muuttamaan tietojoukon metatietoja ja muuttujien nimiä lennossa, jotta sinä, käyttäjä, näet parannetun version tietojoukon metatiedoista. Mutta "files" näet alkuperäiset metatiedot ja muuttujien nimet, joten älä ihmettele, jos ne ovat erilaisia! Jos et ole tyytyväinen erilaisten metatietojen ja muuttujien nimien käsittelyyn, voit käyttää sen sijaan tietojoukon Data Access Form -lomaketta.

Vastaavasti, kun pyydät osajoukkoa tietoja jostakin ERDDAP :n Data Access Forms -lomakkeesta, voit määrittää tiedostotyypin (esim. .nc, .csv, .json, .mat ), jonka haluat saada vastauksena. Luonnollisesti "files" kautta saatavilla olevat lähdedatatiedostot ovat saatavilla vain yhdellä tiedostotyypillä. Jos et ole tyytyväinen lähdetiedoston tiedostotyyppiin, voit käyttää sen sijaan tietojoukon Data Access Forms -lomaketta.

Ei kaikki tietojoukot

Jotkut tämän ERDDAP n tietojoukot eivät ole käytettävissä "files" kautta. Yleisiä syitä ovat:

Tietojoukon tiedot eivät ole peräisin tiedostoista (esim. tietokannasta tai Cassandrasta tai etä-THREDDS-, HYRAX- tai GRADS-tietopalvelimesta).
Välittömät lähdetiedostot ovat .nc ml -tiedostoja, jotka määrittävät, kuinka todellisia datatiedostoja muokataan lennossa.
ERDDAP järjestelmänvalvoja päätti, ettei lähdetietotiedostoja ole saatavilla.

Jos haluamasi tietojoukon lähdetiedostot eivät ole saatavilla, voit lähettää sähköpostia tämän ERDDAP :n järjestelmänvalvojalle, kerfoot at marine dot rutgers dot edu, pyytääksesi niiden saattamista saataville, mutta yleensä siihen on jokin syy, miksi ne eivät ole jo saatavilla.

Ei FTP

Ymmärrämme, että jotkut käyttäjät saattavat haluta, että ERDDAP tarjoaa tiedostoja FTP:n kautta HTTP:n sijaan, kuten "files" tekevät. Anteeksi. Toivottavasti pystyt tekemään sen, mitä tarvitset nykyisellä "files" .

Pakattujen tiedostojen pyytäminen

ERDDAP ei tarjoa tuloksia, jotka on tallennettu pakattuihin tiedostoihin (esim. .zip tai .gzip ). Sen sijaan ERDDAP etsii hyväksyntäkoodausta (Ulkoinen linkki)

asiakkaan lähettämässä HTTP GET -pyynnön otsikossa. Jos tuettu pakkaustyyppi (gzip, x-gzip tai deflate ) löytyy hyväksymiskoodausluettelosta, ERDDAP sisällyttää "sisällön koodauksen" HTTP-vastauksen otsikkoon ja pakkaa tiedot lähettäessään niitä. Asiakasohjelman tehtävänä on etsiä content-encoding ja purkaa tiedot sen mukaisesti. Pakkaamisen pyytäminen on valinnaista, mutta pakatut vastaukset ovat usein 3-10 kertaa nopeampia, joten tämä säästää paljon aikaa, jos lataat paljon suuria tiedostoja. (Huomaa, että pakattujen .png-tiedostojen pyytämisestä ei ole hyötyä, koska tiedostojen sisältö on jo pakattu.)

Oletuksena selaimet ja OPeNDAP asiakkaat pyytävät aina pakattua tietoa ja purkaa palautetut tiedot.
Lisää curl komentoriville --compressed, jotta curl pyytää pakattua vastausta ja purkaa sen automaattisesti.
Muiden asiakasohjelmistojen kanssa olet määrittänyt tämän erikseen.
Tässä on Java esimerkki .
Tässä on esimerkki Python (vaikka sinun tulee joko käsitellä deflate 'd -vastauksia tai olla pyytämättä deflate).

Command Line Downloads curl

Jos haluat ladata sarjan tiedostoja ERDDAP sta, sinun ei tarvitse pyytää jokaisen tiedoston ERDDAP URL-osoitetta selaimessasi istuessasi ja odottamassa kunkin tiedoston latautumista. curl käyttötavat:

Jos olet mukava kirjoittaa tietokoneohjelmia (esim. C:llä, Java, Python, Matlab, r), voit kirjoittaa ohjelman silmukalla, joka tuo kaikki halutut datatiedostot.
Jos olet tyytyväinen komentoriviohjelmiin (vain ohjelman suorittaminen tai bash- tai tcsh-komentosarjojen käyttäminen Linuxissa tai Mac OS X:ssä tai erätiedostojen käyttäminen Windowsissa), voit käyttää curl tulostiedostojen tallentamiseen ERDDAP tiedostoista kiintolevyllesi., käyttämättä selainta tai kirjoittamatta tietokoneohjelmaa.

ERDDAP + curl on hämmästyttävän tehokas ja mahdollistaa ERDDAP käytön monilla uusilla tavoilla. curl asentaminen:

Linuxissa ja Mac OS X:ssä curl on luultavasti jo asennettu nimellä /usr/bin/ curl .
Windowsissa tai jos tietokoneessasi ei ole vielä curl, sinun on ladattava curl ja asenna se. Pääset Windowsin komentoriville napsauttamalla Windows-kuvaketta ja kirjoittamalla hakutekstikenttään cmd . ("Win32 - Generic, Win32, binary (ilman SSL:ää)" toimi minulle Windows 7:ssä.)

Ole ystävällinen muille ERDDAP käyttäjille: suorita vain yksi komentosarja tai curl komento kerrallaan.

Ohjeet curl käyttöön ovat curl man -sivulla (external link) ja tässä curl opetusohjelmassa . Mutta tässä on nopea opetusohjelma, joka liittyy curl käyttöön ERDDAP kanssa:

Voit ladata ja tallentaa yhden tiedoston käyttämällä
curl --compressed -g "erddapUrl" -o fileDir/fileName.ext
jossa --compressed käskee curl pyytää pakattua vastausta ja purkaa sen automaattisesti,
  -g poistaa curl globbing-ominaisuuden käytöstä,
  erddapUrl on mikä tahansa ERDDAP -URL-osoite, joka pyytää data- tai kuvatiedostoa ja
  -o fileDir/fileName.ext määrittää luotavan tiedoston nimen.
Esimerkiksi,
```
 curl --pakattu -g "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_41008_met.nc" -o ndbc/41008.nc
```
curl -ohjelmassa, kuten monissa muissakin ohjelmissa, erddapUrl:n kyselyosan on oltava prosenttikoodattu : kaikki parametriarvojen merkit ('=' -merkkien jälkeiset osat) muut kuin A-Za-z0-9_-!.~'()* on koodattava muodossa %HH, missä HH on merkin 2-numeroinen heksadesimaaliarvo, esimerkiksi välilyönnistä tulee %20. Yli 127:n merkit on muutettava UTF-8-tavuiksi, minkä jälkeen jokainen UTF-8-tavu on prosenttikoodattava (pyydä ohjelmoijalta apua). On verkkosivustoja, jotka koodaavat ja purkaavat puolestasi . Jos saat URL-osoitteen selaimesi osoitetekstikentästä, tämä saattaa olla jo tehty.
Voit ladata ja tallentaa useita tiedostoja yhdessä vaiheessa käyttämällä curl, kun globbing-ominaisuus on käytössä:
curl --compressed "erddapUrl" -o fileDir/fileName#1.ext
Koska globbing-ominaisuus käsittelee merkkejä [, ], { ja } erikoisina, sinun on myös koodattava prosentteina ne erddapURL-osoitteessa vastaavasti %5B, %5D, %7B ja %7D. Onneksi näitä ei juuri koskaan ole "files" tiedostonimissa. Korvaa sitten erddapUrl:ssa nollalla täytettävä luku (esimerkiksi 01) arvoalueella (esimerkiksi [01-15]) tai korvaa alimerkkijono (esimerkiksi 41008) arvoluettelolla (esimerkiksi, {41008,41009,41010}). #1 tulostetiedoston nimi saa aikaan alueen tai luettelon nykyisen arvon lisäämisen tulosteen tiedostonimi. Esimerkiksi,
```
 curl --pakattu "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_{41008,41009,41010}_met.nc" -o ndbc/#1.nc
```

Näytä mediatiedostoja

Yleisimmille kuva- ja videotiedostotyypeille "files" -järjestelmä näyttää nyt '?' -kuvaketta tiedostonimen vasemmalla puolella. Jos viet hiiren sen päälle, näet ponnahdusikkunan, jossa näkyy kuva tai ääni- tai videosoitin.

Vastaavasti muutamien äänitiedostotyyppien (erityisesti .mp3, .ogg ja .wav) kohdalla näet ääniohjaimen, jonka avulla voit kuunnella äänitiedostoa.

Nämä esikatseluominaisuudet toimivat vain tietyissä tiedostotyypeissä, tietyissä selaimissa ja tietyissä käyttöjärjestelmissä. Ne perustuvat selaimen ominaisuuksiin, joten ne ovat suurelta osin meidän hallinnassamme.

Vaihtoehtoisesti, jos napsautat kuva-, ääni- tai videotiedoston linkkiä, katseluohjelma tai soitin avautuu erilliseen ikkunaan. (Jos selaimesi kysyy, mitä haluat tehdä tiedostolle, pyydä sitä käsittelemään mediatiedostoa itse (ei muiden ohjelmistojen kautta) ja pyydä sitä muistamaan tämä valinta, jotta sitä käytetään automaattisesti jatkossa.)

"Kuinka voin käsitellä näitä tiedostoja?"

Yksi ERDDAP :n pääominaisuuksista on, että sen avulla voit ladata tietojoukon osajoukkoja (tietojoukon Data Access Form -lomakkeen kautta) missä tahansa tiedostomuodossa tai tehdä mukautettavia kaavioita ja karttoja tietojoukon Make A Graph -verkkosivun kautta (joten et sinun ei tarvitse ladata datatiedostoja tai asentaa mitään grafiikkaohjelmistoa). Niiden avulla sinun ei tarvitse käsitellä alkuperäisiä lähdedatatiedostoja tiedostomuodoissa, joita et tunne ja/tai et halua työskennellä.

Jos sen sijaan päätät ladata ja työstää ERDDAP :n "files" tarjoamia alkuperäisiä lähdetiedostoja, sinun on selvitettävä, miten haluat käsitellä tiedostoja. Onneksi eri tiedostotyyppien kanssa työskentelemiseen on olemassa monia ohjelmistotyökaluja:

Kaikki tiedostotyypit
Voit etsiä kaikentyyppisten tiedostojen tiedostotunnisteen sivustoista, kuten FileInfo.com . jotka antavat peruskuvauksen tiedostotyypistä ja listaavat ohjelmistot, joita voidaan käyttää tiedostojen käsittelyssä (katso, lukea, kirjoittaa, muokata jne.). Tai voit käyttää suosikkihakukonettasi etsiäksesi haluamaasi.
Äänitiedostot (esimerkiksi .3gp, .aiff, .au, .flac, .mp3, .ogg, .pcm, .wav, .wma)
Helpoin tapa kuulla useimmat "files" tarjoamat äänitiedostot on ERDDAP :n järjestelmällä katsella mediatiedostoja selaimessasi, koska sinun ei tarvitse ladata tiedostoja tai asentaa mitään ohjelmistoja.
Katso Wikipedia äänitiedostomuotoluettelo .
Jos haluat tehdä muita asioita näillä tiedostoilla, on olemassa lukuisia ohjelmia äänitiedostojen toistamiseen ja muokkaamiseen, mukaan lukien:
- Windows Media Player tulee Windowsin mukana (katso Windowsin aloitusluettelosta).
- Applen iTunes-äänisoitin tulee Mac OS X:n mukana (katso Sovellukset-kansiosta), ja se on ilmainen lataus Windowsille.
- Ardour ja Audacity ovat avoimen lähdekoodin ohjelmia äänen tallentamiseen, muokkaamiseen, miksaamiseen ja masterointiin Linuxissa, Mac OSX:ssä ja Windowsissa.
- Katso Wikipedia äänisoitinohjelmistojen vertailu .
- Katso Wikipedia digitaalisten äänieditorien vertailu .
- Ja monia, monia muita. Käytä suosikkihakukonettasi etsiäksesi mitä haluat.
HDF tiedostot (.hdf )
HDF .hdf on yleinen binääritietotiedostotyyppi. On olemassa muutamia ohjelmistopaketteja, jotka voivat toimia .hdf tiedostojen kanssa, mukaan lukien:
- NASA's Panoply on ilmainen, yleisesti käytetty ohjelmisto kaavioiden ja karttojen tekemiseen .hdf tiedostoista.
- HDF 5 -kirjasto on HDF Groupin virallinen kirjasto kaikkien .hdf tiedostojen lukemiseen ja kirjoittamiseen.
- Jotkut analyysiohjelmat, kuten Matlab , ja R-kieli voi lukea .hdf tiedostoja lisäkirjaston kautta.
- Monet .nc tiedostojen työkalut toimivat myös .hdf tiedostojen kanssa.
Kuvatiedostot (esimerkiksi .gif, .jpeg, .png, .tiff, .webp)
Helpoin tapa tarkastella useimpia "files" tarjoamia kuvatiedostoja on ERDDAP :n järjestelmällä katsella mediatiedostoja selaimessasi, koska sinun ei tarvitse ladata tiedostoja tai asentaa ohjelmistoja.
Katso Wikipedia kuvatiedostomuotojen luettelo .
Jos haluat tehdä muita asioita kuvatiedostoilla, on olemassa lukuisia kuvien katselu- ja muokkausohjelmia, mukaan lukien:
- Paint tulee Windowsin mukana (katso Windows-apuohjelmat -kohdan Windows-aloitusluettelosta).
- Mac OS X:n mukana tulee eri Paint (katso Sovellukset-kansiosta).
- Gimp , avoimen lähdekoodin ohjelma kaikille käyttöjärjestelmille.
- IrfanView , ilmainen kuvankäsittelyohjelma Windowsille.
- Erilaisia Adoben ohjelmistoja, mukaan lukien Photoshop .
- Katso Wikipedia rasterigrafiikkaeditorien vertailu .
- Ja monia, monia muita. Käytä suosikkihakukonettasi etsiäksesi mitä haluat.
NetCDF tiedostot (.nc )
NetCDF .nc on yleinen binääritietotiedostotyyppi.
.nc tiedostoilla on kaksi alaluokkaa: version 3 tiedostot (vielä laajalti käytössä) ja version 4 tiedostot (jotka ovat itse asiassa .hdf tiedostoja muutamalla muutoksilla). Molempien versioiden tiedostojen tunniste on .nc, ja .nc tiedostoja lukevat ohjelmat voivat lukea niitä.
On olemassa suuri määrä ohjelmistopaketteja, jotka voivat toimia .nc -tiedostojen kanssa, mukaan lukien:
- Ilmainen, yleisesti käytetty ohjelmisto kaavioiden ja karttojen tekemiseen on NASA's Panoply ja Ncview (joka voidaan asentaa myös Conda kautta ).
- NCO, tehokas komentorivityökalu .nc tiedostojen pysyvään muokkaamiseen.
- NetCDF -C ja NetCDF - Java , tärkeimmät C-, C++-, Fortran- tai Java -ohjelmistokirjastot .nc tiedostojen lukemiseen ja kirjoittamiseen.
- Monet analyysiohjelmat, kuten Ferret , Matlab , ja R-kieli osaa lukea .nc tiedostoja (ehkä lisäkirjaston kautta), tehdä kaavioita ja karttoja ja käsitellä .nc tiedostojen tietoja.
- Lukuisat muut ohjelmistot voivat lukea (ja siten työskennellä) .nc -tiedostoja. Katso tämä luettelo .
Tekstitiedostot (esimerkiksi .csv, .tsv, .txt)
Tekstitiedostot ovat erilaisia kuin tekstinkäsittelytiedostot, joissa on erityisiä upotettuja muotoilukomentoja. Jos tuot tekstitiedoston tekstinkäsittelyohjelmaan ja teet siihen muutoksia, muista tallentaa tiedosto ASCII-tekstitiedostona vielä kerran. Tai vältä tämä ongelma käyttämällä tekstinkäsittelyohjelmaa.
Jos muokkaat .tsv tiedostoja (sarkaimella eroteltu arvo), ole erittäin varovainen säilyttääksesi välilehtiä, jotka erottavat arvot eri "sarakkeissa" kullakin rivillä. Oletusarvoisesti (jopa monissa tekstieditoreissa) sarkaimet näkyvät usein välilyönneinä (tai muutamana välilyöntinä). Muista siis käyttää editorin ominaisuutta, joka tekee sarkaimet näkyväksi (erikoissymbolina), jotta voit säilyttää välilehdet arvojen välillä.
.xml-tiedostot ovat teknisesti tekstitiedostoja, mutta erillisten XML-editorien käyttämisessä niiden kanssa on etuja.
Jokaiselle käyttöjärjestelmälle on olemassa kymmeniä tekstieditoriohjelmia, mukaan lukien:
- Muistio tulee Windowsin mukana (katso Windowsin Käynnistä-luettelosta Windowsin lisävarusteet).
- TextEdit tulee Mac OS X:n mukana (katso Sovellukset-kansiosta).
- Useimmissa Linux-versioissa on muutama tekstieditori, joista yksi on oletusasetus (jotka voit muuttaa). Jos käytät Linuxia, sinulla on luultavasti jo suosikki.
- Katso Wikipedia tekstieditorien vertailu .
- Ja monia, monia muita. Käytä suosikkihakukonettasi etsiäksesi mitä haluat.
Videotiedostot (esimerkiksi .avi, .flv, .mov, .mp4, .ogg, .ogv, .webm, .wmv)
Helpoin tapa tarkastella useimpia "files" tarjoamia videotiedostoja on ERDDAP :n järjestelmällä katsella mediatiedostoja selaimessasi, koska sinun ei tarvitse ladata tiedostoja tai asentaa ohjelmistoja.
Katso Wikipedia videotiedostomuotojen luettelo .
Jos haluat tehdä muita asioita videotiedostoilla, on olemassa lukuisia videon toisto- ja muokkausohjelmia, mukaan lukien:
- Windows Media Player tulee Windowsin mukana (katso Windowsin aloitusluettelosta).
- Windows Video Editor tulee Windowsin mukana (katso Windowsin aloitusluettelosta).
- QuickTime Player (katseluohjelma) tulee Mac OS X:n mukana (katso Sovellukset-kansiosta).
- iMovie (editori) tulee Mac OS X:n mukana (katso Sovellukset-kansiosta).
- Eri Linux-jakeluissa on erilaisia videosoittimia. Linuxille on saatavilla monia avoimen lähdekoodin ja kaupallisia videosoittimia ja -editoreja. Käytä suosikkihakukonettasi etsiäksesi mitä haluat.
- Katso Wikipedia videosoitinohjelmiston vertailu .
- Katso Wikipedia videoeditointiohjelmiston vertailu .
- Ja monia, monia muita. Käytä suosikkihakukonettasi etsiäksesi mitä haluat.
XML-tiedostot (esim. .xml)
XML-tiedostoja ovat strukturoituja tekstitiedostoja. Voit tarkastella niitä selaimessasi tai tekstieditorissa, mutta XML-tiedostojen käsittelyyn on myös erikoisohjelmisto. Katso tämä Wikipedia XML-editorien vertailu .

Tavualueen pyynnöt

Toisin kuin useimpia muita ERDDAP n resursseja koskevat pyynnöt, tiedostopyynnöt "files" (muita kuin .nc ja .hdf tiedostoja) voivat sisältää "Range" -pyynnön otsikossa, joka määrittää tavualueen. palautettiin koko tiedoston sijaan. Katso Byte_serving (external link)

. Jotkut asiakasohjelmistot (esimerkiksi verkkoselaimien ääni- ja videosoittimet) käyttävät tätä tiedoston osien pyytämiseen koko tiedoston sijaan.

Etätiedoston käyttäminen tavualueiden kautta on usein hidasta ja tehotonta. Joskus kannattaa lukea pieniä näytteitä etätiedostoista, erityisesti ääni- ja videotiedostoista. Mutta mitä useammin tarvitset pääsyn tiedostoon, sitä tehokkaampaa on vain ladata tiedosto ja sitten työskennellä paikallisen tiedoston kanssa.

ERDDAP :n "files" hylkää kaikki tavualueen pyynnöt .nc ja .hdf tiedostoihin, joten älä edes yritä käyttää Netcdf-java/c-, ncview-, Ferret tai muita ohjelmistotyökaluja muodostaaksesi yhteyden .nc tai .hdf tiedostoon. tiedostot, joita ERDDAP :n "files" palvelee, ikään kuin ne olisivat paikallisia tiedostoja. Nämä pyynnöt estetään, koska tämä lähestymistapa on hirvittävän tehoton ja aiheuttaa usein muita ongelmia. Sen sijaan:

Käytä (OPeN)DAP asiakasohjelmistoa muodostaaksesi yhteyden ERDDAP :n DAP palveluihin tietojoukolle (joiden URL-osoitteessa on /griddap/ tai / tabledap /). Sitä varten DAP on.
Tai käytä tietojoukon Data Access Form -lomaketta tietojen osajoukon pyytämiseen.
Tai jos tarvitset koko tiedoston tai toistuvan käytön pitkän ajan kuluessa, lataa koko tiedosto "files" curl, wget tai selaimen avulla ja käytä sitten tietoja tiedoston paikallisesta kopiosta.