Klimaforskning

Diskusjonsforum => Generelt => Emne startet av: la1goa på desember 02, 2012, 19:30:50 PM

Tittel: ghcn viewer
Skrevet av: la1goadesember 02, 2012, 19:30:50 PM
ny versjon 2.0.02 er tilgjengelig på samme adresse som tidligere. Jeg det ut i denne tråden i fremtiden så dere slippere spam i innboksen.

1. Det er lagt til vinter/vår/sommer/høst + gjennomsnitt året i rapporten for ghcn formatet.

2. Det er mulig å kjøre rapport på kun differansen av gjennomsittet på justert/ujustert. Velg feltene "AVG" og "Diff".

3. Stasjonene kan sorteres på Bredde/Lengdegrader. i tillegg til info om klimaet som ørken/tundra ol. for at denne deles skal virke må du inprotere *.INV filene om igjen.

(http://bildr.no/thumb/1333312.jpeg) (http://bildr.no/view/1333312)

Dersom noen er interessert i betatesting av ghcn vieweren ta kontakt i en privat melding så gir jeg dere tilgang på programmet.

/Knuta
Tittel: Sv: ghcn viewer
Skrevet av: Jostemikkdesember 02, 2012, 21:47:36 PM
Supert, Knuta! Takker så mye!
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 02, 2012, 23:53:05 PM
Da er vi oppe i versjon 2.0.04

En kraftbugs som jeg ikke tenkte på da jeg kompilerte programmet. Jeg selv sitter på mer enn en skjerm. Når jeg glemmer å stille vinduet til å være ha default possisjon så brukes designet possisjon. Når jeg skal se på stasjonsdataene så spretter vinduet selvfølgelig opp på en skjerm dere ikke har.

Vel, sånn er er nå dagene mine. Ny versjon, denne gangen skal alle vinduene sprette opp på den første skjermen.

/Knuta
Tittel: Sv: ghcn viewer
Skrevet av: Jostemikkdesember 04, 2012, 17:56:22 PM
Har testet GHCN-generatoren på alle de måter jeg har kommet på, og alt fungerer perfekt, Knuta. Det ser kort og godt veldig bra ut. Enestående verktøy!
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 04, 2012, 20:20:18 PM
Det er bra. Da har jeg gjort noe riktig.

Men nå sitter jeg her og forbereder meg på videre utvikling. Interpolering av verdier som mangler, ikke minst der det mangler 5 år o.l. Jeg trenger idèer. Vanlig interpolering duger ikke når det mangler mer enn sammenhengende 4 månder. Jeg tenker på en metode der vi først fjerner sesonger, deretter fjerner ~60 år svingning, for så å detrende serien og interpolere resten. Og så kjøre prosessen i motsatt rekkefølge. Men den metoden kan ikke gjenskape der ghcn har fjernet år med data som avviker ekstremt. Noen som har noen forslag?

/Knuta
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 04, 2012, 22:14:16 PM
Jeg slipper oppdateringene etterhvert. Prøver å gjøre litt hver dag. Bugs og ønsker tas i mot med takk. Versjon 2.0.05 ligger klar for nedlasting og kan prøves hvis dere gidder.

(http://bildr.no/thumb/1335083.jpeg) (http://bildr.no/view/1335083)

Det er egentlig ikke så mange nye funksjoner i dag. Jeg orket ikke en lengre tenkebosk så her går det på skjønnhet og bruk av snutten. Det har dukket opp et felt for stasjonsinfo. Noe som gjør det litt enkelere å jobbe med. Og når man trykker på "N" (Numerisk) eller "A" (Alfanumerisk) så dukker den gjeldende stasjon automatisk opp i feltet og på riktig sted så man slipper å lurpe på hva man holder på med (hvilket jeg alltid roter med)

I tillegg har vinduene fått hurtigknapper for enkelt å bevege seg mellom vinduene uten å bruke omveien til windows.
Tittel: Sv: ghcn viewer
Skrevet av: Jostemikkdesember 04, 2012, 22:27:57 PM
Fint, Knuta! Den blir lastet ned og prøvd straks.
Tittel: Sv: ghcn viewer - interpolering
Skrevet av: la1goadesember 07, 2012, 01:34:03 AM
OK.... 2.0.06...

Denne gangen dreier det seg om interpolering. Jeg tror jeg har fått til en brukbar interpoleringsrutine. Måtte finne opp noe nytt selv da dagens metoder ikke er gode nok. Men det skal bli spennende på se hva dere syns om den fuksjonen. Test den ut, men ikke stol 100 prosent på data som kommer tytende ut.

I første omgang blir det kun QCA AVG og QCU AVG jeg har tatt hensyn til Min/Max temperaturer blir ikke interpolert i denne versjonen. I og med den vannvittige metoden jeg har laget vil interpolerte verdier i qca diffe med qcu selv om de ikke burde gjøre det, men jeg tror ikke feilmarginene er så store. Jeg har testet på serier som mangler 5 år med data på den ene enden og ikke fått mer avvik enn 0.6 grader og det med inklusive alle svigninger.

(http://bildr.no/thumb/1336685.jpeg) (http://bildr.no/view/1336685)

Tilbakemeldinger om hvordan den funksjonen virker tas i mot med takk. Både ros men aller helst ris, fordi det kan være med på å forbedre neste resultat.
Tittel: Sv: ghcn viewer
Skrevet av: Jostemikkdesember 07, 2012, 10:15:06 AM
Takker for ny oppdatering om ny oppdatering, Knuta!

Skal få sjekket dette iløpet av dagen. Jeg leste spørsmålene du stilte angående dette i et tidligere innlegg, men jeg følte meg ikke særlig kompetent til å svare. For å "jukse" enkelte hele serier her til lands har jeg aldri turt å interpolere annet enn 1 manglende år. Da har jeg sett på de mest nærliggende stasjoner. Har det manglet en måned, har jeg tatt snittet av samme måned forrige år og året etter. I begge disse tilfellene har jeg gjort oppmerksom på hva jeg har gjort. Et år, for ikke å si en måned, utgjør en svært liten forskjell på lange serier.

Som sagt, jeg skal titte på dette utover dagen!
Tittel: Sv: ghcn viewer
Skrevet av: Jostemikkdesember 07, 2012, 19:28:36 PM
Da har jeg så vidt rukket titte på den nye funksjonen, Knuta. Fikk opp noen hundredelers forskjell mellom seriene for de interpolerte årene på 80-tallet i Bergen/Florida.

Alle funksjoner på generatoren fungerer flott som bare det, og det fungerer svært raskt. Har blitt bra dette, Knuta, og som jeg har skrevet før, et fantastisk redskap for å hente hvilke som helst GCHN-stasjon i verden på et blunk.
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 07, 2012, 20:56:06 PM
Det med interpolering skremmer meg litt. Nå har det seg at jeg er ikke fornøyd med dagens resultat (v. 2.0.06). Foreløpig er det bare et utkast av hva som det egentlig kunne ha vært. Men jeg skal komme med en forbedring av det. Men det skjer ikke i dag pga. blod i alkoholen.

Men ta f.eks. ujusterte data (QCU) fra ISFJORD RADIO, stasjonsnummer: 63401005001. Der sitter jeg med en følgende kurve (movingaverage 12 mnd.) Der blå er ekte data og rød kurve er en blanding av data og interpolert data. På grunn av interpolering vil Mathematica ikke vise blå linjer i dette området 1976 og oppover fordi programmet ikke kan regne et snitt på 12 mnd.

(http://bildr.no/thumb/1337144.jpeg) (http://bildr.no/view/1337144)

Hvis vi zoomer litt inn på slutten av serien, denne gangen ikke movingaverage så kan vi se følgende kurve:

(http://bildr.no/thumb/1337145.jpeg) (http://bildr.no/view/1337145)

Ville denne være realistisk? Etter 5 månder av 1976 har jeg kun 4 datapunkter (blå punkter) å forholde meg til. Det programmet gjør i dag er å finne periodiske signaler og fjerne disse, for så å sitte igjen med meget flatere kurve. Så interpoleres de manglende data etter med bruk av polynomisk interpolering, for så å legge til de fjernede signalene. Spørsmål, vil det holde vann? Det finnes ingen random data som legges til selv om det kan se sånn ut.

Men vel og merke, dagens versjon er ikke god nok på grunn av den polynomisk interpoleringen av en flatere kurve, hvilket jeg har slurvet litt med på grunn av tid. 
Tittel: Sv: ghcn viewer
Skrevet av: Gloføkendesember 07, 2012, 21:13:03 PM
Ta den tiden du trenger du, Knuta.   :o Blod i alkoholen skal man ikke spøke med, her anbefaler jeg på det sterkeste å holde seg helt i vater ;D 
Tittel: Sv: ghcn viewer
Skrevet av: Jostemikkdesember 07, 2012, 21:16:49 PM
Knuta, dette ligger en del over mitt nivå, men man kan aldri få "data" ved hjelp av interpolering. Det blir aldri annet enn et substitutt for virkelig vare. Jo lenger serie med manglende datapunkter, jo større usikkerhet vil jeg anta.

Jeg sjekka for Bergen/Florida. Der mangler fire år på 80-tallet hos GHCN begge serier. I virkeligheten finnes disse dataene hos MI på Blindern.

GHCN-generatoren og interpoleringsfunksjonen viste 0,5 grader for høy temperatur i forhold til virkeligheten. Dette synes jeg er svært bra for 4 år.

Skal dette kunne bli bedre, og nesten vanntett, må en som jeg har nevnt tidligere sammenligne med nærliggende stasjoner som har data for de årene som mangler på den serien man vil fylle inn manglende måneder/år. Det er mange steder at trenden er svært lik hos slike nabostasjoner, og da er justeringen enkel. Regne ut snittforskjellen mellom stasjonene, for deretter å ned- eller oppjustere. Dette tror jeg er et så omfattende arbeide å få til angående dette du nå holder på med at det tvilsomt vil være verdt slitet.

Slike utregninger kan vi i stedet gjøre manuelt de gangene vi har lyst til å lage en "hel" serie for noen vi kjenner eller lignende. Jeg gjorde dette for Reppen i tråden Den lokale kyst vær historien fra Ålesund, og M&R. (http://klimaforskning.com/forum/index.php/topic,84.msg455.html#msg455) Du kan jo ta en titt på min særdeles enkle metode.
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 07, 2012, 22:02:57 PM
Jostemikk, det kunne vært interresant å se forskjellene med tall (ikke kurver) fra virkeligheten. Har du mulighet for å legge ut noe? Jeg holder alle muligheter åpne til forbedring. Det er mulig at det er som jeg innledningsvis skriver at interpoleringen etter at alle signaler er fjernet som er årsaken, men det kan hende at det andre årsaker. Jeg har og sett (når jeg programmerer) at det er mulig at rutinen for å fjerne signaler må kjøres flere ganger. Man vet aldri.

/Knuta
Tittel: Sv: ghcn viewer
Skrevet av: Jostemikkdesember 07, 2012, 22:15:11 PM
Jepp. Skal se om jeg kan finne noen slike serier iløpet av helga, Knua. Vil du ha både månedsverdier og årsverdier? Det er ikke sikkert jeg finner så mange slike tilfeller, men de jeg finner kan jeg laste opp i tråden på et regneark hvis du vil.
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 07, 2012, 22:46:18 PM
Månedsverdier er det beste for da ser man hva som kan feile i prosedyren. Årsverdier er som regel basert på 12 månder og dermed drukner de fleste signaler.

Tittel: Sv: ghcn viewer
Skrevet av: ebyedesember 08, 2012, 12:48:05 PM
Sitat fra: Jostemikk på desember 07, 2012, 21:16:49 PM
Knuta, dette ligger en del over mitt nivå, men man kan aldri få "data" ved hjelp av interpolering. Det blir aldri annet enn et substitutt for virkelig vare. Jo lenger serie med manglende datapunkter, jo større usikkerhet vil jeg anta.
Dette er selvfølgelig helt riktig og presist formulert, Jostemikk. Og her kommer den svært underholdende historien.

I en debattserie i TU brukte skeptikerne HadCRUT3 som datagrunnlag. Dette protesterte Benestad heftig på, det ble for lite data med bare ett sett. Allikevel, brukte han bare GISS. På spørsmål om hvorfor, og hold dere fast, var svaret: det settet hadde bedre dekning i store områder, pga. interpolerte datapunkter.  ::)    :o

Da blir man målløs!   :-[
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 09, 2012, 23:51:38 PM
Ja, selvfølgelig. Man kan jo ikke bruke sett som har dårlig dekning, bort sett fra hvis man er rettroende. Da kan man bruke hva som helst uten å tenke over grunnlaget.
Tittel: Sv: ghcn viewer
Skrevet av: la1goadesember 09, 2012, 23:56:57 PM
Vel. Har ikke jobbet stort med vieweren. Det ble rett og slett bare en kosedag uten de store tankene. En bug er funnet og rettet opp, hvilket gikk på å vise år uten data. Og så ble det lagt til resten av feltene fra *.INV filene. Nå har jeg ikke satt meg inn i hva alle feltene betyr men det står dokumentert på NOAA veven. I bildet over stasjoner har det også kommet noen sorteringsknapper.

Som sagt ingen stor endring, men på grunn av sortering og mer stasjonsinfo kan programmet lastes ned på vanlig sted dersom noen gidder.

(http://bildr.no/thumb/1339342.jpeg) (http://bildr.no/view/1339342)


/Knuta
Tittel: Sv: ghcn viewer
Skrevet av: Amateur2desember 10, 2012, 00:33:12 AM
Sitat fra: ebye på desember 08, 2012, 12:48:05 PM

I en debattserie i TU brukte skeptikerne HadCRUT3 som datagrunnlag. Dette protesterte Benestad heftig på, det ble for lite data med bare ett sett. Allikevel, brukte han bare GISS. På spørsmål om hvorfor, og hold dere fast, var svaret: det settet hadde bedre dekning i store områder, pga. interpolerte datapunkter.  ::)    :o

Da blir man målløs!   :-[

Og den mannen kritiserer andre frekt og freidig for "kurvetilpassing" !
Tittel: Sv: ghcn viewer
Skrevet av: ebyedesember 10, 2012, 23:28:09 PM
Ja, og jeg vet ikke hvor RB's grenser er, Amateur2.

Her er linken til svaret fra RB, der han snakker om interpolering

http://www.climometrics.org/tu1109be.pdf

Men legg merke til, stilen hans (RB) er mild, riktignok litt belærende. Den gangen var det 5 i utførelse, null i innhold. Nå er det dobbeltnull:

http://www.dagsavisen.no/nyemeninger/alle_meninger/cat1003/subcat1012/thread254413/

http://www.dagsavisen.no/nyemeninger/alle_meninger/cat1003/subcat1018/thread260149/

Som forsker reagerer jeg på etterretteligheten og manglende grunnleggende kunnskaper. I forbindelse med interpoleringen er det ingen grunn til å tro at dette er alarmisme, dette er ren ignoranse. Very sad.    8)