Urbgeo/gisdbv-0.1

Etablering av UrbGeo GISdatabase

Dette dokumentet viser steg-for-steg dokumentasjon av GIS-databasen urbgeo med DBMS PostgreSQL.

Oppretting av databaser og hjelpedata

Forutsetningen er at PostgreSQL 9.x med tilhørende GIS-ekstensjon postgis er installert på ein linux-maskin. Denne dokumentasjonen er basert på Ubuntu Linux 14.04 LTS, postgreSQL 9.5 og postgis 2.2.2. Det er også en forutsetning at database-brukeren har privilegier til å opprette databaser. Videre blir alle filer lagret i katalogen /home/[brukernamn]/urbgeo med underkataloger.

Opprette database frå linux prompt
~$cd
~$mkdir urbgeo
~$cd urbgeo
~$createdb urbgeo

Logge på database urbgeo frå linux prompt
~$psql -d urbgeo

Prompt i psql er databasenamn og =#

Laste postgis ekstensjon

urbgeo=#create extension postgis;

For å sjekke at alt er i orden kan du logge på databasen med psql -d urbgeo vil prompten vere urbgeo=#

Logg av med \q

Lasting av hjelpetabellar

Første steg blir å laste databasen med hjelpetabellar som i all hovudsak inneheld data om den administrative inndelinga, namn på byar og kjeldeidentifikasjon. Utgangspunkt er data frå NSD (Norsk Samfunnsvitenskaplig Datatjenste), Arkivverket og Hallstein Myklebost, Norges tettbygde steder.

Nedanfor er script for å opprette databaser og laste inn data frå dei ulike formata

Tettsted og by

Første hjelpetabell er definisjon og data for tettstader. Data er henta frå Hallstein Myklebust, Tettsteder i Norge 1875-1950. Myklebosts tettstadnummer er nytta som primærnøkkel for byane i urbgeo. HMID=Hallstein Myklebust ID. Merk at encoding er sett til Latin1 sidan csv-fila er laga med MS-Excel under Windows 10.

--DROP DATABASE IF EXISTS "urbgeo";
--CREATE DATABASE "urbgeo";

\c "urbgeo";

--
-- Table structure for table 'hallmykl'
--


DROP TABLE IF EXISTS "hallmykl";

CREATE TABLE "hallmykl" (
  "HMID" INTEGER NOT NULL,
  "Fylke" VARCHAR(25),
  "Tettstad" VARCHAR(25),
  "Kommune" VARCHAR(25),
  "F1875" INTEGER,
  "F1890" INTEGER,
  "F1900" INTEGER,
  "F1910" INTEGER,
  "F1920" INTEGER,
  "F1930" INTEGER,
  "F1946" INTEGER,
  "F1959" INTEGER,
  "HMType" VARCHAR(50),
  "Hmkode" VARCHAR(50),
  "Kommuner" VARCHAR(255),
  "AsciiName" VARCHAR(25),
  PRIMARY KEY (hmid)
);

COPY hallmykl FROM '/home/arne/urbgeo/hmexp.csv' DELIMITER ';' CSV HEADER QUOTE '"' ENCODING 'LATIN1' NULL '';

update "hallmykl" set asciiname = 'Mo i Rana' where asciiname='Mo';

Merk at noen av tettstedene i perioder er del av en kommune og var ikke selvstendig bykommune. Noen av tettstedene hadde også så liten befolkning at de vil falle bort fra de fleste definisjoner av "by". Og så er det noen av tettstedene som fikk bystatus etter 1910.

Kommuner og fylker

Neste datafil er kommunenefila for 1910. Denne er trekt ut frå kommunedatabasen i NSD. Kommunedatabasen har muligheit for å lage kommunefiler for eit tidspunkt (år). Den aktuelle fila er for år 1910. Lista frå NSD-kommunedatabase som inneheld nsd-kommunenr (nsdknr) og nsd-kommunenamn (nsdknam) er overført (copy-paste) til MS-Excel. I MS-Excel er kommunenr brukt for å leggje til fylkesnummer. Fylkesnummer er danna ved funksjonen avrund.ned(nsdknr/100;0). I tillegg er det konstruert ein fjerde kolonne som viser om kommuna er by eller landsbygd. Dette feltet er konstruert med funksjonen: Hvis(nsdknr-(fylkenr*100)<10;1;0). Dvs. dersom nsdknr - fylkesnr*100 er mindre enn 10, så er kommuna ein bykommune.

-- Oppretter kommunefil for Norge i 1910

DROP TABLE IF EXISTS "nsd1910a";

CREATE TABLE "nsd1910a" (
  "nsdknr" INTEGER NOT NULL,
  "nsdknamn" VARCHAR(25),
  "fylke" INTEGER,
  "byland" INTEGER, 
   PRIMARY KEY (nsdknr)
);

COPY nsd1910a FROM '/home/arne/urbgeo/data/nsdexp10.csv' DELIMITER ';' CSV HEADER QUOTE '"' ENCODING 'LATIN1' NULL '';

Alter table nsd1910a add column asciiname varchar(25);
Alter table nsd1910a add column hmid integer;

-- Genererer asciiname uten nordiske teikn og standardiserer namn til gjeldande namn (Kristiania til Oslo)

update "nsd1910a" set asciiname = replace(nsdknamn,'å','aa');
update "nsd1910a" set asciiname = replace(asciiname,'Å','Aa');
update "nsd1910a" set asciiname = replace(asciiname,'æ','e');
update "nsd1910a" set asciiname = replace(asciiname,'ø','o');
update "nsd1910a" set asciiname = replace(asciiname,'Ø','O');
update "nsd1910a" set asciiname = replace(asciiname,'Æ','E');
update "nsd1910a" set asciiname = replace(asciiname,'Kristiania','Oslo');
update "nsd1910a" set asciiname = replace(asciiname,'Fredrikshald','Halden');

-- Sjekk av koblingene og standardisering

select count(*) from nsd1910a, hallmykl where nsd1910a.nsdknamn=hallmykl.tettstad;
select count(*) from nsd1910a, hallmykl where nsd1910a.asciiname=hallmykl.asciiname;

-- Setter hmid i nsd1910a fila
update nsd1910a set hmid=hallmykl.hmid from hallmykl where nsd1910a.asciiname=hallmykl.asciiname;

-- Kontroll av tettsteder som ikke bystatus i 1910

select hallmykl.hmid, hallmykl.tettstad, nsd1910a.nsdknamn from hallmykl left join nsd1910a on hallmykl.asciiname=nsd1910a.asciiname where nsd1910a.hmid is null;

Tellekretser og bytabell i 1910

På grunnlag av tellekretsene i 1910-tellingen blir det dannet tre tabeller: ED-tabellen (Enumeration District), Bytabell og en kildetabell.

-- Oppretter tabell for teljekrets (ed)

DROP TABLE IF EXISTS "ed1910";

CREATE TABLE "ed1910" (
  "id" VARCHAR(25) NOT NULL,
  "kildeid" INTEGER NOT NULL,
  "kretsnr" VARCHAR(25) NOT NULL,
  "tk_navn" VARCHAR(255),
  "sogn" VARCHAR(50),
  "prestegjeld" VARCHAR(50),
  "herred_by" VARCHAR(50),
  "merknader" VARCHAR(255),
  PRIMARY KEY (kildeid, kretsnr)
);

COPY ed1910 FROM '/home/arne/urbgeo/data/ft1910heleKrets.csv' DELIMITER ';' CSV HEADER QUOTE '"' ENCODING 'utf-8' NULL '';

-- Legg til ekstra felt id ed

Alter table ed1910 add column asciiname varchar(25);
alter table ed1910 add column byland INTEGER;

-- Standardiserer asciiname

update ed1910 set asciiname = replace(herred_by,'å','aa');
update ed1910 set asciiname = replace(asciiname,'Å','Aa');
update ed1910 set asciiname = replace(asciiname,'æ','e');
update ed1910 set asciiname = replace(asciiname,'ø','o');
update ed1910 set asciiname = replace(asciiname,'Ø','O');
update ed1910 set asciiname = replace(asciiname,'Æ','E');
update ed1910 set asciiname = replace(asciiname,'Kristiania','Oslo');
update ed1910 set asciiname = replace(asciiname,'Fredrikshald','Halden');
update ed1910 set asciiname = replace(asciiname,'Trondhjem','Trondheim');
update ed1910 set asciiname = replace(asciiname,'Porsgrund','Porsgrunn');
update ed1910 set asciiname = replace(asciiname,'Stenkjer','Steinkjer');
update ed1910 set asciiname = 'Sokndal' where prestegjeld is null and herred_by='Sogndal';

-- Merker teljekretser som er i by

update ed1910 set byland=1 from hallmykl  where ed1910.asciiname=hallmykl.asciiname;

-- Oppretter bytabell for 1900-teljinga

DROP TABLE IF EXISTS "by1910";

CREATE TABLE "by1910" (
  "hmid" INTEGER NOT NULL,
  "bynamn" VARCHAR(25),
  "nsdknr" INTEGER,
  "asciiname" VARCHAR(25)

);


-- laster bytabellen frå teljekretsar

insert into by1910 (hmid,bynamn,nsdknr,asciiname) select count(*), herred_by, count(*), min(asciiname) from ed1910 where byland=1 group by herred_by;

update by1910 set hmid=hallmykl.hmid from hallmykl where by1910.asciiname=hallmykl.asciiname;
update by1910 set nsdknr=nsd1910a.nsdknr from nsd1910a where by1910.asciiname=nsd1910a.asciiname;

alter table by1910 add  primary key (hmid);

-- oppretter kildetabell frå teljekretser

DROP TABLE IF EXISTS "kilde1910";

CREATE TABLE "kilde1910" (
  "hmid" INTEGER,
  "kildeid" INTEGER NOT NULL,
  "asciiname" VARCHAR(25),
  PRIMARY KEY (kildeid)
);

insert into kilde1910 (hmid,kildeid,asciiname) select count(*), kildeid, min(asciiname) from ed1910 where byland=1 group by kildeid;

-- Merker aller kilder med tettstadid (byid)

update kilde1910 set hmid=hallmykl.hmid from hallmykl where kilde1910.asciiname=hallmykl.asciiname;

Folketellingen 1900

På tilsvarende måte er det generert hjelpetabeller for 1900-tellingen

Gatetabeller

DROP TABLE IF EXISTS "tmptab";
CREATE TABLE "tmptab" (
  autoid integer not null,
  id varchar(25),
  overid varchar(25),
  kildeid integer,
  kretsnr varchar(25),
  bostnr varchar(25),
  gateognr varchar(255),
  bydel varchar(50),
  gaardnr varchar(50),
  gardeier varchar(255),
  ant_tilst varchar(50),
  ant_hj varchar(50),
  ant_pp varchar(50),
  hustype varchar(255),
  sideb varchar(255),
  ubebodd varchar(25),
  ant_et varchar(25),
  ant_leil varchar(255),
  ant_naer varchar(255),
  ant_verk varchar(255),
  ant_ledig varchar(50),
  ant_kvist varchar(50),
  ant_kjeller varchar(50),
  merknad varchar(255),
  primary key (autoid)
);

COPY tmptab FROM '/home/arne/urbgeo/data/ft1910heleby.csv' DELIMITER ';' CSV HEADER QUOTE '"' ENCODING 'utf-8' NULL '';

drop table if exists gtab1910;
create table gtab1910 (
    autoid integer not null,
    kildeid integer,
    hmid integer,
    gateognr varchar(255),
    bydel varchar(50),
    gaardnr varchar(50),
    gatenamn varchar(50),
    gatenr varchar(50),
    gatenum integer,
    gatelitr varchar(50),
    primary key (autoid)
);

INSERT INTO gtab1910 (autoid, kildeid, gateognr, bydel, gaardnr) select autoid, kildeid, gateognr, bydel, gaardnr from tmptab where kildeid is not null;

update gtab1910 set hmid=kilde1910.hmid from kilde1910 where kilde1910.kildeid=gtab1910.kildeid;
select * from gtab1910 where hmid is null;

update gtab1910 set gatenr = trim((regexp_split_to_array (gateognr, E'\\D+'))[2]);
update gtab1910 set gatenamn = trim((regexp_split_to_array (gateognr, gatenr))[1]) where gatenr is not null;
update gtab1910 set gatenamn = gateognr where gatenr is null;
update gtab1910 set gatenamn = gateognr where gatenr = '';
update gtab1910 set gatenr=null where gatenr='';
update gtab1910 set gatelitr = trim((regexp_split_to_array (gateognr, gatenr))[2]) where gatenr is not null;
update gtab1910 set gatenum = to_number(gatenr,'999') where gatenr is not null;

select gtab1910.hmid, hallmykl.tettstad, count(*) as antgrd from gtab1910, hallmykl where ((gaardnr is not null) and (hallmykl.hmid=gtab1910.hmid)) group by gtab1910.hmid, tettstad ;

drop table if exists gete1910;
drop table if exists gate1910;
create table gate1910 (
    hmid integer not null,
    gatenamn varchar(50) not null,
    anthus integer,
    gateognr varchar(255),
    gatenr varchar(50),
    mingnum integer,
    maxgnum integer,
    primary key (hmid, gatenamn)
);

insert into gate1910 (hmid, gatenamn, anthus, gateognr, gatenr, mingnum, maxgnum) select hmid, gatenamn, count(*) as anthus, min(gateognr), min(gatenr), min(gatenum), max(gatenum) from gtab1910 where gatenamn is not null group by hmid, gatenamn order by hmid, gatenamn;

Laste GIS data

Land

Punkt for land til country tabell

SET CLIENT_ENCODING TO UTF8;
SET STANDARD_CONFORMING_STRINGS TO ON;
BEGIN;
CREATE TABLE "country" (gid serial,
"loc_name" varchar(23),
"match_addr" varchar(254),
"addr_type" varchar(50),
"url" varchar(200),
"country" varchar(30),
"x" numeric,
"y" numeric,
"__xmin" numeric,
"__xmax" numeric,
"ymin" numeric,
"ymax" numeric,
"code" float8,
"country_1" varchar(254));
ALTER TABLE "country" ADD PRIMARY KEY (gid);
SELECT AddGeometryColumn('','country','geom','0','POINT',2);
INSERT INTO "country" ("loc_name","match_addr","addr_type","url","country","x","y","__xmin","__xmax","ymin","ymax","code","country_1",geom) VALUES ('Country','Norway','Country','https://no.wikipedia.org/wiki/Norge','NOR','7.944010','60.498604','4.643080','31.148150','57.974370','71.183930','47.000000','Norge','010100000030F32293AAC61F40841B3545D23F4E40');

Etter Norge følger poster for Sverige, Danmark og Tyskland

Fylker

Berre norske fylker, men her kunne også svenske len og danske amt ha blitt lastet

SET CLIENT_ENCODING TO UTF8;
SET STANDARD_CONFORMING_STRINGS TO ON;
BEGIN;
CREATE TABLE "county" (gid serial,
"loc_name" varchar(23),
"match_addr" varchar(254),
"addr_type" varchar(50),
"url" varchar(200),
"region" varchar(120),
"country" varchar(30),
"x" numeric,
"y" numeric,
"__xmin" numeric,
"__xmax" numeric,
"ymin" numeric,
"ymax" numeric,
"nummer" float8,
"navn" varchar(254),
"admsenter" varchar(254),
"folketall" float8,
"areal" float8,
"antkomm" float8,
"målform" varchar(254),
"ordfører" varchar(254),
"parti" varchar(254),
"fylkesmann" varchar(254),
"country_1" varchar(254));
ALTER TABLE "county" ADD PRIMARY KEY (gid);
SELECT AddGeometryColumn('','county','geom','0','POINT',2);
INSERT INTO "county" ("loc_name","match_addr","addr_type","url","region","country","x","y","__xmin","__xmax","ymin","ymax","nummer","navn","admsenter","folketall","areal","antkomm","målform","ordfører","parti","fylkesmann","country_1",geom) VALUES ('NOR.AdminPlaces','Østfold','Admin','https://no.wikipedia.org/wiki/Østfold','Østfold','NOR','11.323242','59.376966','10.586242','12.060242','58.639966','60.113966','1.000000','Østfold','Sarpsborg','287198.000000','4180.680000','18.000000','bokmål','Ole Haabeth','Ap','Trond Rønningen','Norway','0101000000DEFED80021C51141B640139565215941');

Og så videre de øvrige fylkene