Tämä on vieraspostaus, jonka ovat kirjoittaneet Gramenerin Shravan Kumar ja Avirat S.

Gramener, The Taistelu Yritys edistää kestävää kehitystä keskittymällä maatalouteen, metsätalouteen, vesihuoltoon ja uusiutuvaan energiaan. Gramenerilla on keskeinen rooli kestävämmän tulevaisuuden rakentamisessa tarjoamalla viranomaisille työkaluja ja näkemyksiä, joita he tarvitsevat tehdäkseen tietoisia päätöksiä ympäristö- ja sosiaalisista vaikutuksista.

Kaupunkien lämpösaarekkeet (UHI) ovat kaupunkien alueita, joissa lämpötila on huomattavasti korkeampi kuin ympäröivillä maaseutualueilla. UHI:t ovat kasvava huolenaihe, koska ne voivat johtaa erilaisiin ympäristö- ja terveysongelmiin. Vastatakseen tähän haasteeseen Gramener on kehittänyt ratkaisun, joka käyttää paikkatietoja ja kehittyneitä mallinnustekniikoita seuraavien UHI-vaikutusten ymmärtämiseen ja lieventämiseen:

• Lämpötilaero – UHI:t voivat saada kaupunkialueet kuumemmaksi kuin ympäröivät maaseutualueet.
• Terveysvaikutukset – Korkeammat lämpötilat UHI:ssa lisäävät kuumuudesta johtuvia sairauksia ja kuolemantapauksia 10–20 %.
• Energiankulutus - UHI:t lisäävät ilmastoinnin vaatimuksia, mikä johtaa jopa 20 prosentin energiankulutukseen.
• Ilmanlaatu - UHI:t huonontavat ilmanlaatua, mikä johtaa kohonneisiin savusumun ja hiukkasten pitoisuuksiin, mikä voi lisätä hengitysvaikeuksia.
• Taloudellinen vaikutus – UHI:t voivat aiheuttaa miljardeja dollareita lisäenergiakustannuksia, infrastruktuurivaurioita ja terveydenhuoltokuluja.

Gramenerin GeoBox-ratkaisu antaa käyttäjille mahdollisuuden hyödyntää ja analysoida julkisia paikkatietoja vaivattomasti tehokkaan API:n kautta, mikä mahdollistaa saumattoman integroinnin olemassa oleviin työnkulkuihin. Tämä virtaviivaistaa tutkimista ja säästää arvokasta aikaa ja resursseja, jolloin yhteisöt voivat tunnistaa nopeasti UHI-hotspotit. GeoBox muuttaa sitten raakatiedon käyttökelpoisiksi oivalluksiksi, jotka esitetään käyttäjäystävällisissä muodoissa, kuten rasteri-, GeoJSON- ja Excel-muodoissa, mikä varmistaa UHI:n lieventämisstrategioiden selkeän ymmärtämisen ja välittömän toteutuksen. Tämä antaa yhteisöille mahdollisuuden tehdä tietoon perustuvia päätöksiä ja toteuttaa kestävän kaupunkikehityksen aloitteita, mikä lopulta tukee kansalaisia ​​parantamalla ilmanlaatua, vähentämällä energiankulutusta ja viileämmällä, terveellisemmällä ympäristöllä.

Tämä viesti osoittaa, kuinka Gramenerin GeoBox-ratkaisu käyttää Amazon SageMakerin geospatiaalisia ominaisuuksia Maan havainnointianalyysin suorittamiseen ja UHI-havaintojen avaamiseen satelliittikuvista. SageMakerin geospatiaaliset ominaisuudet tekevät tietotieteilijöille ja koneoppimisen (ML) insinööreille yksinkertaista rakentaa, kouluttaa ja ottaa käyttöön geospatiaalisia tietoja käyttäviä malleja. SageMakerin geospatiaaliset ominaisuudet mahdollistavat suuren mittakaavan geospatiaalisen tietojoukon tehokkaan muuntamisen ja rikastamisen sekä tuotekehityksen nopeuttamisen ja näkemykseen kuluvan ajan valmiiksi koulutetuilla ML-malleilla.

Ratkaisun yleiskatsaus

Geobox pyrkii analysoimaan ja ennustamaan UHI-ilmiötä hyödyntämällä tilaominaisuuksia. Se auttaa ymmärtämään, kuinka ehdotetut infrastruktuurin ja maankäytön muutokset voivat vaikuttaa UHI-malleihin, ja tunnistaa UHI:hen vaikuttavat keskeiset tekijät. Tämä analyyttinen malli tarjoaa tarkat arviot maan pinnan lämpötilasta (LST) rakeisella tasolla, jolloin Gramener voi kvantifioida muutokset UHI-ilmiössä parametrien (indeksien ja käytettyjen tietojen nimet) perusteella.

Geoboxin avulla kaupungin osastot voivat tehdä seuraavat:

• Parempi ilmastosopeutuminen suunnittelu – Tietoiset päätökset vähentävät äärimmäisten lämpötilojen vaikutuksia.
• Tuki viheralueiden laajentamiseen – Viheralueiden lisääminen parantaa ilmanlaatua ja elämänlaatua.
• Tehostettu osastojen välinen yhteistyö – Koordinoidut toimet parantavat yleistä turvallisuutta.
• Strateginen hätävalmius – Kohdennettu suunnittelu vähentää hätätilanteiden mahdollisuutta.
• Terveydenhuoltoalan yhteistyö – Yhteistyö johtaa tehokkaampiin terveystoimiin.

Ratkaisun työnkulku

Tässä osiossa pohditaan, miten eri komponentit toimivat yhdessä tiedonkeruusta tilamallinnukseen ja ennustamiseen, jotka toimivat UHI-ratkaisun ytimenä. Ratkaisu noudattaa jäsenneltyä työnkulkua ja keskittyy ensisijaisesti UHI:iden käsittelemiseen Kanadan kaupungissa.

Vaihe 1: Tietojen käsittely

Landsat 8 -satelliitti tallentaa yksityiskohtaisia ​​kuvia kiinnostavasta alueesta 15 päivän välein klo 11, mikä tarjoaa kattavan kuvan kaupungin maisemasta ja ympäristöstä. Mapboxin Supermercado Python -kirjastoa zoomaustasolla 30 käyttämällä muodostetaan 48 metrin ruudukkojärjestelmä, joka mahdollistaa tarkan spatiaalisen analyysin.

Vaihe 2: Tutkiva analyysi

Infrastruktuuri- ja väestötietokerroksia yhdistävä Geobox antaa käyttäjille mahdollisuuden visualisoida kaupungin vaihtelevan jakautumisen ja saada kaupunkimorfologisia oivalluksia, mikä mahdollistaa kattavan analyysin kaupungin rakenteesta ja kehityksestä.

Vaiheen 1 Landsat-kuvia käytetään myös oivallusten, kuten normalisoidun kasvillisuuden indeksin (NDVI) ja normalisoidun eron muodostumisindeksin (NDBI) saamiseksi, ja tiedot on skaalattu huolellisesti 48 metrin ruudukkoon johdonmukaisuuden ja tarkkuuden vuoksi.

Käytetään seuraavia muuttujia:

• Maan pinnan lämpötila
• Rakennustyömaan kattavuus
• NDVI
• Rakennuspalojen kattavuus
• NDBI
• Rakennusalue
• albedo
• Rakennusmäärä
• Modified Normalized Difference Water Index (MNDWI)
• Rakennuksen korkeus
• Kerrosten lukumäärä ja pinta-ala
• Pinta-alan suhde

Vaihe 3: Analytics-malli

Tämä vaihe koostuu kolmesta moduulista, joissa käytetään datan ML-malleja saadakseen käsityksen LST:stä ja sen suhteesta muihin vaikuttaviin tekijöihin:

• Moduuli 1: Aluetilastot ja aggregointi – Vyöhyketilastoilla on keskeinen rooli laskettaessa tilastoja arvorasterin arvojen avulla. Se sisältää tilastotietojen poimimisen jokaisesta vyöhykkeestä vyöhykerasterin perusteella. Aggregointi suoritetaan 100 metrin tarkkuudella, mikä mahdollistaa tietojen kattavan analyysin.
• Moduuli 2: Tilamallinnus – Gramener arvioi kolme regressiomallia (lineaariset, spatiaaliset ja spatiaaliset kiinteät vaikutukset) selvittääkseen korrelaation maan pinnan lämpötilan (LST) ja muiden muuttujien välillä. Näistä malleista tilallinen kiinteä vaikutusmalli tuotti suurimman keskimääräisen R-neliöarvon, erityisesti ajanjaksolla 2014–2020.
• Moduuli 3: Muuttujien ennustaminen – Muuttujien ennustamiseksi lyhyellä aikavälillä Gramener käytti eksponentiaalista tasoitustekniikkaa. Nämä ennusteet auttoivat ymmärtämään tulevia LST-arvoja ja niiden suuntauksia. Lisäksi he syventyivät pitkän aikavälin mittakaavaanalyyseihin käyttämällä RCP8.5:n (Representative Concentration Pathway) -tietoja ennustaakseen LST-arvoja pitkien ajanjaksojen aikana.

Tiedonkeruu ja esikäsittely

Gramener käytti moduulien toteuttamiseen SageMaker geospatiaalista muistikirjaa Amazon SageMaker Studio. Gespatial-muistikirjan ydin on esiasennettu yleisesti käytettyjen paikkatietokirjastojen kanssa, mikä mahdollistaa geospatiaalisen tiedon suoran visualisoinnin ja käsittelyn Python-muistikirjaympäristössä.

Gramener käytti erilaisia ​​tietojoukkoja ennustaakseen LST-trendejä, mukaan lukien rakennusten arviointi- ja lämpötilatiedot sekä satelliittikuvat. Avain UHI-ratkaisuun oli Landsat 8 -satelliitin tietojen käyttö. Tämä maankuvaussatelliitti, USGS:n ja NASA:n yhteisyritys, toimi hankkeen peruskomponenttina.

Kanssa SearchRasterDataCollection API, SageMaker tarjoaa tarkoitukseen rakennetun toiminnon, joka helpottaa satelliittikuvien hakemista. Gramener käytti tätä sovellusliittymää Landsat 8 -satelliittitietojen hakemiseen UHI-ratkaisua varten.

- SearchRasterDataCollection API käyttää seuraavia syöttöparametreja:

• arn – Kyselyssä käytetyn rasteritietokokoelman Amazon-resurssin nimi (ARN).
• Kiinnostava alue – GeoJSON-polygoni, joka edustaa kiinnostavaa aluetta
• TimeRangeFilter – Mielenkiinnon kohteena oleva aikaväli, joka on merkitty {StartTime: <string>, EndTime: <string>}
• PropertyFilters – Täydentäviä ominaisuussuodattimia, kuten maksimaalisen hyväksyttävän pilvipeitteen määritykset, voidaan myös sisällyttää

Seuraava esimerkki havainnollistaa, kuinka Landsat 8 -tietoja voidaan kysellä API:n kautta:

search_params = {
    "Arn": "arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/gmqa64dcu2g9ayx1", # NASA/USGS Landsat
    "RasterDataCollectionQuery": {
        "AreaOfInterest": {
            "AreaOfInterestGeometry": {
                "PolygonGeometry": {
                    "Coordinates": coordinates
                }
            }
        },
        "TimeRangeFilter": {
            "StartTime": "2014-01-01T00:00:00Z",
            "EndTime": "2020-12-31T23:59:59Z",
        },
        "PropertyFilters": {
            "Properties": [{"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 20.0}}}],
            "LogicalOperator": "AND",
        }
    },
}

response = geospatial_client.search_raster_data_collection(**search_params)

Gramener käytti laajamittaisten satelliittitietojen käsittelyyn Amazon SageMaker -käsittely geospatiaalisen kontin kanssa. SageMaker Processing mahdollistaa laskentaklustereiden joustavan skaalauksen erikokoisiin tehtäviin, yksittäisen korttelin käsittelystä planeetan mittakaavan työkuormien hallintaan. Perinteisesti manuaalisen laskentaklusterin luominen ja hallinta tällaisia ​​tehtäviä varten oli sekä kallista että aikaa vievää, erityisesti geospatiaalisen tiedon käsittelyyn sopivan ympäristön standardoinnin monimutkaisuuden vuoksi.

Nyt SageMakerin erikoistuneen geospatiaalisen kontin ansiosta geospatiaalisen käsittelyn klusterien hallinta ja käyttö on entistä yksinkertaisempaa. Tämä prosessi vaatii vain vähän koodaustyötä: määrität vain työmäärän, määrität paikkatietojen sijainnin Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ja valitse sopiva geospatiaalinen kontti. SageMaker Processing huolehtii sitten automaattisesti tarvittavista klusteriresursseista, mikä helpottaa geospatiaalisten tehtävien tehokasta suorittamista mittakaavassa, joka vaihtelee kaupunkitasosta maanosaan.

SageMaker hallitsee täysin prosessointityön edellyttämää taustalla olevaa infrastruktuuria. Se varaa klusteriresurssit työn ajaksi ja poistaa ne työn valmistuttua. Lopuksi käsittelytyön tulokset tallennetaan nimettyyn S3-ämpäriin.

Gespatiaalista kuvaa käyttävä SageMaker Processing -työ voidaan määrittää geospatiaalisen muistikirjan sisällä seuraavasti:

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import ScriptProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput

execution_role_arn = get_execution_role()

geospatial_image_uri = '081189585635.dkr.ecr.us-west-2.amazonaws.com/sagemaker-geospatial-v1-0:latest'
processor = ScriptProcessor(
    command=['python3'],
    image_uri=geospatial_image_uri,
    role=execution_role_arn,
    instance_count=20,
    instance_type='ml.m5.xlarge',
    base_job_name='geospatial-processing-spectral-indices'
)

Parametri instance_count määrittää, kuinka monta ilmentymää käsittelytyön tulee käyttää, ja instance_type määrittää, minkä tyyppistä ilmentymää tulee käyttää.

Seuraava esimerkki näyttää, kuinka Python-komentosarja suoritetaan käsittelytyöklusterissa. Kun suorita komentoa kutsutaan, klusteri käynnistyy ja määrittää automaattisesti tarvittavat klusterin resurssit:

processor.run(
    code='calculate_variables.py',
    inputs=[
        ProcessingInput(
            source=s3_manifest_url,
            destination='/opt/ml/processing/input_data/',
            s3_data_type="ManifestFile",
            s3_data_distribution_type="ShardedByS3Key"
        ),
    ],
    outputs=[
        ProcessingOutput(
            source='/opt/ml/processing/output_data/',
            destination=s3_output_prefix_url
        )
    ]
)

Tilamallinnus ja LST-ennusteet

Käsittelytyössä lasketaan joukko muuttujia, mukaan lukien ilmakehän huippuspektrisäteily, kirkkauslämpötila ja Landsat 8:n heijastuskyky. Lisäksi lasketaan morfologiset muuttujat, kuten lattiapinta-alasuhde (FAR), rakennustyömaan kattavuus, rakennuspalojen peitto ja Shannonin entropiaarvo.

Seuraava koodi osoittaa, kuinka tämä kaistaaritmetiikka voidaan suorittaa:

def calculate_ndvi(nir08, red): 
    return (nir08 - red) / (nir08 + red) 
 
def calculate_ndbi(swir16, nir08): 
    return (swir16 - nir08) / (swir16 + nir08) 
 
def calculate_st(bt): 
    return ((bt * 0.00341802) + 149.0) - 273 
 
def indices_calc(data): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        ndvi_future = executor.submit(calculate_ndvi, data.sel(band="SR_B5"), data.sel(band="SR_B4")) 
        ndbi_future = executor.submit(calculate_ndbi, data.sel(band="SR_B6"), data.sel(band="SR_B5")) 
        st_future = executor.submit(calculate_st, data.sel(band="ST_B10")) 
 
        ndvi = ndvi_future.result() 
        ndbi = ndbi_future.result() 
        st = st_future.result() 
 
    ndvi.attrs = data.attrs 
    ndbi.attrs = data.attrs 
    st.attrs = data.attrs 
 
    return ndvi, ndbi, st 

Kun muuttujat on laskettu, tehdään vyöhyketilastot tietojen aggregoimiseksi ruudukoittain. Tämä edellyttää tilastojen laskemista kunkin alueen kiinnostavien arvojen perusteella. Näihin laskelmiin on käytetty noin 100 metrin ruudukkokokoa.

def process_iteration(st, ndvi, ndmi, date, city_name): 
    datacube['st'] = (st.dims, st.values) 
    datacube['ndvi'] = (ndvi.dims, ndvi.values) 
    datacube['ndmi'] = (ndmi.dims, ndmi.values) 
    df = datacube.groupby("id").mean().to_dataframe().reset_index() 
    merged_grid = hexgrid_utm.join(df, on='id', how='left', lsuffix='_')[['id', 'hex_id', 'geometry', 'st', 'ndvi', 'ndmi']] 
    merged_grid.to_file(f"{DATA}/{city_name}/{city_name}_outputs_{date}.geojson", driver='GeoJSON') 
    print("Working on:", date) 
 
def iterative_op(city_json, st, ndvi, ndmi, city_name): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        futures = [ 
            executor.submit(process_iteration, st[i], ndvi[i], ndmi[i], date, city_name) 
            for i, _ in enumerate(city_json.time) 
            for date in city_json.date 
        ] 
        for future in concurrent.futures.as_completed(futures): 
            future.result() 
 
    print('Process completed') 

Tietojen yhdistämisen jälkeen suoritetaan tilamallinnus. Gramener käytti spatiaalisia regressiomenetelmiä, kuten lineaarista regressiota ja spatiaalisia kiinteitä vaikutuksia, ottaakseen huomioon havaintojen spatiaalisen riippuvuuden. Tämä lähestymistapa helpottaa muuttujien ja LST:n välisen suhteen mallintamista mikrotasolla.

Seuraava koodi havainnollistaa, kuinka tällainen tilamallinnus voidaan suorittaa:

features = [ 
    'ndvi', 
    'ndbi', 
    'st', 
    'build_count', 
    'bbc' 
] 
 
def compute_spatial_weights(df, k=8): 
    knn = KNN.from_dataframe(df, k=k) 
    return df[features].apply(lambda y: weights.spatial_lag.lag_spatial(knn, y)).rename(columns=lambda c: 'w_' + c) 
 
def ordinary_least_squares(df_year, spatial=False): 
    formula = f"lst ~ {' + '.join(features)}"  
    if spatial: 
        df_year = df_year.join(compute_spatial_weights(df_year)) 
        formula += f" + {' + '.join(['w_' + f for f in features])}"  
     
    return smf.ols(formula, data=df_year).fit() 
 
def process(df, year): 
    df_year = pd.merge(df[df['year'] == year].fillna(0), grids[['idx', 'name']], on='idx') 
    ols_model = ordinary_least_squares(df_year) 
    ols_spatial_model = ordinary_least_squares(df_year, spatial=True) 
    ols_spatial_fe_model = ordinary_least_squares(df_year, spatial=True) 
     
    return { 
        'year': year, 
        'ols_model': ols_model, 
        'ols_spatial_model': ols_spatial_model, 
        'ols_spatial_fe_model': ols_spatial_fe_model, 
        'ols_r2': [ols_model.rsquared, ols_spatial_model.rsquared, ols_spatial_fe_model.rsquared] 
    } 

Gramener käytti eksponentiaalista tasoitusta LST-arvojen ennustamiseen. Eksponentiaalinen tasoitus on tehokas menetelmä aikasarjan ennustamiseen, joka käyttää painotettuja keskiarvoja menneisiin tietoihin painojen pienentyessä eksponentiaalisesti ajan myötä. Tämä menetelmä on erityisen tehokas tietojen tasoittamisessa trendien ja kuvioiden tunnistamiseksi. Eksponentiaalista tasoitusta käyttämällä on mahdollista visualisoida ja ennustaa LST-trendejä tarkemmin, mikä mahdollistaa tarkemmat ennusteet tulevaisuuden arvoista historiallisten mallien perusteella.

Ennusteiden visualisoimiseksi Gramener käytti SageMaker geospatiaalista muistikirjaa avoimen lähdekoodin paikkatietokirjastojen kanssa malliennusteiden päällekkäisyyteen pohjakartalla ja tarjoaa kerroksittain visualisoivia geospatiaalisia tietojoukkoja suoraan muistikirjaan.

Yhteenveto

Tämä postaus osoitti, kuinka Gramener auttaa asiakkaita tekemään tietopohjaisia ​​päätöksiä kestävien kaupunkiympäristöjen puolesta. SageMakerin avulla Gramener saavutti huomattavia ajansäästöjä UHI-analyysissä, mikä lyhensi käsittelyaikaa viikoista tunteihin. Tämän nopean oivalluksen luomisen avulla Gramenerin asiakkaat voivat paikantaa alueet, jotka vaativat UHI:n lieventämisstrategioita, suunnitella ennakoivasti kaupunkikehitystä ja infrastruktuurihankkeita UHI:n minimoimiseksi ja saada kokonaisvaltaisen ymmärryksen ympäristötekijöistä kattavaa riskinarviointia varten.

Löydä mahdollisuudet integroida Maan havainnointitietoja kestävän kehityksen projekteihin SageMakerin avulla. Lisätietoja on kohdassa Aloita Amazon SageMakerin geospatiaalisten ominaisuuksien käyttö.

Tietoja Tekijät

Abhishek Mittal on ratkaisuarkkitehti maailmanlaajuiselle julkisen sektorin tiimille Amazon Web Services (AWS) -palvelussa, jossa hän työskentelee ensisijaisesti ISV-kumppaneiden kanssa eri toimialoilla tarjoten heille arkkitehtonista ohjausta skaalautuvan arkkitehtuurin rakentamiseen ja strategioiden toteuttamiseen AWS-palvelujen käyttöönoton edistämiseksi. Hän on intohimoinen perinteisten alustojen modernisoimiseen ja tietoturvaan pilvessä. Työn ulkopuolella hän on matkailun ystävä.

Janosch Woschitz on AWS:n vanhempi ratkaisuarkkitehti, joka on erikoistunut AI/ML:ään. Yli 15 vuoden kokemuksella hän tukee asiakkaita maailmanlaajuisesti keinoälyn ja ML:n hyödyntämisessä innovatiivisissa ratkaisuissa ja ML-alustojen rakentamisessa AWS:lle. Hänen asiantuntemuksensa kattaa koneoppimisen, tietotekniikan ja skaalautuvat hajautetut järjestelmät, ja sitä täydentää vahva tausta ohjelmistosuunnittelussa ja alan asiantuntemus sellaisilla aloilla kuin autonominen ajaminen.

Shravan Kumar on Gramenerin asiakasmenestyksen johtaja, jolla on vuosikymmenen kokemus Business Analyticsista, Data Evangelismista ja syvällisten asiakassuhteiden luomisesta. Hänellä on vankka perusta asiakashallinnassa, tilinhallinnassa data-analytiikan alalla, tekoälyssä ja ML:ssä.

Avirat S on Gramenerin geospatiaalisen datan tutkija, joka hyödyntää AI/ML:ää saadakseen oivalluksia maantieteellisistä tiedoista. Hänen asiantuntemuksensa on katastrofien hallinnassa, maataloudessa ja kaupunkisuunnittelussa, joissa hänen analyysinsä antaa tietoa päätöksentekoprosesseista.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/understanding-and-predicting-urban-heat-islands-at-gramener-using-amazon-sagemaker-geospatial-capabilities/