본문 바로가기

전체 글36

OpenStreetMap에서 POI 크롤링 이번 PAKDD DMO-Fintech Workshop에서 발표한  Improving Real Estate Appraisal with POI Integration and Areal Embedding (25 mins) Authors: Sumin Han, Youngjun Park, Sonia Sabir, Jisun An, Dongman Lee 에서도 활용한 코드이다 https://github.com/SuminHan/AMMASI GitHub - SuminHan/AMMASIContribute to SuminHan/AMMASI development by creating an account on GitHub.github.com osmnx라이브러리를 활용한다. import osmnx as oxfrom shapely.g.. 2024. 6. 3.
Useful Python GIS Skills 2 1. Using Mapbox basemap on Cartoframes from cartoframes.viz import * from cartoframes.viz import basemaps Map([ Layer(ftgdf, color_continuous_style('AWATER20')), Layer(house_gdf, color_continuous_style('price')) ], basemap=basemaps.voyager) sample basemaps you may try: streetmap = { 'style': 'mapbox://styles/mapbox/streets-v9', 'token': 'pk.something' } mybasemap = { #'style': 'mapbox://styles/m.. 2023. 11. 2.
Graph based 논문 바로가기 GCRN: * Paper: https://arxiv.org/abs/1612.07659 * Code: DCRNN Paper: https://arxiv.org/pdf/1707.01926.pdf Code:https://github.com/chaoshangcs/GTS GTS: Paper: Discrete Graph Structure Learning for Forecasting Multiple Time Series Code: https://github.com/chaoshangcs/GTS T-GCN: https://arxiv.org/pdf/1811.05320.pdf PDFormer: https://github.com/BUAABIGSCity/PDFormer 2023. 5. 16.
ChatGPT가 정말로 인류를 위협하고 있을까? 최근 일론머스크와 전문가, 연구자 들이 AI개발 중지를 촉구하는 공개 서명을 하였다(링크). 이유는 AI가 사회와 인류에 악영향을 끼치며, AI의 위험을 사회가 감당 가능할때까지 개발을 중지해야 한다는 것이다. 지난달 3월 OpenAI는 GPT-4를 출시하며 GPT의 성능에 대한 평가와 한계 등을 설명하는 기술 리포트를 함께 공개하였다 (논문). 아주 상세하게 읽어보진 못했지만 대략적으로 GPT4는 밈과 같은 이미지에서 유머코드도 이해할 수 있고, 변호사 시험과 같이 기존 버전에서는 하위 10% 성적에 그쳤지만 이번 버전에서는 상위 10%버전이 되는 등 큰 성과를 얻었다는 등으로 이야기하고있다. 또한 여전히 비윤리적인 대답을 한다는 Jailbreaking과 같은 문제가 있다는 것으로 대략적으로 이해했는데.. 2023. 4. 7.
Spatio-temporal knowledge transfer for urban crowd flow prediction via deep attentive adaptation networks. Wang, Senzhang, et al. "Spatio-temporal knowledge transfer for urban crowd flow prediction via deep attentive adaptation networks." IEEE Transactions on Intelligent Transportation Systems 23.5 (2021): 4695-4705. https://ieeexplore.ieee.org/abstract/document/9352560/ [1] J. Zhang, Y. Zheng, and D. Qi, “Deep spatio-temporal residual networks for citywide crowd flows prediction,” in Proc. AAAI Conf.. 2022. 10. 31.
KT 통신 빅데이터 플랫폼 https://bdp.kt.co.kr/invoke/SOKBP0000/?ver=3.0 KT 빅데이터 플랫폼 bdp.kt.co.kr 2022. 9. 6.
[KDD] City Metro Network Expansion with Reinforcement Learning https://dl.acm.org/doi/10.1145/3394486.3403315 City Metro Network Expansion with Reinforcement Learning | Proceedings of the 26th ACM SIGKDD International Conference on Knowle ABSTRACT City metro network expansion, included in the transportation network design, aims to design new lines based on the existing metro network. Existing methods in the field of transportation network design either (i) .. 2022. 9. 5.
[SIGSPATIAL] OSM Ski Resort Routing https://dl.acm.org/doi/10.1145/3474717.3483628 OSM Ski Resort Routing | Proceedings of the 29th International Conference on Advances in Geographic Information Systems Overall Acceptance Rate 113 of 570 submissions, 20% dl.acm.org 3D로 스키 트랙을 라우팅 해주는것 같은데 매우 흥미롭다. 2022. 9. 5.
From Twitter to traffic predictor: Next-day morning traffic prediction using social media data Yao, Weiran, and Sean Qian. "From Twitter to traffic predictor: Next-day morning traffic prediction using social media data." Transportation research part C: emerging technologies 124 (2021): 102938. 본 연구는 이른아침 시간의 트위터 포스트가 아침시간의 교통 예측을 하는데 쓸모가 있음을 보이는 연구이다. 2022. 6. 2.
Hierarchical Graph Convolution Network for Traffic Forecasting (AAAI-21) https://ojs.aaai.org/index.php/AAAI/article/view/16088 Hierarchical Graph Convolution Network for Traffic Forecasting | Proceedings of the AAAI Conference on Artificial Intelli ojs.aaai.org 먼저 Hierarchical graph는 threshold 이하의 거리의 노드들을 연결한 그래프에서 spectral clustering을 해서 만들었다. 2022. 1. 17.
Distill - AI with Visualization 흥미로운 사이트 https://distill.pub/ Distill — Latest articles about machine learning Articles about Machine Learning distill.pub https://distill.pub/2021/understanding-gnns/ Understanding Convolutions on Graphs Understanding the building blocks and design choices of graph neural networks. distill.pub 2022. 1. 14.
Fine-grained Urban Flow Prediction (WWW'21) https://zhangjunbo.org/pdf/2021_WWW_UrbanFlow.pdf Urban flow prediction benefits smart cities in many aspects, such as traffic management and risk assessment. However, a critical prerequisite for these benefits is having fine-grained knowledge of the city. Thus, unlike previous works that are limited to coarse-grained data, we extend the horizon of urban flow prediction to fine granularity which.. 2022. 1. 11.
Knowledge Adaption for Demand Prediction based on Multi-task Memory Neural Network (CIKM-20) Li, Can, et al. "Knowledge adaption for demand prediction based on multi-task memory neural network." Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020. URL: https://doi.org/10.1145/3340531.3411965 그와중에 DCRNN 이전에 GCRN이라는 논문이 있었음을 알게되었다. https://arxiv.org/abs/1707.01926 Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting.. 2021. 12. 16.
Discrete Graph Structure Learning for Forecasting Multiple Time Series Shang, Chao, Jie Chen, and Jinbo Bi. "Discrete Graph Structure Learning for Forecasting Multiple Time Series." arXiv preprint arXiv:2101.06861 (2021). Paper: Discrete Graph Structure Learning for Forecasting Multiple Time Series Code: https://github.com/chaoshangcs/GTS Gumbel Distribution 참고: https://data-newbie.tistory.com/263 https://blog.evjang.com/2016/11/tutorial-categorical-variational.htm.. 2021. 12. 14.
Bike NYC https://ride.citibikenyc.com/system-data Citi Bike System Data | Citi Bike NYC Developers, engineers, statisticians and academics can find and download data on Citi Bike membership, ridership and trip histories. ride.citibikenyc.com https://s3.amazonaws.com/tripdata/index.html Bucket loading... s3.amazonaws.com 정제된 데이터 있음 https://github.com/FIBLAB/DeepSTN GitHub - FIBLAB/DeepSTN: Codes for AAAI .. 2021. 12. 10.
TaxiBJ Dataset https://github.com/yoshall/UrbanFM GitHub - yoshall/UrbanFM: Pytorch Implement of Urban Flow Magnifier (UrbanFM), KDD-19 Pytorch Implement of Urban Flow Magnifier (UrbanFM), KDD-19 - GitHub - yoshall/UrbanFM: Pytorch Implement of Urban Flow Magnifier (UrbanFM), KDD-19 github.com P1, P2, P3, P4 2021. 12. 9.
DeepSTN+: Context-Aware Spatial-Temporal Neural Network for Crowd Flow Prediction in Metropolis (AAAI-19) Lin, Ziqian, et al. "Deepstn+: Context-aware spatial-temporal neural network for crowd flow prediction in metropolis." Proceedings of the AAAI conference on artificial intelligence. Vol. 33. No. 01. 2019. https://ojs.aaai.org/index.php/AAAI/article/view/3892 DeepSTN+: Context-Aware Spatial-Temporal Neural Network for Crowd Flow Prediction in Metropolis | Proceedings of the AAAI ojs.aaai.org Regi.. 2021. 12. 9.
Place Syntax Tool - Spatial Morphology Group https://www.smog.chalmers.se/pst Spatial Morphology Group｜Place Syntax Tool PST is an open source tool for performing spatial analyses. It combines the space syntax description of the urban environment with conventional descriptions of attraction into the combined accessibility analysis tool PST. It is currently available as www.smog.chalmers.se * Marcus, Lars. "Spatial capital and how to measur.. 2021. 11. 13.
시각화 관련 유용한 웹 사이트 blog.veloviewer.com/interactive-road-orientation-distributions-how-ordered-is-your-town/ Interactive Road Orientation Distributions – How Ordered is Your Town? | VeloViewer An image created by Seth Kadish at Vizual Statistix caught my eye in my Twitter timeline yesterday showing road orientation distributions (i.e. what directions the roads go in) for a number of US cities. Being British, the id.. 2021. 4. 8.
도시의 도로가 얼마나 정렬되어있는지 시각화 blog.mapbox.com/visualizing-street-orientations-on-an-interactive-map-1eefa6002afc Visualizing street orientations on an interactive map Cities can look and feel very different depending on how they were planned and built, and this is especially apparent when you explore them… blog.mapbox.com 원글은 다음과 같고, github코드가 공개되어있다. github.com/mourner/road-orientation-map mourner/road-orientation-map A vis.. 2021. 4. 8.
금강경 원문 금강경 원문: blog.naver.com/stud3333/221513768127 ​ ​ 개경게(開經偈) 무상심심미묘법 無上甚深微妙法 위 없이 매우 깊은 미묘한 법 백천만겁난조우 百千萬劫難遭隅 백천만겁 지나도록 만나기 어려워라 아금문견득수지 我今聞見得修持 내가 지금 듣고 보아 닦고 지니어 원해여래진실의 願解如來眞實義 여래의 참된 뜻을 알고자 합니다. ​ 개법장진언(開法藏眞言) 옴 아라남 아라다(3번) ​ 금강 마하 반야 바라밀경 (金剛摩訶般若波羅蜜經) ​ 姚秦天竺三藏鳩摩羅什譯 요진(姚秦) 천축(天竺)삼장 구마라집(鳩摩羅什) 한역 ​ 1. 法會因由分 법회인유분 如是我聞. 一時佛在舍衛國祇樹給孤獨園 與大比丘衆千二百五十人俱 여시아문. 일시불재사위국기수급고독원 여대비구중천이백오십인구 이와 같이 나는 들었다. 한 때.. 2021. 3. 7.
공공데이터 목록 1. 국가중점데이터: openapi.nsdi.go.kr/nsdi/ 국가공간정보포털 국가중점데이터 전체 국가중점데이터가 36건 입니다. 공간융합 개방데이터(17년) - 4건 API SHP CSV API SHP CSV API SHP CSV API SHP CSV 국가공간 개방데이터(16년) - 12건 API SHP API SHP CSV API SHP CSV AP openapi.nsdi.go.kr 2. 교통 데이터 거래소: https://bigdata-transportation.kr/ 교통 빅데이터 거래소 교통 빅데이터의 거래소 포털입니다. www.bigdata-transportation.kr 3. DACON: https://dacon.io/competitions/official/235622/talkboard/.. 2021. 2. 18.
folium HeatMapWithTime 이용하기 김수빈 인턴 작성 Heatmap은 원래 사람의 체온분포를 나타내기 위해 사용되지만, 지리정보를 효과적으로 나타내기 위해 사용해보았다. 참고: https://csds.tistory.com/18 여기서 정제한 ‘seouldata.json’ 파일을 이용한다. import csv import pandas as pd from lxml import etree import os import json array = [] with open('seouldata.json', encoding='utf-8', mode='r') as f: array = json.load(f) df = pd.DataFrame(array) #None 이 아닌 데이터를 필터링 df = df[(df['x'] == df['x']) & (df['y'] =.. 2021. 2. 15.
박사학위 길잡이 (Estelle M. Phillips, Dered S. Pugh 저) www.yes24.com/Product/Goods/1500561 박사 학위 길잡이 오랫동안 박사 학위 지도 과정을 개발하고 교육해온 저자들이 다 년간의 풍부한 경험을 바탕으로 학생들이 자신에게 적합한 학과를 선택하고 박사학위를 취득하는데 필요한 모든 정보를 이 책 www.yes24.com 요즘 최근에 겪고있는 연구 문제 선정에 대한 수많은 고민과, 내가 박사과정을 제대로 하고있는지에 대한 자기 반성적인 고민을 하다 도서관 검색을 통해 박사 학위 길잡이라는 책을 접하고 순식간에 절반가량을 읽었다. 모든 문구를 읽은 것은 아니지만, 인상적으로 내가 받은 느낌은 박사학위란 특별한 기술을 가지거나 능력을 보유한 것에 대한 자격증이 아니라, 어떤 논제를 가지고 논하든 그것을 가지고 토론할 수 있고 전문 분야에 대.. 2021. 1. 29.
생활인구 시각화 일부 지역을 선택하여 각 집계구의 빈도수를 min/max normalization하여 그 변화를 그래프로 나타낸 것이다. 본 데이터는 commercial/residential과 큰 차이가 있을것으로 기대된다. 2021. 1. 22.
생활인구 데이터 data.seoul.go.kr/dataVisual/seoul/seoulLivingPopulation.do 서울 열린데이터광장 서울 생활인구란? 서울시와 KT가 공공빅데이터와 통신데이터를 이용하여 추계한 서울의 특정지역, 특정시점에 존재하는 모든 인구 구분 인구총조사인구(2018년) 주민등록인구(2020.03월) 생활인구 data.seoul.go.kr LTE 기반으로 추정된 특정 시점에 존재하는 인구 데이터이다. 2021. 1. 22.
Traffic Prediction 관련 논문/데이터셋 정리 github.com/aprbw/traffic_prediction aprbw/traffic_prediction Traffic prediction is the task of predicting future traffic measurements (e.g. volume, speed, etc.) in a road network (graph), using historical data (timeseries). - aprbw/traffic_prediction github.com You can find the bibtex in traffic_prediction.bib (not complete yet) modelcitationsvenuepublished datepapercodes 3D-TGCN 12 arXiv 3 Mar .. 2021. 1. 15.
GIS 공공데이터 데이터셋 토지특성정보 search "토지특성정보" http://openapi.nsdi.go.kr/nsdi/eios/OpenapiList.do?provOrg=SCOS&gubun=F 국가공간정보포털 토지특성정보 토지이용상황, 지형고저, 지형형상, 도로접면 등의 필지별로 그 토지가 가지고 있는 물리적, 입지적 특성 정보를 제공하는 토지특성정보 SHP CSV 최근생성일 : 2020-10-04다운로드수 : 8 openapi.nsdi.go.kr 2021. 1. 12.
Python (GIS+General) Tip 모음 1. GIS 파일 (SHP, PRJ) 로드하는법 (fiona, geopandas) 기본적으로 geopandas의 read_file을 하면 데이터를 로드하지만, prj파일을 놓쳐서 일일히 설정해 줘야 할 때가 있다. 이럴 때 import fiona import geopandas as gpd c = fiona.open('SeoulTrafficData/NODELINKDATA-2020-03-31/MOCT_LINK.shp', encoding='euc-kr') link_gdf = gpd.GeoDataFrame.from_features(c, crs=c.crs).to_crs('epsg:4326') 이와 같이 fiona 라이브러리를 활용하면 자동으로 prj 파일도 함께 읽어 좌표계를 설정하여준다. 2. pd.df → g.. 2021. 1. 11.
주요 좌표계 활용 방법 (TM, UTM-K, KATEC) 0. 기본 - 위도경도 좌표계 (WGS84 - EPSG:4326) 1. TM좌표계 (ex: http://www.localdata.kr/, data.nsdi.go.kr/dataset) +proj=tmerc +lat_0=38 +lon_0=127.5 +k=0.9996 +x_0=1000000 +y_0=2000000 +ellps=GRS80 +units=m +no_defs +type=crs 혹은 +proj=tmerc +lat_0=38 +lon_0=127.0028902777778 +k=1 +x_0=200000 +y_0=500000 +ellps=bessel +units=m +no_defs +towgs84=-115.80,474.99,674.11,1.16,-2.31,-1.63,6.43 2. UTM-K (EPSG:5178).. 2021. 1. 11.

티스토리툴바