해양기상을 위한 NetCDF 다루기 (2)

기본적인 python 개념을 알고 있다는 전제 하,
간단하게 사용하는 것들 위주로 기억하기 위해 최소한의 코드로 작성하는 글임을 참고 부탁드립니다.

---

차원 데이터의 개념 

3차원데이터 - 4차원 을 사용하는 느낌쓰

NetCDF (Network Common Data Form) 데이터가 뭐에용?

해양과 대기 과학에서 널리 쓰인다.

• 다차원 데이터
• 시간과 공간에 따른 대기, 해양, 데이터들

배열 또는 행렬로 구성된 과학정보 형식

해양 수치 모델 결과는 공간정보(3차원)의 시간에 따른 값이 입력, 값 또한 여러 가지 변수를 포함. (x,y에 따른 h값. 면데이터)

또한 공간과 시간에 따른 파고, 파향, 파주기 등 부가 정보를 포함.

관측정보 일 때는 관측소명, 표준시, 수층, 장비명 등과 모델일 때는 시간, 공간 표준, 값 단위, fill_value 등등 포함되어야 할 정보들이 많음.

 

예로 시간과 공간 (x, y, t) + 그 값에 따른 z 까지면 4차원 데이터가 됨.

이런 시간에 따른 다수의 점 (공간, 명)의 값을 가지기에 NetCDF 형식을 활용하고 있음.

(대충 공간, 시간, 모든 정보 다차원 데이터라는 뜻)

NetCDF file structure 파악하기 실전

• Dimension (차원 : 위도, 경도, 시간의 크기, 갯수 등)
  일반적으로 (Z,Y,X)
• Variables (실제 변수들의 값)
• attributes (파일에 대한 메타정보) 로 나누어져 있음.
• Global Attribute

확인하기 위해서는 → linux - ncdump, matlap - ncinfo

참조 : https://adyork.github.io/python-oceanography-lesson/17-Intro-NetCDF/index.html

NC파일 ) Ncdump로 파악하기

ncdump -h {file}

dimension, variables

하고 attributes

python library ) Xarray로 개수, 용량 파악하기

"""
File for know the NCfile's digit info with Xarray
"""

import xarray as xr

# file path
file_path = 'data/IBTrACS/IBTrACS.WP.v04r01.nc'

try:
    ds = xr.open_dataset(file_path)
    print(ds)               #print all of dataset info
    print(ds.variables)     #print variable of dataset
    print(ds.attrs)         #print attribute of dataset
except FileNotFoundError:
    print(f"Error: File not found at path: {file_path}")
except Exception as e:
    print(f"An error occurred: {e}")

dimensions, variables, attribute가 대강 뭔지 개수 몇개인지 용량 등 간단하게 나오는 코드이다.

 

python library ) iris라는 것도 있다고? 

#pip install scitools-iris

import iris


# NC 파일 경로
file_path = 'data/20190329_1_gen_data.nc'

# Iris를 사용하여 큐브(Cube) 형태로 데이터 읽기
try:
    cubes = iris.load(file_path)
    print(cubes)  # 큐브 리스트 정보 출력
except OSError as e:
    print(f"Error: Could not open or read file: {file_path}. {e}")
except Exception as e:
    print(f"An unexpected error occurred: {e}")

리스트로 정말 필요한 정보만 큐브로 나오는 형태?

 

 

시각화 툴 : ncview

• ncview
• IDL NetCDF
• Panoply
• NcBrowse 

같은 툴들이 있다고하는데 우선 ncview로 좀더 작은 nc 파일을 보면

이 구조의 데이터. meansealevelpressure만 있다

이런식으로 variable을 선택해서 보고싶은부분 대충 찍고 체크정도로 사용하면 될 듯 하다

 

우리나라쪽 태풍 가운데(빨강) -> 초록(하양) -> 빨강(파랑)

Lon 170, 176, 186 순으로 찍어 보니 차이가 나는 것을 확인할 수 있다 *이렇게 확인만 하는 용도로 사용하면 좋겠다 

또한 다양한 필터를 적용해서 바로 볼 수 있다는 것도 장점이다 

-> 어떤 효과가 잘보일지 테스트용으로도 좋을 듯 

 

VSCode Extension : NetCDF Explorer

중국.. 이긴하지만 일단 깔아보자 도움될 것 같다

Show NetCDF info를 눌러보자

 

그러면 이렇게 간단하게나마 info가 나와 편하긴하다 (BUT..)

 

 

---

썸네일 이미지 참고 및 NetCDF 참고자료 ! (한 번은 읽어보면 좋겠다)

https://ncar.github.io/CESM-Tutorial/notebooks/resources/netcdf.html