pandas에서 마이그레이션

# 이전 (pandas)
import pandas as pd

# 이후 (DataStore)
from chdb import datastore as pd

# 이들은 모두 같은 방식으로 작동합니다
df = pd.read_csv("data.csv")
df = pd.read_parquet("data.parquet")
df = pd.read_json("data.json")
df = pd.read_excel("data.xlsx")

# 불리언 인덱싱
df[df['age'] > 25]
df[(df['age'] > 25) & (df['city'] == 'NYC')]

# query() 메서드
df.query('age > 25 and salary > 50000')

# 컬럼 선택
df['name']
df[['name', 'age']]

# 행 선택
df.head(10)
df.tail(10)
df.iloc[0:100]

# GroupBy
df.groupby('city')['salary'].mean()
df.groupby(['city', 'dept']).agg({'salary': ['sum', 'mean']})

df.sort_values('salary', ascending=False)
df.sort_values(['city', 'age'])

df['name'].str.upper()
df['name'].str.contains('John')
df['name'].str.len()

df['date'].dt.year
df['date'].dt.month
df['date'].dt.dayofweek

df.to_csv("output.csv")
df.to_parquet("output.parquet")
df.to_json("output.json")

# 즉시 실행됨
result = df[df['age'] > 25]
print(type(result))  # pandas.DataFrame

# 쿼리를 생성하지만 아직 실행되지는 않습니다
result = ds[ds['age'] > 25]
print(type(result))  # DataStore(지연 평가)

# 데이터가 필요할 때 실행됩니다
print(result)        # 실행이 시작됩니다
df = result.to_df()  # 실행이 시작됩니다

df.drop(columns=['col'], inplace=True)

ds = ds.drop(columns=['col'])  # 결과를 다시 할당하세요

# 예상한 대로 작동하지 않을 수 있습니다
df == ds  # pandas doesn't know DataStore

# 대신 다음과 같이 하세요
df.equals(ds.to_pandas())

# pandas는 순서를 유지합니다
df = pd.read_csv("data.csv")

# DataStore - 순서를 보장하려면 sort를 사용하세요
ds = pd.read_csv("data.csv")
ds = ds.sort('id')  # 명시적 정렬

# pandas
import pandas as pd
df = pd.read_csv("data.csv")
result = df[df['amount'] > 100].groupby('category')['amount'].sum()
result.to_csv("output.csv")

# DataStore - 같은 코드가 그대로 작동합니다!
from chdb import datastore as pd
df = pd.read_csv("data.csv")
result = df[df['amount'] > 100].groupby('category')['amount'].sum()
result.to_csv("output.csv")

from chdb import datastore as pd

# 빠른 DataStore 연산
ds = pd.read_csv("large_data.csv")
ds = ds.filter(ds['date'] >= '2024-01-01')
ds = ds.filter(ds['amount'] > 100)

# 특정 기능이 필요하면 마지막에 pandas로 변환
df = ds.to_df()
df_pivoted = df.pivot_table(...)  # pandas 전용

from chdb import datastore as pd
import pandas

# 빠른 필터링을 위해 DataStore로 시작
ds = pd.read_csv("huge_file.csv")  # 1,000만 행
ds = ds.filter(ds['year'] == 2024)  # 빠른 SQL 필터
ds = ds.select('col1', 'col2', 'col3')  # 컬럼 프루닝

# pandas 전용 연산을 위해 변환
df = ds.to_df()  # 이제 약 10만 행만 처리
result = df.apply(complex_custom_function)  # pandas 처리

from chdb.datastore.config import config
config.enable_debug()

# 생성되는 SQL을 확인하세요
ds.filter(ds['x'] > 10).explain()

# 나쁜 예: 소규모 실행을 여러 번 수행
for i in range(1000):
    result = ds.filter(ds['id'] == i).to_df()

# 좋은 예: 단일 실행
result = ds.filter(ds['id'].isin(ids)).to_df()

# 타입 확인
print(ds.dtypes)

# 강제 변환
ds['col'] = ds['col'].astype('int64')

# 두 import를 모두 유지하세요
import pandas as pd
from chdb import datastore as ds

# 결과를 비교하세요
pdf = pd.read_csv("data.csv")
dsf = ds.read_csv("data.csv")

# 일치하는지 확인하세요
assert pdf.equals(dsf.to_pandas())

from chdb import datastore as pd

# 무거운 작업은 DataStore에 맡기기
ds = pd.read_csv("data.csv")
ds = ds.filter(ds['year'] == 2024)  # SQL

# 커스텀 작업을 위해 변환
df = ds.to_df()
result = df.apply(my_custom_function)

from chdb import datastore as ds
import pandas as pd

# DataStore에서 pandas로
df = ds_result.to_pandas()

# pandas에서 DataStore로  
ds = ds.DataFrame(pd_result)

def test_my_function():
    result = my_function()
    expected = pd.DataFrame(...)
    pd.testing.assert_frame_equal(result.to_pandas(), expected)

from chdb import datastore as pd

ds = pd.read_csv("data.csv")
ds.head()  # Jupyter에서 깔끔하게 표시됩니다