Originally published at: NVIDIA cuDF를 사용하여 JSON Lines를 pandas에서 100배 더 빠르게 읽기 - NVIDIA Technical Blog
JSON은 시스템 간에 상호 운용 가능한 텍스트 기반 정보에 널리 채택되는 형식으로, 특히 웹 애플리케이션 및 거대 언어 모델(LLM)에 자주 사용됩니다. JSON 형식은 사람이 읽을 수 있지만, 데이터 사이언스 및 데이터 엔지니어링 도구로 처리하기에는 복잡합니다. JSON 데이터는 데이터 세트의 여러 레코드를 나타내기 위해 줄 바꿈으로 구분된 JSON Lines(NDJSON이라고도 함)의 형태를 취하는 경우가 많습니다. JSON Lines…