[빅데이터 시스템 구축] HDFS란?
·
AI & 빅데이터
HDFS (Hadoop Distributed File System) 하둡 분산 파일 시스템으로, 대용량의 파일을 분산된 서버에 저장하고 데이터를 빠르게 처리할 수 있도록 설계 되었다. HDFS의 특징 1. 대용량 파일 하나의 파일에 대해 기가, 테라 단위의 크기까지 저장이 가능하다. 2. 스트리밍 방식의 데이터 접근 클라이언트의 요청을 빠른 시간에 처리하는 것 보다 동일한 시간 내 많은 데이터를 처리하도록 설계되었다. 3. 범용 하드웨어 사용 신뢰도 높은 고가의 하드웨어가 아닌 범용의 하드웨어를 사용할 수 있다. 장애가 발생하는 경우 장애 복구 기능을 통해 작업을 실행할 수 있다. 4. 데이터 수정 데이터를 한 번 쓰고 끝나거나 파일의 끝에 데이터를 덧붙이는 것은 가능하지만 파일 중간의 데이터를 수정하는..