본문 바로가기

빅데이터2

[Hadoop] - hadoop fs -ls 명령어 실행 시 No such file or directory 오류 해결 OS : MacOS Catalina (v10.15.4)Hadoop version : v3.3.0 로컬 환경에서 Hadoop을 설치하고 실행하던 중 ls 명령어를 실행하자 ls: `.': No such file or directory 에러가 발생했다.  강의에서 시키는대로 열심히 설치를 했건만 명령어 수행이 되지 않아 stackoverflow를 열심히 뒤진 결과  아래 두 줄의 명령어를 실행해서 디렉토리를 생성하고 나니 문제가 해결됐다. hdfs dfs -mkdir /userhdfs dfs -mkdir /user/[username] 하둡파일시스템에서 디렉토리를 생성해주는 명령어를 수행해 /user/[username] 디렉토리를 만들어준 것이다. username에는 본인이 사용중인 환경에서 알맞은 값을 넣어.. 2021. 1. 27.
[Pandas] - DataFrame에서 데이터 Select 하기(loc[], iloc[]) Pandas의 2차원 데이터 객체인 DataFrame에서 원하는 데이터를 Select 하는 법을 알아보자. 데이터프레임 생성하기먼저 상품별 가격, 판매량, 재고 정보가 담긴 DataFrame을 만든다.import numpy as npimport pandas as pddata = {'가격':[1000,2100,3000,700], '판매량':[20,40,35,60], '재고':[100,50,200,70]}df = pd.DataFrame(data, index=['컵라면','커피','도시락','사탕']) 원하는 Column 그룹 데이터 조회하기df["column명"] 을 통해 원하는 Column(열) 정보를 조회할 수 있다. 예를들어, '가격' column 정보를 얻고자 하는 경우 아래와 .. 2020. 10. 26.
반응형

티스토리툴바