전체 글31 [Hadoop] - 아파치 하둡 입문(1) 최근 T아카데미에서 빅데이터 관련 핵심 기술 중 하나인 하둡에 대한 강의를 수강했다. 아래는 강의 중 홍태희 강사님이 설명해주신 내용과 업로드 해주신 강의슬라이드 내용을 나름대로 요약한 글이다. 강의는 그야말로 갓이었다... 좋은 강의를 제공해주신 강사님과 T아카데미 정말 감사합니다!Chapter 1. 하둡의 탄생과 하둡 생태계(Hadoop echo system)1.1. 왜 하둡인가? ▷ 데이터 홍수의 시대 : 하둡은 비정형 데이터를 포함한 빅데이터를 다루는 가장 적절한 플랫폼 ▷ 하둡 엔지니어 : 수요는 증가하고 있고 공급은 부족하다 - 데이터 증가로 하둡을 적용하는 회사 급증 - 하둡은 SW Platform 이지만 SW만 안다고 해서 잘하기 힘들고. 인프라 환경과 같은 Te.. 2021. 1. 28. [Hadoop] - Hadoop 설치 시 macOS 원격로그인이 안 되는 경우 해결(localhost: ssh: connect to host localhost port 22: Connection refused) OS : MacOS Catalina (v10.15.4)Hadoop version : v3.3.0 macOS Hadoop 설치 후에 로컬 환경 구축 시 아래와 같이 원격로그인 서비스가 거부되었다는 내용의 로그가 나오며 원격로그인이 잘 되지 않는 경우가 있다. "localhost: ssh: connect to host localhost port 22: Connection refused" 이런 경우 시스템환경설정에서 원격로그인 설정을 활성화 해주면 되는데, 우선 좌측 상단에 사과 모양 버튼을 누른 뒤 시스템 환경설정을 열어준다. 그리고 열린 환경설정 창의 하단 부에 위치한 '공유'라는 폴더 이미지의 아이콘을 클릭해서 열어준다. 아마 아래와 같이 비활성화가 되어있는 상테일텐데, 이를 활성화 해주면 문제를.. 2021. 1. 27. [Hadoop] - hadoop fs -ls 명령어 실행 시 No such file or directory 오류 해결 OS : MacOS Catalina (v10.15.4)Hadoop version : v3.3.0 로컬 환경에서 Hadoop을 설치하고 실행하던 중 ls 명령어를 실행하자 ls: `.': No such file or directory 에러가 발생했다. 강의에서 시키는대로 열심히 설치를 했건만 명령어 수행이 되지 않아 stackoverflow를 열심히 뒤진 결과 아래 두 줄의 명령어를 실행해서 디렉토리를 생성하고 나니 문제가 해결됐다. hdfs dfs -mkdir /userhdfs dfs -mkdir /user/[username] 하둡파일시스템에서 디렉토리를 생성해주는 명령어를 수행해 /user/[username] 디렉토리를 만들어준 것이다. username에는 본인이 사용중인 환경에서 알맞은 값을 넣어.. 2021. 1. 27. [Python] - rjsut(), ljust(), zfill() 을 이용해 문자열 정렬하기 파이썬에서 문자열 정렬하기(좌, 우 공백 채우기) 최근 문자열 관련 알고리즘 문제를 풀던 중 자릿수에 맞춰 문자열을 정렬해야 하는 상황이 발생했다. 문제를 해결하기 위해서 2차원 행렬의 각 행을 문자열로 만들어야 했는데, 여기서 2차원 행렬의 크기가 정해져 있다 보니 빈 공간은 모두 0으로 채워야 했던 것이다. 예를 들어, 10진수 9의 2진수 표현은 '1001' 인데 크기가 5x5인 행렬에서 이를 배열에 저장할 때는 '01001'으로 저장해야 했던 것이다. 문제를 풀 당시에는 공백문자열(" ")을 행렬의 크기에 맞춰 배열에 넣어준 뒤에, 이를 오른쪽 끝자리부터 2진수의 각 자리수로 채워주는 방식으로 해결했으나, 나중에 정답자들의 코드를 보니 rjust()라는 유용한 메소드로 이를 쉽게 해결할 수 있었다.. 2021. 1. 12. [AI] 딥러닝(기본) - 4 - 로지스틱회귀(Logistic Regression) * 이 글은 김성훈 교수님의 모두를 위한 머신러닝 강의를 수강한 뒤 그 내용을 복습하고자 작성한 글입니다. * - 이전 게시글 링크 - - 1 - 머신러닝의 개념 : saltyzun.tistory.com/4 - 2 - 선형회귀(Linear Regression) : saltyzun.tistory.com/7 - 3 - 다중선형회귀(Multiple Linear Regression) : saltyzun.tistory.com/10 4. 로지스틱회귀(Logistic Regression) (1) Concept of Logistic Regression 앞서, 독립변수와 종속변수 간의 관계를 좌표상에 그렸을 때, 그 형태를 직선으로 나타낼 수 있는 선형회귀에 대해 살펴보았다. 그런데 현실에서는 직선으로 표현하기 어려운 .. 2021. 1. 11. [Python3] - RecursionError: maximum recursion depth exceeded in comparison 상황 OS : MacOS Catalina (v 10.15.4) Python version : v 3.5.1 백준알고리즘 사이트에서 다이나믹 프로그래밍 문제를 풀던 도중 아래와 같이 RecursionError 가 발생했다. Recursion Error 해결 Python은 1000회 이상 재귀호출을 하면 에러가 발생하도록 설정이 되어있다. 따라서, 아래의 코드를 추가하여 가능한 재귀호출 횟수를 늘려주면 원하는 결과값을 얻을 수 있다. # setrecursionlimit parameter 값을 원하는대로 수정할 수 있다. import sys sys.setrecursionlimit(10**5) 2021. 1. 10. 이전 1 2 3 4 5 6 다음 반응형
