2020-05-24 작성

안녕하세요.
제주코딩베이스캠프의 이호준입니다.

꼭 영상에서 찍은 환경으로 실습하시지 않으셔도 괜찮습니다. 편하신 에디터를 사용하시기 바랍니다.(Jupyter Notebook이나 google Colab을 추천합니다.)

1. 주 환경은 Jupyter notebook을 사용했습니다. 해당 영상에는 활용법만 들어 있어서 google에서 Anaconda를 검색하신 후 다운로드 받으셔서 실행하시면 되십니다.

https://www.anaconda.com/

2. google colab에서도 바로 실습이 가능합니다.

https://colab.research.google.com/

3. Jupyter Notebook은 공식사이트에서 온라인으로도 사용하실 수 있습니다.

https://jupyter.org/try

4. Visual Studio Code에서도 Extension을 활용하여 Jupyter를 사용할 수 있습니다.

youtu.be/Xs5aM9FYuic

vscode 단축기:
ctrl+ “+” 확대, ctrl+”-” 축소
ctrl+n 새파일, ctrl+s 저장
f5 파일실행 선택
ctrl+f5 바로 실행
ctrl+shift+p 메뉴선택(jupyter실행)
ctrl+, 환경설정
ctrl+` 터미널

emmet 사용법:
 
!+tab: html 기본 템플릿
h1+tab
table>tr>td+tab
table>(tr>td{hello}*4)*3+tab
h1{hello}+tab
h$*6+p+tab

extention 설치:
python
live server – alt+l, alt+o 하면 실행
beautify – 단축키 설정 후 사용

출처: https://www.inflearn.com/course/%EC%A0%9C%EC%A3%BC%EC%BD%94%EB%94%A9-%EC%9B%B9%EA%B0%9C%EB%B0%9C-30%EB%B6%84%EC%9A%94%EC%95%BD-%EC%8B%9C%EC%A6%8C2

2019-12-12 작성

jupyter notebook에서 pyspark를 사용해 parquet file을 읽어 올 때 가장 기본이 되는 code이다. 실제 pyspark shell에서는 import 등의 내용이 필요 없을 수 있다.

import pyspark
from pyspark.sql import SQLContext

sc = pyspark.SparkContext.getOrCreate()
sqlContext = SQLContext(sc)
df = sqlContext.read.parquet('[parquet 경로]')
df.show()

sc.stop()