spark을 설치 해보자
간단하게 설치하고 실행만 시켜보자.
mac 기준으로 설치를 진행하겠다. 깔기만 하면 되긴 하는데..설치할 것도 없다.
위와 같은 설정으로 다운받자.
원하는 곳에 압축을 푼후 ${SPARK_HOME}/bin 으로 가서 아래와 같이 실행 시키자!
./spark-shell
그럼 위와 같이 실행 될 것이다.
이 spark-shell을 실행 시키면 sparkContext가 생성 된다. 로그를 보면 확인 할 수 있다.
Spark context available as sc.
이렇게 말이다.
그리고 webUI도 함께 올라간다.
http://localhost:4040 으로 접속 해보자!
일단 설치가 완료 되었다.
이번 시간에는 간단하게만 알아보자
scala> val textFile = sc.textFile("/Users/wonwoo/Documents/spark-1.6.1-bin-hadoop2.6/README.md")
textFile: org.apache.spark.rdd.RDD[String] = /Users/wonwoo/Documents/spark-1.6.1-bin-hadoop2.6/README.md MapPartitionsRDD[19] at textFile at <console>:27
아까 말했듯이 sc는 shell을 실행 시킬때 자동으로 올라간다.
scala> textFile.count()
res15: Long = 95
파일의 RDD의 개수이다. 지금버전의 README.md는 95줄이 있다.
scala> textFile.first()
res18: String = # Apache Spark
첫번째 RDD를 가져온다.
마지막으로 원하는 단어를 찾아보자.
scala> textFile.filter(line => line.contains("Spark")).count()
res19: Long = 17
그리고 나서 spark WEB UI에 접속해보자.
그러면 우리가 했던 작업들을 상세하게 볼 수 있다.
우리는 간단하게 스팍에 대해서 알아봤다.
다음 시간에는 좀더 재밌는 거를 해보자!