|
현재 Spark를 Standalone mode로 이용하고 있습니다.
Yarn 모드를 사용하기 위해 Hadoop을 설치하였고
다음과 같이 JPS로 확인하였을 때, datanode와 yarn manager가 정상적으로 올라옵니다.(localhost만 사용할때)
11872 Worker ------> spark worker
15346 Jps
14036 ResourceManager ------> yarn manager
13877 SecondaryNameNode ------> hadoop secondary
13669 DataNode ------> hadoop datanode
13499 NameNode ------> hadoop namenode
11724 Master ------> spark master
이 상태에서 아래와 같이 예제를 실행하면... (예제 출처 : spark 공식 홈페이지)
./bin/spark-submit --class org.apache.spark.examples.SparkPi \
> --master yarn \
> --deploy-mode cluster \
> --driver-memory 4g \
> --executor-memory 2g \
> --executor-cores 1 \
> --queue thequeue \
> lib/spark-examples*.jar \
> 10
실행 이후 에러라도 뜨면 찾아볼텐데 아무런 log도 없이 묵묵 부답입니다. 도와주세요.
hadoop의 start-dfs.sh랑 start-yarn.sh 없이 spark의 start-all.sh만 실행한 상태에서 예제를 실행해도 에러 없이 묵묵부답입니다. | 
등록안내
등록안내