spark-cassandra提交应用涉及的jar

最近使用cassandra作为spark的数据源,开发应用,提交代码到集群是遇到点小坎坷。

使用的spark-cassandra-connector版本为1.1.0

将代码写完提交集群时,同时需要将spark-cassandra-connector相关的jar也提交到集群才能保证正确运行。

spark相关的jar因为classpath中已经包含了,不必指定。

spark-submit的写法如下:

spark-submit  
    --class YourClass
    --jars cassandra-clientutil-2.1.2.jar,cassandra-driver-core-2.1.3.jar,cassandra-thrift-2.1.2.jar,spark-cassandra-connector_2.10-1.1.0.jar,joda-convert-1.2.jar,joda-time-2.3.jar 
    your-jar.jar