cassandra

A 3-post collection

spark-cassandra提交应用涉及的jar

最近使用cassandra作为spark的数据源,开发应用,提交代码到集群是遇到点小坎坷。 使用的spark-cassandra-connector版本为1.1.0 将代码写完提交集群时,同时需要将spark-cassandra-connector相关的jar也提交到集群才能保证正确运行。 spark相关的jar因为classpath中已经包含了,不必指定。 spark-submit的写法如下: spark-submit --class YourClass --jars cassandra-clientutil-2.1.2.jar,cassandra-driver-core-2.1.3.jar,cassandra-thrift-2.1.2.

Cassandra集群配置

需要修改的关键配置:conf/cassandra.yaml cluster_name: 'My Cassandra Cluster' # =======集群模式需要添加的配置 # 注意listen_address不能为0.0.0.0 listen_address: your_host_name rpc_address: your_host_name seed_