cassandra數(shù)據(jù)庫遷移與擴容

cassandra數(shù)據(jù)庫遷移與擴容

1、先下載cassandra的tgz包，我安裝的是3.9版本的cassandra，下載地址http://www.apache.org/dyn/closer.lua/cassandra/3.9/

2、下載之后解壓

tar zxvf apache-cassandra-3.9-bin.tar.gz

3、配置

進(jìn)入解壓后的cassandra目錄，在conf/cassandra.yaml中設(shè)置datafile，commitlog和saved_caches目錄，其默認(rèn)值分別為：$CASSANDRA_HOME/data/data， $CASSANDRA_HOME/data/commitlog， $CASSANDRA_HOME/data/saved_caches，可以根據(jù)自己要求設(shè)置

本人設(shè)置的是/var/lib/cassandra/data， /var/lib/cassandra/commitlog， /var/lib/cassandra/saved_caches。

新建設(shè)置的這三個目錄，并將其所有者改成普通用戶

sudo mkdir /var/lib/cassandra/data

sudo mkdir /var/lib/cassandra/commitlog

sudo mkdir /var/lib/cassandra/saved_caches

sudo chown -R ly:ly /var/lib/cassandra/data

sudo chown -R ly:ly /var/lib/cassandra/commitlog

sudo chown -R ly:ly /var/lib/cassandra/saved_caches

之后如果有需要可以配置cassandra的內(nèi)存，在conf下的cassandra-env.sh文件中，MAX_HEAP_SIZE表示最大申請內(nèi)存大小，HEAP_NEW_SIZE表示初始申請內(nèi)存大小，兩者不能單獨設(shè)置，否則cassandra出錯

4、運行

全部完成后可以啟動cassandra了，在cassandra目錄下運行

bin/cassandra

等待，輸入命令

ps -aux | grep cassandra

查看進(jìn)程，當(dāng)出現(xiàn)下圖中5012類似進(jìn)程時，則cassandra啟動完畢

圖999

5、啟動cql

bin/cqlsh

啟動cassandra的cql編輯器，可以使用cql語句操作數(shù)據(jù)庫（啟用cql的條件是系統(tǒng)安裝了2.7版本及以上的python，如果沒有則不能打開）

6、關(guān)閉cassandra，使用簡單粗暴的kill命令

kill 5012

7、測試

使用java編寫簡單的程序插入數(shù)據(jù)庫，參見http://ju.outofmemory.cn/entry/210437（jdbc連接方式），http://blog.csdn.net/maosijunzi/article/details/42268061（Cassandra.Client方式）

在運行時可能會出現(xiàn)錯誤：

java.lang.ClassNotFoundException:com.google.common.util.concurrent.AsyncFunction

可能是因為依賴包不全的原因，保證以下幾種jar包依賴：

cassandra-driver-core-*.jar

guaua-*.jar

metrics-core-*.jar

netty-all-*.Final.jar

slf4j-api-*.jar

cassandra數(shù)據(jù)庫遷移（介紹兩種方法）

第一種方式：copy命令

使用方法：適用于數(shù)據(jù)量小的情況下。

使用方式：copy mykeyspace.mytable to ‘/home/db.csv’

這樣就成功的把表mytable以csv的格式導(dǎo)出到了db.csv文件。

然后再另外一個集群中，建一個一模一樣的表，然后使用

copy app12345.mytable from ‘/home/db.csv’

就把數(shù)據(jù)導(dǎo)入到了新的庫中。

不過以上方式僅限于小數(shù)據(jù)量，當(dāng)數(shù)據(jù)量一大，這個過程會持續(xù)很久，而且文件也會很大。

第二種方式：sstableloader工具。

在cassandra的bin目錄下提供了一個sstableloader工具，這個工具專門用于把一個表的sstable文件導(dǎo)入到一個新的集群中。

假設(shè)你的表是mykeyspace.mytable。你的數(shù)據(jù)存一個10個節(jié)點組成的集群中，每個幾點的數(shù)據(jù)都存在/disk/data1和/disk/data2目錄下。

假設(shè)你的新集群的一個訪問地址是IP， 先在新集群建離相同名字的keyspace和表結(jié)構(gòu)。

接下來你只要在老集群的每個節(jié)點執(zhí)行下面的命令：

bin/sstableloader -d IP -u cassandra -pw cassandra -t 100 /disk/data1/mykeyspace/mytable

bin/sstableloader -d IP -u cassandra -pw cassandra -t 100 /disk/data2/mykeyspace/mytable

其中-u是 用戶名 -pw是密碼 -t是限制流量100M/bps

等所有節(jié)點執(zhí)行完畢，你的表數(shù)據(jù)就成功導(dǎo)入到了新的集群中，當(dāng)然只要你的機器io和網(wǎng)絡(luò)條件允許，你可以多個節(jié)點并發(fā)執(zhí)行。