cassandra數(shù)據(jù)庫遷移與擴容 - 全文

cassandra數(shù)據(jù)庫遷移與擴容

1、先下載cassandra的tgz包，我安裝的是3.9版本的cassandra，下載地址http://www.apache.org/dyn/closer.lua/cassandra/3.9/

2、下載之后解壓

tar zxvf apache-cassandra-3.9-bin.tar.gz

3、配置

進入解壓后的cassandra目錄，在conf/cassandra.yaml中設置datafile，commitlog和saved_caches目錄，其默認值分別為：$CASSANDRA_HOME/data/data， $CASSANDRA_HOME/data/commitlog， $CASSANDRA_HOME/data/saved_caches，可以根據(jù)自己要求設置

本人設置的是/var/lib/cassandra/data， /var/lib/cassandra/commitlog， /var/lib/cassandra/saved_caches。

新建設置的這三個目錄，并將其所有者改成普通用戶

sudo mkdir /var/lib/cassandra/data

sudo mkdir /var/lib/cassandra/commitlog

sudo mkdir /var/lib/cassandra/saved_caches

sudo chown -R ly:ly /var/lib/cassandra/data

sudo chown -R ly:ly /var/lib/cassandra/commitlog

sudo chown -R ly:ly /var/lib/cassandra/saved_caches

之后如果有需要可以配置cassandra的內存，在conf下的cassandra-env.sh文件中，MAX_HEAP_SIZE表示最大申請內存大小，HEAP_NEW_SIZE表示初始申請內存大小，兩者不能單獨設置，否則cassandra出錯

4、運行

全部完成后可以啟動cassandra了，在cassandra目錄下運行

bin/cassandra

等待，輸入命令

ps -aux | grep cassandra

查看進程，當出現(xiàn)下圖中5012類似進程時，則cassandra啟動完畢

圖999

5、啟動cql

bin/cqlsh

啟動cassandra的cql編輯器，可以使用cql語句操作數(shù)據(jù)庫（啟用cql的條件是系統(tǒng)安裝了2.7版本及以上的python，如果沒有則不能打開）

6、關閉cassandra，使用簡單粗暴的kill命令

kill 5012

7、測試

使用java編寫簡單的程序插入數(shù)據(jù)庫，參見http://ju.outofmemory.cn/entry/210437（jdbc連接方式），http://blog.csdn.net/maosijunzi/article/details/42268061（Cassandra.Client方式）

在運行時可能會出現(xiàn)錯誤：

java.lang.ClassNotFoundException:com.google.common.util.concurrent.AsyncFunction

可能是因為依賴包不全的原因，保證以下幾種jar包依賴：

cassandra-driver-core-*.jar

guaua-*.jar

metrics-core-*.jar

netty-all-*.Final.jar

slf4j-api-*.jar

cassandra數(shù)據(jù)庫遷移（介紹兩種方法）

第一種方式：copy命令

使用方法：適用于數(shù)據(jù)量小的情況下。

使用方式：copy mykeyspace.mytable to ‘/home/db.csv’

這樣就成功的把表mytable以csv的格式導出到了db.csv文件。

然后再另外一個集群中，建一個一模一樣的表，然后使用

copy app12345.mytable from ‘/home/db.csv’

就把數(shù)據(jù)導入到了新的庫中。

不過以上方式僅限于小數(shù)據(jù)量，當數(shù)據(jù)量一大，這個過程會持續(xù)很久，而且文件也會很大。

第二種方式：sstableloader工具。

在cassandra的bin目錄下提供了一個sstableloader工具，這個工具專門用于把一個表的sstable文件導入到一個新的集群中。

假設你的表是mykeyspace.mytable。你的數(shù)據(jù)存一個10個節(jié)點組成的集群中，每個幾點的數(shù)據(jù)都存在/disk/data1和/disk/data2目錄下。

假設你的新集群的一個訪問地址是IP， 先在新集群建離相同名字的keyspace和表結構。

接下來你只要在老集群的每個節(jié)點執(zhí)行下面的命令：

bin/sstableloader -d IP -u cassandra -pw cassandra -t 100 /disk/data1/mykeyspace/mytable

bin/sstableloader -d IP -u cassandra -pw cassandra -t 100 /disk/data2/mykeyspace/mytable

其中-u是 用戶名 -pw是密碼 -t是限制流量100M/bps

等所有節(jié)點執(zhí)行完畢，你的表數(shù)據(jù)就成功導入到了新的集群中，當然只要你的機器io和網(wǎng)絡條件允許，你可以多個節(jié)點并發(fā)執(zhí)行。

#e#

cassandra如何擴容和替換一個節(jié)點

增加一個節(jié)點和替換一個DOWN掉的節(jié)點，步驟都是一樣的，只是啟動參數(shù)不一樣。

第一：準備一個新機器，cassandra的配置使用和集群中一個普通節(jié)點相同的配置。

第二：然后就可以啟動了，增加一個節(jié)點，只要bin/cassandra 啟動就可以了。

如果是替換一個節(jié)點（假設DOWN掉的節(jié)點ip=192.168.1.101），啟動的時候，可以使用bin/cassandra -Dcassandra.replace_address=192.168.1.101來啟動（只是第一次這樣，以后就直接bin/cassandra啟動就可以了）

第三：就是等待數(shù)據(jù)遷移，當你在其它機器上使用nodetool status看到新節(jié)點的狀態(tài)變成UN狀態(tài)的時候，就表示遷移完成了。你也可以在新節(jié)點上通過nodetool netstats查看數(shù)據(jù)遷移的進度。

注意：如果你的集群數(shù)據(jù)量很大，這個數(shù)據(jù)遷移的過程將會給集群帶來很大的負載。你需要在啟動新節(jié)點之前做兩件事情：

1、關閉所有節(jié)點的壓縮。

nodetool disableautocompaction 關閉自動壓縮

nodetool stop COMPACTION 停止正在執(zhí)行的壓縮。

當新節(jié)點啟動之后，也要執(zhí)行nodetool disableautocompaction。

在數(shù)據(jù)遷移完畢之后，再放開即可nodetool enableautocompaction

2、限制所有節(jié)點數(shù)據(jù)遷移流量

./nodetool setstreamthroughput 32

限制為32mbps 假設你的集群有10個機器，那么你的新節(jié)點的流量大約是32*10mbps。

你可以根據(jù)數(shù)據(jù)遷移的進度，完成的節(jié)點個數(shù)，慢慢調大這個值。