0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

MySQL與Redis數(shù)據(jù)庫連接池應用

科技綠洲 ? 來源:Linux開發(fā)架構(gòu)之路 ? 作者:Linux開發(fā)架構(gòu)之路 ? 2023-11-10 16:40 ? 次閱讀

一、概念

數(shù)據(jù)庫連接池(Connection pooling)是程序啟動時建立足夠的數(shù)據(jù)庫連接,并將這些連接組成一個連接池,由程序動態(tài)地對池中的連接進行申請,使用,釋放。

簡單的說:創(chuàng)建數(shù)據(jù)庫連接是一個很耗時的操作,也容易對數(shù)據(jù)庫造成安全隱患。所以,在程序初始化的時候,集中創(chuàng)建多個數(shù)據(jù)庫連接,并把他們集中管理,供程序使用,可以保證較快的數(shù)據(jù)庫讀寫速度,還更加安全可靠。

二、圖示

不使用數(shù)據(jù)庫連接池

如果不使用數(shù)據(jù)庫連接池,對于每一次SQL操作,都要走一遍下面完整的流程:

1.TCP建立連接的三次握手(客戶端與 MySQL服務器的連接基于TCP協(xié)議)

2.MySQL認證的三次我收

3.真正的SQL執(zhí)行

4.MySQL的關閉

5.TCP的四次握手關閉

可以看出來,為了執(zhí)行一條SQL,需要進行大量的初始化與關閉操作

圖片

使用數(shù)據(jù)庫連接池

如果使用數(shù)據(jù)庫連接池,那么會事先申請(初始化)好相關的數(shù)據(jù)庫連接,然后在之后的SQL操作中會復用這些數(shù)據(jù)庫連接,操作結(jié)束之后數(shù)據(jù)庫也不會斷開連接,而是將數(shù)據(jù)庫對象放回到數(shù)據(jù)庫連接池中

圖片

三、數(shù)據(jù)庫連接池的好處

資源重用:由于數(shù)據(jù)庫連接得到重用,避免了頻繁的創(chuàng)建、釋放連接引起的性能開銷,在減少系統(tǒng)消耗的基礎上,另一方面也增進了系統(tǒng)運行環(huán)境的平穩(wěn)性(減少內(nèi)存碎片以及數(shù)據(jù)庫臨時進程/線程的數(shù)量)。

更快的系統(tǒng)響應速度:數(shù)據(jù)庫連接池在初始化過程中,往往已經(jīng)創(chuàng)建了若干數(shù)據(jù)庫連接置于池中備用。此時連接的初始化工作均已完成。對于業(yè)務請求處理而言,直接利用現(xiàn)有可用連接,避免了從數(shù)據(jù)庫連接初始化和釋放過程的開銷,從而縮減了系統(tǒng)整體響應時間。

統(tǒng)一的連接管理,避免數(shù)據(jù)庫連接泄露:在較為完備的數(shù)據(jù)庫連接池實現(xiàn)中,可根據(jù)預先的連接占用超時設定,強制收回被占用連接。從而避免了常規(guī)數(shù)據(jù)庫連接操作中可能出現(xiàn)的資源泄露。

四、連接池數(shù)量設置

連接數(shù) = ((核心數(shù) * 2) + 有效磁盤數(shù))

如果說你的服務器CPU是4核i7的,連接池大小應該為((4*2)+1)=9

五、MySQL連接池演示

源碼下載

下載方式:
https://github.com/dongyusheng/csdn-code/tree/master/db_pool(Github中下載)

db_pool目錄下有兩個目錄,mysql_pool目錄為MySQL連接池代碼,redis_pool為redis連接池代碼

圖片

下面介紹mysql_pool

CDBConn解析

class CDBConn {
public:
	// ...
private:
	CDBPool* 	m_pDBPool;	// to get MySQL server information
	MYSQL* 		m_mysql;	// 對應一個連接
	char		m_escape_string[MAX_ESCAPE_STRING_LEN + 1];
};

概念:代表一個數(shù)據(jù)連接對象實例

相關成員:

m_pDBPool:該數(shù)據(jù)庫連接對象所屬的數(shù)據(jù)庫連接池

構(gòu)造函數(shù):綁定自己所屬于哪個數(shù)據(jù)庫連接池

CDBConn::CDBConn(CDBPool *pPool)
{
	m_pDBPool = pPool;
	m_mysql = NULL;
}

Init()函數(shù):創(chuàng)建數(shù)據(jù)庫連接句柄

int CDBConn::Init()
{
	m_mysql = mysql_init(NULL);
	if (!m_mysql)
	{
		log_error("mysql_init failedn");
		return 1;
	}

	my_bool reconnect = true;
	mysql_options(m_mysql, MYSQL_OPT_RECONNECT, &reconnect);	// 配合mysql_ping實現(xiàn)自動重連
	mysql_options(m_mysql, MYSQL_SET_CHARSET_NAME, "utf8mb4");

	if (!mysql_real_connect(m_mysql, m_pDBPool- >GetDBServerIP(), m_pDBPool- >GetUsername(), m_pDBPool- >GetPasswrod(),
							m_pDBPool- >GetDBName(), m_pDBPool- >GetDBServerPort(), NULL, 0))
	{
		log_error("mysql_real_connect failed: %sn", mysql_error(m_mysql));
		return 2;
	}

	return 0;
}

CDBPool解析

class CDBPool {
public:
	// ...
private:
	string 		m_pool_name;	// 連接池名稱
	string 		m_db_server_ip;	// 數(shù)據(jù)庫ip
	uint16_t	m_db_server_port; // 數(shù)據(jù)庫端口
	string 		m_username;  	// 用戶名
	string 		m_password;		// 用戶密碼
	string 		m_db_name;		// db名稱
	int			m_db_cur_conn_cnt;	// 當前啟用的連接數(shù)量
	int 		m_db_max_conn_cnt;	// 最大連接數(shù)量
	list< CDBConn* >	m_free_list;	// 空閑的連接
	CThreadNotify	m_free_notify;	// 信號
};

概念:代表一個數(shù)據(jù)庫連接池

相關成員:

  • m_db_cur_conn_cnt:當前數(shù)據(jù)庫連接池的連接數(shù)量
  • m_db_max_conn_cnt:數(shù)據(jù)庫連接池支持的最大連接數(shù)量(m_db_cur_conn_cnt<=m_db_max_conn_cnt)
  • m_free_list:存放空閑數(shù)據(jù)庫連接對象的(可以從這里取出數(shù)據(jù)庫連接對象使用)

Init()函數(shù):常見指定數(shù)量的數(shù)據(jù)庫實例句柄,然后添加到m_free_list中,供后面使用

int CDBPool::Init()
{
	// 創(chuàng)建固定最小的連接數(shù)量
	for (int i = 0; i < m_db_cur_conn_cnt; i++)
	{
		CDBConn *pDBConn = new CDBConn(this);
		int ret = pDBConn- >Init();
		if (ret)
		{
			delete pDBConn;
			return ret;
		}

		m_free_list.push_back(pDBConn);
	}

	// log_error("db pool: %s, size: %dn", m_pool_name.c_str(), (int)m_free_list.size());
	return 0;
}

GetDBConn()函數(shù):用于從空閑隊列中返回可以使用的數(shù)據(jù)庫連接句柄

/*
 *TODO: 增加保護機制,把分配的連接加入另一個隊列,這樣獲取連接時,如果沒有空閑連接,
 *TODO: 檢查已經(jīng)分配的連接多久沒有返回,如果超過一定時間,則自動收回連接,放在用戶忘了調(diào)用釋放連接的接口
 */
CDBConn *CDBPool::GetDBConn()
{
	m_free_notify.Lock();

	while (m_free_list.empty())
	{
		// m_db_cur_conn_cnt是總共多少個連接,不是指空閑的
		if (m_db_cur_conn_cnt >= m_db_max_conn_cnt)
		{
			m_free_notify.Wait();
		}
		else
		{
			CDBConn *pDBConn = new CDBConn(this);
			int ret = pDBConn- >Init();
			if (ret)
			{
				log_error("Init DBConnecton failednn");
				delete pDBConn;
				m_free_notify.Unlock();
				return NULL;
			}
			else
			{
				m_free_list.push_back(pDBConn);
				m_db_cur_conn_cnt++;
				log("new db connection: %s, conn_cnt: %dn", m_pool_name.c_str(), m_db_cur_conn_cnt);
			}
		}
	}

	CDBConn *pConn = m_free_list.front();	// 獲取連接
	m_free_list.pop_front();	// STL 吐出連接,從空閑隊列刪除

	m_free_notify.Unlock();

	return pConn;
}

RelDBConn()函數(shù):程序使用完該數(shù)據(jù)庫句柄之后,將句柄放回到空閑隊列中

void CDBPool::RelDBConn(CDBConn *pConn)
{
	m_free_notify.Lock();

	list< CDBConn * >::iterator it = m_free_list.begin();
	for (; it != m_free_list.end(); it++)
	{
		if (*it == pConn)
		{
			break;
		}
	}

	if (it == m_free_list.end())

測試

測試之前,將代碼中的數(shù)據(jù)庫地址、端口、賬號密碼等改為自己的(代碼中有好幾處)

圖片

進入MySQL,創(chuàng)建mysql_pool_test數(shù)據(jù)庫

CREATE DATABASE mysql_pool_test;

圖片

進入到mysql_pool目錄下,創(chuàng)建一個build目錄并進入:

mkdir build
cd build

圖片

然后輸入如下的命令進行編譯

cmake ..
make

圖片

之后就會在目錄下生成如下的可執(zhí)行文件

圖片

輸入如下兩條命令進行測試:可以看到不使用數(shù)據(jù)庫連接池,整個操作耗時4秒左右;使用連接池之后,整個操作耗時2秒左右,提升了一倍

# 不使用數(shù)據(jù)庫連接池
./test_ThreadPool 4 4 0
# 使用數(shù)據(jù)庫連接池
./test_ThreadPool 4 4 1

圖片

六、Redis連接池演示

源碼下載

  • 下載方式:https://github.com/dongyusheng/csdn-code/tree/master/db_pool(Github中下載)

圖片

下面介紹redis_pool

測試

進入到redis_pool目錄下,創(chuàng)建一個build目錄并進入:

mkdir build
cd build

圖片

然后輸入如下的命令進行編譯

cmake ..
make

圖片

之后就會在目錄下生成如下的可執(zhí)行文件

圖片

輸入如下的命令進行測試:可以看到不使用數(shù)據(jù)庫連接池,整個操作耗時182ms;使用連接池之后,整個操作耗時21ms,提升了很多

# 不使用數(shù)據(jù)庫連接池
./test_ThreadPool 4 4 0
# 使用數(shù)據(jù)庫連接池
./test_ThreadPool 4 4 1

圖片

進入redis,可以看到我們新建的key:

圖片

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 服務器
    +關注

    關注

    12

    文章

    8958

    瀏覽量

    85084
  • 數(shù)據(jù)庫

    關注

    7

    文章

    3752

    瀏覽量

    64233
  • MySQL
    +關注

    關注

    1

    文章

    797

    瀏覽量

    26399
  • Redis
    +關注

    關注

    0

    文章

    370

    瀏覽量

    10830
收藏 人收藏

    評論

    相關推薦

    關于數(shù)據(jù)庫連接池總結(jié)

    數(shù)據(jù)庫連接池小結(jié)
    發(fā)表于 04-30 08:07

    數(shù)據(jù)庫連接池C3p0的使用方法

    數(shù)據(jù)庫連接池C3p0的使用
    發(fā)表于 06-04 17:31

    數(shù)據(jù)庫連接池技術在WEB系統(tǒng)開發(fā)中的應用

    在基于JDBC的數(shù)據(jù)庫應用開發(fā)中,數(shù)據(jù)庫連接的管理是決定該應用性能的一個重要因素。在對數(shù)據(jù)庫連接進行分析的基礎上,提出了一種合理、有效的
    發(fā)表于 09-11 16:25 ?14次下載

    數(shù)據(jù)庫連接池技術在WEB系統(tǒng)開發(fā)中的應用

    在基于JDBC的數(shù)據(jù)庫應用開發(fā)中,數(shù)據(jù)庫連接的管理是決定該應用性能的一個重要因素。在對數(shù)據(jù)庫連接進行分析的基礎上,提出了一種合理、有效的
    發(fā)表于 09-12 17:11 ?18次下載

    什么是數(shù)據(jù)庫連接池

    什么是數(shù)據(jù)庫連接池       數(shù)據(jù)庫連接是一種關鍵的有限的昂貴的資源,這一點在多用戶的網(wǎng)頁應用程序中體現(xiàn)得尤
    發(fā)表于 06-17 07:42 ?1257次閱讀

    關于 Redis連接池解析

    一、關于連接池 一個數(shù)據(jù)庫服務器只擁有有限的資源,并且如果你沒有充分使用這些資源,你可以通過使用更多的連接來提高吞吐量。一旦所有的資源都在使用,那么你就不能通過增加更多的連接來提高吞吐
    發(fā)表于 10-12 16:02 ?0次下載

    連接池工作原理

    連接池技術的核心思想是連接復用,通過建立一個數(shù)據(jù)庫連接池以及一套連接使用、分配和管理策略,使得該連接池
    的頭像 發(fā)表于 03-22 16:16 ?7648次閱讀

    數(shù)據(jù)庫連接池的優(yōu)點

    本視頻主要詳細介紹了數(shù)據(jù)庫連接池的優(yōu)點,分別是資源重用、更快的系統(tǒng)響應速度、統(tǒng)一的連接管理,避免數(shù)據(jù)庫連接泄漏、新的資源分配手段。
    的頭像 發(fā)表于 03-22 16:24 ?1.1w次閱讀

    數(shù)據(jù)庫連接池工作機制

    數(shù)據(jù)庫連接池負責分配、管理和釋放數(shù)據(jù)庫連接,它允許應用程序重復使用一個現(xiàn)有的數(shù)據(jù)庫連接,而不是再
    的頭像 發(fā)表于 03-22 16:28 ?3709次閱讀

    數(shù)據(jù)庫連接池的設置怎么確定大小

    數(shù)據(jù)庫連接池的配置是開發(fā)者們常常搞出坑的地方,在配置數(shù)據(jù)庫連接池時,有幾個可以說是和直覺背道而馳的原則需要明確。
    的頭像 發(fā)表于 05-04 14:23 ?2704次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>連接池</b>的設置怎么確定大小

    教你怎么配置數(shù)據(jù)庫連接池,保證無憂慮

    我在研究HikariCP(一個數(shù)據(jù)庫連接池)時無意間在HikariCP的Github wiki上看到了一篇文章(即前面給出的鏈接),這篇文章有力地消除了我一直以來的疑慮,看完之后感覺神清氣爽。故在此做譯文分享。
    發(fā)表于 08-10 16:34 ?1419次閱讀
    教你怎么配置<b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>連接池</b>,保證無憂慮

    華為云數(shù)據(jù)庫-RDS for MySQL數(shù)據(jù)庫

    華為云數(shù)據(jù)庫-RDS for MySQL數(shù)據(jù)庫 華為云數(shù)據(jù)庫作為華為云的一款數(shù)據(jù)庫產(chǎn)品,它主要是以MyS
    的頭像 發(fā)表于 10-27 11:06 ?1456次閱讀

    MySQL數(shù)據(jù)庫性能優(yōu)化的意義及其措施

    數(shù)據(jù)庫性能優(yōu)化的常見手段有很多,比如添加索引、分庫分表、優(yōu)化連接池
    的頭像 發(fā)表于 02-03 14:12 ?1231次閱讀

    如何提高Mysql數(shù)據(jù)庫的訪問瓶頸

    為了提高Mysql數(shù)據(jù)庫的訪問瓶頸,常用的方法有如下兩個: 在服務器端增加緩存服務器緩存常用的數(shù)據(jù)(例如redis) 增加連接池,來提高
    的頭像 發(fā)表于 11-08 16:22 ?993次閱讀
    如何提高<b class='flag-5'>Mysql</b><b class='flag-5'>數(shù)據(jù)庫</b>的訪問瓶頸

    了解連接池、線程、內(nèi)存、異步請求

    可被重復使用像常見的線程、內(nèi)存、連接池、對象都具有以上的共同特點。 連接池 什么是數(shù)據(jù)庫
    的頭像 發(fā)表于 11-09 14:44 ?1143次閱讀
    了解<b class='flag-5'>連接池</b>、線程<b class='flag-5'>池</b>、內(nèi)存<b class='flag-5'>池</b>、異步請求<b class='flag-5'>池</b>