用戶空間和內(nèi)核空間通訊- Netlink

?今天我們來動(dòng)手演練一下Netlink的用法，看看它到底是如何實(shí)現(xiàn)用戶-內(nèi)核空間的數(shù)據(jù)通信的。我們依舊是在2.6.21的內(nèi)核環(huán)境下進(jìn)行開發(fā)。
? ? ? 在文件里包含了Netlink協(xié)議簇已經(jīng)定義好的一些預(yù)定義協(xié)議：

點(diǎn)擊(此處)折疊或打開

#define NETLINK_ROUTE????????0????/*?Routing/device hook????????????????*/

#define NETLINK_UNUSED????????1????/*?Unused number????????????????*/

#define NETLINK_USERSOCK????2????/*?Reserved?for?user mode socket protocols ????*/

#define NETLINK_FIREWALL????3????/*?Firewalling hook????????????????*/

#define NETLINK_INET_DIAG????4????/*?INET socket monitoring????????????*/

#define NETLINK_NFLOG????????5????/*?netfilter/iptables ULOG?*/

#define NETLINK_XFRM????????6????/*?ipsec?*/

#define NETLINK_SELINUX????????7????/*?SELinux event notifications?*/

#define NETLINK_ISCSI????????8????/*?Open-iSCSI?*/

#define NETLINK_AUDIT????????9????/*?auditing?*/

#define NETLINK_FIB_LOOKUP????10????

#define NETLINK_CONNECTOR????11

#define NETLINK_NETFILTER????12????/*?netfilter subsystem?*/

#define NETLINK_IP6_FW????????13

#define NETLINK_DNRTMSG????????14????/*?DECnet routing messages?*/

#define NETLINK_KOBJECT_UEVENT????15????/*?Kernel messages?to?userspace?*/

#define NETLINK_GENERIC????????16

/*?leave room?for?NETLINK_DM?(DM Events)?*/

#define NETLINK_SCSITRANSPORT????18????/*?SCSI Transports?*/

#define NETLINK_ECRYPTFS????19

#define NETLINK_TEST ? ?20?/*?用戶添加的自定義協(xié)議?*/

如果我們?cè)贜etlink協(xié)議簇里開發(fā)一個(gè)新的協(xié)議，只要在該文件中定義協(xié)議號(hào)即可，例如我們定義一種基于Netlink協(xié)議簇的、協(xié)議號(hào)是20的自定義協(xié)議，如上所示。同時(shí)記得，將內(nèi)核頭文件目錄中的netlink.h也做對(duì)應(yīng)的修改，在我的系統(tǒng)中它的路徑是：/usr/src/linux-2.6.21/include/linux/netlink.h
? ? ? 接下來我們?cè)谟脩艨臻g以及內(nèi)核空間模塊的開發(fā)過程中就可以使用這種協(xié)議了，一共分為三個(gè)階段。



Stage 1：
? ? ? 我們首先實(shí)現(xiàn)的功能是用戶->內(nèi)核的單向數(shù)據(jù)通信，即用戶空間發(fā)送一個(gè)消息給內(nèi)核，然后內(nèi)核將其打印輸出，就這么簡(jiǎn)單。用戶空間的示例代碼如下【mynlusr.c】
?

點(diǎn)擊(此處)折疊或打開

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#define MAX_PAYLOAD 1024?/*消息最大負(fù)載為1024字節(jié)*/

int?main(int?argc,?char*?argv[])

{

struct sockaddr_nl dest_addr;

struct nlmsghdr?*nlh?=?NULL;

struct iovec iov;

int?sock_fd=-1;

struct msghdr msg;

if(-1?==?(sock_fd=socket(PF_NETLINK,?SOCK_RAW,NETLINK_TEST))){ //創(chuàng)建套接字

perror("can't create netlink socket!");

return 1;

}

memset(&dest_addr,?0,?sizeof(dest_addr));

dest_addr.nl_family?=?AF_NETLINK;

dest_addr.nl_pid?=?0;?/*我們的消息是發(fā)給內(nèi)核的*/

dest_addr.nl_groups?=?0;?/*在本示例中不存在使用該值的情況*/

//將套接字和Netlink地址結(jié)構(gòu)體進(jìn)行綁定

if(-1?==?bind(sock_fd,?(struct sockaddr*)&dest_addr,?sizeof(dest_addr))){

perror("can't bind sockfd with sockaddr_nl!");

return 1;

}

if(NULL?==?(nlh=(struct nlmsghdr?*)malloc(NLMSG_SPACE(MAX_PAYLOAD)))){

perror("alloc mem failed!");

return 1;

}

memset(nlh,0,MAX_PAYLOAD);

/*?填充Netlink消息頭部?*/

nlh->nlmsg_len?=?NLMSG_SPACE(MAX_PAYLOAD);

nlh->nlmsg_pid?=?0;

nlh->nlmsg_type?=?NLMSG_NOOP;?//指明我們的Netlink是消息負(fù)載是一條空消息

nlh->nlmsg_flags?=?0;

/*設(shè)置Netlink的消息內(nèi)容，來自我們命令行輸入的第一個(gè)參數(shù)*/

strcpy(NLMSG_DATA(nlh),?argv[1]);

/*這個(gè)是模板，暫時(shí)不用糾結(jié)為什么要這樣用。有時(shí)間詳細(xì)講解socket時(shí)再說*/

memset(&iov,?0,?sizeof(iov));

iov.iov_base?=?(void?*)nlh;

iov.iov_len?=?nlh->nlmsg_len;

memset(&msg,?0,?sizeof(msg));

msg.msg_iov?=?&iov;

msg.msg_iovlen?=?1;

sendmsg(sock_fd,?&msg,?0);?//通過Netlink socket向內(nèi)核發(fā)送消息

/*?關(guān)閉netlink套接字?*/

close(sock_fd);

free(nlh);

return 0;

}

上面的代碼邏輯已經(jīng)非常清晰了，都是socket編程的API，唯一不同的是我們這次編程是針對(duì)Netlink協(xié)議簇的。這里我們提前引入了BSD層的消息結(jié)構(gòu)體struct msghdr{}，定義在文件里，以及其數(shù)據(jù)塊struct iovec{}定義在頭文件里。這里就不展開了，大家先記住這個(gè)用法就行。以后有時(shí)間再深入到socket的骨子里去轉(zhuǎn)悠一番。
? ? ? 另外，需要格外注意的就是Netlink的地址結(jié)構(gòu)體和其消息頭結(jié)構(gòu)中pid字段為0的情況，很容易讓人產(chǎn)生混淆，再總結(jié)一下：

?0netlink地址結(jié)構(gòu)體.nl_pid1、內(nèi)核發(fā)出的多播報(bào)文
2、消息的接收方是內(nèi)核，即從用戶空間發(fā)往內(nèi)核的消息netlink消息頭體. nlmsg_pid來自內(nèi)核主動(dòng)發(fā)出的消息


? ? ?這個(gè)例子僅是從用戶空間到內(nèi)核空間的單向數(shù)據(jù)通信，所以Netlink地址結(jié)構(gòu)體中我們?cè)O(shè)置了dest_addr.nl_pid = 0，說明我們的報(bào)文的目的地是內(nèi)核空間；在填充Netlink消息頭部時(shí)，我們做了nlh->nlmsg_pid = 0這樣的設(shè)置。
? ? ?需要注意幾個(gè)宏的使用：
? ? ?NLMSG_SPACE(MAX_PAYLOAD)，該宏用于返回不小于MAX_PAYLOAD且4字節(jié)對(duì)齊的最小長(zhǎng)度值，一般用于向內(nèi)存系統(tǒng)申請(qǐng)空間是指定所申請(qǐng)的內(nèi)存字節(jié)數(shù)，和NLMSG_LENGTH(len)所不同的是，前者所申請(qǐng)的空間里不包含Netlink消息頭部所占的字節(jié)數(shù)，后者是消息負(fù)載和消息頭加起來的總長(zhǎng)度。
? ? ?NLMSG_DATA(nlh)，該宏用于返回Netlink消息中數(shù)據(jù)部分的首地址，在寫入和讀取消息數(shù)據(jù)部分時(shí)會(huì)用到它。
? ? ?它們之間的關(guān)系如下：

? ? ?內(nèi)核空間的示例代碼如下【mynlkern.c】：
?

點(diǎn)擊(此處)折疊或打開

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

MODULE_LICENSE("GPL");

MODULE_AUTHOR("Koorey King");

struct sock?*nl_sk?=?NULL;

static void?nl_data_ready?(struct sock?*sk,?int?len)

{

struct sk_buff?*skb;

struct nlmsghdr?*nlh?=?NULL;

while((skb?=?skb_dequeue(&sk->sk_receive_queue))?!=?NULL)

{

nlh?=?(struct nlmsghdr?*)skb->data;

printk("%s: received netlink message payload: %s \n",?__FUNCTION__,?(char*)NLMSG_DATA(nlh));

kfree_skb(skb);

}

printk("recvied finished!\n");

}

static?int?__init myinit_module()

{

printk("my netlink in\n");

nl_sk?=?netlink_kernel_create(NETLINK_TEST,0,nl_data_ready,THIS_MODULE);

return 0;

}

static void __exit mycleanup_module()

{

printk("my netlink out!\n");

sock_release(nl_sk->sk_socket);

}

module_init(myinit_module);

module_exit(mycleanup_module);

? ? ?在內(nèi)核模塊的初始化函數(shù)里我們用
nl_sk =?netlink_kernel_create(NETLINK_TEST,0,nl_data_ready,THIS_MODULE);
創(chuàng)建了一個(gè)內(nèi)核態(tài)的socket，第一個(gè)參數(shù)我們擴(kuò)展的協(xié)議號(hào)；第二個(gè)參數(shù)為多播組號(hào)，目前我們用不上，將其置為0；第三個(gè)參數(shù)是個(gè)回調(diào)函數(shù)，即當(dāng)內(nèi)核的Netlink socket套接字收到數(shù)據(jù)時(shí)的處理函數(shù)；第四個(gè)參數(shù)就不多說了。
?
? ? ? 在回調(diào)函數(shù)nl_data_ready()中，我們不斷的從socket的接收隊(duì)列去取數(shù)據(jù)，一旦拿到數(shù)據(jù)就將其打印輸出。在協(xié)議棧的INET層，用于存儲(chǔ)數(shù)據(jù)的是大名鼎鼎的sk_buff結(jié)構(gòu)，所以我們通過nlh = (struct nlmsghdr *)skb->data；可以拿到netlink的消息體，然后通過NLMSG_DATA(nlh)定位到netlink的消息負(fù)載。
?
? ? ? 將上述代碼編譯后測(cè)試結(jié)果如下：

Stage 2：
? ? ? 我們將上面的代碼稍加改造就可以實(shí)現(xiàn)用戶<->內(nèi)核的雙向數(shù)據(jù)通信。
? ? ? 首先是改造用戶空間的代碼：

點(diǎn)擊(此處)折疊或打開

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#define MAX_PAYLOAD 1024?/*消息最大負(fù)載為1024字節(jié)*/

int?main(int?argc,?char*?argv[])

{

struct sockaddr_nl dest_addr;

struct nlmsghdr?*nlh?=?NULL;

struct iovec iov;

int?sock_fd=-1;

struct msghdr msg;

if(-1?==?(sock_fd=socket(PF_NETLINK,?SOCK_RAW,NETLINK_TEST))){

perror("can't create netlink socket!");

return 1;

}

memset(&dest_addr,?0,?sizeof(dest_addr));

dest_addr.nl_family?=?AF_NETLINK;

dest_addr.nl_pid?=?0;?/*我們的消息是發(fā)給內(nèi)核的*/

dest_addr.nl_groups?=?0;?/*在本示例中不存在使用該值的情況*/

if(-1?==?bind(sock_fd,?(struct sockaddr*)&dest_addr,?sizeof(dest_addr))){

perror("can't bind sockfd with sockaddr_nl!");

return 1;

}

if(NULL?==?(nlh=(struct nlmsghdr?*)malloc(NLMSG_SPACE(MAX_PAYLOAD)))){

perror("alloc mem failed!");

return 1;

}

memset(nlh,0,MAX_PAYLOAD);

/*?填充Netlink消息頭部?*/

nlh->nlmsg_len?=?NLMSG_SPACE(MAX_PAYLOAD);

nlh->nlmsg_pid = getpid();//我們希望得到內(nèi)核回應(yīng)，所以得告訴內(nèi)核我們ID號(hào)

nlh->nlmsg_type?=?NLMSG_NOOP;?//指明我們的Netlink是消息負(fù)載是一條空消息

nlh->nlmsg_flags?=?0;

/*設(shè)置Netlink的消息內(nèi)容，來自我們命令行輸入的第一個(gè)參數(shù)*/

strcpy(NLMSG_DATA(nlh),?argv[1]);

/*這個(gè)是模板，暫時(shí)不用糾結(jié)為什么要這樣用。*/

memset(&iov,?0,?sizeof(iov));

iov.iov_base?=?(void?*)nlh;

iov.iov_len?=?nlh->nlmsg_len;

memset(&msg,?0,?sizeof(msg));

msg.msg_iov?=?&iov;

msg.msg_iovlen?=?1;

sendmsg(sock_fd,?&msg,?0);?//通過Netlink socket向內(nèi)核發(fā)送消息

//接收內(nèi)核消息的消息

printf("waiting message from kernel!\n");

memset((char*)NLMSG_DATA(nlh),0,1024);

recvmsg(sock_fd,&msg,0);

printf("Got response: %s\n",NLMSG_DATA(nlh));

/*?關(guān)閉netlink套接字?*/

close(sock_fd);

free(nlh);

return 0;

}

? ? ? 內(nèi)核空間的修改如下：
?

點(diǎn)擊(此處)折疊或打開

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?/*該文頭文件里包含了linux/netlink.h，因?yàn)槲覀円玫絥et/netlink.h中的某些API函數(shù)，nlmsg_pug()*/

MODULE_LICENSE("GPL");

MODULE_AUTHOR("Koorey King");

struct sock?*nl_sk?=?NULL;

//向用戶空間發(fā)送消息的接口

void sendnlmsg(char *message,int dstPID)

{

struct sk_buff *skb;

struct nlmsghdr *nlh;

int len = NLMSG_SPACE(MAX_MSGSIZE);

int slen = 0;

if(!message || !nl_sk){

return;

}

// 為新的 sk_buffer申請(qǐng)空間

skb = alloc_skb(len, GFP_KERNEL);

if(!skb){

printk(KERN_ERR "my_net_link: alloc_skb Error./n");

return;

}

slen = strlen(message)+1;

//用nlmsg_put()來設(shè)置netlink消息頭部

nlh = nlmsg_put(skb, 0, 0, 0, MAX_MSGSIZE, 0);

// 設(shè)置Netlink的控制塊

NETLINK_CB(skb).pid = 0; // 消息發(fā)送者的id標(biāo)識(shí)，如果是內(nèi)核發(fā)的則置0

NETLINK_CB(skb).dst_group = 0; //如果目的組為內(nèi)核或某一進(jìn)程，該字段也置0

message[slen] = '\0';

memcpy(NLMSG_DATA(nlh), message, slen+1);

//通過netlink_unicast()將消息發(fā)送用戶空間由dstPID所指定了進(jìn)程號(hào)的進(jìn)程

netlink_unicast(nl_sk,skb,dstPID,0);

printk("send OK!\n");

return;

}

static void nl_data_ready?(struct sock?*sk,?int?len)

{

struct sk_buff?*skb;

struct nlmsghdr?*nlh?=?NULL;

while((skb?=?skb_dequeue(&sk->sk_receive_queue))?!=?NULL)

{

nlh?=?(struct nlmsghdr?*)skb->data;

printk("%s: received netlink message payload: %s \n",?__FUNCTION__,?(char*)NLMSG_DATA(nlh));

kfree_skb(skb);

sendnlmsg("I see you",nlh->nlmsg_pid);?//發(fā)送者的進(jìn)程ID我們已經(jīng)將其存儲(chǔ)在了netlink消息頭部里的nlmsg_pid字段里，所以這里可以拿來用。

}

printk("recvied finished!\n");

}

static?int?__init myinit_module()

{

printk("my netlink in\n");

nl_sk?=?netlink_kernel_create(NETLINK_TEST,0,nl_data_ready,THIS_MODULE);

return 0;

}

static void __exit mycleanup_module()

{

printk("my netlink out!\n");

sock_release(nl_sk->sk_socket);

}

module_init(myinit_module);

module_exit(mycleanup_module);

? ? ? 重新編譯后，測(cè)試結(jié)果如下：

Stage 3：
? ? ? 前面我們提到過，如果用戶進(jìn)程希望加入某個(gè)多播組時(shí)才需要調(diào)用bind()函數(shù)。前面的示例中我們沒有這個(gè)需求，可還是調(diào)了bind()，心頭有些不爽。在前幾篇博文里有關(guān)于socket編程時(shí)幾個(gè)常見API的詳細(xì)解釋和說明，不明白的童鞋可以回頭去復(fù)習(xí)一下。
? ? ? 因?yàn)镹etlink是面向無連接的數(shù)據(jù)報(bào)的套接字，所以我們還可以用sendto()和recvfrom()來實(shí)現(xiàn)數(shù)據(jù)的收發(fā)，這次我們不再調(diào)用bind()。將Stage 2的例子稍加改造一下，用戶空間的修改如下：

點(diǎn)擊(此處)折疊或打開

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#include?

#define MAX_PAYLOAD 1024?/*消息最大負(fù)載為1024字節(jié)*/

int?main(int?argc,?char*?argv[])

{

struct sockaddr_nl dest_addr;

struct nlmsghdr?*nlh?=?NULL;

//struct iovec iov;

int?sock_fd=-1;

//struct msghdr msg;

if(-1?==?(sock_fd=socket(PF_NETLINK,?SOCK_RAW,NETLINK_TEST))){

perror("can't create netlink socket!");

return 1;

}

memset(&dest_addr,?0,?sizeof(dest_addr));

dest_addr.nl_family?=?AF_NETLINK;

dest_addr.nl_pid?=?0;?/*我們的消息是發(fā)給內(nèi)核的*/

dest_addr.nl_groups?=?0;?/*在本示例中不存在使用該值的情況*/

/*不再調(diào)用bind()函數(shù)了

if(-1 == bind(sock_fd, (struct sockaddr*)&dest_addr, sizeof(dest_addr))){

perror("can't bind sockfd with sockaddr_nl!");

return 1;

}*/

if(NULL?==?(nlh=(struct nlmsghdr?*)malloc(NLMSG_SPACE(MAX_PAYLOAD)))){

perror("alloc mem failed!");

return 1;

}

memset(nlh,0,MAX_PAYLOAD);

/*?填充Netlink消息頭部?*/

nlh->nlmsg_len?=?NLMSG_SPACE(MAX_PAYLOAD);

nlh->nlmsg_pid?=?getpid();//我們希望得到內(nèi)核回應(yīng)，所以得告訴內(nèi)核我們ID號(hào)

nlh->nlmsg_type?=?NLMSG_NOOP;?//指明我們的Netlink是消息負(fù)載是一條空消息

nlh->nlmsg_flags?=?0;

/*設(shè)置Netlink的消息內(nèi)容，來自我們命令行輸入的第一個(gè)參數(shù)*/

strcpy(NLMSG_DATA(nlh),?argv[1]);

/*這個(gè)模板就用不上了。*/

/*

memset(&iov, 0, sizeof(iov));

iov.iov_base = (void *)nlh;

iov.iov_len = nlh->nlmsg_len;

memset(&msg, 0, sizeof(msg));

msg.msg_iov = &iov;

msg.msg_iovlen = 1;

*/

//sendmsg(sock_fd, &msg, 0); //不再用這種方式發(fā)消息到內(nèi)核

sendto(sock_fd,nlh,NLMSG_LENGTH(MAX_PAYLOAD),0,(struct sockaddr*)(&dest_addr),sizeof(dest_addr));?

//接收內(nèi)核消息的消息

printf("waiting message from kernel!\n");

//memset((char*)NLMSG_DATA(nlh),0,1024);

memset(nlh,0,MAX_PAYLOAD); //清空整個(gè)Netlink消息頭包括消息頭和負(fù)載

//recvmsg(sock_fd,&msg,0);

recvfrom(sock_fd,nlh,NLMSG_LENGTH(MAX_PAYLOAD),0,(struct sockaddr*)(&dest_addr),NULL);

printf("Got response: %s\n",NLMSG_DATA(nlh));?

/*?關(guān)閉netlink套接字?*/

close(sock_fd);

free(nlh);

return 0;

}

內(nèi)核空間的代碼完全不用修改，我們?nèi)匀挥胣etlink_unicast()從內(nèi)核空間發(fā)送消息到用戶空間。
? ? ? 重新編譯后，測(cè)試結(jié)果如下：

? ? ? 和Stage 2中代碼運(yùn)行效果完全一樣。也就是說，在開發(fā)Netlink程序過程中，如果沒牽扯到多播機(jī)制，那么用戶空間的socket代碼其實(shí)是不用執(zhí)行bind()系統(tǒng)調(diào)用的，但此時(shí)就需要用sendto()和recvfrom()完成數(shù)據(jù)的發(fā)送和接收的任務(wù)；如果執(zhí)行了bind()系統(tǒng)調(diào)用，當(dāng)然也可以繼續(xù)用sendto()和recvfrom()，但給它們傳遞的參數(shù)就有所區(qū)別。這時(shí)候一般使用sendmsg()和recvmsg()來完成數(shù)據(jù)的發(fā)送和接收。大家根據(jù)自己的實(shí)際情況靈活選擇。

?