0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

分享pandas中超級(jí)好用的str矢量化字符串函數(shù)

數(shù)據(jù)分析與開發(fā) ? 來源:數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)之美 ? 作者:黃偉呢 ? 2021-04-13 10:37 ? 次閱讀

本文介紹

你有沒有這樣一種感覺,為什么到自己手上的數(shù)據(jù),總是亂七八糟? 作為一個(gè)數(shù)據(jù)分析師來說,數(shù)據(jù)清洗是必不可少的環(huán)節(jié)。有時(shí)候由于數(shù)據(jù)太亂,往往需要花費(fèi)我們很多時(shí)間去處理它。因此掌握更多的數(shù)據(jù)清洗方法,會(huì)讓你的能力調(diào)高100倍。 本文基于此,講述pandas中超級(jí)好用的str矢量化字符串函數(shù),學(xué)了之后,瞬間感覺自己的數(shù)據(jù)清洗能力提高了。

1個(gè)數(shù)據(jù)集,16個(gè)Pandas函數(shù)

數(shù)據(jù)集是黃同學(xué)精心為大家編造,只為了幫助大家學(xué)習(xí)到知識(shí)。數(shù)據(jù)集如下:

importpandasaspd df={'姓名':['黃同學(xué)','黃至尊','黃老邪','陳大美','孫尚香'], '英文名':['Huangtong_xue','huangzhi_zun','HuangLao_xie','ChenDa_mei','sunshang_xiang'], '性別':['男','women','men','女','男'], '身份證':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'], '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'], '家庭住址':['湖北廣水','河南信陽','廣西桂林','湖北孝感','廣東廣州'], '電話號(hào)碼':['13434813546','19748672895','16728613064','14561586431','19384683910'], '收入':['1.1萬','8.5千','0.9萬','6.5千','2.0萬']} df=pd.DataFrame(df) df 結(jié)果如下:

bcebfca8-9be2-11eb-8b86-12bb97331649.png

觀察上述數(shù)據(jù),數(shù)據(jù)集是亂的。接下來,我們就用16個(gè)Pandas來對(duì)上述數(shù)據(jù),進(jìn)行數(shù)據(jù)清洗。

① cat函數(shù):用于字符串的拼接

df["姓名"].str.cat(df["家庭住址"],sep='-'*3) 結(jié)果如下:

bd027afa-9be2-11eb-8b86-12bb97331649.png

② contains:判斷某個(gè)字符串是否包含給定字符

df["家庭住址"].str.contains("廣") 結(jié)果如下:

bd0e3d40-9be2-11eb-8b86-12bb97331649.png

③ startswith/endswith:判斷某個(gè)字符串是否以…開頭/結(jié)尾

#第一個(gè)行的“黃偉”是以空格開頭的 df["姓名"].str.startswith("黃") df["英文名"].str.endswith("e") 結(jié)果如下:

bd1e5ba8-9be2-11eb-8b86-12bb97331649.png

④ count:計(jì)算給定字符在字符串中出現(xiàn)的次數(shù)

df["電話號(hào)碼"].str.count("3") 結(jié)果如下:

bd2bac22-9be2-11eb-8b86-12bb97331649.png

⑤ get:獲取指定位置的字符串

df["姓名"].str.get(-1) df["身高"].str.split(":") df["身高"].str.split(":").str.get(0) 結(jié)果如下:

bd3eebde-9be2-11eb-8b86-12bb97331649.png

⑥ len:計(jì)算字符串長度

df["性別"].str.len() 結(jié)果如下:

bd502714-9be2-11eb-8b86-12bb97331649.png

⑦ upper/lower:英文大小寫轉(zhuǎn)換

df["英文名"].str.upper() df["英文名"].str.lower() 結(jié)果如下:

bd5d8d82-9be2-11eb-8b86-12bb97331649.png

⑧ pad+side參數(shù)/center:在字符串的左邊、右邊或左右兩邊添加給定字符

df["家庭住址"].str.pad(10,fillchar="*")#相當(dāng)于ljust() df["家庭住址"].str.pad(10,side="right",fillchar="*")#相當(dāng)于rjust() df["家庭住址"].str.center(10,fillchar="*") 結(jié)果如下:

bd691940-9be2-11eb-8b86-12bb97331649.png

⑨ repeat:重復(fù)字符串幾次

df["性別"].str.repeat(3) 結(jié)果如下:

bd73b710-9be2-11eb-8b86-12bb97331649.png

⑩ slice_replace:使用給定的字符串,替換指定的位置的字符

df["電話號(hào)碼"].str.slice_replace(4,8,"*"*4) 結(jié)果如下:

bd814ac4-9be2-11eb-8b86-12bb97331649.png

? replace:將指定位置的字符,替換為給定的字符串

df["身高"].str.replace(":","-") 結(jié)果如下:

? replace:將指定位置的字符,替換為給定的字符串(接受正則表達(dá)式)

replace中傳入正則表達(dá)式,才叫好用;

先不要管下面這個(gè)案例有沒有用,你只需要知道,使用正則做數(shù)據(jù)清洗多好用;

df["收入"].str.replace("d+.d+","正則") 結(jié)果如下:

bd9fe4de-9be2-11eb-8b86-12bb97331649.png

? split方法+expand參數(shù):搭配join方法功能很強(qiáng)大

#普通用法 df["身高"].str.split(":") #split方法,搭配expand參數(shù) df[["身高描述","final身高"]]=df["身高"].str.split(":",expand=True) df #split方法搭配join方法 df["身高"].str.split(":").str.join("?"*5) 結(jié)果如下:

bdacbbb4-9be2-11eb-8b86-12bb97331649.png

? strip/rstrip/lstrip:去除空白符、換行符

df["姓名"].str.len() df["姓名"]=df["姓名"].str.strip() df["姓名"].str.len() 結(jié)果如下:

bde4a2ea-9be2-11eb-8b86-12bb97331649.png

? findall:利用正則表達(dá)式,去字符串中匹配,返回查找結(jié)果的列表

findall使用正則表達(dá)式,做數(shù)據(jù)清洗,真的很香!

df["身高"] df["身高"].str.findall("[a-zA-Z]+") 結(jié)果如下:

bdf09636-9be2-11eb-8b86-12bb97331649.png

? extract/extractall:接受正則表達(dá)式,抽取匹配的字符串(一定要加上括號(hào))

df["身高"].str.extract("([a-zA-Z]+)") #extractall提取得到復(fù)合索引 df["身高"].str.extractall("([a-zA-Z]+)") #extract搭配expand參數(shù) df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True) 結(jié)果如下:

be02c400-9be2-11eb-8b86-12bb97331649.png

今天的文章,就講述到這里,希望能夠?qū)δ阌兴鶐椭?/p>

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    6837

    瀏覽量

    88754
  • 函數(shù)
    +關(guān)注

    關(guān)注

    3

    文章

    4286

    瀏覽量

    62335
  • 矢量化
    +關(guān)注

    關(guān)注

    0

    文章

    5

    瀏覽量

    6198

原文標(biāo)題:詳解16個(gè) pandas 函數(shù),讓你的 “數(shù)據(jù)清洗” 能力提高100倍!

文章出處:【微信號(hào):DBDevs,微信公眾號(hào):數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    labview字符串如何轉(zhuǎn)換為16進(jìn)制字符串

    在LabVIEW,將字符串轉(zhuǎn)換為16進(jìn)制字符串是一個(gè)常見的需求,尤其是在處理數(shù)據(jù)通信和硬件接口時(shí)。LabVIEW提供了多種方法來實(shí)現(xiàn)這一轉(zhuǎn)換,包括使用內(nèi)置函數(shù)、編寫VI(Virtua
    的頭像 發(fā)表于 09-04 15:54 ?1595次閱讀

    labview如何實(shí)現(xiàn)字符串換行

    1. 字符串換行的基本概念 在LabVIEW,字符串換行通常指的是在字符串插入換行符,使得字符串
    的頭像 發(fā)表于 09-04 15:47 ?1123次閱讀

    labview中常用的字符串函數(shù)有哪些?

    在LabVIEW,常用的字符串函數(shù)廣泛覆蓋了對(duì)字符串的各種操作,包括但不限于格式化、搜索、替換、連接、計(jì)算長度等。以下是一些常用的字符串
    的頭像 發(fā)表于 09-04 15:43 ?456次閱讀

    C語言字符串編譯函數(shù)介紹

    在C語言中,字符串實(shí)際上是使用null字符O'終止的一維字符數(shù)組。因此,一個(gè)以null結(jié)尾的字符串,包含了組成字符串
    的頭像 發(fā)表于 03-07 16:18 ?464次閱讀
    C語言<b class='flag-5'>字符串</b>編譯<b class='flag-5'>函數(shù)</b>介紹

    labview掃描字符串怎么用

    LabVIEW 是一種流程化編程語言和開發(fā)環(huán)境,主要用于控制、測量和監(jiān)測系統(tǒng)。在 LabVIEW ,掃描字符串是一項(xiàng)常見的任務(wù),它允許用戶按照一定的模式從輸入字符串中提取所需的信息。下面我將詳細(xì)
    的頭像 發(fā)表于 12-29 10:12 ?1814次閱讀

    KUKA 機(jī)器人系統(tǒng)函數(shù)StrFind()-在字符串里查找

    搜索字符串變量 用功能 StrFind() 可以搜索字符串變量的字符串。 Result = StrFind( StartAt, StrVar[], StrFind[], CaseSens )
    的頭像 發(fā)表于 12-27 10:36 ?622次閱讀

    labview掃描字符串怎么用

    LabVIEW是一種圖形化編程語言,用于開發(fā)控制、測量和監(jiān)控系統(tǒng)。雖然它主要用于工程和科學(xué)領(lǐng)域,但也可以用于處理文本和字符串。 在LabVIEW,可以使用字符串處理函數(shù)來掃描
    的頭像 發(fā)表于 12-26 16:58 ?1804次閱讀

    labview怎么對(duì)字符串的進(jìn)行實(shí)時(shí)處理

    LabVIEW是一種用于開發(fā)控制、測試和測量系統(tǒng)的可視化編程環(huán)境,它提供了許多處理字符串的功能。在LabVIEW,可以使用不同的函數(shù)和工具來實(shí)時(shí)處理字符串。下面我將詳細(xì)介紹一些常見的
    的頭像 發(fā)表于 12-26 14:12 ?1705次閱讀

    oracle字符串split成多個(gè)

    Oracle是一種廣泛使用的關(guān)系型數(shù)據(jù)庫管理系統(tǒng),它提供了許多強(qiáng)大的功能和函數(shù),用于處理和操作數(shù)據(jù)。其中之一就是字符串分割(split)方法,該方法用于將一個(gè)字符串按照指定的分隔符分割成多個(gè)子
    的頭像 發(fā)表于 12-06 09:54 ?5045次閱讀

    oracle判斷字符串包含某個(gè)字符

    字符串操作是任何編程語言中都非常重要的一部分,Oracle數(shù)據(jù)庫作為目前最常用的關(guān)系型數(shù)據(jù)庫之一,也提供了豐富的字符串操作函數(shù)和方法。在本文中,我們將詳細(xì)解析如何在Oracle判斷一
    的頭像 發(fā)表于 12-06 09:53 ?1.4w次閱讀

    oracle拼接字符串函數(shù)wm_con

    在Oracle數(shù)據(jù)庫,有時(shí)候我們需要將多個(gè)字符串拼接成一個(gè)字符串,以滿足特定的需求。而Oracle提供了一個(gè)非常方便的函數(shù),就是WM_CONCAT
    的頭像 發(fā)表于 12-06 09:51 ?1380次閱讀

    oracle拼接字符串函數(shù)

    在Oracle,我們可以使用 CONCAT 函數(shù)來拼接字符串。CONCAT 函數(shù)接受兩個(gè)參數(shù),它將這兩個(gè)參數(shù)連接起來并返回相應(yīng)的字符串結(jié)果
    的頭像 發(fā)表于 12-06 09:49 ?2753次閱讀

    MySQL替換字符串函數(shù)REPLACE

    MySQL是目前非常流行的開源數(shù)據(jù)庫管理系統(tǒng)之一,它具有強(qiáng)大的功能和性能。其中之一的字符串函數(shù)REPLACE,可以用于替換字符串的指定字符
    的頭像 發(fā)表于 11-30 10:44 ?1432次閱讀

    c語言字符串定義

    字符串的定義、初始化、操作和常見問題。 字符串的定義和初始化 在C語言中,字符串被定義為一個(gè)字符數(shù)組??梢酝ㄟ^兩種方式來定義和初始化字符串
    的頭像 發(fā)表于 11-24 10:02 ?1751次閱讀

    mysql字符串包含某個(gè)字符串

    將詳盡、詳實(shí)、細(xì)致地探討MySQL字符串包含的實(shí)現(xiàn)方法。 在MySQL,可以通過使用內(nèi)建函數(shù)和通配符來實(shí)現(xiàn)字符串包含的操作。下面將詳細(xì)介
    的頭像 發(fā)表于 11-16 14:52 ?3598次閱讀