0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

常見的9種距離度量方法

深度學(xué)習(xí)自然語言處理 ? 來源:機器之心 ? 作者:機器之心 ? 2021-03-05 15:44 ? 次閱讀

歐氏距離(Euclidean Distance)

歐式距離。 我們從最常見的歐式距離開始,歐式距離可解釋為連接兩個點的線段的長度。歐式距離公式非常簡單,使用勾股定理從這些點的笛卡爾坐標計算距離。

缺點:盡管這是一種常用的距離度量,但歐式距離并不是尺度不變的,這意味著所計算的距離可能會根據(jù)特征的單位發(fā)生傾斜。通常,在使用歐式距離度量之前,需要對數(shù)據(jù)進行歸一化處理。 此外,隨著數(shù)據(jù)維數(shù)的增加,歐氏距離的作用也就越小。這與維數(shù)災(zāi)難(curse of dimensionality)有關(guān)。 用例:當你擁有低維數(shù)據(jù)且向量的大小非常重要時,歐式距離的效果非常好。如果在低維數(shù)據(jù)上使用歐式距離,則如 k-NN 和 HDBSCAN 之類的方法可達到開箱即用的效果。 余弦相似度(Cosine Similarity)

余弦相似度。 余弦相似度經(jīng)常被用作抵消高維歐式距離問題。余弦相似度是指兩個向量夾角的余弦。如果將向量歸一化為長度均為 1 的向量,則向量的點積也相同。 兩個方向完全相同的向量的余弦相似度為 1,而兩個彼此相對的向量的余弦相似度為 - 1。注意,它們的大小并不重要,因為這是在方向上的度量。

缺點:余弦相似度的一個主要缺點是沒有考慮向量的大小,而只考慮它們的方向。以推薦系統(tǒng)為例,余弦相似度就沒有考慮到不同用戶之間評分尺度的差異。 用例:當我們對高維數(shù)據(jù)向量的大小不關(guān)注時,可以使用余弦相似度。對于文本分析,當數(shù)據(jù)以單詞計數(shù)表示時,經(jīng)常使用此度量。例如,當一個單詞在一個文檔中比另一個單詞更頻繁出現(xiàn)時,這并不一定意味著文檔與該單詞更相關(guān)??赡苁俏募L度不均勻或者計數(shù)的重要性不太重要。我們最好使用忽略幅度的余弦相似度。 漢明距離(Hamming Distance)

漢明距離。 漢明距離是兩個向量之間不同值的個數(shù)。它通常用于比較兩個相同長度的二進制字符串。它還可以用于字符串,通過計算不同字符的數(shù)量來比較它們之間的相似程度。 缺點:當兩個向量長度不相等時,漢明距離使用起來很麻煩。當幅度是重要指標時,建議不要使用此距離指標。 用例:典型的用例包括數(shù)據(jù)通過計算機網(wǎng)絡(luò)傳輸時的錯誤糾正 / 檢測。它可以用來確定二進制字中失真的數(shù)目,作為估計誤差的一種方法。此外,你還可以使用漢明距離來度量分類變量之間的距離。 曼哈頓距離(Manhattan Distance)

曼哈頓距離。 曼哈頓距離通常稱為出租車距離或城市街區(qū)距離,用來計算實值向量之間的距離。想象一下均勻網(wǎng)格棋盤上的物體,如果它們只能移動直角,曼哈頓距離是指兩個向量之間的距離,在計算距離時不涉及對角線移動。

3c7dd21a-7c22-11eb-8b86-12bb97331649.png

缺點:盡管曼哈頓距離在高維數(shù)據(jù)中似乎可以工作,但它比歐式距離直觀性差,尤其是在高維數(shù)據(jù)中使用時。此外,由于它可能不是最短路徑,有可能比歐氏距離給出一個更高的距離值。 用例:當數(shù)據(jù)集具有離散或二進制屬性時,曼哈頓距離似乎工作得很好,因為它考慮了在這些屬性的值中實際可以采用的路徑。以歐式距離為例,它會在兩個向量之間形成一條直線,但實際上這是不可能的。 切比雪夫距離(Chebyshev Distance)

切比雪夫距離。 切比雪夫距離定義為兩個向量在任意坐標維度上的最大差值。換句話說,它就是沿著一個軸的最大距離。切比雪夫距離通常被稱為棋盤距離,因為國際象棋的國王從一個方格到另一個方格的最小步數(shù)等于切比雪夫距離。

缺點:切比雪夫距離通常用于特定的用例,這使得它很難像歐氏距離或余弦相似度那樣作為通用的距離度量。因此,在確定適合用例時才使用它。 用例:切比雪夫距離用于提取從一個方塊移動到另一個方塊所需的最小移動次數(shù)。此外,在允許無限制八向移動的游戲中,這可能是有用的方法。在實踐中,切比雪夫距離經(jīng)常用于倉庫物流,因為它非常類似于起重機移動一個物體的時間。 閔氏距離(Minkowski)

閔氏距離。 閔氏距離比大多數(shù)距離度量更復(fù)雜。它是在范數(shù)向量空間(n 維實數(shù)空間)中使用的度量,這意味著它可以在一個空間中使用,在這個空間中,距離可以用一個有長度的向量來表示。 閔氏距離公式如下:

最有趣的一點是,我們可以使用參數(shù) p 來操縱距離度量,使其與其他度量非常相似。常見的 p 值有:

p=1:曼哈頓距離

p=2:歐氏距離

p=∞:切比雪夫距離

缺點:閔氏距離與它們所代表的距離度量有相同的缺點,因此,對哈頓距離、歐幾里得距離和切比雪夫距離等度量標準有個好的理解非常重要。此外,參數(shù) p 的使用可能很麻煩,因為根據(jù)用例,查找正確的 p 值在計算上效率低。 用例:p 的積極一面是可迭代,并找到最適合用例的距離度量。它允許在距離度量上有很大的靈活性,如果你非常熟悉 p 和許多距離度量,將會獲益多多。 雅卡爾指數(shù)(Jaccard Index)

雅卡爾指數(shù)。 雅卡爾指數(shù)(交并比)是用于比較樣本集相似性與多樣性的統(tǒng)計量。雅卡爾系數(shù)能夠量度有限樣本集合的相似度,其定義為兩個集合交集大小與并集大小之間的比例。 例如,如果兩個集合有 1 個共同的實體,而有 5 個不同的實體,那么雅卡爾指數(shù)為 1/5 = 0.2。要計算雅卡爾距離,我們只需從 1 中減去雅卡爾指數(shù):

缺點:雅卡爾指數(shù)的一個主要缺點是它受數(shù)據(jù)大小的影響很大。大數(shù)據(jù)集對指數(shù)有很大影響,因為它可以顯著增加并集,同時保持交集相似。 用例:雅卡爾指數(shù)通常用于使用二進制或二進制數(shù)據(jù)的應(yīng)用程序中。當你有一個深度學(xué)習(xí)模型來預(yù)測圖像分割時,比如一輛汽車,雅卡爾指數(shù)可以用來計算給定真實標簽的預(yù)測分割的準確度。 類似地,它可以用于文本相似性分析,以測量文檔之間有多少詞語重疊。因此,它可以用來比較模式集合。 半正矢(Haversine)

半正矢距離。 半正矢距離是指球面上的兩點在給定經(jīng)緯度條件下的距離。它與歐幾里得距離非常相似,因為它可以計算兩點之間的最短連線。主要區(qū)別在于半正矢距離不可能有直線,因為這里的假設(shè)是兩個點都在一個球面上。

缺點:這種距離測量的一個缺點是,假定這些點位于一個球體上。實際上,這種情況很少出現(xiàn),例如,地球不是完美的圓形,在某些情況下可能使計算變得困難。相反,如果假定是橢球,使用 Vincenty 距離比較好。 用例:半正矢距離通常用于導(dǎo)航。例如,你可以使用它來計算兩個國家之間的飛行距離。請注意,如果距離本身不那么大,則不太適合。 S?rensen-Dice 系數(shù)

S?rensen-Dice 系數(shù)。 S?rensen-Dice 系數(shù)與雅卡爾指數(shù)非常相似,都是度量樣本集的相似性和多樣性。盡管它們的計算方法相似,但是 S?rensen-Dice 系數(shù)更直觀一些,因為它可以被視為兩個集合之間重疊的百分比,這個值在 0 到 1 之間:

3eb903f6-7c22-11eb-8b86-12bb97331649.png

缺點:正如雅卡爾指數(shù),S?rensen-Dice 系數(shù)也夸大了很少或沒有真值的集合的重要性,因此,它可以控制多集合的平均得分,還可以控制多組平均得分并按相關(guān)集合的大小成反比地加權(quán)每個項目,而不是平等對待它們。 用例:用例與雅卡爾指數(shù)相似,它通常用于圖像分割任務(wù)或文本相似性分析。

責(zé)任編輯:lq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    6808

    瀏覽量

    88743
  • 距離
    +關(guān)注

    關(guān)注

    0

    文章

    12

    瀏覽量

    13792
  • 向量
    +關(guān)注

    關(guān)注

    0

    文章

    55

    瀏覽量

    11649

原文標題:一文讀懂常見的9種距離度量方法

文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    常見的機械分選方法有哪些

    機械分選是一利用物料的物理性質(zhì)差異(如大小、形狀、密度、磁性等)來實現(xiàn)物料分離的技術(shù)。在工業(yè)生產(chǎn)中,機械分選廣泛應(yīng)用于礦物加工、農(nóng)業(yè)、食品加工、回收利用等領(lǐng)域。以下是一些常見的機械分選方法的介紹
    的頭像 發(fā)表于 09-25 15:38 ?567次閱讀

    雷達液位計常見故障及處理方法

    雷達液位計作為一高精度的液位檢測設(shè)備,在實際應(yīng)用中可能會遇到多種故障。以下是一些常見的故障及其處理方法: 一、常見故障 數(shù)據(jù)不準確 原因 :參數(shù)設(shè)置錯誤、設(shè)備老化、環(huán)境因素干擾(如泡
    的頭像 發(fā)表于 09-07 11:22 ?730次閱讀

    常見的測量電池內(nèi)阻的方法

    測量電池內(nèi)阻的方法多種多樣,每種方法都有其獨特的原理和適用范圍。以下是一些常見的測量電池內(nèi)阻的方法
    的頭像 發(fā)表于 08-13 18:14 ?1769次閱讀

    常見的PWM脈寬調(diào)制方法

    等設(shè)備的精確控制。本文將詳細介紹PWM脈寬調(diào)制的方法,包括其基本原理、常見的調(diào)制方法以及應(yīng)用實例等,旨在為讀者提供全面而深入的了解。
    的頭像 發(fā)表于 06-19 10:47 ?752次閱讀

    鴻蒙OpenHarmony:【常見編譯問題和解決方法

    常見編譯問題和解決方法
    的頭像 發(fā)表于 05-11 16:09 ?1884次閱讀

    工業(yè)鏡頭中常見的參數(shù)之工作距離、物距、法蘭距及鏡頭接口

    距(O/I)=工作距離(WD)+鏡頭長度+法蘭距常見的C口鏡頭和相機,法蘭距為17.526mm。在機器視覺行業(yè)中,許多鏡頭設(shè)計時為了保證成像質(zhì)量,工作距離通常為一
    的頭像 發(fā)表于 03-11 15:29 ?4492次閱讀
    工業(yè)鏡頭中<b class='flag-5'>常見</b>的參數(shù)之工作<b class='flag-5'>距離</b>、物距、法蘭距及鏡頭接口

    常見的光纖光纜鏈接方法

    常見的光纖光纜鏈接方法分別是: 永久性光纖連接(又叫熱熔):這種連接是用放電的方法將兩根光纖的連接點熔化并連接在一起。一般用在長途接續(xù)、永久或半永久固定連接。其主要特點是連接衰減在
    的頭像 發(fā)表于 03-01 13:47 ?2097次閱讀

    3雙控開關(guān)的接線方法

    詳盡、詳實、細致地介紹三常見的雙控開關(guān)的接線方法。 第一接線方法是直連法。直連法是最簡單的雙控開關(guān)接線
    的頭像 發(fā)表于 02-05 13:46 ?4622次閱讀

    編碼器7常見故障及解決方法是什么?

    編碼器7常見故障及解決方法是什么? 編碼器是一用于將物理量轉(zhuǎn)換為數(shù)字信號的設(shè)備,常用于工業(yè)自動化、機械控制等領(lǐng)域。然而,在使用編碼器的過程中,可能會遇到各種故障。本篇文章將介紹編碼
    的頭像 發(fā)表于 01-26 14:56 ?1.2w次閱讀

    介紹6常見的反調(diào)試方法

    開發(fā)相應(yīng)的安全措施來保護系統(tǒng),這時,惡意軟件開發(fā)人員就會使用反調(diào)試技術(shù)阻礙逆向人員的分析,以達到增加自己惡意代碼的存活時間。此外,安全人員也需要了解反調(diào)試技術(shù),當遇到反調(diào)試代碼時,可以使用相對應(yīng)的反反調(diào)試。在反調(diào)試技術(shù)上中,我們介紹了9
    的頭像 發(fā)表于 01-15 09:53 ?3446次閱讀
    介紹6<b class='flag-5'>種</b><b class='flag-5'>常見</b>的反調(diào)試<b class='flag-5'>方法</b>

    AD CAM文件如何測量距離

    AD CAM文件是用于廣告測量的一工具和方法,幫助廣告商了解廣告效果和投資回報率。在AD CAM文件中,距離是一個重要的指標,可以幫助衡量廣告影響力的范圍和深度。本文將詳細介紹AD CAM文件中
    的頭像 發(fā)表于 01-08 10:16 ?1283次閱讀

    常見的電壓問題及其解決方法

    常見的電壓問題及其解決方法? 電壓問題是常見的電氣故障之一,它可能會導(dǎo)致設(shè)備故障、損壞甚至危險。在日常生活和工作中,我們經(jīng)常會遇到一些電壓問題,例如電器無法正常工作、電器過熱、電器短路等。本文將詳細
    的頭像 發(fā)表于 12-11 17:16 ?2928次閱讀

    vlookup常見的12錯誤

    中,我將介紹VLOOKUP函數(shù)的常見錯誤,并提供詳盡、詳實、細致的解決方法。 錯誤#N/A:這是最常見的VLOOKUP錯誤之一,它表示無法找到與指定的值匹配的項。這可能是因為查找值不存在于目標范圍中。解決
    的頭像 發(fā)表于 12-01 11:19 ?3040次閱讀

    python兩點間距離簡單編程

    在編程領(lǐng)域中,計算兩點間的距離是非常常見的任務(wù)。而在Python語言中,計算兩點間距離方法有多種。本文將深入介紹多個計算兩點間距離
    的頭像 發(fā)表于 11-23 16:30 ?2942次閱讀

    常見EMC整改流程!

    常見EMC整改流程!|深圳比創(chuàng)達電子EMC
    的頭像 發(fā)表于 11-23 10:10 ?922次閱讀