自然語言控制機械臂：ChatGPT與機器人技術的融合創(chuàng)新（下）

引言

在我們的上一篇文章中，我們探索了如何將ChatGPT集成到myCobot 280機械臂中，實現(xiàn)了一個通過自然語言控制機械臂的系統(tǒng)。我們詳細介紹了項目的動機、使用的關鍵技術如ChatGPT和Google的Speech-to-text服務，以及我們是如何通過pymycobot模塊來控制機械臂的。通過將自然語言處理和機械臂控制相結合，我們的項目旨在降低機器人編程的門檻，使得非專業(yè)人士也能輕松地進行機器人編程和實驗。

接下來，在這篇文章中，我們將討論在開發(fā)這一系統(tǒng)過程中遇到的挑戰(zhàn)，我們是如何克服這些挑戰(zhàn)的，以及項目未來的擴展可能性。我們的目標是深入了解技術實施的具體問題，并探索該系統(tǒng)未來發(fā)展的新方向。

開發(fā)當中遇到的困難

在開發(fā)集成了ChatGPT的mycobot 280機械臂控制系統(tǒng)的過程中，我面臨了幾個主要的技術挑戰(zhàn)。

1.語音識別的準確性和響應時間

首先，我遇到的挑戰(zhàn)是語音識別的準確性和反應時間。盡管使用了Google的Speech-to-text，但在實際應用中，我發(fā)現(xiàn)它有時難以準確識別專業(yè)術語或在嘈雜環(huán)境中捕捉語音指令?？赡苁且驗椴惶斫獾讓舆壿嬤\行的一個原理是什么，也不知道如何來正確的使用。此外，從語音輸入到文本輸出的過程延遲較長，如何來判斷這句話是不是說完了，通常響應的時間較久。

在我說完之后，大概會有3s左右的響應時間。

2.OpenAI API的實用性和地域限制

ChatGPT的API 是整個項目的核心功能點，沒有了他就不能實現(xiàn)AI的機械臂控制系統(tǒng)了。在一開始測試代碼的時候我用的是WEB版本的ChatGPT，一開始沒有考慮到使用API是一個比較大的問題。

因為地區(qū)的問題，沒有辦法直接通過API進行訪問OpenAI，會出現(xiàn)網(wǎng)絡延遲，不能夠使用代理等軟件來實現(xiàn)訪問。除此之外還得確保網(wǎng)絡的穩(wěn)定性才能夠快快速的進行處理。

3.自然語言轉指令的處理

如果解決了上邊的生成代碼的問題，我們將會得到類似于命令行的字符串，需要將它轉變成可以編譯的代碼。一開始只考慮到了單行的命令行

"robot.move_to_zero()"

要將字符串轉化成執(zhí)行的代碼可以用到python的getattr()，他是一個內置函數(shù)，用于獲取對象的屬性值。

getattr(object, name[, default]) object：表示要獲取屬性的對象。 name：表示要獲取的屬性的名稱。 default：可選參數(shù)，表示如果指定的屬性不存在時返回的默認值。

getattr() 函數(shù)會嘗試獲取指定對象的指定屬性的值。如果對象具有該屬性，則返回屬性的值；如果對象沒有指定的屬性，但提供了默認值，則返回默認值；如果對象沒有指定的屬性，并且沒有提供默認值，則會引發(fā) AttributeError 異常。

舉個例子直接調用類的方法

class Myclass: def print_1(self)： print("halo word") obj = mycalss() getattr(obj,"print_1")() """ halo word

用這個方法就可以完美解決如何將字符串的形式輸出可執(zhí)行的代碼了！

接下來是將字符串轉化為可執(zhí)行代碼的過程：

我們收到的字符串是代碼的形式例如

"robot.move_to_zero()"

我們要將這一部分進行拆分，分為obj和方法兩部分，就要用到python當中的分割的方法。

# 以.為節(jié)點分為前后兩個部分 command_str = "robot.move_to_zero()" parts = command_str.split(".") parts[0] = "robot" part[1] = "move_to_zero()" # 去掉括號保留，方法名 method_name = part[1].split("()")[0] method = getatter(robot,method_name) method() #處理轉化方法 def execute_command(instance,command_str): try: #分割對象名和方法 parts = command_str.split(".") if len(parts) != 2 or parts[0] != 'robot': print("Invalid command format.") return method_name = parts[1].split("()")[0] #移除括號 #使用getattr 安全的獲取方法引用 if hasattr(instance, method_name): method = getattr(instance, method_name) method() else: print(f"the method {method_name} does not exist!") except Exception as e: print(f"An error occurred: {e}")

這樣就完成了，能夠處理單行的字符串，但是在測試的時候使用產(chǎn)生多行的命令的時候，這個代碼就不行了，它會變成一長串，所以這個方法是無效的。

上述三個是我主要遇到的問題，接下來我將一一的進行解答。

解決方案和應對策略

1.優(yōu)化語音識別

根據(jù)我上述描寫的識別延遲的問題，我是通過設置時間來優(yōu)化我的程序。

# 設置timeout為3秒，phrase_time_limit為10秒 audio = recognizer.listen(source, timeout=3, phrase_time_limit=10)

默認設置沒有聽到聲音，一直的進行監(jiān)聽，我設置了時間上的限制10s，也能夠保證我在說完話之后較快的一個響應。

接下來完成的功能代碼

import speech_recognition as sr def speech_to_text(): # 初始化識別器 recognizer = sr.Recognizer() with sr.Microphone() as source: print("start speaking...") # 監(jiān)聽源，設置timeout和phrase_time_limit # timeout：在這段時間內沒有檢測到聲音，則停止監(jiān)聽 # phrase_time_limit：監(jiān)聽的最大時長 try: audio = recognizer.listen(source, timeout=3, phrase_time_limit=10) except sr.WaitTimeoutError: print("No speech was detected within the timeout period.") return None try: # 使用Google的語音識別服務 text = recognizer.recognize_google(audio, language='en-US') print("You said: " + text) return text except sr.UnknownValueError: print("Google Speech Recognition could not understand audio") return None except sr.RequestError as e: print(f"Could not request results from Google Speech Recognition service; {e}") return None

這目前已經(jīng)可以滿足大部分的需求了，實際的使用情況下來來看，整個的功能還是比較完整的，能夠有效的識別出語音內容，特別是讓我說數(shù)字的時候他主動轉化成阿拉伯數(shù)字，在進行交互的過程中省了處理數(shù)字的問題。

1.自然語言轉化優(yōu)化

如何來解決多行的指令問題呢。

當我們收到,多行的指令就不能跟之前單純的分離來進行處理了得考慮其他的方式，以下的情況默認ChatGPT生成的指令是下面這種換行行的字符串，沒有帶注釋的（ChatGPT很喜歡寫注釋）。

"robot.move_to_zero() robot.grab_position() robot.plus_z_coords(20)"

只要把多個當成一個來看就好了！

# 分割成多行 commands = command_str.strip().split('n') #萬一里面存在一些空白符，得先進行處理 for cmd in commands: cmd = cmd.strip() if not cmd: continue # 我們默認obj 是robot，就只需要獲取方法名字就可以了 if cmd.startswith("robot."): cmd = cmd[6:] # 分割方法名，和參數(shù) if '(' in cmd and cmd.endswith(")"): method_name, args_str = cmd.split('(', 1) method_name = method_name.strip() #刪除前后空格 args_str = args_str.rstrip(")") #刪除右側的） # 移除可能的空白字符，并按逗號分隔參數(shù) args = [arg.strip() for arg in args_str.split(',')] if args_str else []

it works！

3.ChatGPT API的問題

關于這個問題，我目前并沒能很好的進行解決，大家如果有好的方法可以，私信我跟我溝通，因為地區(qū)的問題，并不能夠直接的用API獲取響應。

項目的擴展功能和未來展望
視覺功能

在本次記錄當中，缺少了最重要的一個模塊，視覺模塊，單獨有一個機械臂沒有眼睛的話跟瞎子又有什么區(qū)別呢。 對于這一部分的開發(fā)，會需要花費較大的經(jīng)歷，如果以后有完成一定程度上的開發(fā)，我也會及時出來跟大家進行分享。

之前也有看到日本的Shirokuma 開發(fā)個類似的項目，用到了ChatGPT4-vision的功能，做了說出目標進行抓取的一個功能。

https://twitter.com/neka_nat/status/1733517151947108717

這個項目也是相當?shù)挠幸馑?，給了我不少開發(fā)這個項目的想法。

更加智能的“賈維斯”

相信大家的肯定都有看過鋼鐵俠，隨著AI的不斷發(fā)展，我覺得在不久的將來，肯定會出現(xiàn)一款如同電影當中的機械臂，能夠通過交流的方式來幫助你完成一些工作。

近幾年也能說是人工智能的突發(fā)猛進的幾年，AIGC是近期最火熱的內容，只要接收到內容就可以生成對應的文本，圖像，視頻和音頻等等。

總結

很期待未來，AI和機器人相結合能夠融合到怎樣的一個程度，是不是已經(jīng)能夠幫助人類做一定的事情了！如果你有一些好的想法，或者對我的項目修改的意見歡迎隨時跟我提出！

審核編輯 黃宇