可穿戴Cyber??ware開源硬件

描述

你的身體可以鍍鉻...

警告：賽博朋克 2077 的一些小劇透可能會(huì)提前......

該項(xiàng)目的目標(biāo)是創(chuàng)建受 Cyber??punk 2077 啟發(fā)的可穿戴 Cyber??ware，它具有交互式 AI，通過耳機(jī)在佩戴者的頭部發(fā)出聲音；由ChatGPT提供支持。

它的靈感來自Relic - 游戲中的一項(xiàng)技術(shù)，可以存儲(chǔ)某人的意識(shí)，并允許他們與在其 Cyber??ware 中安裝芯片的人進(jìn)行整合和互動(dòng)。

在游戲中，名為 Johnny Silverhand（由基努里維斯飾演）的角色居住在 Relic 中，并使用該技術(shù)直接與您的角色對(duì)話。他也可以被看見；雖然只是用戶，因?yàn)樗旧鲜窃谒麄兊哪X海中投射。

幾年前我開始研究它，但在硬件和軟件方面花費(fèi)了相當(dāng)長的時(shí)間和反復(fù)試驗(yàn)才能正確 - 它最初使用我的 Bot_Engine 和Chatbot ，直到ChatGPT發(fā)布并且我意識(shí)到顯而易見的解決方案是而是整合它。

目標(biāo)是將 MAX30105 傳感器用作心跳檢測器，安裝在佩戴者的太陽穴上。如果用戶的心率升高或降低，它也可以方便地進(jìn)行額外的響應(yīng)。

快速警告：

This code AND hardware should not be used for medical diagnosis. It's for fun/novelty use only, so bear that in mind while using it. 

Also bear in mind that ChatGPT will respond with the style of whatever context you 
have set within config/chatgpt_config.py, so I can't be sure what it will say. And I 
can't take any responsibility for any other context that is set or what it says.

你會(huì)跟隨這個(gè)面包屑路徑

其中的關(guān)鍵部分是 Raspberry Pi Zero 2——它提供了足夠的 CPU 能力和 RAM 來運(yùn)行語音推理和其他一些原始 Pi Zero 無法提供的外形尺寸。

我最初試圖用一片 PiBow 將它固定在我的耳朵上——如果它只是 Pi Zero 本身就很好，但是當(dāng)你開始添加傳感器時(shí)，外殼，尤其是電池技術(shù)變得太重了留在頭上。

所以我不得不找到另一個(gè)解決方案；那個(gè)解決方案是我從亞馬遜買的一個(gè)漂亮的大金屬發(fā)帶。

你可以看到我有一個(gè)漂亮的金屬外殼，將整個(gè)東西安裝在更堅(jiān)固的 PiBow 切片上，并從 Pi Zero 外殼中添加了一些額外的東西，以容納電池和 LiPo Powerboost 500。

30105 傳感器連接到前面，面向佩戴者的頭部：

這是連接到 Pi 相對(duì)容易的，如下所示：

我剛剛用一些額外的接線將其擴(kuò)展。

安裝到 PiBow 切片的 Pi 和外殼：

這是原始耳機(jī)上的音頻 DAC 墊片，稍后必須將其移到擴(kuò)展接頭上，以便允許傳感器通過跨接電纜連接到引腳：

電池和主要部件如何連接成角度的 USB A 至 USB Micro 電纜：

頭飾的最終形態(tài)，上面還貼有荒坂的貼紙：

最后一點(diǎn)整理傳感器和電線：

以及插入 USB 麥克風(fēng)和 USB Micro 墊片、頭帶和耳機(jī)的最終硬件：

有時(shí)讓我假裝我存在，好嗎？

代碼可以在我的GitHub找到。

對(duì)于任何人通過修改此程序?qū)?FakeYou 所做的事情，我不承擔(dān)任何責(zé)任，同時(shí)請(qǐng)注意，ChatGPT 可能會(huì)生成奇怪的東西以傳遞給 FakeYou，這也取決于對(duì) ChatGPT 所說的內(nèi)容。典型的。

本質(zhì)上，它使用包裹在 python 腳本中的 Web 瀏覽器自動(dòng)化來與 ChatGPT 交互。

我發(fā)現(xiàn)超過一定數(shù)量字符的響應(yīng)會(huì)完全破壞 Nix-TTS 并導(dǎo)致它崩潰；但即使是更短的響應(yīng)有時(shí)也會(huì)導(dǎo)致它崩潰。它能夠完全執(zhí)行響應(yīng)，而無需使用任何通常的禮貌內(nèi)容。非?？?，實(shí)際上感覺就像您正在從角色那里得到回應(yīng)。

所以這里的主要問題是 Pi Zero 2 雖然具有四核 arm SoC 和 512mb RAM 相對(duì)強(qiáng)大，但仍然需要時(shí)間來處理某些事情。因此，語音到文本的處理可能需要幾分鐘時(shí)間，TTS 可能需要一段時(shí)間，甚至 ChatGPT 包裝器也需要一些處理時(shí)間。

所以交互不是完全實(shí)時(shí)的，但我希望未來的 Pi Zero 3 具有更強(qiáng)大的硬件，或者甚至是我可以用于此的其他小型設(shè)備。Pi 4 會(huì)快得多，但如果戴上頭戴式設(shè)備，實(shí)施起來會(huì)困難得多。

這是我頭上的一些照片以及賽博朋克夾克：

還有一些額外的特寫鏡頭：

。。

語音到文本輸入：

ChatGPT 的文本到語音輸出：

有時(shí) Speech to Text 會(huì)出錯(cuò)：

ChatGPT 輸出與它一起運(yùn)行：

另一個(gè)顯示心率傳感器潛在誤差的輸出：

我只想讓世界知道我來過這里。

總的來說，這是可行的；但它在 STT 方面非常慢 - 即使 STT 自行運(yùn)行，所以希望將來會(huì)出現(xiàn)新的 RPi Zero 3 或帶有 Gig RAM 的 Zero 2 來幫助加快速度。我認(rèn)為很多速度問題是由于缺少 RAM 導(dǎo)致分頁引起的，但我也注意到在 Pi 4 8??GB 上運(yùn)行的Terminator Skull也存在同樣的問題——同時(shí)它也在線程化和運(yùn)行其他東西。

幸運(yùn)的是，我構(gòu)建它的平臺(tái)應(yīng)該允許輕松升級(jí)，希望我可以更換 Pi，同時(shí)保持連接到主要 Cyber??ware 的相同外殼。所以在未來，這也許可以進(jìn)行實(shí)時(shí)對(duì)話，并且 Cyber??ware 可以用來創(chuàng)建各種 AI 角色和助手來與之交互。

另一個(gè)問題是我使用的 ChatGPT 包裝器，因?yàn)榻o出的每個(gè)響應(yīng)都會(huì)開始與 ChatGPT 的新對(duì)話，而不是繼續(xù)同一個(gè)線程——但我認(rèn)為該包裝器中有代碼允許這樣做；現(xiàn)在有了官方 API 也沒什么關(guān)系了。

此外，我還可以通過使用官方 API 來大大減少語音到文本的處理時(shí)間。因此，通過使用 FakeYou、OpenAI 的新 Whisper API和ChatGPT API，我可以大大加快速度。因此，請(qǐng)留意未來對(duì)此的改進(jìn)。

以某種方式添加視覺元素會(huì)很酷 - 如果我能破解如何讓正確聚焦的屏幕在佩戴者眼中很好地工作。我以前用EDITH 眼鏡和鋼鐵俠頭盔解決過這個(gè)問題，但它們不夠大或不夠詳細(xì)，無法顯示文本以外的復(fù)雜內(nèi)容；所以這是一個(gè)需要進(jìn)一步研發(fā)的領(lǐng)域。

最終，添加到其中的更新和錯(cuò)誤修復(fù)將使它達(dá)到更好的狀態(tài)，并且也會(huì)被放入最終的 Relic Cyber??ware 2.0 中。

不過，我認(rèn)為這很合適，因?yàn)檫@需要很長時(shí)間才能構(gòu)建，而且漏洞百出，速度緩慢，需要大量更新——鑒于賽博朋克本身就是這樣在 2020 年發(fā)布的。

讓我知道您的想法，并為未來的項(xiàng)目堅(jiān)持下去！我將研究將這個(gè)基于上下文/角色的 ChatGPT 系統(tǒng)連接到其他項(xiàng)目中，例如我的Terminator Skull 。

?