構(gòu)建3D跟蹤器開源分享

描述

動機(jī)

數(shù)據(jù)分析是科學(xué)、技術(shù)、工程和數(shù)學(xué) (STEM) 領(lǐng)域的一個關(guān)鍵問題。可視化數(shù)據(jù)的能力對于理解數(shù)據(jù)并得出結(jié)論至關(guān)重要。因此，視力受損的學(xué)生處于不利地位，可能會不鼓勵從事科學(xué)事業(yè)。已經(jīng)開發(fā)了許多工具來克服這一挑戰(zhàn)，但是，它們通常依賴于口頭描述或靜態(tài)觸覺圖片，這可能會受到限制。據(jù)報(bào)道，觸覺和聽覺刺激的結(jié)合可以提高盲人學(xué)生對幾何等視覺主題的學(xué)習(xí)[1] 。很明顯，需要讓視障者更容易接觸到 STEM 科目，因此在這個項(xiàng)目中，我們的目標(biāo)是構(gòu)建一個廉價的3D 跟蹤器，用于動態(tài)聽覺數(shù)據(jù)表示.

計(jì)劃

這個想法是構(gòu)建一個將數(shù)學(xué)函數(shù)（在真實(shí)的線、平面或 3D 空間上）轉(zhuǎn)換為聲音的設(shè)備。我們可以通過使用MGC3130芯片的 3D 跟蹤傳感器（例如Flick或Skywriter ）檢測用戶手的位置來導(dǎo)航空間。然后可以將記錄的位置用作數(shù)學(xué)函數(shù)的輸入，該數(shù)學(xué)函數(shù)的輸出可以處理成聲音信號。通過將 3D-tracker 連接到Arduino或RaspberryPi可以輕松完成數(shù)據(jù)采集，然后我們可以處理數(shù)據(jù)并將輸出發(fā)送到聲音處理軟件，例如Supercollider或CSound 。

由于我們打算將其作為一種包容性技術(shù)，我們還將嘗試包括視覺和觸覺反饋。為了可視化數(shù)據(jù)，我們可以使用Processing ，這是一種專門為視覺藝術(shù)家開發(fā)的簡單編程語言。觸覺反饋可以通過不同的方式來實(shí)現(xiàn)。一方面，我們可以使用超聲波換能器在半空中創(chuàng)建觸覺反饋（Ultraino ）。另一方面，我們可以使用振動馬達(dá)來模擬不同的紋理（Hap2U ）。

目前，我們?nèi)匀徊淮_定哪種是包含觸覺反饋的最佳方式，但我們會不斷更新。

適用于 Chromebook 的 Arduino、Processing 和 Supercollider

我們項(xiàng)目所需的軟件適用于 Windows、Mac 和 Linux 系統(tǒng)，但不適用于 Chrome OS。如果您使用的是 Chromebook，有一些選項(xiàng)可以解決它。第一個是使用Arduino和Processing的網(wǎng)絡(luò)編輯器，不幸的是，Supercollider 沒有在線選項(xiàng)。另一種選擇是CSound Web IDE ，但我們發(fā)現(xiàn) Supercollider 更易于使用。第二種選擇是安裝 Linux，可以通過多種方式完成。最簡單的一種是啟用原生 Chrome OS Linux（測試版）虛擬機(jī)并安裝 Linux 應(yīng)用程序。這種方法的問題是虛擬機(jī)仍然存在一些問題，特別是設(shè)置音頻不是那么容易，使用 Supercollider 幾乎是不可能的。在 Chromebook 上安裝 Linux 的另一種方法是使用Crouton ，它為我們提供了一個可以更輕松地配置聲音的 Linux 發(fā)行版。讓 Supercollider 服務(wù)器運(yùn)行還有一個額外的步驟，將JACK 轉(zhuǎn)發(fā)到 CRAS 。請注意，此方法需要啟用開發(fā)者模式，這會使您的 Chromebook 保修失效。

Arduino基礎(chǔ)知識

• 代碼結(jié)構(gòu)
• 變量
• 功能

超級對撞機(jī)基礎(chǔ)

客戶端-服務(wù)器架構(gòu)

• 評估線
• 變量
• 基本振蕩器
• 合成器

加工基礎(chǔ)

• 代碼結(jié)構(gòu)
• 變量
• 功能

輕彈/天空作家 (MGC3130)

第一步是獲取位置數(shù)據(jù)。我們使用Pi Supply的 Flick Large ，但 Pimoroni 的Skywriter可以以相同的方式連接，實(shí)際上，兩者都使用相同的 Arduino 庫。Flick 有 8 個公針，兩個用于電源（VCC、GND），兩個用于數(shù)據(jù)通信（SDA、SCL）和四個數(shù)字針（TS、RESET、LED1、LED2）。前四個必須連接到Elegoo (Arduino) UNO R3中的相應(yīng)引腳，其他四個可以連接到 Elegoo 中的任何數(shù)字引腳。下面我們展示了示意圖連接，Skywriter 應(yīng)該以類似方式連接，除了在這種情況下不存在的 LED 引腳。

為了控制 Flick，我們使用 Pimoroni 的Skywriter 庫。下載后，我們通過將 Skywriter 目錄復(fù)制到 Arduino 庫目錄來安裝庫。我們現(xiàn)在可以啟動 Arduino IDE 并開始編碼。一個簡單的例子是跟蹤位置并將其顯示在串行監(jiān)視器上。為了啟用串行端口上的通信，我們包括接下來的兩個庫

#include 
#include 

然后我們初始化Arduino板如下

void setup() {
  Serial.begin(9600); //Initialise serial communication at 9600 bds
  while(!Serial){}; //We wait for the data serial port to start
  Serial.println("Hello world!"); //The port is ready!

  Skywriter.begin(10,11); //Initialise the Flick with the pins TS=D10 and RESET=D11
  
  Skywriter.onXYZ(handle_xyz); //This method records the position on the Flick and the function handle_xyz manipulates the data.
  
//We can initialise the LED pins as follows
  //pinMode (9, OUTPUT); //Red LED
  //pinMode (8, OUTPUT); //Green LED

  //We can turn on the green LED to know when the Flick is ready
  //digitalWrite (8, HIGH);
}

在這種情況下，Arduino 代碼的循環(huán)部分將只包含一行

void loop() {
  Skywriter.poll(); //Check if the status of the Flick has changed
}

此行檢查 Flick 的狀態(tài)是否已更改。如果沒有發(fā)生任何事情，我們將觀察到串行監(jiān)視器上沒有發(fā)生任何事情。如果狀態(tài)發(fā)生變化，例如將我們的手放在棋盤上，那么我們將觀察到一些動作。最簡單的方法是將位置打印為串行監(jiān)視器中的元組。以下功能可以解決問題

void handle_xyz(unsigned int x, unsigned int y, unsigned int z){
  char buf[17]; //An array of 17 characters 5 for each coordinate and two delimiters
  sprintf(buf, "%05u:%05u:%05u",x,y,z); //Record the position on the Flick
  Serial.println(buf); //Print the position to the serial port, one line at a time
}

編譯代碼并將其上傳到 Arduino 板后，我們打開串口監(jiān)視器，應(yīng)該會看到該行Hello world!（確保監(jiān)視器的速度與我們用于初始化串口的速度相匹配，本例中為 9600 bds）。如果我們將手放在 Flick 上并在它周圍移動，那么我們應(yīng)該會看到該位置一次打印一行。

Arduino 和超級對撞機(jī)

為了獲得代表數(shù)據(jù)的聲音，我們首先需要讓 Arduino 和 Supercollider 相互交談。我們通過串口通信來實(shí)現(xiàn)這一點(diǎn)，并通過一個簡單的例子來演示。我們將在 Supercollider 中播放一個簡單的 Synth，并使用 Flick 上的氣輪手勢控制它的頻率。

首先是Arduino代碼。我們像以前一樣初始化電路板，用方法更改行Skywriter.onXYZ();

Skywriter.onAirwheel(handleAirwheel); //This method records an airwheel event and returns a positive/negative value if clockwise/counterclockwise rotation is detedted

我們定義一個變量來控制正弦振蕩器的頻率：

int freq=440;

當(dāng)檢測到順時針或逆時針旋轉(zhuǎn)時，該功能handleAirwheel會增加或減少頻率的值：

void handleAirwheel (int delta){
  if(delta>0){ //Increase the frequency if clockwise rotation
    if(freq<1000){ //Upper cutoff
      freq=freq+1;
      }
  }else if(delta<0){//Decrease the frequency if counterclockwise rotation
    if(freq>1){ //Lower cutoff
      freq=freq-1;
      }
  }
}

我們在代碼的循環(huán)部分將頻率的值打印到串口：

void loop() {
  Skywriter.poll(); //Check if the status of the Flick has changed
  Serial.print(freq); //Print frequency to serial port
  Serial.print('a'); //Print a delimiter character
  delay(1);
}

我們打印一個分隔符a來輕松處理數(shù)據(jù)，并打印一個小的延遲以避免 Supercollider 中的服務(wù)器崩潰。一旦我們的 Arduino 代碼在板上運(yùn)行，我們關(guān)閉 IDE，因?yàn)橹挥幸粋€設(shè)備可以同時與串行端口通信。然后我們打開 Supercollider IDE 并啟動服務(wù)器。我們檢查下一行可用的串行端口

SerialPort.devices; //Check the available ports

帖子窗口（右下角）上的輸出應(yīng)該類似于[/dev/ttyACM0]. 然后我們定義一個新的 Serial 變量運(yùn)行下一行

~port = SerialPort.new("/dev/ttyACM0",9600);

第一個參數(shù)對應(yīng)端口的名稱，第二個參數(shù)是速度，確保這與 Arduino 代碼中的速度相匹配。然后我們需要創(chuàng)建一個從 Flick 讀取數(shù)據(jù)并將其存儲在 Supercollider 變量中的函數(shù)

(
~charArray = []; //An array to store the characters printed to the serial port
~getValues = Routine.new({ //The code inside the routine loops indefinitely
	var ascii; //Supercollider read the characters in the serial port as ascii, so we need to convert them to numbers
	{
		ascii = ~port.read.asAscii; //We read the characters one by one and convert them to digits
		if(ascii.isDecDigit, {
			~charArray = ~charArray.add(ascii)
		});
		if(ascii == $a, { //We stop reading the characters when Supercollider finds the delimiter 'a'
			~val = ~charArray.collect(_.digit).convertDigits; //We collect and combine the digits into a number
			~charArray = []; //We empty the array
		})
	}.loop;
}).play
)

然后我們定義最簡單的合成器，一個正弦波

(
SynthDef.new(\sineWave, { //Name of the Synth
	arg freq = 440; //Frequency
	var sig; //Output
	sig = SinOsc.ar(freq,0,1); //Sine oscillator with frequency freq, phase 0 and amplitude 1
	Out.ar(0,sig); //send output signal to the left speaker
}).add;
)

我們播放運(yùn)行下一行的合成器

~synth = Synth(\sineWave, [\freq, 440]);

然后我們創(chuàng)建一個例程來使用來自 Flick 的數(shù)據(jù)修改振蕩器的頻率

(
~control = Routine.new({
	{
		~synth.set(\freq, ~val.linexp(1,1000,20,2000)); //exponential map from (1;1000) to (20,2000)
		0.01.wait;
	}.loop;
}).play;
)

該例程~control以指數(shù)方式將打印到串行端口的值范圍映射到一個范圍(maximum frequency, minimum frequency)。當(dāng)人類以對數(shù)方式感知頻率時，我們使用指數(shù)圖。

如果一切正常，我們應(yīng)該聽到這樣的聲音

當(dāng)我們玩完合成器后，我們停止控制例程并釋放服務(wù)器并停止串行通信，評估以下行

~control.stop;
~synth.free;
~port.stop;

Arduino 和處理

將 Arduino 板與 Processing 進(jìn)行通信使我們能夠可視化我們的數(shù)據(jù)。通訊也是通過串口實(shí)現(xiàn)的。我們將通過一個使用手勢檢測的簡單示例來展示如何做到這一點(diǎn)。Arduino代碼和之前一樣，這次將Skywriter.onAirwheel();方法替換為

Skywriter.onGesture(handleGesture); //This method records a gesture event up/down/right/left

其中函數(shù)handleGesture定義如下

void handleGesture(unsigned char type){
  Serial.println(type,DEC);                 //Prints 2 left-right, 3 right-left, 4 bottom-top, 5 top-bottom swipe
}

現(xiàn)在要讀取處理中的數(shù)據(jù)，我們打開 IDE，加載serial庫，并設(shè)置草圖窗口

import processing.serial.*;//load serial library
Serial myPort;//define serial variable

void setup(){
  size(400,400);//size of the sketch in pixels
  background(255);//white background
  myPort = new Serial(this, "/dev/ttyACM0",9600);//Use the same serial port and communication speed used in the Arduino code 
  myPort.bufferUntil('\n');//Wait for the port to be ready
}

該變量mySerial必須定義為從我們在 Arduino 代碼中使用的相同端口讀取，并以相同的速度讀取數(shù)據(jù)。一旦我們建立通信，我們就可以使用串口中的數(shù)據(jù)。我們將創(chuàng)建一個帶有移動粒子的簡單草圖，該粒子可以在 +/- x 和 y 方向上加速，具體取決于我們在 Flick 上滑動的方向。要讀取mySerial端口中的數(shù)據(jù)，我們使用函數(shù)serialEvent()，該函數(shù)會在串行端口中有新信息可用時進(jìn)行注冊并對其進(jìn)行處理，例如

void serialEvent (Serial myPort){
  direction=int(float(myPort.readStringUntil('\n')));//Read the data in the serial port as a string one line at a time, and converts it into a integer
  gravity();//Changes the direction of the acceleration depending on the value stored in direction. 2=right, 3=left, 4=up, 5 =down.
}

在這種情況下，我們一次讀取mySerial端口中的一行數(shù)據(jù)（這是'\n'字符所指示的）并將其作為整數(shù)存儲在變量中direction。該函數(shù)gravity()會根據(jù) o 中存儲的值更改加速度，direction例如，如果我們向右滑動，粒子應(yīng)該開始向右“下落”，如下面的視頻所示。您可以在代碼部分找到草圖的詳細(xì)信息。

處理和超級對撞機(jī)

為了聽到和可視化我們的數(shù)據(jù)，我們需要讓 Processing 和 Supercollider 相互交談。與前面兩個例子不同的是，兩個平臺之間的通信不是通過串口來實(shí)現(xiàn)的，而是通過OSC 消息來實(shí)現(xiàn)的，它是專門為音樂和表演控制而設(shè)計(jì)的。我們將展示如何讓這兩個程序與一個簡單的示波器草圖進(jìn)行對話。讓我們從處理草圖開始。我們首先需要下載oscP5庫并安裝它。在 IDE 上轉(zhuǎn)到 Sketch->Import Library->Add Library 并查找 oscP5 文件。我們草圖的標(biāo)題和設(shè)置部分應(yīng)如下所示

import netP5.*;
import oscP5.*;

//Declare osc and supercollider ip address
OscP5 osc;
NetAddress supercollider; 

void setup(){
  
  size(800,400);
  
  osc = new OscP5(this,12000); //construct object osc, "this" references the Processing sketch and 12000 is the port at which it talks, this can be any number
  supercollider = new NetAddress("127.0.0.1", 57120); //construct object supercollider, 127.0.0.1 is the local IP address and 57120 the port
}

我們應(yīng)該知道我們正在與之交談的程序的IP地址，在這種情況下，我們正在向supercollider同一臺計(jì)算機(jī)上運(yùn)行的程序發(fā)送數(shù)據(jù)，因此我們使用本地IP地址127.0.0.1和端口號57120?？梢垣@取此信息通過評估NetAddr.localAddr;Supercollider 中的線。我們現(xiàn)在必須在 Supercollider 中建立通信。打開 IDE，我們要做的第一件事是使用本地 IP 和我們用于 OSC 的端口號構(gòu)造一個 Net Address 對象

~processing = NetAddr.new("127.0.0.1",12000); //Construct object processing at the local address 127.0.0.1 and port number 12000

現(xiàn)在我們將產(chǎn)生一個頻率的正弦波，freq并將這個值發(fā)送到處理。我們使用與 Arduino-Supercollider 示例中相同的 Synth，但我們將控制例程更改如下

(
//Change the frequency at random
~fr = rrand(220,3520);
~synth.set(\freq, ~fr);

//Send OSC message to Processing, '/frequency' is the name of the message and ~fr its contents
~processing.sendMsg(
	'/frequency', ~fr
);
~fr; //Print the value of the frequency as a sanity check
)

每次我們評估這些線時，我們都會改變正弦波的頻率并將其值發(fā)送到處理。要接收消息，我們使用 oscEvent() 函數(shù)

void oscEvent(OscMessage theOscMessage){
  omega=TWO_PI*float(theOscMessage.get(0).intValue())/(440*width); //convert the frequency value sent as a string from supercollider into an integer and then calculate the angular frequency 
}

在這種情況下，我們使用 OSC 消息中的數(shù)據(jù)來繪制一個角頻率為 的正弦波omega，這樣 440 Hz 波的一個周期就適合屏幕。我們還想從 Processing 向 Supercollider 發(fā)送消息，為此我們使用一個OscMessage對象。在這種情況下，我們將使用鍵盤上的向上和向下箭頭來增加正弦波的幅度/音量

void keyPressed(){//Registers when a key is pressed and stores it value on the variable key
  if(keyCode==UP){//UP,DOWN,RIGHT and LEFT are coded keys
    if(amplitude<200){//Increase amplitude
      amplitude+=10;
    }
  }else if(keyCode==DOWN){//Decrease amplitude
    if(amplitude>0){
      amplitude-=10;
    }
  }
  OscMessage msg = new OscMessage("/amplitude"); //Construct OscMessage object with name /amplitude
  msg.add(map(amplitude,0,200,0,1)); //map the amplitude to the [0,1] range and add it to the OSC message
  osc.send(msg,supercollider); //send the message
}

我們捕捉到消息并通過評估以下幾行來使用它來增加 Supercollider 中的音量

(
//This routine reads the message /amplitude from processing and uses it to control the volume of the sine wave
OSCdef('volume',{
	arg msg;//This variable stores the message
	~synth.set(\amp,msg[1]);//component [0] contains the OSC address, [1], [2],... contain the values added to the message
	},"/amplitude"); //the OSC message we are listening to
)

為了讓這個示例運(yùn)行，我們首先在 Processing 中播放草圖，然后評估 Supercollider 代碼。特別是，我們必須運(yùn)行，OSCdef 以便 Supercollider 監(jiān)聽來自 Processing 的消息。在下面的視頻中，您可以看到此示例的工作原理，您可以下載代碼以查看詳細(xì)信息。

數(shù)學(xué)之聲

我們現(xiàn)在準(zhǔn)備把它們放在一起并聽一些數(shù)據(jù)。例如，我們可以根據(jù)輸出信號的音量來推斷分布的形狀

?

添加觸覺反饋

我們可以通過使用跟蹤數(shù)據(jù)產(chǎn)生振動來增加另一個層次的感覺。為此，我們?yōu)閭鞲衅鳂?gòu)建了一個外殼，它允許我們安裝一個顯示器，我們可以使用微型振動電機(jī)使其振動。由于這需要定制零件，我們將對外殼進(jìn)行建模并進(jìn)行 3D 打印。我們可以使用幾個免費(fèi)軟件工具來解決這個問題，例如適用于 Linux 的FreeCAD或在線選項(xiàng)Fusion 360和OnShape 。每一個都有幾個在線教程和資源，但在我看來，OnShape 是最容易使用和學(xué)習(xí)最快的. 您可以在附件部分找到 skywriter 原型案例的 stl 文件。這種情況應(yīng)該允許在傳感器頂部安裝一塊透明的亞克力板，作為“觸覺顯示器”。我們可以將振動電機(jī)粘附在亞克力板上，使用跟蹤數(shù)據(jù)激活。例如在上面的例子中，我們可以根據(jù)每個分布中點(diǎn)的局部密度來增加振動強(qiáng)度。

不幸的是，在使用振動反饋對傳感器進(jìn)行測試后，我們發(fā)現(xiàn)運(yùn)動跟蹤器在封裝時的準(zhǔn)確性并不是那么好。因此，跟蹤數(shù)據(jù)是嘈雜的，并沒有給出公平的表示。也許，使用不同類型的傳感器可能會很方便，例如 Sparkfun 的ZXgesture傳感器。

參考

[1] Cryer, H. (2013)。“向盲人和弱視學(xué)生教授 STEM 科目：文獻(xiàn)回顧和資源”。RNIB 無障礙信息中心，伯明翰：文獻(xiàn)綜述 #6。

?