步驟1：硬件

這是我以前用來構(gòu)建的這個(gè)。我使用來自phidgets.com的部件以及我躺在房子周圍的東西100％構(gòu)建它。

Phidgets Boards，Motors，Hardware

HUB0000 - VINT Hub Phidget

1108 - 磁傳感器

2x STC1001 - 2.5A Stepper Phidget

2x 3324 - 42STH38 NEMA-17雙極無齒輪步進(jìn)器

3x 3002 - Phidget電纜60厘米

3403 - USB2.0 4端口集線器

3031 - 母尾5.5x2.1mm

3029 - 2線100‘絞線

3604 - 10mm白色LED（10個(gè)袋子）

3402 - USB網(wǎng)絡(luò)攝像頭

其他部件

24VDC 2.0A電源

車庫(kù)廢木和金屬

拉鏈

底部切斷的塑料容器

第2步：設(shè)計(jì)機(jī)器人

我們需要設(shè)計(jì)一些可以從輸入料斗中取出一個(gè)珠子，將其放在網(wǎng)絡(luò)攝像頭下，然后將其移動(dòng)到適當(dāng)?shù)南渥又械臇|西。

珠子皮卡

我決定用2片圓形膠合板做第1部分，每個(gè)膠合板在同一個(gè)地方鉆一個(gè)洞。底部件固定，頂部件連接到步進(jìn)電機(jī)，步進(jìn)電機(jī)可以在裝有珠子的料斗下方旋轉(zhuǎn)。當(dāng)孔在料斗下移動(dòng)時(shí)，它會(huì)拾取一個(gè)珠子。然后我可以在網(wǎng)絡(luò)攝像頭下旋轉(zhuǎn)它，然后進(jìn)一步旋轉(zhuǎn)，直到它與底部的孔匹配，此時(shí)它就會(huì)落下。

在這張圖片中，我正在測(cè)試系統(tǒng)能行得通。一切都是固定的，除了頂部的圓形膠合板，它與下面的步進(jìn)電機(jī)相連。網(wǎng)絡(luò)攝像頭尚未安裝。我現(xiàn)在只是使用Phidget控制面板轉(zhuǎn)向電機(jī)。

珠子存儲(chǔ)

下一部分是設(shè)計(jì)用于保持每種顏色的bin系統(tǒng)。我決定使用下面的第二個(gè)步進(jìn)電機(jī)來支撐和旋轉(zhuǎn)具有均勻間隔隔間的圓形容器。這可以用來旋轉(zhuǎn)珠子將從其中掉出的孔下方的正確隔間。

我使用紙板和膠帶來構(gòu)建它。這里最重要的是一致性 - 每個(gè)隔間應(yīng)該是相同的尺寸，整個(gè)東西應(yīng)該均勻加重，以便旋轉(zhuǎn)而不會(huì)跳過。

通過緊密貼合的蓋子完成珠子的移除一次只有一個(gè)隔間，所以可以倒出珠子。

攝像頭

網(wǎng)絡(luò)攝像頭安裝在料斗和下板孔位置之間的頂板上。這允許系統(tǒng)在掉落之前觀察珠子。 LED用于照亮相機(jī)下方的珠子，并且環(huán)境光被阻擋，以提供一致的照明環(huán)境。這對(duì)于準(zhǔn)確的顏色檢測(cè)非常重要，因?yàn)榄h(huán)境光可以真正地消除感知顏色。

位置檢測(cè)

系統(tǒng)能夠檢測(cè)到珠子的旋轉(zhuǎn)非常重要分隔器。這用于在啟動(dòng)時(shí)設(shè)置初始位置，但也用于檢測(cè)步進(jìn)電機(jī)是否已經(jīng)不同步。在我的系統(tǒng)中，一個(gè)珠子有時(shí)會(huì)在拾取時(shí)卡住，系統(tǒng)需要能夠檢測(cè)并處理這種情況 - 通過備份和嘗試agian。

有很多方法可以處理這個(gè)（事情。我決定使用1108磁傳感器，在頂板的邊緣嵌入磁鐵。這允許我驗(yàn)證每次旋轉(zhuǎn)的位置。一個(gè)更好的解決方案可能是步進(jìn)電機(jī)上的編碼器，但我有一個(gè)1108左右，所以我使用它。

完成機(jī)器人

此時(shí)，一切都已經(jīng)完成出來，并測(cè)試。現(xiàn)在是時(shí)候安裝好所有東西并轉(zhuǎn)向編寫軟件。

2個(gè)步進(jìn)電機(jī)由STC1001步進(jìn)控制器驅(qū)動(dòng)。 HUB000-USB VINT集線器用于運(yùn)行步進(jìn)控制器，以及讀取磁傳感器和驅(qū)動(dòng)LED。網(wǎng)絡(luò)攝像頭和HUB0000都連接到一個(gè)小型USB集線器。使用3031引線和一些電線以及24V電源為電機(jī)供電。

步驟3：編寫代碼

C＃和Visual Studio 2015用于此項(xiàng)目。下載本頁(yè)頂部的源代碼并按照步驟進(jìn)行操作 - 主要部分概述如下

初始化

首先，我們必須創(chuàng)建，打開和初始化Phidget對(duì)象。這是在表單加載事件和Phidget附加處理程序中完成的。

private void Form1_Load（object sender， EventArgs e） {

/* Initialize and open Phidgets */

top.HubPort = 0;

top.Attach += Top_Attach;

top.Detach += Top_Detach;

top.PositionChange += Top_PositionChange;

top.Open（）;

bottom.HubPort = 1;

bottom.Attach += Bottom_Attach;

bottom.Detach += Bottom_Detach;

bottom.PositionChange += Bottom_PositionChange;

bottom.Open（）;

magSensor.HubPort = 2;

magSensor.IsHubPortDevice = true;

magSensor.Attach += MagSensor_Attach;

magSensor.Detach += MagSensor_Detach;

magSensor.SensorChange += MagSensor_SensorChange;

magSensor.Open（）;

led.HubPort = 5;

led.IsHubPortDevice = true;

led.Channel = 0;

led.Attach += Led_Attach;

led.Detach += Led_Detach;

led.Open（）;

}

private void Led_Attach（object sender， Phidget22.Events.AttachEventArgs e） {

ledAttachedChk.Checked = true;

led.State = true;

ledChk.Checked = true;

}

private void MagSensor_Attach（object sender， Phidget22.Events.AttachEventArgs e） {

magSensorAttachedChk.Checked = true;

magSensor.SensorType = VoltageRatioSensorType.PN_1108;

magSensor.DataInterval = 16;

}

private void Bottom_Attach（object sender， Phidget22.Events.AttachEventArgs e） {

bottomAttachedChk.Checked = true;

bottom.CurrentLimit = bottomCurrentLimit;

bottom.Engaged = true;

bottom.VelocityLimit = bottomVelocityLimit;

bottom.Acceleration = bottomAccel;

bottom.DataInterval = 100;

}

private void Top_Attach（object sender， Phidget22.Events.AttachEventArgs e） {

topAttachedChk.Checked = true;

top.CurrentLimit = topCurrentLimit;

top.Engaged = true;

top.RescaleFactor = -1;

top.VelocityLimit = -topVelocityLimit;

top.Acceleration = -topAccel;

top.DataInterval = 100;

}

我們還在初始化期間讀取任何已保存的顏色信息，因此可以繼續(xù)之前的運(yùn)行。

電機(jī)定位

電機(jī)處理代碼包括用于移動(dòng)電機(jī)的便利功能。我使用的電機(jī)每轉(zhuǎn)3，200 1/16步，所以我為此創(chuàng)建了一個(gè)常量。

對(duì)于頂部電機(jī)，我們希望能夠?qū)?個(gè)位置發(fā)送到電機(jī)：網(wǎng)絡(luò)攝像頭，孔和定位磁鐵。有一個(gè)功能可以到達(dá)每個(gè)位置：

private void nextMagnet（Boolean wait = false） {

double posn = top.Position % stepsPerRev;

top.TargetPosition += （stepsPerRev - posn）;

if （wait）

while （top.IsMoving）

Thread.Sleep（50）;

}

private void nextCamera（Boolean wait = false） {

double posn = top.Position % stepsPerRev;

if （posn 《 Properties.Settings.Default.cameraOffset）

top.TargetPosition += （Properties.Settings.Default.cameraOffset - posn）;

else

top.TargetPosition += （（Properties.Settings.Default.cameraOffset - posn） + stepsPerRev）;

if （wait）

while （top.IsMoving）

Thread.Sleep（50）;

}

private void nextHole（Boolean wait = false） {

double posn = top.Position % stepsPerRev;

if （posn 《 Properties.Settings.Default.holeOffset）

top.TargetPosition += （Properties.Settings.Default.holeOffset - posn）;

else

top.TargetPosition += （（Properties.Settings.Default.holeOffset - posn） + stepsPerRev）;

if （wait）

while （top.IsMoving）

Thread.Sleep（50）;

}

在開始運(yùn)行之前，使用磁傳感器對(duì)齊頂板?？梢噪S時(shí)調(diào)用alignMotor函數(shù)來對(duì)齊頂板。該功能首先快速將板轉(zhuǎn)動(dòng)至1轉(zhuǎn)，直至其磁鐵數(shù)據(jù)高于閾值。然后它稍微后退一點(diǎn)并慢慢向前移動(dòng)，捕捉傳感器數(shù)據(jù)。最后，它將位置設(shè)置為最大磁鐵數(shù)據(jù)位置，并將位置偏移重置為0.因此，最大磁鐵位置應(yīng)始終為（top.Position％stepsPerRev）

Thread alignMotorThread;

Boolean sawMagnet;

double magSensorMax = 0;

private void alignMotor（） {

//Find the magnet

top.DataInterval = top.MinDataInterval;

sawMagnet = false;

magSensor.SensorChange += magSensorStopMotor;

top.VelocityLimit = -1000;

int tryCount = 0;

tryagain：

top.TargetPosition += stepsPerRev;

while （top.IsMoving && ！sawMagnet）

Thread.Sleep（25）;

if （！sawMagnet） {

if （tryCount 》 3） {

Console.WriteLine（“Align failed”）;

top.Engaged = false;

bottom.Engaged = false;

runtest = false;

return;

}

tryCount++;

Console.WriteLine（“Are we stuck？ Trying a backup.。.”）;

top.TargetPosition -= 600;

while （top.IsMoving）

Thread.Sleep（100）;

goto tryagain;

}

top.VelocityLimit = -100;

magData = new List》（）;

magSensor.SensorChange += magSensorCollectPositionData;

top.TargetPosition += 300;

while （top.IsMoving）

Thread.Sleep（100）;

magSensor.SensorChange -= magSensorCollectPositionData;

top.VelocityLimit = -topVelocityLimit;

KeyValuePair max = magData［0］;

foreach （KeyValuePair pair in magData）

if （pair.Value 》 max.Value）

max = pair;

top.AddPositionOffset（-max.Key）;

magSensorMax = max.Value;

top.TargetPosition = 0;

while （top.IsMoving）

Thread.Sleep（100）;

Console.WriteLine（“Align succeeded”）;

}

List》 magData;

private void magSensorCollectPositionData（object sender， Phidget22.Events.VoltageRatioInputSensorChangeEventArgs e） {

magData.Add（new KeyValuePair（top.Position， e.SensorValue））;

}

private void magSensorStopMotor（object sender， Phidget22.Events.VoltageRatioInputSensorChangeEventArgs e） {

if （top.IsMoving && e.SensorValue 》 5） {

top.TargetPosition = top.Position - 300;

magSensor.SensorChange -= magSensorStopMotor;

sawMagnet = true;

}

}

最后，通過將底部馬達(dá)發(fā)送到其中一個(gè)胎圈容器位置來控制底部馬達(dá)。對(duì)于這個(gè)項(xiàng)目，我們有19個(gè)職位。算法選擇最短路徑，順時(shí)針或逆時(shí)針轉(zhuǎn)動(dòng)。

private int BottomPosition {

get {

int posn = （int）bottom.Position % stepsPerRev;

if （posn 《 0）

posn += stepsPerRev;

return （int）Math.Round（（（posn * beadCompartments） / （double）stepsPerRev））;

}

}

private void SetBottomPosition（int posn， bool wait = false） {

posn = posn % beadCompartments;

double targetPosn = （posn * stepsPerRev） / beadCompartments;

double currentPosn = bottom.Position % stepsPerRev;

double posnDiff = targetPosn - currentPosn;

// Keep it as full steps

posnDiff = （（int）（posnDiff / 16）） * 16;

if （posnDiff 《= 1600）

bottom.TargetPosition += posnDiff;

else

bottom.TargetPosition -= （stepsPerRev - posnDiff）;

if （wait）

while （bottom.IsMoving）

Thread.Sleep（50）;

}

攝像機(jī)

OpenCV用于從網(wǎng)絡(luò)攝像頭讀取圖像。在啟動(dòng)主排序線程之前啟動(dòng)相機(jī)線程。該線程不斷讀入圖像，使用Mean計(jì)算特定區(qū)域的平均顏色并更新全局顏色變量。該線程還使用HoughCircles來檢測(cè)珠子或頂板上的孔，以細(xì)化它正在尋找顏色檢測(cè)的區(qū)域。閾值和HoughCircles數(shù)字是通過反復(fù)試驗(yàn)確定的，并且在很大程度上取決于網(wǎng)絡(luò)攝像頭，光照和間距。

bool runVideo = true;

bool videoRunning = false;

VideoCapture capture;

Thread cvThread;

Color detectedColor;

Boolean detecting = false;

int detectCnt = 0;

private void cvThreadFunction（） {

videoRunning = false;

capture = new VideoCapture（selectedCamera）;

using （Window window = new Window（“capture”）） {

Mat image = new Mat（）;

Mat image2 = new Mat（）;

while （runVideo） {

capture.Read（image）;

if （image.Empty（））

break;

if （detecting）

detectCnt++;

else

detectCnt = 0;

if （detecting || circleDetectChecked || showDetectionImgChecked） {

Cv2.CvtColor（image， image2， ColorConversionCodes.BGR2GRAY）;

Mat thres = image2.Threshold（（double）Properties.Settings.Default.videoThresh， 255， ThresholdTypes.Binary）;

thres = thres.GaussianBlur（new OpenCvSharp.Size（9， 9）， 10）;

if （showDetectionImgChecked）

image = thres;

if （detecting || circleDetectChecked） {

CircleSegment［］ bead = thres.HoughCircles（HoughMethods.Gradient， 2， /*thres.Rows/4*/ 20， 200， 100， 20， 65）;

if （bead.Length 》= 1） {

image.Circle（bead［0］.Center， 3， new Scalar（0， 100， 0）， -1）;

image.Circle（bead［0］.Center， （int）bead［0］.Radius， new Scalar（0， 0， 255）， 3）;

if （bead［0］.Radius 》= 55） {

Properties.Settings.Default.x = （decimal）bead［0］.Center.X + （decimal）（bead［0］.Radius / 2）;

Properties.Settings.Default.y = （decimal）bead［0］.Center.Y - （decimal）（bead［0］.Radius / 2）;

} else {

Properties.Settings.Default.x = （decimal）bead［0］.Center.X + （decimal）（bead［0］.Radius）;

Properties.Settings.Default.y = （decimal）bead［0］.Center.Y - （decimal）（bead［0］.Radius）;

}

Properties.Settings.Default.size = 15;

Properties.Settings.Default.height = 15;

} else {

CircleSegment［］ circles = thres.HoughCircles（HoughMethods.Gradient， 2， /*thres.Rows/4*/ 5， 200， 100， 60， 180）;

if （circles.Length 》 1） {

List xs = circles.Select（c =》 c.Center.X）.ToList（）;

xs.Sort（）;

List ys = circles.Select（c =》 c.Center.Y）.ToList（）;

ys.Sort（）;

int medianX = （int）xs［xs.Count / 2］;

int medianY = （int）ys［ys.Count / 2］;

if （medianX 》 image.Width - 15）

medianX = image.Width - 15;

if （medianY 》 image.Height - 15）

medianY = image.Height - 15;

image.Circle（medianX， medianY， 100， new Scalar（0， 0， 150）， 3）;

if （detecting） {

Properties.Settings.Default.x = medianX - 7;

Properties.Settings.Default.y = medianY - 7;

Properties.Settings.Default.size = 15;

Properties.Settings.Default.height = 15;

}

}

}

}

}

Rect r = new Rect（（int）Properties.Settings.Default.x，

（int）Properties.Settings.Default.y，

（int）Properties.Settings.Default.size，

（int）Properties.Settings.Default.height）;

Mat beadSample = new Mat（image， r）;

Scalar avgColor = Cv2.Mean（beadSample）;

detectedColor = Color.FromArgb（（int）avgColor［2］， （int）avgColor［1］， （int）avgColor［0］）;

image.Rectangle（r， new Scalar（0， 150， 0））;

window.ShowImage（image）;

Cv2.WaitKey（1）;

videoRunning = true;

}

videoRunning = false;

}

}

private void cameraStartBtn_Click（object sender， EventArgs e） {

if （cameraStartBtn.Text == “start”） {

cvThread = new Thread（new ThreadStart（cvThreadFunction））;

runVideo = true;

cvThread.Start（）;

cameraStartBtn.Text = “stop”;

while （！videoRunning）

Thread.Sleep（100）;

updateColorTimer.Start（）;

} else {

runVideo = false;

cvThread.Join（）;

cameraStartBtn.Text = “start”;

}

}

顏色

現(xiàn)在，我們可以確定珠子的顏色，并根據(jù)該顏色決定將其放入哪個(gè)容器。

這個(gè)步驟依賴于顏色比較。我們希望能夠區(qū)分顏色以限制誤報(bào)，但也允許足夠的閾值來限制假陰性。比較顏色實(shí)際上是非常復(fù)雜的，因?yàn)橛?jì)算機(jī)將顏色存儲(chǔ)為RGB的方式，以及人類感知顏色的方式并不是線性相關(guān)的。更糟糕的是，還必須考慮在下面觀察顏色的光的顏色。

有復(fù)雜的計(jì)算色差的算法。我們使用CIE2000，如果2種顏色與人類無法區(qū)分，則輸出接近1的數(shù)字。我們使用ColorMine C＃庫(kù)來完成這些復(fù)雜的計(jì)算。已發(fā)現(xiàn)DeltaE值為5可在假陽(yáng)性和假陰性之間提供良好的折衷。

由于容器通常有更多顏色，因此最后一個(gè)位置保留為捕獲箱。我通常將這些設(shè)置為第二次通過機(jī)器。

List

colors = new List

（）;

List

colorPanels = new List

（）;

List colorsTxts = new List（）;

List colorCnts = new List（）;

const int numColorSpots = 18;

const int unknownColorIndex = 18;

int findColorPosition（Color c） {

Console.WriteLine（“Finding color.。.”）;

var cRGB = new Rgb（）;

cRGB.R = c.R;

cRGB.G = c.G;

cRGB.B = c.B;

int bestMatch = -1;

double matchDelta = 100;

for （int i = 0; i 《 colors.Count; i++） {

var RGB = new Rgb（）;

RGB.R = colors［i］.R;

RGB.G = colors［i］.G;

RGB.B = colors［i］.B;

double delta = cRGB.Compare（RGB， new CieDe2000Comparison（））;

//double delta = deltaE（c， colors［i］）;

Console.WriteLine（“DeltaE （” + i.ToString（） + “）： ” + delta.ToString（））;

if （delta 《 matchDelta） {

matchDelta = delta;

bestMatch = i;

}

}

if （matchDelta 《 5） {

Console.WriteLine（“Found！ （Posn： ” + bestMatch + “ Delta： ” + matchDelta + “）”）;

return bestMatch;

}

if （colors.Count 《 numColorSpots） {

Console.WriteLine（“New Color！”）;

colors.Add（c）;

this.BeginInvoke（new Action（setBackColor）， new object［］ { colors.Count - 1 }）;

writeOutColors（）;

return （colors.Count - 1）;

} else {

Console.WriteLine（“Unknown Color！”）;

return unknownColorIndex;

}

}

排序邏輯

排序功能將所有部分匯集在一起以實(shí)際排序珠子。該函數(shù)在專用線程中運(yùn)行;移動(dòng)頂板，檢測(cè)珠子顏色，將其放入垃圾箱，確保頂板保持對(duì)齊，計(jì)數(shù)珠子等。當(dāng)垃圾箱變滿時(shí)，它也會(huì)停止運(yùn)行 - 否則我們最終會(huì)溢出珠子。

Thread colourTestThread;

Boolean runtest = false;

void colourTest（） {

if （！top.Engaged）

top.Engaged = true;

if （！bottom.Engaged）

bottom.Engaged = true;

while （runtest） {

nextMagnet（true）;

Thread.Sleep（100）;

try {

if （magSensor.SensorValue 《 （magSensorMax - 4））

alignMotor（）;

} catch { alignMotor（）; }

nextCamera（true）;

detecting = true;

while （detectCnt 《 5）

Thread.Sleep（25）;

Console.WriteLine（“Detect Count： ” + detectCnt）;

detecting = false;

Color c = detectedColor;

this.BeginInvoke（new Action

（setColorDet）， new object［］ { c }）;

int i = findColorPosition（c）;

SetBottomPosition（i， true）;

nextHole（true）;

colorCnts［i］++;

this.BeginInvoke（new Action（setColorTxt）， new object［］ { i }）;

Thread.Sleep（250）;

if （colorCnts［unknownColorIndex］ 》 500） {

top.Engaged = false;

bottom.Engaged = false;

runtest = false;

this.BeginInvoke（new Action（setGoGreen）， null）;

return;

}

}

}

private void colourTestBtn_Click（object sender， EventArgs e） {

if （colourTestThread == null || ！colourTestThread.IsAlive） {

colourTestThread = new Thread（new ThreadStart（colourTest））;

runtest = true;

colourTestThread.Start（）;

colourTestBtn.Text = “STOP”;

colourTestBtn.BackColor = Color.Red;

} else {

runtest = false;

colourTestBtn.Text = “GO”;

colourTestBtn.BackColor = Color.Green;

}

}

此時(shí)，我們有一個(gè)工作程序。一些代碼被遺漏在文章之外，所以看一下實(shí)際運(yùn)行它的源代碼。