Automatisk detektering av muttrar hos AB Volvo

Varje lastbilsram har två sidor med muttrar som måste dras, i genomsnitt innehåller varje ram ungefär 200 bultar. Vissa muttrar placeras åt andra hållet (inverterade) för att visa nästkommande station att dessa inte skall dras, cirka 30 av bultarna är inverterade bultar.

Lastbilen rör sig långsamt över monteringsstationen under hela taktiden som är cirka 5 minuter i dagsläget. Idag arbetar två montörer på varje sida med pneumatiska skruvdragare. De delar ramen i en övre och en undre nivå för att undvika att dra åt samma muttrar.

Ett av målen är att undersöka om en robot skulle kunna användas för åtdragning och om ett vision system skulle kunna användas för dedektering av muttrarna så att roboten vet vilka som skall dras.

Målet med detta experiment var att undersöka om det går att använda vanliga webkameror för att lära systemet vilka muttrar som skall dras, utforska vilken algoritm som lämpar sig bäst samt att påvvisa en hög kvalitet på detekteringen.

För att se vilka muttrar som skall dras användes machine learning med övervakad träning. Implementationen gjordes i programvaran Tenserflow. I övervakad träning krävs att alla bilder är märkta, så för varje bild användes LabelImg.

Totalt testades två olika algoritmer (SSD och R-CNN) och fyra olika antal bilder (119,141,124,322) för att se hur många bilder som krävdes för att få en noggranhet över 95 procent. Positionen av bultarna räknas ut genom att mäta avståndet till ramen och kameras field of view, illustrerat i figuren nedan.

På varje bild finns ett antal bultar som skall dras och ett antal inveterade bultar som inte skall dras. Genom att lära algoritmen hur de olika bultarna ser ut kan programmet sedan räkna ut vilka bultar som är vilka, ett sådant resultat ses nedan. Det bästa resultatet fick genom att använda Faster R-CNN algoritmen och 322 bilder. På dessa bilder fanns totalt 1496 bultar varav 928 var bultar som skulle dras och 568 bultar som var inveterade.

Resultatet visar en 99 procentig detektering av vilken typ av bult det är. Flexibiliteten i detta gör att oberoende var bultarna sitter i kamerans field of view så kan algoritmen tala om vilken typ av bult det är. Detta är en förutsättning eftersom varje lastbil ser olika ut så gör det att variant floran är mycket stor. Även om roboten i dagsläget inte skruvar bultarna skulle detta vara möjligt att testa med. Ett testverktygs gjordes som går in och simulerar en skruvning.

Målet med experimentet var att testa olika algoritmer och undersöka om det var möjligt att använda vanliga webkameror för detektering. Fortsatt forskning och testning behövs för att en implementation skall ske, rörliga objekt och testning i verklig miljö hade varit intressant att testa. Även ytterligare optimering av beräkningar och träning hade kunnat göras.

Ytterligare frågeställningar som kollaborativ arbetsplats eller helautomatiserade stationer är också intressant att ta vidare från detta experiment.

Filmen visar en sammanfattning av experimentet.

Mer information

För mer information, kan du:

• Läsa denna forskningsartikel om äntring av muttrar: https://research.chalmers.se/publication/504487
• Kontakta Åsa Fast-Berglund, Biträdande Professor inom smart automation på IMS, Chalmers, https://www.chalmers.se/en/sta...