Machine assistant – ett hjälpmedel för maskinoperatörer

Machine assistant utvecklades för projekt Smarta Fabriker inom ramen för kandidatexamensarbetet Kompetenselevering inom industrin medelst förstärkt verklighet av Daniel Felczak och Magnus Larsson i samarbete med Cybercom under 2018. Arbetet har resulterat i en Hololens-applikation som bygger på förstärkt verklighet.

Machine assistant är ett verktyg vars syfte är att assistera användaren med den information som är nödvändig för att lösa en uppgift relaterad till en maskin. Användaren vägleds med textinstruktioner samt hologram, indikationsmasker och vägledningssymboler, placerade relativt maskinen. Verktyget används med smartglasögonen HoloLens, som har kapacitet för uppspelning av förstärkt verklighet-material.

Applikationen startas av användaren genom HoloLens ordinarie användargränssnitt, där de primära interaktionsmetoderna utgörs av markör placerad mitt i synfältet samt gesten Air tap. Gesten utförs med en nyprörelse och tillåter användaren att genomföra det primära klicket.

Vid start av applikationen möts användaren av huvudmenyn. Huvudmenyn utgörs av alternativen Start, Help och About. Tryck på knappen Start för användaren till maskinidentifieringssteget. 

Huvudmenyn
Huvudmenyn

Under maskinidentifieringssteget identifieras den maskin för vilken instruktioner ska ges, vilket löses genom inskanning av QR-kod som behandlas med biblioteket ZXing.  Användaren instrueras att betrakta den QR-kod som hör till maskinen, och när användaren har gjort så och inläsning har lyckats startas resursinsamlingssteget.

Inskanning Av Qr Kod
Inskanning av QR-kod för identifiering av maskin.

Resursinsamlingssteget går ut på att hämta, och därefter förbereda, de resurser som behövs under instruktionssession med maskinen från en server. Resurserna utgörs av instruktionernas text- och relationsdata samt 3D-modeller. När resurserna har insamlats och förberetts startar maskinlokaliseringssteget.

Maskinlokaliseringssteget sker med hjälp av föremålsspårningssystemet VisionLib. Användaren visas en 3D-modell av hela maskinen, en modell som fungerar som ett slags sikte. Detta sikte ska användaren genom huvudrörelse placera ungefär där den reella maskinens befinner sig. När användaren så har gjort bestämmer föremålsspårningen automatiskt maskinens position och instruktionssteget tar därefter vid.

Bestämning Av Maskinens Position Före
Bestämning av maskinens position.

I instruktionssteget visas en instruktionsmeny. I en lista i instruktionsmenyn väljer användaren först en instruktionsuppsättning, vilket leder till att instruktionsmenyn övergår till instruktionsstegsläge. I detta läge visas instruktionsstegets beskrivning, och associerade hologram, indikationsmasker och vägledningssymboler, visas i anslutning till maskinen. Med knapparna Next och Previous kan användaren flytta framåt och bakåt i instruktionsuppsättningens steg. Dessa funktioner kan även utföras med röstkommandon.

Instruktionsmenyn I Instruktionsstegsläge
Instruktionsmenyn i instruktionsstegsläge.

Genom att med hjälp av texten, indikationsmaskerna och vägledningssymbolerna följa stegen i instruktionsuppsättningen kan användaren lösa uppgiften även utan förkunskap.

Examensarbetet Kompetenselevering inom industrin medelst förstärkt verklighet har styrkt att det är möjligt att åstadkomma ett förstärkt verklighet-hjälpmedel för maskinoperatörer. Dock beroende på applikation indikerade förstudien beträffande tillämpbarhet att Machine assistant inte är konkurrenskraftigt jämfört med exempelvis filminstruktioner på grund av den ytterligare användarinteraktion och tidsåtgång vid uppstart som verktyget kräver.

Länk till examensarbetet: http://publications.lib.chalme...

Nedan är en film som visar hur applikationen fungerar:


Taggar

Artikeln är taggad med följande taggar. Klicka på en tagg för att se alla artiklar med samma taggning.

Artikeln är kategoriserat som Avancerat  |  Publicerad 2018-08-06  |  Skriven av Johan Bengtsson