Instance Segmentation and Pose Estimation of Assembly Parts Using Deep Learning and Synthetic Data Generation

Abstract

Ved å bestemme nøyaktig translasjon og rotasjon av objekter, kan mer sofistikerte hjelpesystemer og roboter utmerke seg i en rekke scenarier og næringer. På fabrikkene i Volvo, foregår det kontinuerlig forskning som ser på integrerte samarbeidende robotsystemer for samarbeidende montering, frittstående plukking fra bokser og kvalitetsinspeksjon. Objektgjenkjenning, instans-segmentering og estimering av posisjon og rotasjon er identifisert som avgjørende komponenter for å løse disse problemene. Målet er å implementere fleksible og helhetlige løsninger, hvor nye monteringsdeler enkelt kan integreres. På grunn av dette er implementeringen begrenset til bruk av syntetisk data og RGB-bilder.\n\nI denne avhandlingen trenes to forskjellige nettverk utelukkende på renderte data, og deres egnethet for forskjellige applikasjoner blir vurdert. Vi viser at for segmenteringsoppgaver, generaliserer MaskRCNN godt til ekte bilder, men ytelsen forverres når scenen blir utsatt for direkte lys eller når objektene er delvis skjult. Videre evalueres ytelsen ved bruk av ulike typer manipulert data. Problemene som oppstår ved optimalisering av modeller med hensyn på ekte bilder, selv om kun syntetisk data er brukt som datasett, blir også drøftet.\n\nEt grafisk renderingsverktøy, Blender Python API, ble brukt til å generere datasett for de to forskjellige nettverkene. Sammenlignet med tidligere arbeid, som denne oppgaven er bygget på, ble klasselisten utvidet, og tilfeldige parametere ble fjernet. De renderte gjenstandene ble deretter komponert med bilder fra SUN2012 Pascal samlingen som bakgrunn. Begge nettverkene ble trent på dette datagrunnlaget og deretter evaluert ved hjelp av følgende evalueringsmåter: Interseksjon over union (IoU) for semantisk merking og gjennomsnittlig avstand (ADD) for estimering av posisjon og rotasjon.\n\nPVNet bruker et grunnere nettverk for semantisk segmentering av objekter og oppnår gode resultater på syntetisk valideringsdata, men mer varierende resultater når man validerer på ekte bilder. Ved syntetisk validering oppnådde vi lignende resultat ved estimering av posisjon og rotasjon ved å bruke monteringsdeler som vi gjorde ved bruk av et LineMod-objekt med LineMod-innstillingene. Dette betyr at vi kan forvente lignende resultater som PVNets forfatter oppnådde med "ferdig" trente modeller ved 200 epoker. På ekte bilder forverres metoden etter 50 epoker. Graden av nøyaktighet kan være god nok til plukking fra bokser, men mer nøyaktighet er nødvendig for å kunne implementere den i systemer rettet mot kvalitetsinspeksjon.