Dat varkensvlees een belangrijk voedingsproduct is voor de Vlaamse voedingsindustrie staat als een paal boven water. De varkensvlees verwerkende keten is in Vlaanderen sterk verankerd door traditioneel/familiaal opgebouwde ’knowhow’ en is van belangrijke economisch toegevoegde waarde. Maar ook deze sector gaat mee met zijn tijd en kijkt waar digitalisatie en automatisatie het verwerkingsproces kunnen vereenvoudigen.
Een voorbeeld van een proces dat vatbaar is voor verbetering is het handmatige en arbeidsintensieve uitbeenproces van varkensschouders. Momenteel wordt dit proces uitgevoerd door vakbekwame operators in vleesverwerkingsbedrijven. Echter, de expertise van deze mensen wordt steeds zeldzamer en zo verloopt de aanwerving van nieuwe medewerkers steeds moeilijker. Bovendien opereren zij onder uitdagende omstandigheden, waaronder lage temperaturen, strikte hygiënemaatregelen, hoge arbeidsintensiteit en repetitieve handelingen, waarbij het gebruik van scherpe gereedschappen het risico op arbeidsongevallen verhoogt. De sector is dan ook op zoek naar een duurzame oplossing om deze verwerkingsstap aan de hand van automatisatie te vergemakkelijken of te vervangen door een vleessnijrobot. Deze automatisatie kan de precisie van het snijden verhogen en zo voedingsverliezen reduceren. Dergelijke robots hebben wel de juiste inputs nodig om het versnijden juist uit te voeren, op basis van sensoren en beelden. Idealiter kan de robot ook inwendig kijken zodat hij weet waar de beenderen zitten om uit te snijden. Zo wordt hij dan zelfs een beetje slimmer dan de mens.
Om inwendig te kijken, zijn in de medische wereld CT-scans alom gekend. Deze scans geven gedetailleerde 3D-beelden die zouden kunnen dienen als input voor geautomatiseerde snijmachines. Maar CT-systemen zijn duur en complex, wat hen minder interessant maakt voor inline toepassingen in de voedingsindustrie. Daarentegen worden inline X-ray scanners al veel gebruikt in de industrie. Die goedkopere scanners maken slechts 2D beelden maar met behulp van AI-modellen kunnen die automatisch en zeer snel vertaald worden in geschikte informatie als input voor de geautomatiseerde snijmachines.
De afdeling MeBioS van KU Leuven heeft in het project iMeat o.a. onderzocht hoe aan de hand van een enkele inline X-ray projectie van de varkensschouder, een 2D model van het schouderbeen kan worden voorspeld. Dit 2D model kan vervolgens gebruikt worden als input voor een automatische snijmachine om het uitbeenproces te begeleiden. Ondertussen werkt het team ook al aan een 3D versie van het AI model. Het iMeat project is een samenwerking van MeBioS met Marelec Construct, Dierendonck Butchery, Vleescentrale O.S. en Flanders’ FOOD.
Een unieke database van 3D beelden van varkensschouders
Het onderzoek startte met het verzamelen en analyseren van CT-scans gemaakt van een groot aantal varkensschouders, zowel linker- als rechterschouders. De varkensschouders waren afkomstig van DanBred en Large White zeugen die geïnsemineerd werden met Belgische Piétrain beren.
De CT scans (Figuur 1) dienden als referentie voor de ontwikkelde AI modellen. De unieke dataset vertegenwoordigde een natuurlijke variatie van o.a. de grootte en de vorm van varkensschouders zodat ook de robuustheid van de algoritmes kon worden getest.
Figuur 1. CT-volume van een varkensschouder (A), en zijn interne botstructuur (B). Plot (C) toont een maximale intensiteitsprojectie van de interne structuur van de varkensschouder waarbij het spiervolume rondom het bot zichtbaar is.
Vervolgens werden de CT-beelden verwerkt om 3D modellen van het spierweefsel en de botten op te stellen. In CT-beelden kan je bot en spierweefsel onderscheiden op basis van het goede contrast in grijswaarde (Figuur 2). Bot heeft door zijn samenstelling een hogere absorptie van de X-stralen dan het spierweefsel, en lichten dus beter op in het CT beeld. Het onderscheid tussen bindweefsel en spieren is minder goed zichtbaar, en werd in dit werk niet meegenomen.
Figuur 2. Doorsnede van een CT-beeld van een varkensschouder: Het bot licht op door de hogere absorptie van de X-stralen dan door het omliggende spierweefsel. Op basis van dit contrast kan het bot onderscheiden worden van de spieren en de achtergrond. Door segmentatie bouwen we 3D modellen van de schouder en het bot.
Een digitale tweeling van een X-ray scanner
Nu we van alle CT-scans een 3D model hebben gebouwd van het overeenkomstige bot en spierweefsel, is het mogelijk om de natuurlijke variatie van de vorm in rekening te brengen.
Hierna werd een simulatie tool opgebouwd die op basis van de 3D modellen, 2D X-ray beelden genereert door middel van een digital twin. Een ‘digital twin’ of digitale tweeling kan je zien als een digitale kopie van een proces of object en wordt vaak gebruikt om verschillende scenario’s te simuleren.
In dit onderzoek werd zo een digital twin van een X-ray scanner opgebouwd, dus een digitale X-ray scanner. Deze digitale scanner zal beelden genereren zoals een echte X-ray scanner dit zou doen. Als input krijgt de digital twin de 3D modellen van het spier en botweefsel en als output genereert het meerdere 2D X-ray beelden (Figuur 3). De digital twin X-ray scan werkt dus met digitale objecten. Er is ook een octrooi van KU Leuven (met UA en UGent) betreft het gebruik van 3D-vormmodellen, 3D-beeldvorming en röntgenbeeldvorming om interne structuurelementen in objecten te detectere, dit octrooi in onder andere in Europa en de VS toegekend [1].
Zo ontstond de mogelijkheid om meerdere scenario’s te simuleren zonder dat een scanner gebouwd moest worden. Denk bijvoorbeeld aan het optimaliseren van de oriëntatie van de varkensschouder op de transportband om een zo goed mogelijk beeld te vormen van de botten. Maar nog belangrijker is de mogelijkheid om een zeer groot aantal 2D X-ray beelden te simuleren om de AI algoritmes te trainen (zie volgende paragraaf), en daaraan ook telkens de 3D ‘ground truth’ (zie kader) informatie te linken.
Figuur 3. De digital twin voorspelt een 2D X-ray beeld van een varkenschouder op basis van de 3D scan (boven). Hierdoor genereert hij hetzelfde resultaat als een echte X-ray scanner waaronder een werkelijke varkenschouder zou gescant worden (onder).
Ground truth beelden zijn essentieel omdat ze fungeren als de referentie waartegen het AI model wordt gevalideerd en geëvalueerd. Ze helpen bij het trainen van nauwkeurige en betrouwbare AI-modellen die in staat zijn om effectief te werken in real-world scenario's.
Een AI-model trainen: Hoe gaat dat te werk?
- Stap 1: Verzameling van gegevens: Er wordt een dataset aangelegd met representatieve gegevens voor het probleem dat het AI-model moet oplossen. Vb Verzamelen van representatieve CT-scans van varkenschouders
- Stap 2: Labeling van de gegevens: Elke input in de dataset wordt voorzien van de juiste classificatie Vb segmentatiemap van de CT-scans: elke voxel wordt geclassifeerd: vlees of bot
- Stap 3: Training van het AI-model: Tijdens deze fase gebruikt het AI-model de gelabelde gegevens (ground truth samples) om patronen te herkennen die relevant zijn voor het probleem. Vb Neurale netwerken die op basis van een enkele X-ray scan voorspellen waar het bot gelokaliseerd is
- Stap 4: Evaluatie van het model: Nadat het model getraind is, wordt het geëvalueerd om te beoordelen en controleren of het model in staat is om nauwkeurige voorspellingen te doen op nieuwe, niet eerder geziene gegevens. Vb Performanties van meerdere getrainde modellen met elkaar vergelijken
Neuraal netwerk voorspelt de positie en de vorm van het bot
Door de digital twin zijn nu heel wat X-ray beelden van varkenschouders beschikbaar om een AI model te ontwikkelen dat snel en automatisch het bot, zijn positie en vorm kan herkennen in X-ray projecties. Hiertoe werden verschillende neurale netwerken (zie kader) getraind om aan de hand van één enkele X-ray projectie de segmentatiemap te voorspellen. Die segmentatiemap vertelt precies waar het bot in het vlees zit.
Er werd gekozen voor Unet-type neurale netwerken, gezien deze erg effectief zijn voor beeldsegmentatie. De netwerken werden getraind en getest met behulp van honderden X-ray projecties van de digital twin simulaties, en waarvan ook telkens de nauwkeurige 3D botmodellen beschikbaar waren. Figuur 4 toont hoe voor een enkele input X-ray projectie, van een schouder die door de X-ray scanner gaat, de werkelijke segmentatiemap van het 3D model (ground truth) en deze voorspeld door het AI model zich vergelijken.
Figuur 4. Automatische segmentatie van het bot in een X-ray beeld van een varkensschouder met behulp van een AI-model. De labels op de X- en Y assen zijn in millimeters; De kleurschalen in de verschillende plots zijn: genormaliseerde grijswaarde (links), blauw: achtergrond en geel: bot (midden), verschil tussen ground truth en voorspelde bot segmentatie (rechts).
De performantie van de verschillende neurale netwerken werd geëvalueerd op basis van hun vermogen om correcte voorspellingen te maken. Om deze performantie te kunnen meten is zowel de Intersection over Union (IoU) score gebruikt, deze score heeft de waarde 1 bij een perfecte overlapping van de voorspelde botsegmentatie met de ground truth, deze score zal 0 zijn als er geen overeenkomst is. Ook is de fout die het neurale netwerk maakt berekend in millimeters. Het meest performante neurale netwerk haalt een IoU-score op de testset van maximaal 0.98 en minimaal 0.79, waar de grootste fout over heel de testset slechts 13 millimeter was.
Een neuraal netwerk is een type AI-model dat opgebouwd is gelijkend op de structuur van neuronen in onze hersenen. Ze bestaan uit verschillende knooppunten gegroepeerd in meerdere lagen die parallel werken. Dit leidt tot een verbeterde patroonherkenning, meer expertise en betere algemene leervaardigheden van het AI-model.
Naar een 3D botmeting
De onderzoeksgroep MeBioS aan de KU Leuven heeft met behulp van de CT-dataset van de varkenschouders ook nieuwe synthetische scans gegenereert. Een statistical shape model (SSM) zal op basis van de scans de natuurlijke variatie van de varkensschouder beschrijven en hierdoor nieuwe synthetische scans als resultaat kunnen genereren. Dit zijn dan realistische CT-scans als resultaat, die evenzeer kunnen beschouwd worden als ground truth samples. Dit maakt het mogelijk om naast opgemeten CT-dataset ook synthetische data te gebruiken voor het trainen van complexere neurale netwerken zonder eindeloos veel data te verzamelen en CT-scans te maken van stukken vlees.
Hierdoor is de MeBioS-groep nu ook in staat om verder onderzoek te doen om niet alleen het bot in 2D X-ray projecties te herkennen, maar ook te voorspellen hoe het bot eruit ziet in 3D. Hierdoor krijgt de ontbeningsmachine een gedetailleerd ruimtebeeld van de botstructuur van de varkensschouders, waardoor een robot de varkensschouders automatisch kan ontbenen met minimaal vleesverlies ten opzichte van handmatige ontbening.
Bronvermelding
Pieters, M., Verboven, P., & Nicolai, B. (2024). Pork shoulder processing using X-ray technology for predicting a segmentation map of the bone structure with an inline inspection system. In Proceedings of the 13th Conference on Industrial Computed Tomography (iCT 2024), Wels, Austria. Geraadpleegd via http://www.ict-conference.com/2024
[1] van Dael et al., (2019). Automated quality control and selection, EP3271717B1, US10520452B2, ZA201706920B, CL2017002353A1, BR112017019834A2, NZ735513, CA2979932A1: Dit octrooi van KU Leuven (met UA en UGent) betreft het gebruik van 3D-vormmodellen, 3D-beeldvorming en röntgenbeeldvorming om interne structuurelementen in objecten te detecteren.
