Van productherkenning tot achterliggende receptuur door artificiële intelligentie

Het internet bevat een onvoorstelbare hoeveelheid gegevens over voedingsproducten, waaronder een massa aan foto’s en recepturen. Hoewel deze informatie als geheel ongestructureerd en onsamenhangend is, is het via artificiële intelligentie mogelijk om ze aan te wenden voor productherkenning, samenstellingsbepaling en receptuurvoorspelling op basis van een simpel (smartphone)fotootje.

Artificiële intelligentie (AI) wordt volop ingezet voor gezichts- of spraakherkenning, dus waarom zou het niet ingezet kunnen worden voor voedingsproductherkenning? Computerwetenschappers beginnen er in ieder geval werk van te maken. Voorwaarden:

  • Een massa aan digitaliseerbare informatie (bv. tekst en foto’s) over voedingsproducten ter beschikking hebben die op een automatische manier in een gestructureerde databank kan worden gegoten (Big Data)
  • Algoritmes om informatie uit die databank te halen en eruit te destilleren

Met de vele foto’s over voedingsproducten die op het internet circuleren is aan de eerste voorwaarde voldaan. Aan de tweede voorwaarde wordt volop gewerkt door specialisten in neurale netwerk modelling. Recent pakte Salvador et al uit met een AI-systeem dat op basis van een foto van een voedingsproduct niet enkel aan productherkenning kan doen, maar tevens de ingrediënten er uit kan afleiden en de instructies om het te kunnen maken (het recept). Interessant is dat het systeem in twee richtingen werkt: men kan een recept voorleggen en dan wordt de meest passende foto weergegeven.

De databank (Recipe1M genaamd) die de onderzoekers wisten op te bouwen is uniek:

In omvang: 1 miljoen recepten en méér dan 800.000 foto’s van voedingsproducten en kant-en-klaargerechten die automatisch geëxtraheerd werden uit, onder meer, populaire kookwebsites De databank is evenwel niet voor elk voedingsproduct even goed uitgebouwd (Figuur 1)

17.11.15 product herkenning

Figuur 1. Overzicht van de verschillende productcategorieën en gerechttypes in Recipe1M [Bron: Salvador et al, 2017]

Door de informatie inhoud: het is één van de weinige databanken die zowel foto’s als recepturen (ingrediënten en instructies) bevat

17.11.15 product herkenning

Figuur 2 Koppeling van data van ingrediënten, instructies en foto’s in Recipe1M [Bron: Salvador et al, 2017]

Het neuraal netwerk dat bidirectionele links weet te leggen tussen beelden, ingrediënten en instructies is gebaseerd op ‘Joint Neural embedding’ (Figuur 2). Het kreeg de naam Pic2Recipe mee en kan aangewend worden om modellen te verkennen die het mogelijk maken om verbanden tussen producten of maaltijden en recepten bloot te leggen (Figuur 3)

17.11.15 product herkenning

Figuur 3. Voorbeeld van het resultaat van zoekopdrachten via Pic2Recipe

Tot nog toe werkt Pic2Recipe beter met recepten als koekjes of muffins, terwijl complexere bereidingen, zoals sushi's, smoothies en cocktails al even moeilijk voor de machine als voor de mens te ontcijferen zijn.

Het systeem zal verder worden verfijnd en ontwikkeld en kan dan zijn nut hebben voor onder andere:

  • De consument: interesse in recepten, waarschuwing voor allergenen, opvolging dieet,…
  • Bevolkingsstudies: voedselconsumptiepeiling, verschillen in dieetvoorkeuren bij bepaalde segmenten van de bevolking,…
  • Voedingsproductontwikkelaars en koks: ondersteuning van creativiteit, voorspelling resultaat nieuwe creaties,…

Bronnen:

- Salvador A., Hynes N., Aytar Y., Marin J., Ofli F., Weber I., Torralba A. (2017). Learning cross-modal embeddings for cooking recipes and food images. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (download)

- Artificiële intelligentie in de keuken, Techniline Sirris 10 november 2017 (download

Interessant om te weten:

- De code, de data en de modellen van Pic2Recipe staan vrij ter beschikking voor verder onderzoek: http://tuesday.csail.mit.edu:4242/