EXPERIMENTAL STUDY

Acurateţea inteligenţei artificiale în analiza imaginilor cu alimente

Accuracy of artificial intelligence in food image analysis

Data publicării: 28 Iunie 2024
Editorial Group: MEDICHUB MEDIA
10.26416/JourNutri.2.2.2024.9766

Abstract

Assessing the nutritional values of meals is important for the public health. Current evaluation methods can be imprecise due to human errors, but food image ana­ly­sis, facilitated by artificial intelligence (AI), can en­hance determination accuracy. This study examines the accuracy of GPT-4 in identifying foods and estimating nu­tri­tio­nal values from simple images. Methodology. Three images of culinary dishes were used. A customized GPT model was engaged to identify the foods and esti­mate their nutritional values. The results were compared with those from the Nutrition ARTS platform, which uses a USDA database. Results. The GPT model correctly iden­ti­fied the foods in all images. The estimated calorie va­lues had an average difference of ±5 kcal compared to the reference. Differences for proteins were ±4.4 g, for car­bo­hy­drates ±1.3 g, and for fats ±0.7 g. Differences in micronutrient values were higher. Conclusions. The GPT model accurately identified foods and estimated ca­lo­ries and macronutrients. However, differences in micronutrient values were significant. The study high­lighted the potential and limitations of AI in food image ana­ly­sis. Further research with a larger dataset could pro­vide more relevant information.
 

Keywords
nutritional analysisfood imagesartificial intelligencenutritional values

Rezumat

Determinarea valorilor nutriţionale ale meselor este im­por­tan­tă pentru sănătatea publică. Metodele actuale de evaluare pot fi imprecise din cauza erorilor umane, dar analiza ima­gi­ni­lor cu alimente, facilitată de inteligenţa artificială (IA), poate spo­ri precizia determinărilor. Studiul de faţă examinează acu­ra­te­ţea GPT-4 în identificarea alimentelor şi estimarea va­lo­ri­lor nu­tri­ţio­nale din imagini simple. Metodologie. S-au utilizat trei imagini cu preparate culinare. Un model per­so­na­li­zat GPT a fost folosit pentru a identifica alimentele şi a estima va­lo­ri­le nutriţionale. Rezultatele au fost comparate cu cele ale platformei Nutrition ARTS, care foloseşte o bază de date a USDA. Rezultate. Modelul GPT a identificat corect alimentele din toate imaginile. Valorile caloriilor estimate au avut o di­fe­ren­ţă medie de ±5 kcal faţă de referinţă. Diferenţele pen­tru proteine au fost de ±4,4 g, pentru glucide de ±1,3 g şi pen­tru lipide de ±0,7 g. La micronutrienţi, diferenţele au fost mai crescute. Concluzii. Modelul GPT a demonstrat o bună acu­ra­te­ţe în identificarea alimentelor şi estimarea caloriilor şi macronutrienţilor. Totuşi, pentru micronutrienţi, diferenţele au fost semnificative. Studiul a evidenţiat potenţialul, dar şi limitările IA în analiza imaginilor cu alimente. Cercetări ul­te­rioa­re, pe un set mai mare de date, vor putea oferi informaţii mai relevante.
 
Cuvinte Cheie
analiză nutriţionalăimagini alimenteinteligenţă artificialăvalori nutriţionale

Introducere

Menţinerea calităţii dietei zilnice şi asigurarea unui consum echilibrat de nutrienţi esenţiali sunt aspecte importante pentru un stil de viaţă sănătos. Capacitatea de a determina cu exactitate valoarea nutriţională a unei mese este un factor-cheie în gestionarea afecţiunilor de sănătate, precum diabetul, obezitatea şi bolile cardiovasculare(1,2).

Metodele actuale de evaluare a aportului alimentar pot fi inexacte şi greu de utilizat, lipsa de precizie în evaluarea consumului de alimente din cauza erorilor umane afectând negativ şi fiabilitatea studiilor nutriţionale la nivel global. Modelele de limbaj nou apărute care folosesc inteligenţa artificială (IA) au potenţialul de a diminua aceste inexactităţi, însă acurateţea acestor predicţii ale IA rămâne incertă(3,4).

Analiza imaginilor cu alimente a devenit un subiect de mare interes datorită aplicaţiilor sale vaste în industrie, sănătate publică şi cercetare ştiinţifică. De la identificarea şi clasificarea alimentelor până la estimarea valorilor nutriţionale şi detectarea contaminanţilor, IA prezintă un potenţial de a facilita modul în care sunt gestionate alimentele(5,6,7).

În ultimii ani, informatica nutriţională a devenit un domeniu important de cercetare interdisciplinară. Unul dintre obiectivele ambiţioase ale acesteia este de a crea sisteme inteligente cuprinzătoare care pot genera în mod independent detalii despre o reţetă dintr-o imagine a preparatului culinar. Eficacitatea metodelor actuale de conversie a imaginilor în reţete depinde în mare măsură de dimensiunea şi varietatea setului de date, precum şi de calitatea datelor învăţate de modelul IA(8).

Tehnologiile de învăţare profundă (reţelele neuronale convoluţionale) sunt esenţiale în atingerea unor niveluri înalte de acurateţe în recunoaşterea şi clasificarea imaginilor cu alimente. Aceste tehnologii sunt capabile să proceseze un volum mare de date şi să identifice caracteristici complexe, care sunt dificil de detectat prin metode tradiţionale de procesare a imaginii(9).

Cercetări ample au explorat aplicaţiile ChatGPT în diverse domenii, precum medicină, sport, educaţie şi altele. Modelul GPT-4 are capacitatea de a gestiona o gamă largă de elemente, printre care şi imagini(10). Rezultatele studiului realizat de Johnson et al. (2023) evidenţiază capacităţile remarcabile ale GPT-4 în analiza imaginilor, cuprinzând sarcini precum identificarea, recunoaşterea şi înţelegerea contextuală a conţinutului vizual. Capacitatea GPT-4 de a identifica cu precizie obiectele din imaginile individuale îl poziţionează ca un instrument valoros pentru aplicaţii cuprinzătoare de detectare a obiectelor(11). În plus, un studiu a remarcat faptul că GPT-4  poate număra şi recunoaşte surprinzător de bine fructele din imagini(12).

În cursul unei cercetări care a evaluat funcţia de analiză a imaginilor preparatelor culinare cu aplicaţia Smart Cuisine (un sistem inovator care foloseşte tehnologie AI de actualitate) s-a constatat că acurateţea prezicerii reţetei corecte a fost considerabil mai mare când imaginea prezenta un preparat alimentar binecunoscut sau recunoscut la nivel global. Imaginile cu reţete mai puţin cunoscute sau locale au oferit o acurateţe mai mică. Acest fenomen poate fi atribuit limitărilor inerente setului de date folosit de modelul IA(13).

Acurateţea modelelor IA poate fi influenţată considerabil de complexitatea imaginilor cu alimente, care pot varia în funcţie de calitate, prezentare, iluminare şi perspective(14).

Dezvoltarea şi implementarea IA în analiza imaginilor cu alimente sunt facilitate de accesul crescut la date masive (big data) şi de progresele în hardware-ul de calcul, care permit antrenarea şi rularea algoritmilor de IA la scară largă(15). În plus, colaborarea interdisciplinară dintre experţi în nutriţie, inginerie şi informatică contribuie la dezvoltarea unor soluţii integrate şi inovatoare(16).

Obiectivul acestei lucrări a fost examinarea acurateţei GPT-4 în analiza imaginilor simple cu preparate culinare, evaluând precizia identificării alimentelor, a numărului acestora şi a valorilor nutriţionale pentru calorii, macronutrienţi şi micronutrienţi în comparaţie cu valorile generate de platforma Nutrition ARTS (care utilizează baza de date cu alimente Food and Nutrient Database for Dietary Studies de la USDA, tradusă în limba română) folosită ca referinţă(17).

Metodologie

Pentru a realiza obiectivul lucrării, am folosit trei imagini simple, reprezentând preparate culinare specifice:

  1. O farfurie cu diverse fructe, precum struguri albi, kiwi, portocale, căpşuni, zmeură şi afine.
  2. O farfurie cu legume colorate, incluzând roşii, măsline şi un castravete feliat.
  3. O farfurie cu produse de origine animală, incluzând friptură, ouă, dar şi orez, roşii şi sos salsa.

Am folosit un model personalizat GPT, denumit „Nutri-Check: Meal Analyzer & Diet Optimizer”, antrenat specific pentru analiza alimentelor şi a compoziţiei lor nutritive.

Imaginile au fost procesate prin acest model GPT pentru a obţine următoarele informaţii:

  • identificarea fiecărui aliment prezent în imagine şi a numărului de unităţi sau porţii;
  • estimarea valorilor nutriţionale, incluzând calorii, macronutrienţi (proteine, grăsimi, carbohidraţi) şi micronutrienţi (vitamine şi minerale).

Pentru verificarea rezultatelor obţinute, valorile generate de GPT-4 au fost comparate cu cele date de platforma Nutrition ARTS prin adăugarea manuală a alimentelor şi cantităţilor acestora în secţiunea „Reţete”. Am ales această platformă ca referinţă deoarece utilizează pentru calculele nutriţionale baza de date FNDDS de la USDA, tradusă în limba română. Pentru vizualizarea şi analiza datelor, am folosit Microsoft ExcelTM.

Rezultate

În privinţa identificării alimentelor şi a numărului acestora, pentru toate cele trei imagini, precizia a fost de 100%. Modelul GPT a reuşit să identifice fiecare aliment prezent în imagine şi să estimeze corect numărul de unităţi sau porţii.

În toate cele trei imagini, valorile caloriilor s-au apropiat de cele de referinţă, cu o diferenţă medie de ±5 kcal. Distribuţia macronutrienţilor a fost, de asemenea, similară (figura 1).
 

Figura 1. Distribuţia macronutrienţilor şi valorile caloriilor determinate prin cele două metode
Figura 1. Distribuţia macronutrienţilor şi valorile caloriilor determinate prin cele două metode

Referitor la gramajele specifice macronutrienţilor, diferenţa medie faţă de referinţă a fost: la proteine ±4,4 g, la glucide ±1,3 g şi la lipide ±0,7 g.

Micronutrienţii selectaţi de modelul GPT pentru a fi analizaţi nu au fost identici pentru toate cele trei imagini (tabelul 1).
 

Tabelul 1. Valorile micronutrienţilor selectaţi de modelul GPT pentru imaginile analizate şi cele generate de Nutrition ARTS (NA)
Tabelul 1. Valorile micronutrienţilor selectaţi de modelul GPT pentru imaginile analizate şi cele generate de Nutrition ARTS (NA)

Modelul GPT a afişat micronutrienţii cu următoarele diferenţe faţă de valoarea de referinţă (figura 2):

  • Prima imagine – vitamina C (+89%), vitamina K (+18%), vitamina B9 (-54%), potasiu (-39%).
  • A doua imagine – vitamina A (+183%), licopen (-5%), vitamina E (-86%), fier (-85%), potasiu (-21%).
  • A treia imagine – vitamina A (+172%), vitamina C (+2%), vitamina B12 (-9%), zinc (-18%), sodiu (-77%), fier (-45%), potasiu (-68%).
Figura 2. Diferenţe ale valorilor date de ChatGPT faţă de referinţă pentru micronutrienţi
Figura 2. Diferenţe ale valorilor date de ChatGPT faţă de referinţă pentru micronutrienţi

Concluzii

Rezultatele acestui studiu sugerează că modelul GPT este capabil să ofere o identificare precisă a alimentelor din imagini şi să estimeze corect numărul acestora. Pentru calorii şi macronutrienţi, valorile estimate de modelul GPT au avut variaţii mici faţă de cele de referinţă, obţinute prin utilizarea platformei Nutrition ARTS. Acurateţea estimărilor a fost considerată bună, indicând capacitatea modelului de a aproxima aceste valori în mod corect în cele trei imagini cu alimente analizate. Cu toate acestea, la analizarea micronutrienţilor, au fost observate diferenţe mai crescute între valorile estimate de modelul GPT şi cele de referinţă.

Rezultatele obţinute subliniază potenţialul, dar şi limitările acestui program IA în analiza imaginilor cu alimente. Cercetări ulterioare mai ample, pe un set mai mare de date, vor oferi informaţii mai relevante, care ar putea ajuta dezvoltatorii software la implementarea îmbunătăţirilor acestor modele IA.  

 

Autor pentru corespondenţă: George Vrapcea E-mail: george.vrapcea@gmail.com

Conflict of interests: none declared.

This work is permanently accessible online free of charge and published under the CC-BY.

A grey and black sign with a person in a circle

Description automatically generated

 

 

Bibliografie


  1. Konstantakopoulos FS, Georga EI, Fotiadis DI. A Review of Image-Based Food Recognition and Volume Estimation Artificial Intelligence Systems. IEEE Rev Biomed Eng. 2024;17:136-152.

  2. Cena H, Calder PC. Defining a healthy diet: evidence for the role of contemporary dietary patterns in health and disease. Nutrients. 2020;12(2):334.

  3. Shonkoff E, Cara KC, Pei XA, Chung M, Kamath S, Panetta K, Hennessy E. AI-based digital image dietary assessment methods compared to humans and ground truth: a systematic review. Ann Med. 2023;PP(99).

  4. Gowda S. Improving Multi-Modal Food Detection System with Transfer Learning. LMU/LLS Theses and Dissertations. 2023;1238.

  5. Min W, Wang Z, Liu Y, et al. Large-scale visual food recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023; arXiv:2103.16107. 

  6. Sak J, Suchodolska M. Artificial intelligence in nutrients science research: a review. Nutrients. 2021;13(2):322.

  7. Darwish A, Ricci M, Zidane F, et al. Physical contamination detection in the Food Industry using microwave and machine learning. Electronics. 2022;11(19):3115.

  8. Chhikara P, Chaurasia D, Jiang Y, et al. FIRE: Food Image to REcipe Generation. 2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 2024;8169-8179.

  9. King RC, Bharani V, Shah K, et al. GPT-4V passes the BLS and ACLS examinations: An analysis of GPT-4V’s image recognition capabilities. Resuscitation. 2024;195:110106.

  10. Kagaya H, Aizawa K, Ogawa M. Food detection and recognition using convolutional neural network. In Proceedings of the 22nd ACM International Conference on Multimedia. 2014;1085-1088.

  11. Johnson OV, Alyasiri OM, Akhtom D, Johnson OE. Image Analysis through the lens of ChatGPT-4. Journal of Applied Artificial Intelligence. 2023;4(2).

  12. Mengsuwan K, Palacio JCR, Ryo M. ChatGPT and general-purpose AI count fruits in pictures surprisingly well. arXiv preprint. 2024; arXiv:2404.08515.

  13. AlZu’bi S, Mughaid A, Quiam F, Hendawi S. Exploring the capabilities and limitations of chatgpt and alternative big language models. Artificial Intelligence and Applications. 2024;2(1):28-37.

  14. Ponrawin K, Pongpipat P, Natthanet T. Smart Cuisine: Generative recipe & ChatGPT powered nutrition assistance for sustainable cooking. Procedia Computer Science. 2023;225:2028-2036.

  15. Côté M, Lamarche B. Artificial intelligence in nutrition research: perspectives on current and future applications. Applied Physiology, Nutrition, and Metabolism. 2022;47(1):1-8.

  16. Limketkai BN, Mauldin K, Manitius N, Jalilian L, Salonen BR. The age of artificial intelligence: use of digital technology in clinical nutrition. Current Surgery Reports. 2021;9(7):20.

  17. Vrapcea G, Tarcea M. The importance of nutrition care platforms for Romanian dietitians’ practice. Health, Sports & Rehabilitation Medicine. 2022;23(3):114-119.

Articole din ediția curentă

CASE STUDY

Implementarea dietei ketogenice sub formă de meniu personalizat la un pacient diagnosticat cu glioblastom

Liana Lascu (Conţiu), Horaţiu Albu, Vivien-Roberta Vig, Monica Sânpălean
Acest articol prezintă un studiu de caz al unui pa­cient diagnosticat cu glioblastom, aflat în tratament cu ra­dio­te­ra­pie pe o durată de şase săptămâni....
ORIGINAL ARTICLE

Evaluarea importanţei examinărilor medicale şi a indicilor nutriţionali la conducătorii auto profesionişti din România

Ştefania-Diana Nilca
Comportamentul alimentar, programul de muncă ne­sis­te­ma­ti­zat, activitatea fizică redusă, stresul prelungit, tu­re­le de muncă, po­luan­ţii din trafic, posturile incomode, zgo­mo­tul sau vibraţiile...
SYSTEMATIC REVIEW

Analiza metodologiei cercetării utilizate în literatura din domeniul nutriţiei

Paula Boloş, Iuliu Moldovan
Cercetarea în domeniul nutriţiei este crucială, datorită im­pli­ca­ţiilor sale complexe în societate, economie şi sănătate....
Articole din edițiile anterioare

STUDIU DE CAZ

Nutriţia de precizie şi contribuţia inteligenţei artificiale în modelarea sănătăţii personalizate

George Vrapcea
Nutriţia de precizie reprezintă o abordare individualizată bazată pe informaţii genetice, metabolice şi de sănătate, care promite să revoluţioneze modul cum ne raportăm la alimentaţie. Integrarea inte...
CERCETARE

Utilizarea Inteligenţei Artificiale în practica dieteticienilor: beneficii, neajunsuri şi provocări

George Vrapcea
Tehnologia a avansat semnificativ în ultimii ani. Una dintre aceste tehnologii este Inteligenţa Artificială (IA), care a devenit recent disponibilă publicului larg şi reprezintă un model de limbaj nat...
FARMACOTERAPIE

Importanţa interdisciplinarităţii şi a transferului tehnologic

Irina Mihaela Matran, George Vrapcea, Cristian Matran, Monica Tarcea
Introducere. Secolul XXI – sau secolul progresului ştiinţific în toate domeniile (sănătate, economico-financiar, auto, agroindustrial etc.) – aduce multiple avantaje populaţiei, ca de exemplu: dezvoltarea şi utilizarea c...