CareSpoon

부모님이 오늘 어떤 음식을 얼마나 드셨지? 필요한 영양소는 골고루 섭취하신 걸까?

위와 같은 고민을 한번이라도 해본 적이 있으신가요? 바쁜 일상 속에 부모님이 드신 식단까지 관리하기란 쉽지 않습니다. 그래서 저희는 CareSpoon 을 생각해냈습니다.

CareSpoon 은 사용자가 식사 전 본인의 식단을 찍기만 하면 어떤 음식을 먹었는지, 얼마나 먹었는지, 그 안에 영양소는 어느정도 섭취했는지를 기록합니다. 보호자는 사용자의 식사 현황과 영양 정보를 확인할 수 있습니다. 손쉽게 영양성분 섭취 정보를 기록하고, 그래프를 통해 한눈에 파악할 수 있습니다.

우리는 다음 방법으로 시니어의 스마트한 건강 관리를 제공하고자 합니다.

• 식단 사진 촬영 후 영양성분(탄수화물, 단백질, 지방, 칼로리) 정보 기록
• 영양소 섭취 현황 그래프 제공
• 식사를 제 때 섭취하지 않았을 때 Viewer에게 알림

Frontend	Server	AI

스플래시	구글 로그인	구글 로그인 2	회원 가입	회원 가입 2

구글 계정을 연동하여 간편하게 로그인이 가능하다. 이후 기초대사량 계산을 위한 간단한 신체 정보를 기입하면 회원가입을 마칠 수 있다.

홈	홈2	식단 세부 정보	일별 통계	월별 통계

홈 화면은 시니어 사용자를 고려하여 크고 복잡하지 않은 요소들로 구성되어 있다.
빈 카드를 눌러 식단을 촬영하면 AI가 자동으로 사진 속 음식 정보를 분석하여 영양 정보를 기룩해준다.
식단 카드를 클릭하면 해당 식단에 대한 상세 영양 분석 정보를 확인할 수 있다.
영양 통계 메뉴로 진입하면 AI가 분석한 데이터를 바탕으로 일별, 월별 통계 그래프를 제공한다.

식단 기록	친구 관리	친구 추가	설정	정보 변경

• Android studio Flamingo 2022.2.1
• compileSdk 33 or higher
• minSdk 26 or higher

• CameraX supported Android Device within this link
  (CameraX is supported on most Android devices running Android 5.0 (API level 21) and higher.)

• Java: jdk 17 sudo apt-get install openjdk-11-jdk
• MySQL: 8.0.31
• Deployment VM: Ubuntu 20.04
• Base URL: 34.64.211.6:8080

    implementation 'org.springframework.boot:spring-boot-starter-web'
    implementation 'org.springframework.boot:spring-boot-starter-thymeleaf'
    implementation 'org.springframework.boot:spring-boot-starter-jdbc'
    implementation 'javax.persistence:javax.persistence-api:2.2'
    implementation 'org.springframework:spring-core:5.3.15'
    implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
    implementation "com.querydsl:querydsl-jpa:${queryDslVersion}"
    implementation "com.querydsl:querydsl-apt:${queryDslVersion}"
    implementation 'com.google.firebase:firebase-admin:7.1.0'
    implementation group: 'com.squareup.okhttp3', name: 'okhttp', version: '4.2.2'
    implementation 'mysql:mysql-connector-java:8.0.31'
    implementation platform('com.google.cloud:libraries-bom:26.14.0')
    implementation 'com.google.cloud:google-cloud-storage'

• OS: Ubuntu 20.04
• Python: 3.7
• FastAPI: 0.95.0
• PyTorch: 1.10.0
• Tensorflow: 1.13.1

pip install -r requirements.txt

Model	YOLOv5 custom dataset 사용하여 학습
Serving	FastAPI 사용하여 AI 모델 서빙
Dataset	AI HUB 음식 이미지 및 영양정보 텍스트 전처리 후 사용
Train	final_best.pt 100 epoch
Accuracy	Class: 한식 10종 mAP@50: 0.98 mAP@50-95:0.86
Result

Model	1. Mask RCNN 기반 Segmentation 2. CNN 기반 Depth Estimation
Serving	FastAPI 사용하여 AI 모델 서빙
Dataset	food videos dataset
Example
Result