Blinder(블린더)

1. 개요

시각장애인이 타인의 손길 없이 원하는 음식을 주문할 수 있게 돕는 앱

Blinder(Blind + independent + order)를 소개합니다!

2. 제안 배경

 

3. 해결 및 구현 방안

Flow Chart

Flutter

1. camera 패키지를 이용하여 후면 촬영, 이후 Flutter_tts 패키지를 통해 촬영하도록 안내

2. TensorFlowlite 패키지를 통해 카메라 화면에서 메뉴판을 실시간으로 탐지 및 자동 촬영, flutter_tts를 통해 카메라 화면에 메뉴판이 보이는지 안내

3. edge_detection 패키지를 통해 캡처한 이미지에서 메뉴판 이미지만큼 Crop하고 그 결과를 GPU Server에 전송

Step1 방문한 음식점 이름 확인

시각장애인 분이 음식점을 방문한 후, Blinder앱을 키면 가장 먼저 방문한 음식점 이름을 음성인식을 통해 받게 됩니다. 만약 해당 음식점에 대한 메뉴판이 이미 만들어져 있다면, 저장된 메뉴판을 바로 보여주고 메뉴판이 없다면 사용자가 새롭게 사진을 찍어 인식하게 보조 합니다.

🤔

음식점 이름을 말하는 과정이 왜 필요하죠?

저희는 시각장애인 분이 촬영을 하는 과정을 최소화 하고자 했습니다. 즉 사장님 혹은 일반인이 등록한 음식점메뉴 정보에 대해서는 메뉴판을 찍지 않고 바로 주문할 수 있도록 만드는 것이 목표입니다

 

Step2 메뉴판 촬영 - 메뉴판 데이터가 없는 경우

 

 

 

만약 Step1 에서 서버에 저장된 메뉴판을 가져오지 못한 경우, 메뉴판 촬영을 시작합니다.

이때 아마 시각장애인이 어떻게 메뉴판을 혼자 촬영할 수 있겠냐는 의문점을 가지고 있으실 것 같습니다. 저희는 이 문제를 tensorflow lite 를 활용한 실시간 Object recognition으로 해결합니다.

즉 사용자의 카메라에서 메뉴판으로 예측되는 물체를 감지하는 순간, 음성안내를 통해 정확한 메뉴판을 촬영할 수 있도록 유도합니다. 결과적으로 시각장애인이 직접 메뉴판에 초점을 맞추는 과정을 자동화시켜, 스스로 모든 과정을 이어나갈 수 있도록 인도합니다.

Step3 메뉴판 로딩

 

 

자동 촬영된 메뉴판 이미지를 GPU 서버에 전달한 다음, Food Map 메뉴 데이터의 응답을 대기합니다. 해당 대기 시간동안, 잠시만 기다려주세요라는 음성 안내와 함를 전달합니다.

이후 성공적으로 응답을 받으면, 메뉴판이 완성되었음을 TTS로 안내하고 카테고리 선택 화면으로 전환됩니다.

🔮

Tech Knowledge

메뉴판은 어떻게 만들까요?

👇

클릭해서 읽어보기

 

Step4 음식 카테고리 선택

 

 

서버로부터 전달받은 Food Map 데이터의 음식 카테고리를 추출한 다음 읽어줍니다.

🤔

Food Map (FM) 란?

메뉴판 데이터의 자료구조를 의미합니다.

대분류(음식 카테고리)를 key 로, 음식종류와 가격을 value 로 가지는 데이터입니다.

 

Step5 카테고리 속 음식 메뉴 선택

 

 

원하는 메뉴를 터치하면 “히레가스, 구천 원”과 같이 음식의 이름과 가격을 읽어줍니다. 다시 한 번 터치하면 히레가스를 위와 같이 음성으로 안내메세지가 출력된 후 개수 선택 화면으로 이동합니다.

Step6 음식 주문 갯수 설정

 

 

수량 선택 후 추가하기를 터치하면 음식이 장바구니에 추가됩니다. 이후 음성안내5 처럼 장바구니에 담긴 음식을 읽어준 다음, 주문 화면으로 이동합니다.

 

Step7 음식 주문

선택한 음식이 장바구니에 담겨진 이후에는, 또 다른 음식을 주문할 것인지 혹은 바로 주문할 것인지 선택할 지 고를 수 있습니다.

---

만약 음식 주문 버튼을 누르게 되면, 종업원이 확인할 수 있는 주문서가 화면에 등장하게 됩니다.

 

---

음식 추가 버튼을 누르면, Step4 로 돌아가서 다른 메뉴를 장바구니에 추가할 수 있습니다.

그리고 현재 장바구니에 담긴 음식과 종류를 설명해주는 음성안내가 추가됩니다.

Step8 주문서

메뉴 선택을 마치면 왼쪽 그림과 같이 주문서가 완성됩니다. 종업원을 불러 주문서를 보여주는 것으로 주문을 완료합니다.

하단의 돌아가기 버튼을 통해 서비스를 다시 이용할 수 있습니다.

 

Accessibility(🗣️접근성)

고대비를 활용한 접근성 증대

4. 기대 효과

기대 효과

1. 시각장애인과 만들어가는 세상

2. 시각장애인 정보 접근성 증진

3. 자립적인 선택 보조

개선 사항

1. 지원 범위 확장

2. 기술적 개선

🐦 Flutter

1. 메뉴판이 화면에 들어오면 자동으로 촬영해주는 기능을 더욱 정교하게 다듬을 것입니다.

2. 시각장애인 사용자 피드백을 수용해 지속적으로 개선 할 것입니다.
• 기능 보강 및 개선
• UI 변경
• TTS 변경
• 고대비 테마 변경
• 편의성 기능 추가

🤖 AI

1. 성능 개선을 위해 OpenCV 대신 ResNet 이미지 인식 모델 시도할 것입니다.

2. tesseract-OCR 메뉴판 인식에 특화된 모델을 학습시키고 적용해볼 것입니다.

3. 다층 메뉴 혹은 주문 옵션이 복잡한 메뉴에 대해 정확도를 개선할 것입니다.

4. 스마트폰 보급율이 높은 국가에 대한 다국어 지원(English, French,…)과 인식률 개선에 집중할 것입니다.