Сообщество
FAQ
Логин
Пароль
Войти при помощи
Кстати, вы можете
Установить drebedengi.ru на свой сервер.
Общение / Веб версия / Автоматическая обработка чеков. Сканирование QR ко ...

Автоматическая обработка чеков. Сканирование QR кода.

Admin
16 декабря 2019 12:22
Друзья, приглашаем всех принять участие в тестировании автоматической обработки чеков по QR. Здесь обсуждаем эту функцию и идеи по её улучшению.

Коротко, как это работает.

  1. Базовый сценарий.
    1. Перед тем как выкинуть чек, сканируем его QR код через наше мобильное приложение.
    2. Создаётся базовый расход на общую сумму чека, а сам чек встаёт в очередь на обработку.
    3. Когда будет получена информация о чеке из ФНС, первоначальный расход разбивается на позиции и образуется "группа трат".
    4. Категория каждой траты определяется автоматически или на основе собственных правил пользователя.
  2. Интеграция с обработкой Пуш/СМС от банков (андроид приложение).
    1. СМС/Пуш уведомление дополняет сканирование QR, улучшая автоматизацию. Операция из СМС "сливается" с операцией из сканирования QR.
    2. Благодаря СМС, система может автоматически определять счёт (в чеке информации для этого нет).

На данный момент сделано всё, кроме авто-определения категорий, над которым мы сейчас работаем и хотим со всеми по-обсуждать варианты реализации. Об этом отдельно позже напишем.

Чтобы начать и "пощупать", нужно установить альфа-версию 2.5.9 (и выше) мобильного приложения под Андроид.
Ставьте, пробуйте сканировать чеки, пишите вопросы, замечания, предложения.

PS
В iOS версии тоже очень хотим прикрутить сканер, если получится, но попозже.

Admin
16 декабря 2019 14:42
Подробности про сценарий работы.
  1. Чтобы сканировать чек в приложении, можно кликнуть "QR чек" в форме ввода трат, но удобнее через виджет "чеки", который мы решили переделать из "фотографирования" в "сканирование". Почему именно "переделать", а не сделать отдельный - напишем позже, причины есть.
  2. В комментарии расхода, полученного путём сканирования QR, вставляется ссылка "чек в обработке", до тех пор пока не поступит информация из ФНС. Это может занять от нескольких секунд, до нескольких дней (редко).
  3. Про интеграцию с обработкой Пуш/СМС.
    1. Не важно, что будет раньше - поступит СМС об операции или пользователь отсканирует чек. Сработает алгоритм "слияния".
    2. При "слиянии" ищется операция на ту же сумму и дату плюс-минус 30 минут. Время в чеках часто "убегает" от реального, будем ещё экспериментально подбирать оптимальное значение.
    3. Про галочку "Брать счёт из Пуш.СМС" в окне сканирования чека.
      1. Рекомендуется её использовать, чтобы счёт определялся автоматически.
      2. При этом нужно не обращать внимание на счёт, выставленный сразу при сканировании. Система его изменит позже, когда поступит СМС.
      3. Чтобы это работало, возможно придётся настроить собственные правила обработки, если система не верно определяет счёт сама.
    4. Так же, Пуш.СМС можно уже сейчас использовать для частичного определения категорий, используя ключевые слова из СМС + правила обработки. Почему "частичного"? Потому что в СМС не всегда достаточно информации для определения категории. Особенно если покупка состоит из множества позиций, у которых могут быть разные категории. Когда сделаем алгоритм определения категории по названию позиции из чека, оба эти алгоритма нужно будет как-то "сочетать". Но об этом позже.
    5. Комментарий операции. Если правилами для СМС определён собственный комментарий (напр. вставляется текст СМС), то он приклеивается к последней позиции в чеке. С появлением QR сканирования, вероятно будет лучше просто отключить эту функцию в настройках правил, а так же в настройках самого приложения.
  4. Сами чеки. На данный момент они отображаются просто картинкой заглушкой, но скоро планируем их отображать в красивом виде, похожем на настоящий чек.
    1. В веб-версии, под формой ввода трат, если включить галочку "ещё-Чеки и картинки приклеенные к тратам".
    2. По ссылке вида "чек 23322" в комментарии любой позиции, которая приклеена к чеку.
    3. В Андроид приложении, в разделе "Ещё-Чеки".
  5. Про галочку "тег-магазин" в окне сканирования. Она добавляет тег с названием магазина всем операциям из чека, что позволяет строить по нему отчёты и видеть где была совершена покупка. Работает это так:
    1. Из чека берётся ИНН организации-продавца и по нему определяется название из публичных источников.
    2. Название очищается от мусора и приводится к виду типа "АзбукаВкуса".
    3. Создаётся тег с этим названием (если он не существует) и приклеивается всем позициям из чека.
    4. Связь данного тега и ИНН запоминается и используется в будущем при обработке чеков из этого магазина.
    5. Вы можете изменить название тега или назначить для данного ИНН другой тег. И то и другое делается в форме редактирования данного тега, в справочниках.
    6. Чтобы лучше структурировать ваши данные, рекомендуем создать родительский тег "Места", в который добавлять все теги-магазины.
    7. В комментарий операции "Группа трат" тоже вставляется данный тег, для наглядности.
  6. Возможные проблемы.
    1. Чек висит "в обработке" слишком долго. Нужно проверить чек официальным приложением ФНС "Проверка чеков" и если там он целиком получен, то сообщить об этом нам в обратную связь. Если чек не получен там - подождать несколько дней и/или сообщить об этом в ФНС в том же приложении.
    2. Отсканирован не тот QR. Иногда на чеках бывают QR коды для других целей (например, см. eagis.ru и t-karta.ru). В этом случае дребеденьги создадут расходную операцию на 1 руб, а чек будет в состоянии "чек не найден". Следует удалить и чек и операцию.
Admin
16 декабря 2019 14:42
Что ещё хорошего можно выжать из обработки QR, со временем?
  1. В чеках (особенно продуктовых) присутствует информация о количестве товара и единицы измерения (кг или шт). Мы пока это просто сохраняем в сторонку, а потом хотим сделать графики сколько каких товаров потребляется в динамике. Это позволит планировать потребление/расходы товаров в любое время, в зависимости от изменения цен или других факторов.
  2. Так же присутствует цена за единицу товара. Это даёт возможность следить за динамикой цен со временем, а так же сравнивать цены в разных магазинах.
  3. ... что ещё?
sbrain3000
16 декабря 2019 16:01
У меня только 2.5.8, и я в программе тестирования. Что делать? Хочу тестить чеки!
Maxim
16 декабря 2019 16:02
Давайте протестирую
Макс
16 декабря 2019 16:19
Я протестирую с удовольствием.
Admin
16 декабря 2019 16:21
Альфа 2.5.9 несколько часов назад выложена, видимо не долетела ещё, надо убедиться, что вы в программе альфа-тестирования и подождать.
Макс
16 декабря 2019 16:22
А как узнать в программе ли я, или нет?
Admin
16 декабря 2019 16:23
Макс, нужно пройти по ссылке из первого поста.
sbrain3000
16 декабря 2019 16:34
Я только могу участвовать в бета-тестировании. Был в бета-тестировании. Вышел. Зашел опять, и опять оказался в бета-тестировании.
Admin
16 декабря 2019 16:43
Наверное это оно, просто путаница в названиях. Подождите.
Человек
16 декабря 2019 20:07
Admin Пишет:
При этом нужно не обращать внимание на счёт, выставленный сразу при сканировании. Система его изменит позже, когда поступит СМС.
Уточните, пожалуйста, сценарий с моём случае.
Купил полдюжины шоколадок. Каждая шоколадка - это отдельная позиция. Автоматически присвоился не то место хранения, с которого было списание. СМС по этому месту хранения не приходят.
Если бы я вводил руками, то указал бы место хранения и категорию "шоколадки" одной суммой. Сейчас же у меня группа из множества позиций, для каждой из которых нужно не только указывать, что это шоколадка, но ещё и выбирать правильное место хранения. Как в этом случае правильно поступать?
Ещё вопрос. В мобильном приложении захожу в группу трат, введённую ранее руками, и вижу вверху тест "Всего: n шт." и перечисление позиций текстом. А ниже на весь экран пустое поле с надписью "Список пуст". Это так и должно быть?
Человек
16 декабря 2019 20:15
Человек Пишет:
выбирать правильное место хранения
Пардон, был невнимателен. Выбор места хранения увидел. :-)
Admin
16 декабря 2019 20:53
Человек Пишет:
ниже на весь экран пустое поле с надписью "Список пуст".
Так не должно быть. Пришлите пожалуйста в обратную связь дамп вашей базы, который можно сделать в меню "ещё-настройки-дамп базы данных".
maskman
16 декабря 2019 22:18
У меня чек разбился на 46 позиций.
Их можно как-то объединить?
Admin
16 декабря 2019 22:20
maskman Пишет:
Их можно как-то объединить?
Что вы имеете ввиду?
Они же объединены в группу.
maskman
16 декабря 2019 22:26
Да все 46 позиций объединены в группу.
Но каждая позиция "Без категории".
Теперь надо 46 раз выбрать категорию.
Предполагаемый сценарий такой - Выбрать несколько позиций и присвоить им одну категорию. И так пока позиций не останется.
Admin
16 декабря 2019 22:38
maskman Пишет:
Теперь надо 46 раз выбрать категорию.
Весело, да.
Честно говоря про "ручной" сценарий простановки категорий пока не думали, т.к. в основном думаем про автоматический. Но видимо такой вариант тоже стоит как-то проработать.

Сейчас проще удалить группу, отсканировать чек заново и сразу выставить базовой операции категорию для большей части позиций.
Человек
16 декабря 2019 22:45
Admin Пишет:
думаем про автоматический
Простановка категорий - это сложно. Но тогда автоматизируйте для начала хотя бы простановку тега-места покупки. Оно же одно для всех позиций в покупке.
Предлагаю сделать это следующим образом:
В невидимых для пользователя недрах Дребеденег завести техническую таблицу с двумя колонками: (а)идентификатор тега Дребеденьги и (б)ИНН. Вместо ИНН можно брать идентификатор с уникальностью вплоть до магазина (но всё-таки не до терминала).
1) Пользователь сканирует чек.

2) Алгоритм ищет в таблице ИНН.
2.1) если не находит, то создаёт тег "место покупки 314" и записывает его в таблицу и в данную покупку;
2.2) если находит, то приписывает тег к покупке.

3) Пользователь. Один раз переходит в раздел Справочники - Теги.
3.1) если он раньше не вёл учёт по местам покупок, то переименовывает "место 314" как ему нравится;
3.2) если уже есть тег-место, то пользуется функцией "Перенести транзакции в другое место", которую вы ему сделаете по аналогии с переносом между местами хранения.

Если пользователям будет понятно, где они могут отредактировать автоматические теги (по шагу 3), то это может стать хорошей функцией (по шагу 2.2). Но вероятно многие пользователи захотят это делать через мобильное приложение.
Александр
17 декабря 2019 06:28
Для теста отсканировал чек из столовой. Даже сработало, но почему-то похерился изначальный комментарий из push уведомления (я специально во все правила ставлю галку про текст из уведомлений. По ним удобно проверять корректность текущего баланса).
Admin
17 декабря 2019 12:39
Александр Пишет:
Даже сработало, но почему-то похерился изначальный комментарий
Здравствуйте.
Если позиций в чеке больше одной, то по первоначальной логике так и должно быть. Посмотрите второй пост в этой теме, пункт 3.5, у вас так?

Было предположение, что дублировать в каждую позицию текст СМС - это избыточно. А куда его тогда деть?
Admin
17 декабря 2019 12:42
Человек Пишет:
2.1) если не находит, то создаёт тег "место покупки 314"
Спасибо, сама идея хорошая.
Но не будет ли "насилием" автоматически создавать новый "непонятный" тег пользователю, не спросив его? А если спрашивать - то как и где..
Человек
17 декабря 2019 12:49
Нет, не будет. Проблемой является, когда пользователя просят "прочитать инструкцию", чтобы что-то сделать. Когда делают автоматически, то это круто. Даже те, кто вначале не захочет заморачиваться над переименованием, будут позитивно воспринимать однозначную идентификацию покупки по тегу: "вижу 'место_2523' - ага, то же что и на прошлой неделе".
В общем-то сделать правильную выборку мнений ядра пользователей и посмотреть по фокус-группе - это как раз и самая сложная вещь в массовых сервисах; а сгенерировать идею и запрограммировать - это каждый может :-)
Александр
17 декабря 2019 13:37
Admin Пишет:
Если позиций в чеке больше одной, то по первоначальной логике так и должно быть. Посмотрите второй пост в этой теме, пункт 3.5, у вас так?

Было предположение, что дублировать в каждую позицию текст СМС - это избыточно. А куда его тогда деть?
Нет, не так. Первоначальный комментарий отсутствует полностью, только строка из чека с тегом чекХХХ и Автоввод.

Имхо можно комментарий из уведомления добавить в конец первой позиции.
maskman
17 декабря 2019 13:42
Admin Пишет:
А если спрашивать - то как и где..
В настройках - "Создавать новые тэги по QR-кодам"
maskman
17 декабря 2019 13:50
Александр Пишет:
Имхо можно комментарий из уведомления добавить в конец первой позиции.
Согласен очень нехватает его хоть где-то.
Admin
17 декабря 2019 14:17
Александр Пишет:
Имхо можно комментарий из уведомления добавить в конец первой позиции.
Сделали, попробуем так.
Сергей
17 декабря 2019 18:22
Огромное спасибо вам за эту функцию, ждал ее очень долго, даже от нетерпения написал на вашем API некий аналог с костылями и долго так жил))

Я в программе тестирвания (Использую Android), уже поставил и погонял, вот мои наблюдения:

1. Один чек легко распознался, добавился и зазбился на категории, из SMS/Push он, как я понял, достал все тэги и допихал их в конец каждой позиции, что очень хорошо. Тут я, наверное, соглашусь с предыдущими коментариями, что это поведение стоит настраивать:
- Брать всю информацию из SMS/Push
- Брать тэги
- Ничего не брать
+ отдельно: дописать всю инфу в последнюю позицию или может как-то в группу?

2. Авторазбиением, как я уже говорил, работал и ранее, и почти сразу встала проблема - иногда либо сам, либо автоопределение ставит Счёт списания неправильно и вся группа на 50 позиций уходит "не туда". Можно это исправить извернувшись в отчетах или пересоздать всю группу, но всегда хотелось сделать просто изменение для группы и жить спокойно. Подозреваю, что теперь это будет у многих)
Возможно, стоит сделать такое же меню для операций в группе как и в отчетах.

3. Чек после обработки хотелось бы видеть в человекочитаемом формате + QR, чтобы его, если что найти у ФНС, если он понадобился вдруг.

4. Распознанные и разбитые чеки попадают во вкладку "Обработаны". Если появится функция автоопределения категорий, то их неплохо бы проверять, насколько все правильно разбилось, предлагаю добавить еще одно состояние: "Проверены", которое может поставить пользователь самомсоятельно, будет проще искать косяки.

5. Выцветшие чеки, иногда QR не читается, может сделать ввод вручную?

6. Немного дёгтя: Добавил в обработку сразу 9 чеков, висят уже несколько часов без признаков жизни, непонятно что с ними делать, в Вёб версии они не видны, пишет, что "Чек не найден. Возможно он был удалён."
Тут хотелось бы немного прозрачности, небольшой статус для чека в приложении (Разпознан/запрошен/получение из ФНС/...) очень бы улучшил user experience))

+ 1 не по теме:
Иногда (редко) система обработки SMS/Push пропукает нужные уведомления, добавляя их в список с отметкой "Пропущено" в приложении, на нем можно нажать и будут опции "удалить" и "отменить". Вопрос: а можно добавить опцию "Добавить принудительно", чтобы всё-таки она появилась?

Еще раз спасибо! 8-)
iDuzzy
17 декабря 2019 19:25
Я вот тоже поставил.
И сломалась синхронизация :( , вообще. На закладке синхронизации идёт попытка, потом ошибка «что-то пошло не так, отправлено разработчикам».
Сканирование чеков тоже не работает :( - QR сканирует, но тут же пишет «ошибка при обращении к базе данных».
Переустановка бета версии не помогает. Установка обычной версии решает проблему синхронизации - она начинает работать, но естественно нет сканирования
Сергей
17 декабря 2019 19:29
UPD
У меня при синхронизации пишет:
Похоже, вы ввели не корректный символ в комметарии. Может это была картинка, проверьте и удалите.
Admin
17 декабря 2019 19:33
Сергей, спасибо за предложения, проанализируем.
По пункту 6, у вас ошибка в программе при сканировании случилась. Если можно, пришлите пожалуйста дамп вашей базы нам в обратную связь, его можно сделать в меню "ещё-настройки-дамп базы данных".
Admin
17 декабря 2019 19:38
iDuzzy Пишет:
Я вот тоже поставил.
И сломалась синхронизация
Видим от вас ошибку, разбираемся в проблеме.
Если можно, пришлите пожалуйста тоже дамп вашей базы и по возможности опишите подробно ваши действия при обновлении - какая версия приложения стояла до этого, какая версия ОС у вас в телефоне, что сделали сразу после обновления? Были ли попытки сканировать чеки, что именно с ними делали и т.п.
Сергей
17 декабря 2019 19:51
Admin Пишет:
Сергей, спасибо за предложения, проанализируем.
По пункту 6, у вас ошибка в программе при сканировании случилась. Если можно, пришлите пожалуйста дамп вашей базы нам в обратную связь, его можно сделать в меню "ещё-настройки-дамп базы данных".
Отправил
Maxim
18 декабря 2019 07:29
Опущу дифферамбы Разработчикам. Верной дорогой идёте товарищи!
Есть предложение по интерфейсу сканирования QR:
1) добавить ввод qr из библиотеки. Чеков, присланных по почте или mms становится все больше.
2) ввод чека вручную. Менее нужно, но иногда ввести 4 параметра удобнее, чем разбивать большой чек на строки.
3) опциональная подсветка.

Отказ от рамки считаю удачным. QR находится уверенно в любом месте экрана.
Admin
18 декабря 2019 11:17
Maxim Пишет:
1) добавить ввод qr из библиотеки
Уточните, что имеется ввиду. Если открыть электронный чек с компьютера там тоже есть QR, который можно сканировать.

"..ввод чека вручную.." - если можно опишите как видите реализацию и чем она отличается от текущей разбивки в веб-версии.
iDuzzy
18 декабря 2019 15:51
А есть хоть какие-то сроки по исправлению? Или лучше укатиться из бета-теста? Вот совсем плохо без синхронизации
Admin
18 декабря 2019 16:51
iDuzzy, кое-что поправили по вашей проблеме в версии 2.5.10, которая уже улетела в гугл-плэй. Но вам нужно её поставить поверх рабочей версии 2.5.8, поэтому отключитесь пока от программы тестирования, поставьте 2.5.8, подождите пока долетит альфа 2.5.10 и только тогда обновитесь.

Отпишите, пожалуйста, результат.
iDuzzy
18 декабря 2019 17:29
на 2.5.8 переехал, жду когда 2.5.10 появится
Сергей
18 декабря 2019 17:33
Здравствуйте, пока проверял, нашел еще один баг:

Чек, содержащий ОДНУ позицию

Он обработался, но ничего из чека не подставил, оставил исходное состояние, только добавил тэг чека
iDuzzy
18 декабря 2019 22:42
Никак 10ка не появляется...
Тема закрыта для обсуждения