Данные

Условия повторного использования

The Open Beauty Facts database is available under the Open Database License.
The individual contents of the database are available under the Database Contents License.
Products images are available under the Creative Commons Attribution ShareAlike licence. Они могут содержать графические элементы, на которые распространяются авторские или иные права, которые в некоторых случаях могут быть растиражированы (права на цитирование или добросовестное использование).

Please read Terms and conditions of use and re-use before re-using the data.

Расскажите нам о своем повторном использовании

We are very interested in learning what the Open Beauty Facts data is used for. It is not mandatory, but we would very much appreciate it if you tell us about your re-uses so that we can share them with the Open Beauty Facts community. Вы также можетезаполнить эту форму, чтобы получить шанс на добавление вашего приложения в избранное.

Open Beauty Facts data exports

Дампы базы данных и экспорт генерируются каждую ночь. База данных очень большая, так что вы можете найтиразные способы использования, в зависимости от варианта экспорта.

Information on the different fields for the MongoDB dump and CSV exports is available at https://world.openbeautyfacts.org/data/data-fields.txt

Дамп MongoDB

Данные для всех продуктов доступны в дампе базы данных MongoDB.

Ссылка

https://static.openbeautyfacts.org/data/openbeautyfacts-mongodbdump.gz

sha256sum

https://static.openbeautyfacts.org/data/gz-sha256sum

md5sum

https://static.openbeautyfacts.org/data/gz-md5sum

Экспорт дельты

Ежедневный экспорт дельты предоставляется за предыдущие 14 дней. The list of currently available delta files can be found at https://static.openbeautyfacts.org/data/delta/index.txt.

Each line represents a file that is available at https://static.openbeautyfacts.org/data/delta/{filename}.

Имя файла содержит временную метку UNIX первого и последнего изменения, содержащегося в файле JSON, так что файлы дельта можно импортировать (после извлечения) с помощью mongoimport в алфавитном порядке.

Обратите внимание, что из-за природы mongoexport, дельта-файлы не смогут рассказать вам об удаленных продуктах. Чтобы убрать удалённый товар из базы данных, вам нужно импортировать полный дамп MongoDB.

Экспорт данных CSV

Вся база данных также доступна в формате JSONL (иногда называемом LDJSON или NDJSON), где каждая строка является объектом JSON. Он представляет те же данные, что и экспорт из MongoDB. Файл сжат с помощью gzip.

Ссылка

https://static.openbeautyfacts.org/data/openbeautyfacts-products.jsonl.gz

Подходящим способом использования базы данных является использование DuckDB — инструмента внутри процессной аналитики, предназначенного для обработки больших объемов данных за доли секунды. You can read our blog post where we walk you through exploring and processing the Open Beauty Facts database with DuckDB

Экспорт данных Parquet на Hugging Face

Упрощенная версия дампа JSONL также доступна в формате Parquet. В ходе конвертации мы отфильтровали столбцы, которые содержат дублированную информацию, используются для внутренней отладки или просто неактуальны для пользователей.

Формат Parquet оказался удобным:

• Данные организованы по столбцам, а не по строкам, что экономит дисковое пространство и ускоряет аналитические запросы, т. е. вы можете выбрать только те столбцы, которые вам нужны, оптимизируя производительность запросов даже на компьютерах начального уровня.
• Высокоэффективное сжатие и распаковка данных, что делает его полезным для хранения и обмена большими наборами данных любого рода,
• Поддерживает сложные типы данных и расширенные вложенные структуры данных.

Набор данных доступен на Hugging Face— совместной экосистеме машинного обучения, где разработчики и исследователи могут обмениваться моделями и наборами данных.

Ссылка

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/beauty.parquet?download=true

Найдите больше информации на Wiki, включая советы по использованию данных и примеры запросов, чтобы начать.

Экспорт данных CSV

Data for all products, or some of the products, can be downloaded in CSV format (readable with OpenOffice, Excel and many other software) through the advanced search form.

Ссылка

https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz (compressed CSV in GZIP format: ~ 0.9 Gb, uncompressed: ~ 9 Gb)

Кодировка файла - Unicode UTF-8. Символом, который разделяет поля, является <tab> (табуляция).

Экспорт данных RDF

База данных также доступна в формате RDF. Вы можете прочитать объявления на французском.

Ссылка

https://world.openbeautyfacts.org/data/en.openbeautyfacts.org.products.rdf.gz

Экспорт данных изображения

Все изображения и результаты OCR можно загрузить с нашего сервера или из AWS (через программу AWS Open Data). Посмотрите нашу документацию чтобы узнать больше о загрузке фото.

OpenAPI Documentation for the JSON API

JSON API также доступен для чтения данных о продукте. This API is in particular used in the Open Beauty Facts mobile app for iPhone and Android.

Мы улучшаем API сверхурочно, но мы тщательно следим за обратной совместимостью. Пожалуйста, сообщите нам, если вы используете его, чтобы мы могли рассказать вам о возможных изменениях.

URL to read data for a product: https://world.openbeautyfacts.org/api/v2/product/[barcode].json

Example: https://world.openbeautyfacts.org/api/v2/product/3600550578041.json

Обратите внимание: если вывод слишком перегружен, вы можете отфильтровать его, как описано в документации API.

• API V3 - new OpenAPI documentation - Work in Progress

Требуется помощь OpenAPI

We're eager to finish the documentation of the API, add use-cases, and automate SDK generation. If you are an OpenAPI connoisseur, you are very welcome to help.

You are very welcome to use the API for production cases, as long as 1 API call = 1 real scan by a user. Any attempt to scrape the database using the API will very likely be blocked, as full daily exports are available on this very page.

Also, sending an HTTP header with your API call is a good way we can get in touch, should any issue arise.

Если вы в чём-то не уверены, или есть вопросы(здесь нет глупых вопросов), свободно спрашивайте их в #api канале на Slack :-)

Экспериментальный XML API

Вы также можете получить результат в XML, используя .xml

Example: https://world.openbeautyfacts.org/api/v2/product/737628064502.xml

Этот API не поддерживается, и не документирован.

Обертки и SDK

У нас наверняка есть оболочка для вашего любимого языка программирования. Если мы сделаем, вы можете использовать это и улучшить. Если мы не сделаем, вы можете помочь нам сделать это.

Они позволят вам потреблять данные, а также позволят вашим пользователям вносить новые данные

Общие принципы, которые помогут сделать ваших пользователей счастливыми

• Вы можете искать информацию о продуктах, включая множество полезных расчетных значений.
• If you can't get the information on a specific product, you can get your user to send photos and data, that will then be processed by Open Beauty Facts AI and contributors to get the computed result you want to show them.
• Вы также можете реализовать весь процесс, чтобы они немедленно получили результат, приложив некоторые усилия с их стороны.

Если ваши пользователи не ожидают немедленного результата (например, приложения Inventory)

• Отправка фотографий (вид/пищевая ценность/ингредиенты): самый безболезненный способ для ваших пользователей
• The Open Beauty Facts AI - Robotoff - will generate some derived data from the photos
• Over time, other apps, and the Open Beauty Facts community will fill the data gaps

If your users expect a result immediately (e.g. Allergy apps)

• Submit ingredients + category > get Ingredient analysis, additives, allergens, normalized ingredients, vegan, vegetarian…
• Submit labels for added value

Мобильное приложение для Android и iPhone

Новое кроссплатформенное приложение разработано на Flutter/Dart.

We look to turn the deprecated Kotlin and Swift codebases into Kotlin and Swift SDKs, help welcome :-)

Приложение позволяет пользователям сканировать штрихкод продукта, чтобы найти о нём информацию, и добавить фото и информацию для новых продуктов.

Вы можете самостоятельно использовать код (он в открытом доступе) и помочь нам улучшить его, для каждого, на всей земле.

SDK

• Cordova: GitHub (old Open Beauty Facts official app)
• PHP (Lararel): GitHub
• Elixir: GitHub - Канал для дискуссий
• Go: GitHub - Канал для дискуссий
• Java: GitHub - Канал для дискуссий
• Spring Boot: GitHub - Discussion channel
• PHP: GitHub - Канал для дискуссий
• PHP (Laravel): GitHub - Канал для дискуссий
• Python: GitHub - Канал для дискуссий
• React Native: GitHub - Канал для дискуссий
• Ruby: GitHub - Канал для дискуссий
• Rust: GitHub - Канал обсуждения
• R: GitHub - Канал обсуждения
• Swift: GitHub - Канал обсуждения
• .NET/C#: GitHub - Канал обсуждения
• NodeJS: GitHub - Канал для дискуссий
• Kotlin: GitHub - Канал для дискуссий

Обсуждение данных, API и экспорт

Вы можете посмотреть часто задаваемые вопросы об API и экспорте данных и часто задаваемые вопросы Open Food Facts

You can join the Open Beauty Facts Slack chatroom which is the preferred way to ask questions and discuss the API. Пожалуйста задавайте свои вопросы в канале #api

Вы можете открыть ветку в нашем репозитории документации API

По любым вопросам относительно данных вы можете связаться с нами по адресу reuse@openfoodfacts.org