Інструменти для семантичного пошуку та мапінгу термінів в EOSC: Що має знати дослідник та як це допомагає в його роботі

Опис вашого першого форуму.
Відповісти
admin
Адміністратор сайту
Повідомлень: 35
З нами з: Чет серпня 15, 2024 4:51 am

Інструменти для семантичного пошуку та мапінгу термінів в EOSC: Що має знати дослідник та як це допомагає в його роботі

Повідомлення admin »

📌 Семантичний пошук та мапінг термінів – це методи, які допомагають дослідникам швидко знаходити, узгоджувати та пов’язувати наукові дані з урахуванням їхнього значення, а не лише точного текстового збігу.

🔹 1. Що має знати дослідник?
📖 Семантичний пошук: що це?
✔ Семантичний пошук розпізнає значення термінів, а не просто шукає точні слова у тексті.
✔ Він використовує онтології та словники, щоб знаходити синоніми, термінологічні варіації та контекст.
✔ Наприклад, якщо ви шукаєте "надпровідники", система також може знаходити "суперпровідники", "low-temperature superconductors", "HTS", навіть якщо цих слів немає у вашому запиті.

📖 Мапінг термінів: що це?
✔ Мапінг (mapping) означає відповідність між різними термінами та концепціями з різних дисциплін або баз даних.
✔ Якщо одна база даних використовує "Gene ID", а інша – "Ensembl ID", мапінг дозволяє поєднати ці терміни як однакові концепції.
✔ Це важливо для інтеграції даних з різних репозитаріїв та платформ EOSC.

🔹 2. Як це допомагає досліднику в роботі?
✅ Швидший пошук інформації та зв'язок між даними
✔ Дослідник може отримати повнішу вибірку результатів, оскільки система шукає не лише за точним текстовим збігом, а й за контекстом та синонімами.
✔ Наприклад, у фізиці твердого тіла "перехідний метал" та "d-елемент" – це однакова концепція. Семантичний пошук це розуміє.

✅ Інтеграція даних із різних джерел
✔ Якщо дослідник використовує кілька баз даних, мапінг допомагає поєднати інформацію з різних дисциплін.
✔ Наприклад, у нейронауці дані про білки з бази UniProt можна пов’язати з даними про хвороби з OMIM.

✅ Автоматична анотація даних у репозитаріях
✔ Якщо дослідник публікує набір даних, семантичний пошук автоматично призначає ключові терміни та категорії, що підвищує видимість у репозитаріях EOSC.
✔ Це спрощує пошук його роботи іншими вченими.

✅ Підвищення інтероперабельності у спільних дослідженнях
✔ Міжнародні команди використовують різні терміни для одних і тих самих явищ.
✔ Мапінг допомагає перекладати дані між стандартами, що спрощує співпрацю.

🔹 3. Практичне використання у EOSC
🔍 Дослідник працює в EOSC. Як це виглядає?
📌 Ви завантажуєте набір даних у репозитарій.
📌 Семантичний інструмент автоматично призначає метадані, що відповідають міжнародним стандартам.
📌 Коли інший науковець шукає схожі дані, система автоматично враховує синоніми, відповідні терміни, мапінг із іншими словниками.
📌 Ваші дані стають видимими для ширшої аудиторії!

🔹 4. Що потрібно знати досліднику, щоб ефективно користуватися цими інструментами?
✅ Базове розуміння FAIR-принципів
✔ Дані мають бути знайденими, доступними, сумісними, повторно використаними.
✔ Семантичний пошук і мапінг допомагають зробити це реальністю.

✅ Використання стандартних термінів у дослідженнях
✔ Якщо вчені публікують свої дані, варто користуватися ONTOLОГІЯМИ та СЛОВНИКАМИ EOSC.
✔ Наприклад, у біології – Gene Ontology (GO), у матеріалознавстві – CIF (Crystallographic Information File).

✅ Використання спеціалізованих інструментів EOSC
✔ Дослідник може використовувати Vocabularies-as-a-Service (VaaS) – словниковий сервіс EOSC для вибору термінів.
✔ Інструменти B2SHARE, B2FIND, OpenAIRE підтримують семантичний пошук.

📌 Висновок
📌 Семантичний пошук і мапінг термінів допомагають дослідникам знайти точніші результати, інтегрувати різні джерела даних та зробити свої роботи більш доступними у глобальному науковому просторі.
📌 EOSC забезпечує автоматизовану обробку метаданих, що економить час та полегшує співпрацю між науковцями.
📌 Дослідники можуть скористатися цими технологіями, застосовуючи стандартизовані терміни, обираючи відповідні словники та використовуючи інструменти EOSC для публікації даних.

🚀 Це робить дослідження більш видимими та придатними для міжнародного використання! 🌍
admin
Адміністратор сайту
Повідомлень: 35
З нами з: Чет серпня 15, 2024 4:51 am

Re: Інструменти для семантичного пошуку та мапінгу термінів в EOSC: Що має знати дослідник та як це допомагає в його роб

Повідомлення admin »

Інструменти для семантичного пошуку та мапінгу термінів в EOSC: що має знати дослідник і як це допомагає

Семантичний пошук ≠ просто ключові слова. Йдеться про пошук “за змістом”: пов’язані поняття, ідентифікатори (DOI/ORCID/ROR), онтології та зв’язки між роботами, даними, софтом, проєктами й організаціями.

1) Де шукати “просто зараз”
OpenAIRE Graph — інтегрований граф наукових результатів; новий Graph API для розробників (пошук продуктів, організацій, проєктів). graph.openaire.eu
• Swagger: api.openaire.eu/graph/swagger-ui
DataCite Commons — граф DOI з GraphQL/REST API (набори даних/репозиторії + зв’язки з авторами/організаціями). commons.datacite.org
• GraphQL: api.datacite.org/graphql
B2FIND (EUDAT) — крос-дисциплінарний пошук по метаданих багатьох репозиторіїв (CKAN API). b2find.eudat.eu
• API: приклад запиту
re3data — реєстр репозиторіїв (допомагає знайти “де лежить ваш тип даних”), є REST API. re3data.org
• API: документація
FAIRsharing — реєстр стандартів/баз/репозиторіїв (добір стандартів метаданих), є API. fairsharing.org • API: api.fairsharing.org
OpenAlex — пошук за темами/концептами (корисно для “понятійного” пошуку). docs.openalex.org
Нагадування про OpenAIRE: старий Search API виводять з експлуатації до 15.12.2025. Використовуйте Graph API.
2) Мапінг термінів і нормалізація запитів
EBI OLS — Ontology Lookup Service (синоніми/ієрархії; API). ebi.ac.uk/ols4
NCBO BioPortal — велика збірка онтологій з API. bioportal.bioontology.org
FAIRsharing — підказує стандарти/схеми метаданих для вашої дисципліни. fairsharing.org
re3data — зіставляє терміни з репозиторіями, що їх підтримують. re3data.org

3) Приклад для матеріалознавства/STM
OPTIMADE — єдиний стандарт API для баз матеріалів (Materials Project, NOMAD тощо): один фільтр → кілька провайдерів. optimade.org
– Література: OpenAlex Topics для “scanning tunneling microscopy” + пов’язані теми/роботи. інструкція

4) Як це допомагає щодня
– Знаходите датасети, навіть якщо автори вжили інші назви/синоніми → теми/онтології “змикають” різні формулювання.
– Бачите зв’язки “набір ↔ публікація ↔ софт ↔ проєкт ↔ організація” (OpenAIRE Graph, DataCite).
– Легше звітувати: DOI, ORCID, ROR узгоджені між сервісами.
– Розумієте, де публікувати: re3data + FAIRsharing підкажуть репозиторій і стандарт метаданих.

5) Міні-рецепти
OpenAIRE Graph API (datasets зі словом “STM”):

Код: Виділити все

GET https://api.openaire.eu/graph/researchProducts?size=25&offset=0&metadata.resourceType=datasets&metadata.keywords=STM
DataCite GraphQL (Dataset + автори):

Код: Виділити все

POST https://api.datacite.org/graphql

{"query":"{ works(query:"STM", resourceTypeGeneral: Dataset, first:10){ nodes{ doi titles{title} creators{name} publisher publicationYear } } }"}
OpenAlex (повнотекстовий пошук по роботах):

Код: Виділити все

GET https://api.openalex.org/works?search=scanning%20tunneling%20microscopy&per_page=25
B2FIND/CKAN (метадані репозиторіїв):

Код: Виділити все

GET https://b2find.eudat.eu/api/3/action/package_search?q=STM&rows=25
OPTIMADE (фільтр по елементах):

Код: Виділити все

GET https://materialsproject.org/optimade/v1/structures?filter=elements
 HAS ALL "Fe","Se"
6) Щоб вас легше знаходили
– Додавайте DOI, ORCID, ROR.
– Використовуйте узгоджені терміни з онтологій (subject/methods/instrument).
– Перед публікацією перевіряйте: re3data (репозиторій) + FAIRsharing (стандарт метаданих).

7) Для адміністраторів (коротко)
  • Якщо хочете локальний семантичний пошук по форуму/репозиторію: згенеруйте ембеддинги постів/метаданих → індексуйте у векторне сховище (гібридний пошук + переранжування). Для джерел даних використовуйте офіційні API:
    OpenAIRE Graph, DataCite Commons, OpenAlex, B2FIND (CKAN).
  • Уникайте прив’язки до застарілих API: для OpenAIRE переходьте на Graph API (Search API знімають). Докладніше: graph.openaire.eu.
FAQ
  • Чому не просто Google? Тому що інструменти вище використовують ідентифікатори/онтології та графи зв’язків — це дає точніший і відтворюваний пошук по науковій екосистемі. Див.: OpenAIRE Graph, DataCite, OpenAlex.
  • А якщо результатів “занадто багато”? Додавайте фільтри: тип ресурсу (dataset), рік, дисципліна/тема, проєкт/фандер, країна/організація. Див. приклади у Graph API Swagger та DataCite GraphQL.
  • Чи є ліміти? Так, у різних API є обмеження/пагінація. Для масового аналізу використовуйте снапшоти/повні датасети (OpenAIRE, OpenAlex, DataCite): OpenAIRE, OpenAlex, DataCite.
Швидкі посилання:
admin
Адміністратор сайту
Повідомлень: 35
З нами з: Чет серпня 15, 2024 4:51 am

Re: Інструменти для семантичного пошуку та мапінгу термінів в EOSC: Що має знати дослідник та як це допомагає в його роб

Повідомлення admin »

A. Інструменти для семантичного пошуку (TL;DR + міні-рецепти)

Семантичний пошук = не лише ключові слова, а пошук “за змістом” через теми/онтології та зв’язки: робота ↔ дані ↔ софт ↔ проєкт ↔ організація.

Що зробити зараз Міні-рецепти (натисніть і дивіться результат)
Порада: старий OpenAIRE Search API знімають до 15.12.2025 — використовуйте Graph API. Swagger: https://api.openaire.eu/graph/swagger-ui/index.html
Типові помилки
  • Незакритий тег [/url] або перенос рядка всередині текст
  • Дуже широкий запит → додайте фільтри: тип ресурсу, рік, дисципліну/тему, країну, фандера
  • Відсутні ідентифікатори у ваших роботах/даних → див. блок “PID”
admin
Адміністратор сайту
Повідомлень: 35
З нами з: Чет серпня 15, 2024 4:51 am

Re: Інструменти для семантичного пошуку та мапінгу термінів в EOSC: Що має знати дослідник та як це допомагає в його роб

Повідомлення admin »

Семантичний пошук: TL;DR, готові запити, типові помилки
Семантичний пошук = за змістом, а не лише за словом: поняття/теми, ідентифікатори (DOI/ORCID/ROR), зв’язки “набір ↔ публікація ↔ софт ↔ проєкт ↔ організація”.
Що зробити прямо зараз Готові запити (клікабельні) Поради
  • Додавайте фільтри: тип (dataset), рік, проєкт/фандер, організація/країна.
  • Для великого збору даних використовуйте снапшоти/повні датасети (OpenAIRE/OpenAlex/DataCite).
  • OpenAIRE Search API знімають до 15.12.2025 — користуйтеся Graph API.
Пов’язані теми: Словники/онтології (OLS, BioPortal), PID (DOI/ORCID/ROR)
Відповісти