Nepomuk/ru: Difference between revisions

From KDE Wiki Sandbox
(Created page with "[http://kdeatopensuse.wordpress.com/2011/11/09/debugging-nepomukvirtuosos-cpu-usage/ В этом сообщении в блоге] объясняется, как включи...")
(Updating to match new version of source page)
 
(12 intermediate revisions by 3 users not shown)
Line 1: Line 1:
<languages />  
<languages />  


=Nepomuk=
=Semantic Search=


Цель данной страницы — не детальное объяснение технологии Nepomuk, а ее краткий обзор, показ отдельных примеров, формирование видения того, что скрывается за ней, предоставление ссылок на соответствующую информацию в Интернете.
The aim of this page is not to fully explain KDE's Semantic Search technology and every detail, but to give a short overview, some examples, share the vision behind it and link to relevant information on the web.
 
== Baloo is the next generation of semantic search ==
 
From KDE Applications 4.13 onwards, the '[https://community.kde.org/Baloo Baloo]' file indexing and file search framework replaces Nepomuk. Read [http://dot.kde.org/2014/02/24/kdes-next-generation-semantic-search details on the changes for Applications 4.13 here]. Semantic Search no longer uses a single, big database, but separate, specialized databases for each type of data. The new search databases are in <tt>$HOME/.local/share/baloo</tt>. If you upgraded to KDE Applications 4.13 from an earlier KDE release, you can delete <tt>$KDEHOME/share/apps/nepomuk</tt>.


==Краткое объяснение==
==Краткое объяснение==


Как сказано в [[Special:myLanguage/Glossary#Nepomuk|Глоссарии]] речь идет о классификации, организации и представлении данных. Это не приложение, а компонент, который может быть использован разработчиками в приложениях.
As the [[Special:myLanguage/Glossary#Nepomuk|Glossary]] mentions, Semantic Search is about classification, organisation and presentation of data. It is not an application, but a component which can be used by developers within applications.


<span class="mw-translate-fuzzy">
=== Try out in Dolphin ===
=== Попробуйте сами ===
For example, the [[Special:myLanguage/Dolphin|Dolphin]] file manager makes use of Search. In KDE Applications versions prior to 4.13 Semantic Search must be enabled from <menuchoice>System settings -> Desktop search</menuchoice>. The information sidebar of Dolphin (<menuchoice>Control -> Panels -> Information</menuchoice>, or press <keycap>F11</keycap>) presents information extracted by Search about the selected file, and also allows you to assign tags, ratings and comments to files. This information is then stored and indexed by Search. You can then search for metadata using the navigation bar in Dolphin. Click to <menuchoice>Find</menuchoice>, or press <keycap>Ctrl+F</keycap>, and search for file names or file contents.
Например, [[Special:myLanguage/Dolphin|Dolphin]] использует Nepomuk. Чтобы воспользоваться возможностями Nepomuk и Strigi, они должны быть включены в разделе «Параметров системы» под названием <menuchoice>«Поиск по меткам и содержимому»</menuchoice>. Боковая панель позволяет назначать метки файлам, оценивать файлы и добавлять комментарии. Затем эта информация сохраняется в Nepomuk. Затем вы можете выполнять поиск по меткам в панели поиска Dolphin. Введите в строке адреса «nepomuksearch:/» и ключевые слова для поиска.
</span>


<!-- info about nepomuksearch:/ deleted per its developer: "Actually nepomuksearch:/ is an internal thing and should not be entered by the user." its developer -->
<!-- info about nepomuksearch:/ deleted per its developer: "Actually nepomuksearch:/ is an internal thing and should not be entered by the user." its developer -->
Line 19: Line 21:
==Функциональность==
==Функциональность==


Nepomuk предлагает приложениям несколько уровней функциональности. Первый и наиболее простой из них, позволяет вручную устанавливать метки, оценки и добавлять комментарии для файлов, как это сделано в Dolphin. Это поможет вам найти ваши файлы быстрее, но требует много ручной работы.
KDE's Semantic Search offers several 'layers' of functionality to applications. The first and most simple of those is manual tagging, rating and commenting, as used in Dolphin. This helps you to find your files faster, but is also a lot of work.


<span class="mw-translate-fuzzy">
To make finding files containing text easier, Search offers a second functionality: indexing the text of files. You can find files by entering some words which you know are in there, or just (part of) their title.
Чтобы сделать поиск текстовых файлов легче, Nepomuk предлагает вторую функциональность: индексирование текста, содержащегося в файлах. Для этого используется технология, называемая [[Special:myLanguage/Glossary#Strigi|Strigi]]. Теперь вы можете найти эти файлы, введя слова, которые содержатся в этих файлах, или просто название файла (или его часть).
</span>


Третий уровень достаточно сложен, не зря Nepomuk задумывался как исследовательский проект рядом компаний и университетов Европейского союза. На этом уровне вы столкнетесь с такими словами и выражениями, как: "семантический рабочий стол" и "онтологии". В основном речь идет о контексте и отношениях.
The third layer is a very complex one, and the reason why the underlying technology, Nepomuk, was conceived as a research project of several companies and universities in the European union. This is where you will find difficult words like 'semantic desktop' and 'ontologies'. Basically, it is about context and relationships.


=== Индексирование файлов ===
=== Индексирование файлов ===


Strigi не индексирует все файлы на жестком диске. Конфигурация по умолчанию в большинстве дистрибутивов исключает некоторые общие закономерности для резервного копирования файлов и каталогов конфигурации, и это только индексы определенных каталогов в вашем домашнем каталоге. Вы можете изменить это в <menuchoice> Параметры системы -> Поиск по меткам и содержимому -> Desktop Query -> Настройка каталогов индекса ... -> Индексируемые каталоги </menuchoice>.
Search does not index every file on the hard drive. Its default configuration in most Linux distributions excludes some common patterns for backup files and configuration directories. You can change this in <menuchoice>System Settings -> Desktop Search</menuchoice>. Add folders to be excluded. If you want to turn off indexing of files entirely, just add your home folder there.
 
Отметим, что по состоянию на KDE 4.7 Strigi не следует по символическим ссылкам ({{bug|208602}}). В KDE до версии 4.9, даже если пользователь выбирает папки в символическую ссылку для индексации ({{bug|287593}}), содержимое не будет проиндексировано. Данная ошибка была исправлена​​. Таким образом, пользователь сможет увидеть символические ссылки, но ему/ей не будет разрешено отмечать какой-либо из них для индексации. (Символическая ссылка это файл, который «указывает» на другой файл или каталог; Dolphin отображает символические ссылки '' курсивом'') Вам необходимо найти путь к фактическому каталогу (в '''Dolphin''', выберите файл, перейдите к <menuchoice> Свойства -> Общие -> Указывать на </menuchoice>) и укажите Strigi проиндексировать его.


В '''Параметры системы''' вы также можете управлять поведением Strigi при индексировании файлов на съемных носителях, таких как USB-диски и компакт-диски.
In '''System Settings''' you can also control whether Search indexes files on removable media such as USB drives and CD-ROMs. In KDE Applications 4.13 this is not available, removable media are not indexed. Future versions are planned to reintroduce this functionality.


==Примеры==
==Примеры==


С помощью двух примеров поясним, что предлагает Nepomuk.
Let me try to explain what Semantic Search offers using two examples. These features are not available fully yet - the base is there but application developers need to integrate this in their applications.


===Отношение===
===Отношение===
Line 43: Line 41:
Скажем, 2 недели назад вы получили фотографию своего друга и сохранили ее где-то на компьютере. Теперь вы хотите найти ее. Если вы не помните, где вы ее сохранили, то вам не повезло.
Скажем, 2 недели назад вы получили фотографию своего друга и сохранили ее где-то на компьютере. Теперь вы хотите найти ее. Если вы не помните, где вы ее сохранили, то вам не повезло.


Теперь Nepomuk стремится помочь вам. Вы знаете что файл с фотографией пришел вам от вашего друга, но компьютер ничего об этом не знает. Однако Nepomuk может запомнить это отношение. Для того чтобы найти фото запустите поиск по имени вашего друга.
Now Semantic Search aims to help you. You know this file came from that friend of yours, your computer does not know. Search, however, can remember this relationship. Searching on the name of your friend will therefore pop up the photo!


Другие примеры потенциальных отношений, которые могут быть установлены: между веб страницей, с которой был скопирован текст, и документом, в который этот текст был вставлен или между двумя изображениями одной и той же машины. Такие отношения могут быть определены по содержимому файлов (вы можете просмотреть фото и понять кто или что изображено на них) или установлены использованным приложением (как в случае с примером о электронной почте от друга). Эта часть Nepomuk все еще активно разрабатывается и требует интеграции в приложения. Возможно придется подождать еще несколько лет прежде чем начать использовать эту возможность.
Another potential relationship is between a web page you copied text from and the document you pasted it into, or two images showing the same car. Such relations can sometimes be extracted from the files themselves (you could analyze photos and see who or what is on there) or supplied by the applications involved (as in the above email example). This part of Search is still under heavy development, and needs integration in applications, so you can expect it to take a few more years to really shine.


В общем эта часть Nepomuk делает поиск интеллектуальным. Вспомните как Google пытается сделать ваши поисковые запросы более интеллектуальными: когда вы ищете отель в каком либо городе, показываются не только сайты отелей, но и их расположение на google map в том городе что вы указали. Система может даже предложить более удачное название, в случае если вы допустили ошибку. Google также пытается расположить самую релевантную информацию в начале списка результатов, используя сложные расчеты для определения отношений (связей) между веб-сайтами. Nepomuk сможет предложить такой же интеллектуальный поиск и упорядочить результаты по релевантности используя информацию об отношениях.
All in all, this part of Semantic Search is about making search smart. Think about how Google tries to be smart with your searches: when you search for a hotel and a city name, it shows above the website results a google map showing hotels in the city you mentioned! It might even suggest a better name in case you made a spelling mistake. Google also tries to put the most relevant information on top of the list of results, using complex calculations on relationships (links) between websites. Semantic Search will be able to offer such smart results and order them on relevancy using relationship information.


===Контекст===
===Контекст===


Отношения могут помочь не только при поиске файлов, но также оказывают влияние на приложения и как и какую информацию они будут представлять. Обратите внимание, что подобный способ использования Nepomuk, все еще скорее видение проблемы, чем реальность. Многие компоненты уже реализованы, но все еще не интегрированы в приложения и рабочий стол.
These relationships can not only help you while searching for files, but also have an influence on applications and what information they present. Note that this way of using Search is still more a vision than reality! Many of the components are in place, but it is not yet integrated in applications and the desktop as a whole.


Этот пример доставки на рабочий стол информации о контексте может помочь вам работать более эффективно.
Этот пример доставки на рабочий стол информации о контексте может помочь вам работать более эффективно.
Line 59: Line 57:
Было бы неплохо иметь возможность организовать все это немного лучше, верно?
Было бы неплохо иметь возможность организовать все это немного лучше, верно?


Создайте '[[Special:myLanguage/Glossary#Activities|комнаты (activities)]]'. Они были введены в концепции [[Special:myLanguage/Plasma|Plasma]] и в настоящее время представляют собой различные 'рабочие столы'. Они чем-то напоминают виртуальные рабочие столы, только в этом случае изменяется сам рабочий стол, а не набор приложений на нем. Комнаты имеют различные виджеты, фоны и т.п. Конечно, начиная с KDE 4.3, у каждого виртуального рабочего стола может быть своя собственная комната, которую он будет синхронизировать с собой.
Enter '[[Special:myLanguage/Glossary#Activities|activities]]'. These have been introduced in [[Special:myLanguage/Plasma|Plasma]], and currently offer different 'desktops'. They are a bit like virtual desktops, except that the desktop itself changes, not the set of applications. Different widgets, background, things like that. Of course, since Plasma 4.3, each virtual desktop can have its own activity, bringing the two in sync.


Чтобы приложения и рабочий стол были в курсе вашей деятельности, вы могли бы создать комнату для каждой часто выполняемой задачи. Следовательно, если вы вынуждены часто править электронные таблицы с ценами, то вы можете создать комнату для этой задачи: поместить на рабочий стол виджет "Просмотр папки" (или несколько), добавить калькулятор и виджет "Список дел", чтобы помнить что еще предстоит изменить. Возможно даже виджет папки электронной почты, чтобы видеть письма с вопросами относительно таблиц с ценами!
Чтобы приложения и рабочий стол были в курсе вашей деятельности, вы могли бы создать комнату для каждой часто выполняемой задачи. Следовательно, если вы вынуждены часто править электронные таблицы с ценами, то вы можете создать комнату для этой задачи: поместить на рабочий стол виджет "Просмотр папки" (или несколько), добавить калькулятор и виджет "Список дел", чтобы помнить что еще предстоит изменить. Возможно даже виджет папки электронной почты, чтобы видеть письма с вопросами относительно таблиц с ценами!
Line 71: Line 69:
Конечно, вышесказанное в основном относиться к людям, работающим за компьютером в офисе или дома. Вероятно, эта информация не будет особо полезной для любителей компьютерных игр или случайных пользователей.
Конечно, вышесказанное в основном относиться к людям, работающим за компьютером в офисе или дома. Вероятно, эта информация не будет особо полезной для любителей компьютерных игр или случайных пользователей.


Обратите внимание, что пройдет еще несколько лет прежде чем вышеописанный сценарий воплотиться в реальность. Большая часть инфраструктуры для KDE уже реализована, но еще много предстоит сделать.
The scenario described above is already partially implemented in the Activities but much work is still left.


==Часто задаваемые вопросы==
==Часто задаваемые вопросы==
Line 79: Line 77:
Что такое Nepomuk Semantic Desktop и Strigi Desktop File Indexer?
Что такое Nepomuk Semantic Desktop и Strigi Desktop File Indexer?


Nepomuk Semantic Desktop является основой всех других модулей инфраструктуры Nepomuk. Он дает возможность организовать, комментировать и строить отношения среди данных (не только имя файла и содержание, но, например, то, какие приложения использовали определенный файл, или как он был помечен). Ряд приложений KDE и рабочие области используют эту базовую инфраструктуру для доставки функций, таких как пометка писем ([[Special:myLanguage/KMail|KMail]]) или настройка комнат (Plasma).  
: Nepomuk and Strigi are technologies part of what delivers the abilities of the Semantic Search in KDE. Both are not used directly in the latest generation of KDE's Semantic Search ([http://dot.kde.org/2014/02/24/kdes-next-generation-semantic-search details]), however their successors share much of their code and concepts. Semantic Search provides a way to organize, annotate and build relationships among the data (not only file name and content, but for example which applications used a certain file, or how it is tagged). A number of KDE applications and workspaces use this basic infrastructure to deliver features such as email tagging ([[Special:myLanguage/KMail|KMail]]) or activity setup (Plasma).  


С другой стороны, Strigi Desktop File Indexer представляет собой систему индексирования файлов, таким образом, они могут быть добавлены в основное хранилище Nepomuk удобным способом, для того, чтобы использовать их в Nepomuk без их добавления вручную. Кроме того, приложения, такие как  [[Special:myLanguage/Dolphin|Dolphin]] могут производить поиск файлов на основе содержания, имени или других мета-данных (например, тегов), связанных с индексированными файлами. Индексатор также может индексировать нетекстовые файлы, такие как PDF-файлы, обращаясь к мета-данным, содержащимся в этих файлах (автор, публикуемая информация и т.д.). Некоторые компоненты KDE поставляют дополнительные «анализаторы» для нескольких типов файлов. Nepomuk может быть полностью функциональным без использования индексатора файлов, который является дополнительным (и опциональным) компонентом.
:The file indexing allows applications such as [[Special:myLanguage/Dolphin|Dolphin]] to search for files based on content, name, or other meta-data (e.g. tags) associated to indexed files. Such an indexer can also index non-text files, such as PDFs, by accessing the meta-data contained in these files (author, publication information, etc.). Some KDE components ship additional "analyzers" for more file types.


Зачем нам нужны Akonadi и Nepomuk? Разве они не делают одно и то же?
; Why do we need both Akonadi and Semantic Search? Aren't they doing the same thing?


:Зачастую существует много путаницы насчет Akonadi и Nepomuk. Ресурс [http://cmollekopf.wordpress.com/2013/02/13/kontact-nepomuk-integration-why-data-from-akonadi-is-indexed-in-nepomuk/  Почему данные из Akonadi индексируются в Nepomuk] доходчиво объясняет, почему у нас есть и другое, и какова их роль. Не упустите дополнительную информацию от [http://en.opensuse.org/User:Wstephenson Уилла Стивенсона] в разделе комментариев.
: In short, Akonadi provides a cache of PIM data like calendar items, contacts and email, which is used by applications like KMail and Korganizer but also the calendar build in Plasma. Semantic Search plugs in Akonadi to provide search functionality. How Baloo offers search is actually up to the application. In case of KDE PIM, Xapian is used to provide indexing and search.


;Как мне отключить semantic desktop?
;Как мне отключить semantic desktop?


: В большинстве случаев, самым простым способом является отключение индексации файлов, которая, как правило, находится между компонентами Nepomuk, весьма охотлива на использование ресурсов (тем не менее, множество оптимизаций было реализовано в версии 4.7, что привело к снижению использования ресурсов). Это можно выполнить, сняв флажок с  <menuchoice>Включить службу индексирования файлов Nepomuk</menuchoice> в разделе [[Special: myLanguage/System_Settings/Search_Desktop | Поиск по меткам и содержимому]] [[Special:myLanguage/System Settings|Параметров системы]]. В случае, если вы хотите отключить все семантические особенности, снимите флажок <menuchoice>Включить службу Nepomuk </menuchoice>. Обратите внимание, что это действие также отключит поиск в [[Special: myLanguage/Dolphin|Dolphin]].
: File indexing can be disabled by adding the users' home folder to the <menuchoice>System Settings -> Desktop Search -> Do not search in these locations list</menuchoice>. The other functionality is part of the applications that use it and thus can't be disabled without crippling these applications. For example, to not have any search in KMail you'll have to simply remove KMail...
 
In versions of the KDE Applications before 4.13, Semantic Search would have components running separate from applications. This functionality could be disabled by unchecking <menuchoice>Enable Nepomuk File Indexer</menuchoice> in the [[Special:myLanguage/System_Settings/Search_Desktop|Desktop Search]] section of [[Special:myLanguage/System Settings|System Settings]]. In case you want to turn off all semantic features, uncheck <menuchoice>Enable Nepomuk Semantic Desktop</menuchoice>. Notice that this will turn off search in [[Special:myLanguage/Dolphin|Dolphin]] as well.
 
:Notice that with the latter option some programs who use Semantic Search for meta-data will offer reduced functionality: for example [[Special:myLanguage/KMail|KMail]] will not be able to tag mail, or Plasma activities will not offer additional features such as icons, or program data information.
 
;Baloo/Semantic Search is eating 100% CPU! What do I do?


: Обратите внимание, что с последней опцией некоторые программы, которые используют Nepomuk по метаданным, предложат ограниченную функциональность: например [[Special: myLanguage/KMail|KMail]] не сможет помечать письма, или например, Plasma activities не станет предлагать дополнительные функции например, пиктограммы, или данные о программах.  
:Just wait. Certain files are very hard or even impossible to Index. At the moment, this includes for example text files of over 50 megabyte. When Search finds these, it will try for a fixed time. When it fails, it will try to find out what file is broken and disable indexing it in the future. As it indexes files in batches of about 40, it has to find the problematic file by indexing that bunch in parts: first half/second half, index problematic half in pieces again, until the file is found. This can take up to 30 minutes of heavy cpu usage. Unfortunately, while Baloo will not start to index a new batch of 40 files while on battery power, it continues to determine the broken file while on battery. This behaviour has been fixed in in KDE Applications 4.13.1 (it will stop indexing immediately when the power cord is unplugged) and the time the search for each file can take has been reduced to about 10 minutes. The Semantic Search team is working on improving the indexing tools to handle more difficult files.


;Почему я вижу процесс nepomukservicestub, хотя я отключил Nepomuk?
;Почему я вижу процесс nepomukservicestub, хотя я отключил Nepomuk?
Line 107: Line 111:
;Процесс virtuoso-t зависает при 100% загрузке процессора.
;Процесс virtuoso-t зависает при 100% загрузке процессора.


:Virtuoso-t является ключевым компонентом инфраструктуры Nepomuk, и в некоторых случаях обработка команд, получаемых от других компонентов занимает слишком много времени (и, что следовательно, выявляется в виде процессора на 100%). Себастьян Труг (ведущий разработчик Nepomuk) исправил большинство из этих проблем в 4.7.1 или более новой.
:Virtuoso-t is a key component of the old Semantic Search infrastructure and in some occasions the commands sent by the other components end up taking too much time (hence showing the effect of 100% CPU).
 
Virtuoso is no longer used by Semantic Search starting the Applications 4.13 release.


;Иногда Nepomuk потребляет слишком много оперативной памяти.
;Иногда Nepomuk потребляет слишком много оперативной памяти.
Line 113: Line 119:
:Большинство из этих проблем было исправлены, однако  в некоторых случаях, разработчики не в состоянии корректно воспроизвести проблемы. В этом случае, прикладывание примеров и тестов к [http://bugs.kde.org/ отчетам об ошибке] увеличивает шансы на исправление этих ошибок.
:Большинство из этих проблем было исправлены, однако  в некоторых случаях, разработчики не в состоянии корректно воспроизвести проблемы. В этом случае, прикладывание примеров и тестов к [http://bugs.kde.org/ отчетам об ошибке] увеличивает шансы на исправление этих ошибок.


;Nepomuk повторно индексирует файлы при запуске.
;Search accesses the disk too much on startup.:


:Эта ошибка была исправлена ​​в версии 4.7.0. Теперь Nepomuk просто "сканирует" на наличие изменений, без индексирования чего-либо.
:A throttling mechanism implemented in the file indexer, versions after KDE SC 4.8 should no longer have this issue.


;Nepomuk обращается к диску слишком много при запуске.:
;My Search database has been corrupted. How do I clean it?


:В версии 4.7 и более новых эта проблема была минимизирована благодаря дроссельному механизму, реализованному в индексаторе файлов.
:In the extreme case your database is really corrupted and all other attempts have failed, you can delete the <tt>$KDEHOME/share/apps/nepomuk</tt> directory (where <tt>$KDEHOME</tt> is usually <tt>.kde</tt> or <tt>.kde4</tt> in your home directory) while Nepomuk is not running. The database will be cleared, but you will also lose existing information such as tags, ratings and comments.
 
; База данных Nepomuk была повреждена. Как мне ее очистить?
 
: В крайнем случае, если ваша база данных действительно повреждена, и все другие попытки оказались неудачны, вы можете удалить <tt>$KDEHOME/share/apps/nepomuk</tt> (где <tt>$KDEHOME</tt> как правило <tt>.kde</tt> или <tt>.kde4</tt>) или запустить утилиту очистки nepomukcleaner при незапущенном Nepomuk. База данных будет очищена, но вы также  потеряете существующую информацию, такую ​​как теги, рейтинги и комментарии.


== Дополнительные способы устранения неполадок ==
== Дополнительные способы устранения неполадок ==
Если Nepomuk имеет проблемы с индексированием файлов, попробуйте запустить команду
{{Input|1=nepomukindexer ''/путь/к/файлу''}}
и посмотреть, появилась ли какая-либо полезная мощность. Если файл не может быть проиндексирован, индексатор выдаст ошибку, но вы увидите это только если у вас активированы отладочные сообщения для Nepomuk (kdebugdialog). Если ошибка является воспроизводимой, сообщите о ней и приложите файл с ошибкой.
[http://kdeatopensuse.wordpress.com/2011/11/09/debugging-nepomukvirtuosos-cpu-usage/ В этом сообщении в блоге] объясняется, как включить отладочный вывод  [[Glossary#Nepomuk|службы Nepomuk]]. В нем также показывается, как производить отладку использования процессора службой '''Nepomuk''' и ее системы хранения данных.
[http://vhanda.in/blog/2012/02/virtuoso-going-crazy-/ This blog post] explains how to extract useful information for bug reports about the CPU usage of the '''Virtuoso''' backend.


==Совместное использование и конфиденциальность==  
==Совместное использование и конфиденциальность==  
Line 141: Line 135:
Эта проблема является важным предметом для исследования в Nepomuk. В настоящее время, из за существования проблем конфиденциальности и ряда технических вопросов контекст Nepomuk остается конфиденциальным. Будем пребывать в уверенности что команда Nepomuk сделает все возможное, чтобы ваша частная жизнь уважалась.
Эта проблема является важным предметом для исследования в Nepomuk. В настоящее время, из за существования проблем конфиденциальности и ряда технических вопросов контекст Nepomuk остается конфиденциальным. Будем пребывать в уверенности что команда Nepomuk сделает все возможное, чтобы ваша частная жизнь уважалась.


<span class="mw-translate-fuzzy">
== Внешние ссылки ==
:''Дополнительная информация'':
::[http://ru.wikipedia.org/wiki/NEPOMUK Википедия - NEPOMUK (рус.)]
::[http://en.wikipedia.org/wiki/Semantic_desktop Wikipedia - Semantic Desktop]
::[http://en.wikipedia.org/wiki/NEPOMUK_(framework)  Wikipedia - NEPOMUK Framework]
::[http://nepomuk.semanticdesktop.org/xwiki/bin/view/Main1/ Сайт NEPOMUK]
::[http://nepomuk.kde.org/discover/user Сайт NEPOMUK в проекте KDE]
::[http://dot.kde.org/2009/12/10/exploring-new-nepomuk-features-mandriva-linux-2010 Статья о Nepomuk на DOT KDE]
</span>


The new Search technology (post KDE Applications 4.13):
* [http://dot.kde.org/2014/02/24/kdes-next-generation-semantic-search user information article on the dot]
* [http://community.kde.org/Baloo Developer information on community.kde.org]
* [http://en.wikipedia.org/wiki/Semantic_desktop Wikipedia - Semantic Desktop]
The old Search technology:
* [http://techbase.kde.org/Projects/Nepomuk Nepomuk pages for developers on KDE TechBase]
* [http://techbase.kde.org/Projects/Nepomuk Nepomuk pages for developers on KDE TechBase]
* [http://nepomuk.kde.org/discover/user NEPOMUK KDE site]
* [http://nepomuk.kde.org/discover/user NEPOMUK KDE site]
* [http://en.wikipedia.org/wiki/Semantic_desktop Wikipedia - Semantic Desktop]
* [http://en.wikipedia.org/wiki/NEPOMUK_(framework)  Wikipedia - NEPOMUK Framework]  
* [http://en.wikipedia.org/wiki/NEPOMUK_(framework)  Wikipedia - NEPOMUK Framework]  
* [http://nepomuk.semanticdesktop.org/nepomuk/ NEPOMUK website]
* [http://nepomuk.semanticdesktop.org/nepomuk/ NEPOMUK website]
* [http://dot.kde.org/2009/12/10/exploring-new-nepomuk-features-mandriva-linux-2010 article explaining Nepomuk on the DOT]
* [http://dot.kde.org/2009/12/10/exploring-new-nepomuk-features-mandriva-linux-2010 article explaining Nepomuk on the DOT]
* [http://kdenepomukmanual.wordpress.com Getting started user manual]


[[Category:Система/ru]]
[[Category:Система/ru]]

Latest revision as of 05:10, 9 May 2018

Semantic Search

The aim of this page is not to fully explain KDE's Semantic Search technology and every detail, but to give a short overview, some examples, share the vision behind it and link to relevant information on the web.

Baloo is the next generation of semantic search

From KDE Applications 4.13 onwards, the 'Baloo' file indexing and file search framework replaces Nepomuk. Read details on the changes for Applications 4.13 here. Semantic Search no longer uses a single, big database, but separate, specialized databases for each type of data. The new search databases are in $HOME/.local/share/baloo. If you upgraded to KDE Applications 4.13 from an earlier KDE release, you can delete $KDEHOME/share/apps/nepomuk.

Краткое объяснение

As the Glossary mentions, Semantic Search is about classification, organisation and presentation of data. It is not an application, but a component which can be used by developers within applications.

Try out in Dolphin

For example, the Dolphin file manager makes use of Search. In KDE Applications versions prior to 4.13 Semantic Search must be enabled from System settings -> Desktop search. The information sidebar of Dolphin (Control -> Panels -> Information, or press F11) presents information extracted by Search about the selected file, and also allows you to assign tags, ratings and comments to files. This information is then stored and indexed by Search. You can then search for metadata using the navigation bar in Dolphin. Click to Find, or press Ctrl+F, and search for file names or file contents.


Функциональность

KDE's Semantic Search offers several 'layers' of functionality to applications. The first and most simple of those is manual tagging, rating and commenting, as used in Dolphin. This helps you to find your files faster, but is also a lot of work.

To make finding files containing text easier, Search offers a second functionality: indexing the text of files. You can find files by entering some words which you know are in there, or just (part of) their title.

The third layer is a very complex one, and the reason why the underlying technology, Nepomuk, was conceived as a research project of several companies and universities in the European union. This is where you will find difficult words like 'semantic desktop' and 'ontologies'. Basically, it is about context and relationships.

Индексирование файлов

Search does not index every file on the hard drive. Its default configuration in most Linux distributions excludes some common patterns for backup files and configuration directories. You can change this in System Settings -> Desktop Search. Add folders to be excluded. If you want to turn off indexing of files entirely, just add your home folder there.

In System Settings you can also control whether Search indexes files on removable media such as USB drives and CD-ROMs. In KDE Applications 4.13 this is not available, removable media are not indexed. Future versions are planned to reintroduce this functionality.

Примеры

Let me try to explain what Semantic Search offers using two examples. These features are not available fully yet - the base is there but application developers need to integrate this in their applications.

Отношение

Скажем, 2 недели назад вы получили фотографию своего друга и сохранили ее где-то на компьютере. Теперь вы хотите найти ее. Если вы не помните, где вы ее сохранили, то вам не повезло.

Now Semantic Search aims to help you. You know this file came from that friend of yours, your computer does not know. Search, however, can remember this relationship. Searching on the name of your friend will therefore pop up the photo!

Another potential relationship is between a web page you copied text from and the document you pasted it into, or two images showing the same car. Such relations can sometimes be extracted from the files themselves (you could analyze photos and see who or what is on there) or supplied by the applications involved (as in the above email example). This part of Search is still under heavy development, and needs integration in applications, so you can expect it to take a few more years to really shine.

All in all, this part of Semantic Search is about making search smart. Think about how Google tries to be smart with your searches: when you search for a hotel and a city name, it shows above the website results a google map showing hotels in the city you mentioned! It might even suggest a better name in case you made a spelling mistake. Google also tries to put the most relevant information on top of the list of results, using complex calculations on relationships (links) between websites. Semantic Search will be able to offer such smart results and order them on relevancy using relationship information.

Контекст

These relationships can not only help you while searching for files, but also have an influence on applications and what information they present. Note that this way of using Search is still more a vision than reality! Many of the components are in place, but it is not yet integrated in applications and the desktop as a whole.

Этот пример доставки на рабочий стол информации о контексте может помочь вам работать более эффективно.

Скажем, вы работаете над заметками, которые были сделана на собрании. Раздается телефонный звонок, и кто-то просит вас найти файлы электронных таблиц с ценами, подобранные по клиентам. После некоторого времени вы обнаружите что весь рабочий стол забит файлами и окнами...

Было бы неплохо иметь возможность организовать все это немного лучше, верно?

Enter 'activities'. These have been introduced in Plasma, and currently offer different 'desktops'. They are a bit like virtual desktops, except that the desktop itself changes, not the set of applications. Different widgets, background, things like that. Of course, since Plasma 4.3, each virtual desktop can have its own activity, bringing the two in sync.

Чтобы приложения и рабочий стол были в курсе вашей деятельности, вы могли бы создать комнату для каждой часто выполняемой задачи. Следовательно, если вы вынуждены часто править электронные таблицы с ценами, то вы можете создать комнату для этой задачи: поместить на рабочий стол виджет "Просмотр папки" (или несколько), добавить калькулятор и виджет "Список дел", чтобы помнить что еще предстоит изменить. Возможно даже виджет папки электронной почты, чтобы видеть письма с вопросами относительно таблиц с ценами!

Сразу как только кто-то спрашивает о ценах, вы переключаетесь на эту комнату. Запускается приложение электронных таблиц. Т.к. оно в курсе вашей деятельности, то показывает последние таблицы с ценами, а не список последней инвентаризации с которым вы работали в последний раз в другой комнате! Kopete, приложение для обмена мгновенными сообщениями, показывает вам коллегу, которая все знает о ценах, т.к. она тот человек с которым вы постоянно общаетесь, когда работаете в этой комнате.

Когда вы заканчиваете и переключаетесь обратно в другую комнату, то снова все приложения подстраивают свое поведение так, чтобы удовлетворять вашей деятельности.

Выгоды от рабочего процесса основанного на комнатах больше чем можно себе представить в начале. Это помогает не только находить файлы и нужные контакты, но также само по себе помогает переключаться между задачами. Человеческий мозг не сильно хорошо приспособлен для "мультизадачности", большинству людей требуется несколько минут чтобы войти в "рабочий режим" после переключения между задачами. Переключение 'среды' здорово помогает в ускорении этого процесса, даже если это всего лишь на экране. Вспомните как приходит отпускное настроение когда вы еще только начинаете начинаете упаковывать сумку!

Конечно, вышесказанное в основном относиться к людям, работающим за компьютером в офисе или дома. Вероятно, эта информация не будет особо полезной для любителей компьютерных игр или случайных пользователей.

The scenario described above is already partially implemented in the Activities but much work is still left.

Часто задаваемые вопросы

Следующий текст взят из сообщения из форумов KDE. Пожалуйста, не стесняйтесь добавлять/удалять /изменять информацию, если у вас есть время!

Что такое Nepomuk Semantic Desktop и Strigi Desktop File Indexer?

Nepomuk and Strigi are technologies part of what delivers the abilities of the Semantic Search in KDE. Both are not used directly in the latest generation of KDE's Semantic Search (details), however their successors share much of their code and concepts. Semantic Search provides a way to organize, annotate and build relationships among the data (not only file name and content, but for example which applications used a certain file, or how it is tagged). A number of KDE applications and workspaces use this basic infrastructure to deliver features such as email tagging (KMail) or activity setup (Plasma).
The file indexing allows applications such as Dolphin to search for files based on content, name, or other meta-data (e.g. tags) associated to indexed files. Such an indexer can also index non-text files, such as PDFs, by accessing the meta-data contained in these files (author, publication information, etc.). Some KDE components ship additional "analyzers" for more file types.
Why do we need both Akonadi and Semantic Search? Aren't they doing the same thing?
In short, Akonadi provides a cache of PIM data like calendar items, contacts and email, which is used by applications like KMail and Korganizer but also the calendar build in Plasma. Semantic Search plugs in Akonadi to provide search functionality. How Baloo offers search is actually up to the application. In case of KDE PIM, Xapian is used to provide indexing and search.
Как мне отключить semantic desktop?
File indexing can be disabled by adding the users' home folder to the System Settings -> Desktop Search -> Do not search in these locations list. The other functionality is part of the applications that use it and thus can't be disabled without crippling these applications. For example, to not have any search in KMail you'll have to simply remove KMail...

In versions of the KDE Applications before 4.13, Semantic Search would have components running separate from applications. This functionality could be disabled by unchecking Enable Nepomuk File Indexer in the Desktop Search section of System Settings. In case you want to turn off all semantic features, uncheck Enable Nepomuk Semantic Desktop. Notice that this will turn off search in Dolphin as well.

Notice that with the latter option some programs who use Semantic Search for meta-data will offer reduced functionality: for example KMail will not be able to tag mail, or Plasma activities will not offer additional features such as icons, or program data information.
Baloo/Semantic Search is eating 100% CPU! What do I do?
Just wait. Certain files are very hard or even impossible to Index. At the moment, this includes for example text files of over 50 megabyte. When Search finds these, it will try for a fixed time. When it fails, it will try to find out what file is broken and disable indexing it in the future. As it indexes files in batches of about 40, it has to find the problematic file by indexing that bunch in parts: first half/second half, index problematic half in pieces again, until the file is found. This can take up to 30 minutes of heavy cpu usage. Unfortunately, while Baloo will not start to index a new batch of 40 files while on battery power, it continues to determine the broken file while on battery. This behaviour has been fixed in in KDE Applications 4.13.1 (it will stop indexing immediately when the power cord is unplugged) and the time the search for each file can take has been reduced to about 10 minutes. The Semantic Search team is working on improving the indexing tools to handle more difficult files.
Почему я вижу процесс nepomukservicestub, хотя я отключил Nepomuk?
Это может быть программной ошибкой. Пожалуйста, создайте отчет об ошибке с полным описанием вашей проблемы и необходимыми шагами для ее воспроизведения.
Индексирование PDF файлов/некоторых других типов файлов не работает.
Индексирование PDF это известная проблема, и отслеживается в bug #231936. Если у вас есть проблемы с другими файлами, создайте отчет об ошибке, предпочтительно добавив образец проблемного файла.
Приложение nepomukservicestub падает при запуске.
Большое количество исправлений от падений была зафиксировано для релиза 4.7.2 KDE Workspaces and Applications. Если вы столкнулись с ними больше, создайте отчет об ошибке с подробными инструкциями о том, как воспроизвести проблему, так как иногда разработчики не в состоянии воспроизвести их в своих инсталляциях.
Процесс virtuoso-t зависает при 100% загрузке процессора.
Virtuoso-t is a key component of the old Semantic Search infrastructure and in some occasions the commands sent by the other components end up taking too much time (hence showing the effect of 100% CPU).

Virtuoso is no longer used by Semantic Search starting the Applications 4.13 release.

Иногда Nepomuk потребляет слишком много оперативной памяти.
Большинство из этих проблем было исправлены, однако в некоторых случаях, разработчики не в состоянии корректно воспроизвести проблемы. В этом случае, прикладывание примеров и тестов к отчетам об ошибке увеличивает шансы на исправление этих ошибок.
Search accesses the disk too much on startup.
A throttling mechanism implemented in the file indexer, versions after KDE SC 4.8 should no longer have this issue.
My Search database has been corrupted. How do I clean it?
In the extreme case your database is really corrupted and all other attempts have failed, you can delete the $KDEHOME/share/apps/nepomuk directory (where $KDEHOME is usually .kde or .kde4 in your home directory) while Nepomuk is not running. The database will be cleared, but you will also lose existing information such as tags, ratings and comments.

Дополнительные способы устранения неполадок

Совместное использование и конфиденциальность

Существует еще одна вещь которую стоит упомянуть, прежде чем дать ссылки на другие источники информации: совместное использование данных Nepomuk. Это было бы здорово, если бы вы могли совместно использовать теги, оценки и комментарии с другими, когда отправляете им файлы. Однако, если вы пометили контакт немного фривольным тегом ('скучно в кровати') и посылаете эту контактную информацию общему другу, то вы вероятно не захотите, чтобы этот признак был тоже отправлен...

Эта проблема является важным предметом для исследования в Nepomuk. В настоящее время, из за существования проблем конфиденциальности и ряда технических вопросов контекст Nepomuk остается конфиденциальным. Будем пребывать в уверенности что команда Nepomuk сделает все возможное, чтобы ваша частная жизнь уважалась.

Внешние ссылки

The new Search technology (post KDE Applications 4.13):

The old Search technology: