Как организована ваша (персональная) база знаний?

по словам автора, всё закончилось happy end-ом. Я сам не проверял...

 

Очень часто вижу на предприятиях замысловатые внедрения странных информ систем. В большинстве они заканчиваются перепроектированием на чем-то старом и добром, хотя первовнедренцы на своих сайтах потом годами демонстрируют шильдик своей жертвы, даже зная, что их жуткого детища там давно уж нет...

 

Excel наше всё
Хотя, здесь многое зависит от уровня дремучести заказчика, безусловно...
PS: дык ты видео-то посмотришь? (там 20 мин, и можно на ускоренном воспроизведении )

 

Пока смотрю - помни, что я его уже осуждаю...

 

я его, как-бы, и выложил для конструктивной критики...

 

Таки да, осуждаю:
- о чём данный ролик? о том как пользоваться программой? почему тогда в нем не пояснены базовые принципы - с чем работаем, чем работаем, как происходит работа? в ролике автор кинулся показывать всякую ерунду...
- голос не ахти
- в кадре при смене вью, одна каша превращается в другую (отсутствует наглядность)
- нет примера
- капитанство в объяснениях (плотные шрифты)
- нет последовательности в описании настроек (метание туда-сюда)
- очень плохо, когда пытаешься показать принцип работы на примере, который не создан на видео

 

самый конструктивный твой коммент в этой ветке. Спасибо
а насчет примера, который "не создан на видео" - ты что имел в виду?

 

Пример хорош для зрителя тогда, когда он изначально создается с нуля в уроке, в ролике, на курсе. Плохой пример - это демонстрация чужой базы, чужой схемы, которую зритель не понимает и пытается рассмотреть, не слушая начитку автора и теряя время и нить повествования.

 

а мне как простому юзеру не хватило убойных аргументов, чтоб с базы, набросанной в еверноте, раскиданной по блокнотам и связанное метками, захотеть перейти

все же выглядит сложным и громоздким

если показать процесс создания с нуля, то гораздо легче будет привыкнуть и адаптироваться

 

понял, спасибо. Учту в "чистовой" версии

 

как уже догадались уважаемые участники данного обсуждения, оно было организовано с коварной целью собрать feedback, определить целевую аудиторию уточнить структуру курса и далее по списку (в общем, вы поняли) для вот этой авторской складчины: https://v14.skladchik.org/threads/thebrain-ваша-персональная-база-знаний.143131/#post-5701896
критикуйте. лучше - конструктивно. а еще лучше - вписывайтесь!

Впрочем, организацией складчины обсуждение поднятых здесь тем не заканчивается (вне зависимости от того, впишетесь ли вы в складчину).
И, да - в ветке по ссылке выше уже начали появляться достойные (в смысле, интересные) комменты. Рекомендую ознакомиться.

 

пробегала тут мимо меня одна статья на хабре:

не то, чтобы она какая "прорывная", скорее, я бы даже сказал, "попсовая", но наводит на следующие мысли:
- автор "запилил" предлагаемое решение чуть ли не на ноутбуке (ну хорошо, может на десктопе - но одна видеокарта GTX 1080 - это, всё же, очень низкий "входной барьер")
- всё больше и больше сыпется новостей на предмет "вот тут добились с помощью AI сверхчеловеческих результатов, и здесь, и еще вот здесь"
- очевидно, что увернуться от этого не удастся, и надо в эту реальность как-то встраиваться. В смысле, проактивные шаги предпринимать. Потому как "въехать в тему" Machine Learning или какого Data Science с тамошним Real Time Analytics трехдневным тренингом не получится. От слова "совсем".
- и, если кто-нибудь и рассчитывает на "безусловный базовый доход", то это точно не я

Хорошая новость/гипотеза: скорее всего, бережливо отобранную/отфильтрованную "базу знаний" (здравствуй, TheBrain) удастся, кроме всего прочего, преиспользовать в качестве "тренировочного датасета" для какого-нибудь "виртуального персонального ассистента". В смысле, искусственной нейросети. Для обучения таковой.
А то ж, что-то мне подсказывает, что всякие Siri, Alexa, Ok Google и кто там еще есть - нафаршируют рекламой под завязку ровно в момент их выхода в "промышленное использование". По аналогии с Android-девайсами от ведущих производителей сейчас

Это я, если что, в тему развития персональной (пока еще ) базы знаний...
Которая, по авторскому замыслу (моему) призвана и lifetime education поддерживать. Надо бы, наверное, по целям/сценариям использования отдельный пост запилить. Здесь или в ветке складчины по TheBrain.

 

Скоро всё по-английски будет, поколение Пы совсем забыло свой язык...

 

Да уже сейчас практически всё по-английски (если хочешь быть актуальным в большинстве динамично развивающихся областей знаний...).
Переводные материалы (начального уровня) могут быть "костылем" (чтобы, скажем, не терять время, запараллелив с "прокачиванием" уровня английского) - а дальше - без вариантов...

 

Ребятушки, добрый день!
Прошу прощения, за может быть не самое технически и программно подкованное мнение, но размышляли ли вы о ПОИСКЕ в качестве альтернативы организации хранения базы? Поиск используется в большинстве баз данных, и поиском могут воспользоваться даже пользователи, не знакомые с любым другим решением или архитектурой списков.
Почему для меня поиск кажется не менее интересным решением? У меня была и остаются база знаний - я автор более 200 дипломов и несчитанного числа более мелких студенческих работ. Я искала и обрабатывала море информации, и могу при желании даже после 5 лет перерыва написать диплом отличного качества за неделю (и без карт Голубицкого).
Я, как правило, работала над одной темой - ведь это логично. И в теме создавала папки как по основные понятиям или главам работы. И да, все невиданное количество учебников и книг хранилось по тематическим папкам, а папки с материалами для отдельных дипломов хранились в папке "Дипломы". В последних на учебники я создавала ссылки.
Простенько - еще как! Является ли это базой знаний - более чем. Но почему - поиск, если о нем ни слова?
Причина в том, что любая работа, диплом или статья, состоит из набора суждений. Не из книг, статей или что там еще бывает, а именно - из набора суждений. Это означает, что в любом источнике необходимо быстро найти затрагивающее тематику суждение, проанализировать, согласиться с ним или нет, подставить в контекст работы с описанием собственной точки зрения.
Я никогда бы не смогла написать ни один диплом (а за один семестр у меня защищалось около 25 студентов и это без курсовых и контрольных - эти я просто не считала), если бы изучала источник полностью. Так вот, источники в любом виде, для меня не главное, главное - отдельные суждения на заданную тематику. А значит, не столько организация данных, сколько поиск по ней.
Буду благодарна за советы про поиск в неразпознанных файлах)))

 

Мда, что тут сказать...
Перефразируя вас, "архитектура любой БД - да катись она туда, поиск в каше неструктурированных данных, вот что главное!" Так?

 

И вам добрый день!
Насчет поиска: у меня за это нужное и важное дело отвечает Архивариус 3000. Насчет нераспознанных (в смысле сканов, а не в смысле "непрочитанных"), распознаем каким-нибудь ABBYY FineReader, после чего ищем Архивариусом
От тематических папок я отказался. А от использования папок вообще - нет. У меня для разных папок разные "политики" бекапов и синхронизации: что-то бекапится раз в неделю, что-то - раз в несколько часов. Ну, вот, это для папок организовать легче, чем для каждого из файлов по отдельности.
С поиском по суждениям - тут проблема с "облаком тегов" В смысле, наборе основных слов/словосочетаний, которые отражают суть "суждения" и/или связанных с ним суждений. В принципе, решается каким-нибудь Яндекс. Вордстат. А вот "семантический поиск" - он работает так себе (скорее, "поиграться", чем полноценное качественное решение). Это если говорить о "десктопных" решениях вроде Searchmonkey или Open Semantic Desktop Search. А вот для всяких IBM Watson именно этот подход и работает (во время соревновний по Jeopardy они никакой разметкой текстов не пользовались - только полнотекстовый поиск. И у них неплохо получилось ). Так что, думаю, через пару лет всё это будет и на смартфонах...
Резюмируя - поиск, на мой взгляд, это не альтернатива структурированию/разметке/конспектированию - а дополнение.

 

Нет, не так.
Я не писала о неструктурированных данных. Мои данные были структурированы (папки, помните - папки!). И в папках был определенный порядок, не буду сейчас описывать. Но бывали случаи, и довольно часто при моих объемах работы, когда я скачивала учебник дважды или трижды и обнаруживала это только после формирования списка всех файлов в папке (есть такой эксель-файлик c VBA , помогает, можно найти на просторах интернета). Происходило это с книгами, охватывающими более одной тематики.
Такие книги либо должны повторяться в архитектуре списков, либо должны повторяться за счет ссылок - это будет больше похоже на OLAP. Но в этом решении всегда будет одна проблема - невозможно узнать, в какой еще теме пригодиться книга, не не начав эту тему разрабатывать. А значит, впервые изучив источник, невозможно встроить его полностью в контекст архитектурного решения.
Для меня и только для меня лично интересно одно: как быстро я смогу использовать источник. Эту цель можно разбить на три задачи: 1. выяснить, какой источник использовать; 2. найти источник; 3. найти в источнике цитату.
1. Выяснить, какой источник необходим. В этом случае в настоящее время мне помогают и тематические папки (т.е. архитектура списков и кубов), но в первую очередь помогал поиск в интернете, где я также находила перечень источников. Поиск в яндексе имеет массу преимуществ перед поисков на дисках, но главное - он осуществляется быстрее.
2. Найти источник. Я могу сказать, что нахождение источника в структурированных папках без поиска не всегда эффективно. Эффективней будет искать источник в обще свалке, если так хотите, где все источнике будут определенным образом названы. В этом случае папки только мешают.
3. Найти цитату - только поиск.
Таким образом, для использования источника мне в двух шагах больше помогал поиск и в одном - архитектура решения, на одном шаге архитектура даже мешала.
Да, можно было бы делать простейшие списки в экселе - тематика, книга, в которых книги могли бы повторяться (тогда из этого можно сделать куб), но это отнимет больше времени, чем поиск, плюс - это не будет панацеей, так как я уже писала - невозможно изначально определить все тематики источника.
Архитектура не спасет полностью, но всерьез помогут признаки - наименование, автор, год, тип файла и поиск. Поиск при организованных признаках источников может полностью заменить архитектуру, а архитектура, как не бейтесь, не сможет заменить поиск.
В целом это мое мнение, как специалиста (тут я не боюсь так себя назвать) по скоростному использованию источников.

 

Под файнридер у меня был задействован отдельный ноут, чтобы не отвлекать ресурсы того, на котором я работала над дипломами. При этом, я могла по-быстрому распознать небольшой текст еще и на рабочем ноуте сокращенной версией файнридера для сканера. Вопрос скорости - могла ли я подождать и загнать в файнридер всю книгу или нужно было срочно получить кусок текста.
За подсказки программ - спасибо, посмотрю, смогу ли я их использовать))

 

- да, безусловно, кроме поиска (с проблематикой, которую я обозначил в предыдущем комменте) либо предварительной проработки текста здесь сложно что-либо придумать. И, очевидно, что у поиска - преимущество на больших объемах (которые нереально проработать предварительно за разумное время). Ждем-с, пока IBM Watson не начнет работать ну, хотя бы, на десктопах.
- семантические сети (TheBrain, в моем случае) дают "архитектурный выигрыш" по сравнению с OLAP-кубами. За счет реализации связи "многие ко многим" в первую очередь и визуализации (думаем как об интеллект-карте, в которой мы можем любой узел сделать центральным) во вторую. Ну, и есть еще плюшки по-мелочи. А вот с автоматизацией там всё не очень хорошо. Поэтому TheBrain у меня заточен на выигрыш по скорости для повторноиспользуемой информации.

- насчет невозможности замены - полностью согласен. Но ведь так задача и не ставится? Дополняем архитектуру поиском - и будет нам счастье Опять же, здесь можно отдельно обсуждать, какие варианты (и инструменты) поиска нам помогут лучше при заранее неизвестных признаках. Но, это общий тренд: храним "сырые" данные и натравливаем на них всевозможные поисковики/анализаторы (а то ж кто его знает, чего нам в этом датасете захочется найти завта - а сегодня своим структурированием/разметкой мы уже всё испортили/исказили )
- опять же, можно обсуждать преимущества и недостатки внешнего поиска (в Сети) по сравнению с внутренним (в своих хранилищах данных) в тех или иных случаях. Как и дополнение внешнего поиска web scratching (настройкой и запуском собственных "пауков"). Но это отдельная история