Список форумов Форум проекта Дельта технология

Форум проекта Дельта технология

Создаем технологию развития больших систем.
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

8.2.1. Основные требования

 
Начать новую тему   Ответить на тему    Список форумов Форум проекта Дельта технология -> 8.2. Выбор СУБД
Предыдущая тема :: Следующая тема  
Автор Сообщение
borismb



Репутация: 0    

Зарегистрирован: 28.10.2010
Сообщения: 229
Откуда: Юрмала

СообщениеДобавлено: Пн Ноя 15, 2010 8:40 pm    Заголовок сообщения: 8.2.1. Основные требования Ответить с цитатой

Задача выбора состоит в том, чтобы обеспечить поддержку сервисами на протяжении очень длительного времени, - десятки лет. Необходим высокий уровень масштабируемости, поскольку необходимо на локальном компьютере поддерживать СУБД, переносить на мобильные устройства типа планшетных, а также на суперкомпьютерных системах решать задачи глобального анализа.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Еагений



Репутация: 0    

Зарегистрирован: 15.07.2013
Сообщения: 3

СообщениеДобавлено: Пн Июл 15, 2013 5:03 am    Заголовок сообщения: Предлагаю ещё рад требований. Ответить с цитатой

База данных предпочтительно должна быть open source опубликованная под свободной лицензией. Свободная лицензия позволит не опасаться что компания разработчик продукта прекратит поддержку своего продукта, сделает обновление или владение слишком дорогими , или технология перестанет соответствовать требованиям проекта. А открытый код позволит адаптировать СУБД под себя, и самостоятельно исправлять баги.

Так же я бы поставил вопрос о выборе между реляционными и не реляционными БД. Если количество атрибутов в записях в одной таблице постоянно то реляционная БД неплохое решение, но если количество атрибутов различно в разных записях то есть смысл посмотреть в сторону не реляционных БД. Организация данных предложенная здесь http://deltatehnology.3nx.ru/viewtopic.php?t=27 это хранение по принципу ключ значение. Под хранение ключ-значение оптимизированы многие не реляционные базы данных (к примеру REDIS).

Не все не реляционные СУБД одинаковы. Их несколько видов, это поколоночные СУБД, кортежные хранилища, документо-ориентированные СУБД, и граф-ориентированные СУБД. Подробнее здесь

Рекомендую рассмотреть отдельно Граф-ориентированные базы данных. Одна из областей пременения таких баз данных это семантический ВЭБ. .


Последний раз редактировалось: Еагений (Пн Июл 15, 2013 8:13 am), всего редактировалось 15 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Еагений



Репутация: 0    

Зарегистрирован: 15.07.2013
Сообщения: 3

СообщениеДобавлено: Пн Июл 15, 2013 6:04 am    Заголовок сообщения: Ответить с цитатой

Несколько замечаний.

В мобильных устройствах (в том числе на базе Android и IOS) по умолчанию установлена sqlite, также sqlite доступна в оффлайн веб приложениях. Для приложений на мобильных платформах очень желательно использовать уже предустановленную СУБД, так как установка другой СУБД излишне усложнит развёртывание. На самом деле я не вижу вообще никакой необходимости в использовании каких либо серьёзных СУБД на мобильных платформах. Я считаю что более подходящая роль для мобильных устройств это роль тонкого клиента, а это освобождает от необходимости хранить большие объёмы данных на клиентской стороне.


Мне также непонятна необходимость наличия БД на локальных( буду понимать и как персональных) компьютерах. Надо полагать что это рабочее место специалиста либо эксперта.

Если эксперт работает в десктоп приложении то
1)Он привязан к одной конкретной машине, на которой есть рабочие данные и ПО.
2)Персоналка не самое безопасное место для хранения данных
3)Процесс миграции с одной версии приложения на другую будет достаточно трудоёмок если в новой версии изменится структура БД.
4) На каждую отдельную ОС (как минимум на MacOS, Windows и Linux, ) вероятно потребуется своя версия приложения . Отчасти проблему можно сгладить при помощи QT или Java. Но опять же дополнительный геморой с развёртывание связанный с установкой Java или Библиотек QT.
5)Так же нужно озаботится чтобы СУБД поддерживала несколько платформ.
6) Администратору время от времени нужно обновлять версию СУБД.

Вместо этого в современном мире подобное приложение имеет веб интерфейс а само приложение располагается на сервере. Очень разумно если сервер доступен из интернет. Всё что требуется для того чтобы запустить приложение это только браузер.
Выгоды
1) Эксперт имеет доступ к рабочему месту с любого компьютера или устройства.
2) Эксперт имеет доступ к рабочему месту из любой точки мира.
3) Даже физическое уничтожение устройства с которого осуществляется доступ никак не отразится на данных.
4) Обновление версии ПО производится централизовано на сервере, в то время как каждую копию десктоп приложения нужно обновлять по отдельности. Что касается автоматического обновления десктоп приложений то оно не всегда проходит гладко,а иногда попросту невозможно.
5) на серверной стороне данные хранятся более надёжны за счёт дублирования на различных носителях, репликации, и резервирования.
6) Не имеет значения какая операционная система или архитектура процессора используется на устройстве.

Таким образом подчёркиваю, я не вижу смысла размещать какие либо СУБД на локальных персональных компьютерах.

СУБД работающая одинаково эффективно на локальном компьютере, мобильном устройстве, сервере и супер ЭВМ во первых вряд ли существует, во вторых в ней нет какой либо потребности, так как нет необходимости в СУБД на персоналках и мобильных устройствах.

Сервер с приложением для экспертов и супер ЭВМ могут иметь совершенно различные СУБД если архитектура программного обеспечения будет сервис ориентированной. Так как взаимодействие будет через сервис, то клиенту всё равно откуда и как сервис возьмёт данные, и абсолютно по фиг как и куда запишет. Чтение и запись данных это исключительно проблемы сервиса а не клиента.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
borismb



Репутация: 0    

Зарегистрирован: 28.10.2010
Сообщения: 229
Откуда: Юрмала

СообщениеДобавлено: Пн Янв 26, 2015 3:09 pm    Заголовок сообщения: Ответить с цитатой

Евгений, это сообщение я еще не могу корректно обсуждать, поскольку еще не вышел на этот уровень. Но основные соображения были таковы: Дельта технология не должна выключаться одним тумблером владельца сервера. Если есть сеть, то обмен Семантическими текстами будет по сети, если есть только электронная почта, то отсылка файла по электронной почте, если нет электронной почты, то по обычной почте можно отослать флешку. Сервер должен находиться на компе самого эксперта, а со своего мобильника он как тонкий клиент может входить к себе на сервер. Между экспертами обмен осуществляется как между серверами, также и на суперкомп.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
borismb



Репутация: 0    

Зарегистрирован: 28.10.2010
Сообщения: 229
Откуда: Юрмала

СообщениеДобавлено: Ср Фев 08, 2017 11:31 am    Заголовок сообщения: Ответить с цитатой

Евгений, я посмотрел базу данных PostgreSQL? Какое у Вас мнение по ней?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Анатолий buhan54



Репутация: 0    

Зарегистрирован: 16.12.2017
Сообщения: 7
Откуда: г. Череповец

СообщениеДобавлено: Пн Янв 07, 2019 5:32 am    Заголовок сообщения: Ответить с цитатой

О выборе СУБД для ДТ.
На малом обьеме данных м.б. любая, на "больших" данных для реальной работы потребуются несколько, специализированных для разных потребностей: OLTP, OLAP, хранения медиаконтента и архивов.
А в роли ядра, основы для построения инструментов ДТ и интеграции существующих источников данных, по всем требованиям подходит такой развитый комплексный продукт как Tarantool, - сервер приложений со встроенной СУБД (Tarantool/box) от компании MAIL.RU. В первую очередь имею ввиду использовать ее основной движок - memtx для работы с базами данных в памяти (in-memory). Подробнее о его свойствах напишу ниже.
Вторая полезная для дела ДТ система (для OLAP целей) - это СУБД ClickHouse от компании YANDEX. Обе они open-source.
_________________
Анатолий /buhan54/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Анатолий buhan54



Репутация: 0    

Зарегистрирован: 16.12.2017
Сообщения: 7
Откуда: г. Череповец

СообщениеДобавлено: Пн Янв 07, 2019 6:03 am    Заголовок сообщения: Ответить с цитатой

Обе эти системы, tarantool и clickhouse, помимо прочих своих свойств, полезных для создания инструментов для ДТ, имеют такое важное для нас свойство как хорошая масштабируемость. Могут работать на ноутбуке, небольшом виртуальном сервере, т.е. можно начинать разработки и опытную эксплуатацию без больших начальных затрат, в то же время не рискуя упереться в ограничения при полномасштабном развертывании системы.
_________________
Анатолий /buhan54/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
borismb



Репутация: 0    

Зарегистрирован: 28.10.2010
Сообщения: 229
Откуда: Юрмала

СообщениеДобавлено: Пн Янв 07, 2019 10:57 am    Заголовок сообщения: Ответить с цитатой

Анатолий, средний объем информации для пользователя я оценил в 5 терабайт. О таком продукте как Tarantool я ничего не слышал, так что не могу ничего сказать. PostgreSQL это интернациональный продукт, во многих государствах есть фирмы соразработчики. Есть такая фирма и в России, это гарантия, что продукт не исчезнет в России. Я был у разработчиков в Москве , побеседовал, вроде продукт стабильный и масштабируемый. Анатолий, у меня к Вам частный вопрос. Вы часто бываете на этом сайте из разных городов: Иркутск, Челябинск, Вологда, Череповец, Москва, Питер, -это все Вы? или кто-то?. Я немного знаком с Вашей работой, темы близкие. с уважением, БМБ.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Анатолий buhan54



Репутация: 0    

Зарегистрирован: 16.12.2017
Сообщения: 7
Откуда: г. Череповец

СообщениеДобавлено: Вт Янв 08, 2019 5:20 am    Заголовок сообщения: Ответить с цитатой

Я в Череповце (Вологодская обл.) и только. Своих работ не публиковал, захожу в интернет с мобильных операторов Tele2, Yota, а также (по оптоволоконному) с Ростелеком. Отсюда может светиться Вологда, Питер (Tele2), а прочие адреса - непонятно как могут быть.
_________________
Анатолий /buhan54/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Анатолий buhan54



Репутация: 0    

Зарегистрирован: 16.12.2017
Сообщения: 7
Откуда: г. Череповец

СообщениеДобавлено: Ср Янв 09, 2019 4:18 am    Заголовок сообщения: Ответить с цитатой

Попутно: ссылка по близкой теме (использование tarantool)

https://www.nasha-strana.info/archives/30695. Несколько цитат:

«Аэрофлот» ввел в эксплуатацию новую платформу для работы с обращениями клиентов. В качестве СУБД была использована отечественная разработка – решение Tarantool от Mail.ru. Успешный опыт внедрения позволит компании в дальнейшем применять Tarantool в других проектах.
_________________
Анатолий /buhan54/


Последний раз редактировалось: Анатолий buhan54 (Ср Янв 09, 2019 5:04 am), всего редактировалось 2 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Анатолий buhan54



Репутация: 0    

Зарегистрирован: 16.12.2017
Сообщения: 7
Откуда: г. Череповец

СообщениеДобавлено: Ср Янв 09, 2019 4:21 am    Заголовок сообщения: Ответить с цитатой

Платформа на базе Tarantool
«Аэрофлот», российский авиаперевозчик, развернул платформу по работе с обращениями клиентов с применением алгоритмов предиктивной аналитики больших данных. Одним из ключевых компонентов системы стала отечественная система управления базами данных (СУБД) Tarantool, разработанная Mail.ru. Проект внедрения осуществил «Интегро текнолоджиз», российский системный интегратор, входящий в ГК «Рамакс».

Tarantool используется в платформе для управления оперативной базой данных, в которой обращения хранятся в виде специальных структур данных, необходимых для алгоритмов аналитики.

По результатам внедрения «Аэрофлот» с помощью платформы оптимизировал процесс обработки жалоб и обращений клиентов ответственными сотрудниками авиакомпании, значительно сократил время доставки обращений и время на обработку и решение вопросов за счет механизмов обогащения обращений контекстом, тональностью, тематиками, профилем автора и т.п.
_________________
Анатолий /buhan54/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Анатолий buhan54



Репутация: 0    

Зарегистрирован: 16.12.2017
Сообщения: 7
Откуда: г. Череповец

СообщениеДобавлено: Ср Янв 09, 2019 4:28 am    Заголовок сообщения: Ответить с цитатой

Комплекс состоит из нескольких модулей, которые покрывают функциональные бизнес-требования, обеспечивают интеграцию в существующую ИТ-инфраструктуру «Аэрофлота», а также в различные каналы поступления обращений (социальные сети, адрес электронной почты, официальный сайт, личный кабинет).

Первый модуль системы занимается процессом идентификации клиента на основе комплексного анализа данных, как самого текста (в том числе, комментариев), так и открытых данных профиля автора (ФИО, адрес электронной почты, телефон и т.п.). Объем обрабатываемых данных из различных источников равен нескольким тысячам обращений в день.

Второй модуль отвечает за поиск дублей обращений. Нередко пользователи копируют текст и публикуют его на различных ресурсах, в том числе, направляют по электронной почте. Семантически похожие посты важно определять для выявления кластеров, которые являются инцидентами. Обработка сразу нескольких постов существенно сокращает загрузку ответственных сотрудников.

Третий модуль «инфоповоды» в режиме реального времени занимается анализом потока текстовых данных (публикаций, комментариев). Происходит семантический анализ постов, построение связей слов и групп слов (n-грамм) с последующим наложением на временной ряд, а также поиск и агрегация инфоповодов. Алгоритм призван показывать пики активности в социальных сетях или ее рост, что может указывать на потенциальную «инфобомбу». Одна из возможностей данного модуля – предиктивно выявлять опасные посты еще до того, как начнется рост активности.
_________________
Анатолий /buhan54/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Анатолий buhan54



Репутация: 0    

Зарегистрирован: 16.12.2017
Сообщения: 7
Откуда: г. Череповец

СообщениеДобавлено: Ср Янв 09, 2019 4:35 am    Заголовок сообщения: Ответить с цитатой

Почему «Аэрофлот» сделал выбор в пользу Tarantool.
Объем данных, необходимый для перечисленных модулей системы, выходит за пределы привычного лимита локального хранения в приложении. Расчетное количество обращений к данным до внедрения Tarantool равнялось нескольким тысячам запросов в секунду с необходимым откликом в пару миллисекунд. Сложности разработке добавили такие требования, как, например, прописанное ограничение времени в три секунды на обогащение обращения различными свойствами.

Tarantool предоставляет полноценное окружение и набор инструментов для реализации ресурсоемкой вычислительной логики в самой БД. СУБД характеризуется поддержкой равноценности серверов и сбалансированного распределения данных для обеспечения высокого уровня отказоустойчивости и оптимального использования серверного оборудования.

Решение использует механизм компактного хранения данных в памяти, обладает низкими требованиями к аппаратному обеспечению, гарантирует сохранность данных и, наконец, является бесплатной, что позволяет существенно сократить расходы на оборудование и лицензии.
------------------------------------------------------------------------------------
Решение частное, специализированное, но демонстрирует пример использования возможностей tarantool, как инфраструктурного инструмента, для решения общей проблемы поставленной проектом ДТ.
_________________
Анатолий /buhan54/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов Форум проекта Дельта технология -> 8.2. Выбор СУБД Часовой пояс: GMT
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Powered by phpBB © 2001, 2005 phpBB Group
Вы можете бесплатно создать форум на MyBB2.ru, RSS