Сообщений в теме: 226

[bukvarix]

конечно не знаю как лучше забить хард этой прогой , или же собрать под запрос. Сделали бы базу но своем хосте а прога конектилась и выбирала ключи из вашей базы.

 

Просто не у всех есть место по 46 гб

 

Да, мы понимаем, что 46 Гб - это много, но качать или не качать - это можете решить только вы сами. Можно хранить программу в виде архива и распаковывать и пользоваться только по мере необходимости. У нас есть в планах онлайн-версия программы, но это будет не скоро.

 

 

Готов апдейт программы - Bukvarix 1.0.1.17:
(скачать нужно только 1.5 Мб, т.е.  всю базу перекачивать не нужно)

http://www.bukvarix.com/updates/Bukvarix1.0.1.17.zip
(скачать, распаковать, переписать новый Bukvarix.exe поверх старого)

1. Исправлена ошибка при старте программы

Exception Exception in module Bukvarix.exe at 0011C19B.
Internal error #27.

2. Добавлены настройки расширенного экспорта .csv.

По умолчанию все настроено так, чтобы в русской MS Ecxel экспортированные выборки открывались сразу, а дополнительные настройки экспорта пригодятся тем, кто обрабатывает выборки Букварикс своим скриптом и/или импортирует в свою базу данных.



Хорошего вечера,
Марина и Сергей,
Команда Букварикс
 

[Kot9tko]

кароче ещё одна база пастухова...

[_R_N_P_]

кароче ещё одна база пастухова...

 

Да КЭП!

Как это ты так сразу, на 2-й странице темы, догадался?

Не в бровь ,а в глаз!!!

А то, мы тут без тебя думали - что же это за диво дивное???

[Kot9tko]

Да КЭП!

Как это ты так сразу, на 2-й странице темы, догадался?

Не в бровь ,а в глаз!!!

А то, мы тут без тебя думали - что же это за диво дивное???

Школьники побили в школе что такой импульс говна выливаете?!

 

P.S: Вместо всяких говнобаз, лучше самому всё собирать, точно ничего не упустите. Только зря ком засирать подобным шлаком.

[wertex1987]

В виде облачного сервиса было бы интересно.

[bukvarix]

P.S: Вместо всяких говнобаз, лучше самому всё собирать, точно ничего не упустите. Только зря ком засирать подобным шлаком.

 

Ручной сбор конечно всегда даст самый лучший результат, но может занять очень много времени - а тут уже все собрано, только конечно нужно предварительно много закачать

 

А вообще мы постарались чтобы недобрая слава о шлаке в таких базах не коснулась нас.

 

В нашей базе до применения фильтров для чистки было 530-540 млн. ключевых слов, после чистки осталось ~461 млн. С маркетинговой точки зрения "500 млн. ключевых слов" выглядит привлекательнее, чем "461 млн. ключевых слов", но мы решили, что лучше пусть будет база почище, хоть и с менее презентабельной цифрой.

В базе также удалены перестановочные словосочетания, например:
скачать бесплатно без регистрации
регистрации скачать без бесплатно
без бесплатно регистрации скачать
... и т.д.

Для такого рода перестановок Яндекс показывает одно и то же значение поисков, поэтому ориентироваться на статистику не получилось. Из всех этих вариантов в результате программной фильтрации оставлялся только один (мы старались, чтобы остался наиболее "человечный", хотя допускаем, что таких могло быть несколько и, возможно, мы выбрали не самый оптимальный). Но в большинстве случаев все остальные варианты - это генерации ботов (не наших, а тех, которые "накручивали" поисковик). В итоге то, что отдал нам потом поисковик (подсказки, WordStat...), пришлось дополнительно чистить...

Разумеется, полностью исключить мусор мы не можем, и он есть. Если сильно "жестко" фильтровать, то пропадут многие НЧ (во многих случаях только человек, который "в теме", сможет отличить хороший НЧ от мусора).

Для того, чтобы вы могли оценить качество базы, мы предлагаем вам 4 разных выборки, которые дадут представление о наличии мусора:

https://yadi.sk/d/bs95IPR5dK55j

Соблюдаются вполне понятные и логичные закономерности, что чем более популярный запрос, тем больше мусора в выборке (в нашем случае в выборках "электромобиль" и "SEO программы" мусора меньше, чем в выборке "подарок"), в случае однословных запросов мусора больше, чем в случае словосочетаний из 2, 3 и больше слов (в выборке "сделать своими рукам" мусора меньше, чем в выборке "подарок").

Много это мусора или мало, каждый может увидеть из этих демо-выборок, оценить по своей внутренней шкале и, соответственно, принять решение, загружать ли такую большую программу или нет.

 

 

В виде облачного сервиса было бы интересно.

 

Да, в планах есть, просто быстро сделать это не получится, а так это конечно самый перспектиынй путь

 

Спасибо за интерес к программе!

Марина и Сергей

[KAPATEJIb]

Какой процент латинских букв в базе? У пастухова он просто зашкаливает, наверное поэтому Kot9tko так категоричен.

[bukvarix]

Какой процент латинских букв в базе? У пастухова он просто зашкаливает, наверное поэтому Kot9tko так категоричен.

Спасибо, вопрос понятен, для того, чтобы набить базу, мы никакого мусора не генерили, если что-то есть, то это благодаря ботам и опечаткам реальных людей. Специально % латинских букв не считали, но можем по вашим ключевым словам (состоящих полностью из кириллицы и смешанных (кириллица+латинца) провести тест и выложить сюда результаты, чтобы вы могли сами оценить, насколько много в базе мусора.

[KAPATEJIb]

можем по вашим ключевым словам (состоящих полностью из кириллицы и смешанных (кириллица+латинца) провести тест и выложить сюда результаты, чтобы вы могли сами оценить, насколько много в базе мусора.

Я уже качаю и сам гляну позже, не так велик объем. 

До конкурентов вам конечно далеко, но если будете собирать базу дальше и добавите другие источники парсинга то получится хорошая вещь.

[bukvarix]

Я уже качаю и сам гляну позже, не так велик объем. 

До конкурентов вам конечно далеко, но если будете собирать базу дальше и добавите другие источники парсинга то получится хорошая вещь.

По функциональности будем догонять мы (и перегонять, потому что останавливаться не собираемся), а вот по скорости пусть догоняют нас

Базу тоже будем обновлять и расширять

[bukvarix]

Сегодня мы выпускаем апдейт, который добавляет в окне расширенного поиска три закладки для выборки до и после фильтрации словами-исключениями. Т.е. теперь вы можете увидеть не только отобранные по вашим критериям слова (т.е. фразы со стартовыми словами минус фразы со словами-исключениями - закладка "Отобрано"), но и все найденые программой в базе словосочетния (закладка "Всего найдено"), а так же не вошедшие в выборку словосочетания (закладка "Исключено").

Вот скриншот с пояснениями:



Это делает более удобным контроль фильтрации, особенно при использовании морфологии.

Скачать апдейт можно по адресу:

http://www.bukvarix....rix1.0.2.19.rar
(скачать, распаковать, перезаписать поверх существующего Bukvarix.exe).

P.S. Эта функция была еще не полностью реализована на момент релиза программы, поэтому мы добавляем ее по готовности отдельным апдейтом, более основательные обновления будут представлены после новогодних праздников.

 

[pimp2010]

Очень неплохо, очень

Уважаемые создатели, не понял почему вы не сделали в 1й же версии возможность сортировки, дико неудобно, я читал сообщение про импорт и т.д.

НО я реально не понял в чем сложность было реализовать возможность функции ORDER BY

 

Те кто говорит про онлайн, вы просто не рубите фишку) Представьте себе, что в один вечер к серверу "присосуться" человек эдак 1000 и подумайте какая  будет скорость обработки запросов, 50 ГБ по современным меркам не такой большой, учитывая выйгрыш в скорости и возможности работать офлайн

[bukvarix]

Очень неплохо, очень

Уважаемые создатели, не понял почему вы не сделали в 1й же версии возможность сортировки, дико неудобно, я читал сообщение про импорт и т.д.

НО я реально не понял в чем сложность было реализовать возможность функции ORDER BY

 

Те кто говорит про онлайн, вы просто не рубите фишку) Представьте себе, что в один вечер к серверу "присосуться" человек эдак 1000 и подумайте какая  будет скорость обработки запросов, 50 ГБ по современным меркам не такой большой, учитывая выйгрыш в скорости и возможности работать офлайн

 

Мы не используем стандартную базу, у нас свой "велосипед" как раз для возможности быстрых выборок и поддержки больших списков. Реализация сортировки "в лоб" свела бы на нет наши скоростные достижения.

 

Если сказать технически, то  у нас сейчас есть индексы для быстрого текстового поиска, но нет индексов для сортировки/фильтрации по числам.

 

Естественно, сортировку мы делаем, мы понимаем, что с ней программа будет гораздо удобнее, просто это займет у нас больше времени.

 

Спасибо за оценку

[pimp2010]

Мы не используем стандартную базу, у нас свой "велосипед" как раз для возможности быстрых выборок и поддержки больших списков. Реализация сортировки "в лоб" свела бы на нет наши скоростные достижения.

 

Если сказать технически, то  у нас сейчас есть индексы для быстрого текстового поиска, но нет индексов для сортировки/фильтрации по числам.

 

Естественно, сортировку мы делаем, мы понимаем, что с ней программа будет гораздо удобнее, просто это займет у нас больше времени.

 

Спасибо за оценку

а нельзя этот запрос в виде временной/буферной таблицы уже крутить стандартными sql-запросами ?

[bukvarix]

а нельзя этот запрос в виде временной/буферной таблицы уже крутить стандартными sql-запросами ?

В самой программе можно было так сделать, но тогда это было бы решение "в лоб", которое работало бы медленно - и свело бы на нет всю текущую скорость работы программы.

Поэтому решили сделать по нормальному, чтобы не потерять скорость работы программы, пусть на это и потребуется больше времени для разработки.

 

Сортировка/фильтрация уже в процессе - как будет готово, напишем в этой теме.

Сообщение отредактировал bukvarix: 31 Декабрь 2014 - 00:05