Имя:    Пароль:      Помнить меня       
Unsorted   ~  Магазины и услуги  ~  Провайдеры и сети  ~  Поисковик по http
На страницу «  1, 2
MinDeR
Сообщение  20 Мар 2006, 18:21  Ссылка : Ответить с цитатой
Возраст: 36 Пол: Мужской 
C нами с 08.01.2006
Репутация: 128.1

Di писал(а):
хм, а не дурный поисковик.
Вопросик: Он сканит всю сеть в поисках сайтов или только вложенные в него "кем-то" ссылки?


Нет, он не сканит всю сетку. Я забиваю в него адреса вручную. Причиной этому стал мой пробег по http-ресурсам сетей, там много мусора оказалось, форумы с 3-мя сообщениями, косые чаты, сайты пол года на реконструкции и т.д.

2 Babushka

У меня есть пара вопросов по базам...у тебя ася есть?
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение : Сайт : ICQ
konst
Сообщение  02 Апр 2006, 18:07  Ссылка : Ответить с цитатой
Пол: Мужской  Доверенный пользователь
C нами с 19.04.2005
Репутация: 126.7

MinDeR писал(а):
хм, а не дурный поисковик.

Согласен. Улыбочка

MinDeR писал(а):
Нет, он не сканит всю сетку. Я забиваю в него адреса вручную.

А какие, если не секрет? Если можно, списочек.
В начало
Профиль : Блог : Личное Сообщение
Phil
Сообщение  02 Апр 2006, 18:53  Ссылка : Ответить с цитатой
Пол: Мужской 
C нами с 27.05.2005
Репутация: 231.9

Администратор ресурса, результат поиска некорректно отображается в Mozilla Firefox, отсутствует полоса прокрутки.

Спасибо за поисковик.

_____________________________
Презираю сетевых троллей!
Прокачай свой unsorted.ru!
Ты активный сидер? Часто, а главное качественно выкладываешь видео новинки? Устал от монотонного оформления раздач? Не беда! Теперь Фильмонайзер оформит всё за тебя!
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение : E-mail : Сайт : ICQ
Гость
Сообщение  02 Апр 2006, 19:18  Ссылка : Ответить с цитатой
Пол: Мужской 


по-моему Datapark может из разных баз отдавать результаты. Вы скооперируйтесь есть машинка слабенькая.

иммею ввиду пул из indexer'ов и бд + 1 search c большим индексом в памяти
В начало
MinDeR
Сообщение  02 Апр 2006, 23:52  Ссылка : Ответить с цитатой
Возраст: 36 Пол: Мужской 
C нами с 08.01.2006
Репутация: 128.1

konst писал(а):
А какие, если не секрет? Если можно, списочек.


http://edem.aviel.ru/forum/viewthread.php?tid=17

Цитата:
Администратор ресурса, результат поиска некорректно отображается в Mozilla Firefox, отсутствует полоса прокрутки.


Проверим и, если что исправим, вчера была настройка интерфейса, возможно вы неудачно попали Улыбочка

Цитата:
по-моему Datapark может из разных баз отдавать результаты. Вы скооперируйтесь есть машинка слабенькая.

иммею ввиду пул из indexer'ов и бд + 1 search c большим индексом в памяти


Датапарк не чита mnogosearch. Он тоже может отдавать результаты из кучи баз, но опрашиваются эти базы последовательно.

А вообще можно попробовать что-то вроде.

http://www.mysql.com/products/cluster/

Эта вещь более низкоуровнева, а значит более надёжна, ИМХО.
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение : Сайт : ICQ
MinDeR
Сообщение  14 Июл 2006, 18:45  Ссылка : Ответить с цитатой
Возраст: 36 Пол: Мужской 
C нами с 08.01.2006
Репутация: 128.1

Вроде закончил индексирование большинства ресурсов сети. Проиндексировано всё, кроме тех ресурсов, на которых индексация запрщена. Посему, если страницы, находящиеся на ресурсе не находятся, вопросы к владельцу ресурса. Собственно список страниц, которые робот пытался проиндексировать:

http://www.aviel.ru/
http://lightside.aviel.ru/
http://edem.aviel.ru/
http://baltika.aviel.ru/
http://matrix2.aviel.ru/
http://chess.aviel.ru/
http://callofduty.aviel.ru/
http://lalitta.aviel.ru/
http://ewe.aviel.ru/
http://music.aviel.ru/
http://alcherfoto.aviel.ru/
http://ortodox-vita.aviel.ru/
http://pobediteli.aviel.ru/
http://cs.aviel.ru/
http://killer.aviel.ru/
http://softhole.aviel.ru/
http://counter.aviel.ru/
http://photosight.aviel.ru/
http://fotki.aviel.ru/
http://auto.aviel.ru/
http://rasta.aviel.ru/
http://sae24.aviel.ru/
http://disney.aviel.ru/
http://express.aviel.ru/
http://kiper.aviel.ru/
http://mogk.aviel.ru/
http://grig.aviel.ru/
http://formula-1.aviel.ru/
http://parkour.aviel.ru/
http://extreme.aviel.ru/
http://makcfreeman.aviel.ru/
http://cityzone.aviel.ru/
http://rc.aviel.ru/
http://hymnazix.aviel.ru/
http://ritter.aviel.ru/
http://city.aviel.ru/
http://www.progtech.ru/
http://hayka.progtech.ru/
http://search.progtech.ru/
http://wiki.progtech.ru/
http://web.woody.progtech.ru/
http://botan.progtech.ru/
http://woody.progtech.ru/
http://tahkuct.progtech.ru/
http://cj.woody.progtech.ru/
http://flu.progtech.ru/
http://statusnet.progtech.ru/
http://sova.progtech.ru/
http://zrclub.progtech.ru/
http://net-radio.progtech.ru/
http://love.progtech.ru/
http://bestforums.woody.progtech.ru/
http://gl.progtech.ru/
http://radio.accident.progtech.ru/
http://ragnarok.progtech.ru/
http://hockey.woody.progtech.ru/
http://swat-portal.woody.progtech.ru/
http://cdma-news.progtech.ru/
http://graphics.progtech.ru/
http://catalog.progtech.ru/
http://advaita.progtech.ru/
http://megaportal.progtech.ru/
http://starwars.progtech.ru/
http://zone.woody.pt.pp.ru/
http://spayn.woody.pt.pp.ru/
http://gta.woody.pt.pp.ru/
http://surrrr.woody.pt.pp.ru/
http://o3.pt.pp.ru/
http://pt.unsorted.ru/
http://films.unsorted.ru/
http://altruist.unsorted.ru/
http://udaff.unsorted.ru/
http://saturn.unsorted.ru/
http://lineage2.unsorted.ru/
http://mobilz.unsorted.ru/
http://blackhole.pp.ru/
http://exchange.pp.ru/
http://www.zhukorama.ru/
http://www.ramenskoye.ru/
http://kino.ramenskoye.ru/
http://www.bizspravka.ru/
http://www.3keys.ru/
http://www.ramtv.ru/
http://www.carver7.ru/
http://footballforyou.ru/
http://animeshka.ru/
http://www.ramenergy.ru/
http://www.zodiak-alfa.ru/
http://www.mati8.ru/
http://www.rambani.ru/
http://www.newchance.ru/
http://www.ramencrb.ru/
http://pt.freeforum.org.ru/
http://www.zhukovskiy.ru/
http://ircinfo.ru/
http://www.rusdesign.net/
http://d4.rusdesign.net/
http://www.institutpr.com/
http://www.vexpress.ru/
http://www.inltd.ru/
http://www.7rays.ru/
http://www.zhilvopros.ru/
http://www.oformzem.ru/
http://electronica.bizspravka.ru/
http://www.liicom.ru/
http://www.montage.ru/
http://www.wingstv.ru/
http://www.asds.ru/
http://www.megakom.ru/
http://saturn-fc.ru/
http://10.100.52.19/
http://10.100.31.8/
http://10.100.51.201/
http://10.110.51.10/
http://10.100.29.32/
http://10.100.32.58/
http://10.110.105.176/
http://10.100.44.69/

Ещё раз напоминаю, что поисковик живёт по адресу:

http://edem.aviel.ru:8080/

и содержит в себе 286720 страниц.
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение : Сайт : ICQ
baldahin
Сообщение  20 Июл 2006, 11:20  Ссылка : Ответить с цитатой
Возраст: 41 Пол: Мужской  Доверенный пользователь
C нами с 20.09.2004
Репутация: 176.4

MinDeR, для какого User-agent разрешить индексацию на unsorted.ru?

_____________________________
Ищу работу в Жуковском.
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение
FlashGun
Сообщение  20 Июл 2006, 11:53  Ссылка : Ответить с цитатой
Возраст: 49 Пол: Мужской  Доверенный пользователь
C нами с 27.01.2005
Репутация: 129.4

baldahin писал(а):
MinDeR, для какого User-agent разрешить индексацию на unsorted.ru?

Да он, похоже, MSIE/98 прикидывается, блин. Огребая все шапки и разметку.

_____________________________
"Загнанную в угол крысу пристреливают"
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение
E9
Сообщение  20 Июл 2006, 11:57  Ссылка : Ответить с цитатой
Возраст: 40 Пол: Мужской  Доверенный пользователь
C нами с 03.05.2005
Репутация: 122.9

MinDeR, baldahin, эмм... в указанном списке имеет место быть пт.ансортед. А сейчас вроде просто ансортед... Я в шоке

_____________________________
Nobody expects the Spanish Inquisition!
В начало
Профиль : Фотоальбом : Личное Сообщение
baldahin
Сообщение  20 Июл 2006, 12:35  Ссылка : Ответить с цитатой
Возраст: 41 Пол: Мужской  Доверенный пользователь
C нами с 20.09.2004
Репутация: 176.4

MinDeR на freeforum писал(а):
Вроде закончил Не проиндексированы те ресурсы, для которых запрещена индексация(FreeForum, Unsorted и т.д.).

я так понял, что поисковик всё-таки обращает внимание на robots.txt

_____________________________
Ищу работу в Жуковском.
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение
ZoRG
Сообщение  20 Июл 2006, 13:09  Ссылка : Ответить с цитатой
Возраст: 37 Пол: Мужской 
C нами с 14.10.2004
Репутация: 94.1

Если не ошибаюсь, то прикидывается он так:
NutchCVS/0.7.2 (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org)
В начало
Профиль : Блог : Личное Сообщение : E-mail
MinDeR
Сообщение  21 Июл 2006, 10:55  Ссылка : Ответить с цитатой
Возраст: 36 Пол: Мужской 
C нами с 08.01.2006
Репутация: 128.1

ZoRG писал(а):
Если не ошибаюсь, то прикидывается он так:
NutchCVS/0.7.2 (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org)


Zorg, именно так.

Цитата:
я так понял, что поисковик всё-таки обращает внимание на robots.txt


Да, обращает. Это должен делать каждый уважающий себя паук Улыбочка

Цитата:
эмм... в указанном списке имеет место быть пт.ансортед. А сейчас вроде просто ансортед...


Поправил, но сути дела это не меняет.

Цитата:
MinDeR, для какого User-agent разрешить индексацию на unsorted.ru?


Для агента, который написал Zorg. NutchCVS. Хотя намного надёжнее прописать ip-адрес.
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение : Сайт : ICQ
MinDeR
Сообщение  31 Июл 2006, 17:23  Ссылка : Ответить с цитатой
Возраст: 36 Пол: Мужской 
C нами с 08.01.2006
Репутация: 128.1

Проиндексирован unsorted.ru

Количество страниц в базе состовляет 379790
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение : Сайт : ICQ
IDMAN
Сообщение  18 Июн 2009, 14:41  Ссылка : Ответить с цитатой
Пол: Мужской 
C нами с 06.07.2008
Репутация: 42.2

Новый поисковик по Aviel/ПрогТех:
http://bitrix.aviel.ru/search/search.php

Сейчас в бд: 168 sites, 24550 страниц, и 311888 keywords.
По моим подщетам пред поисковика 54000 страниц.
В начало
Профиль : Фотоальбом : Блог : Личное Сообщение
Показать сообщения:   
На страницу «  1, 2

Unsorted   ~  Магазины и услуги  ~  Провайдеры и сети  ~  Поисковик по http

Ответить на тему

Перейти:  





Powered by phpBB   © Unsorted Team  support@unsorted.me  promo@unsorted.me  Полезные скрипты