Deviant Logo

будущее поисковых систем…

post details top
29 Ноя, 2008
post details top
расплата

расплата

Мне стал говорить народ, что последнее время меня потянуло писать всякую хрень. Что же, расскажу по делу.Во время ддоса самая большая прелесть в том, что ты находишь себе серваки новые, несмотря на то, что до этого ты их усиленно искал и они не находились. Но, как говорится, пока петух в жопу не клюнет… Так и здесь, когда стало понятно, что ддос идет сильный и лежит все, что даже не должно было лежать, надо было искать варианты, сразу же отмониторились все конкуренты и была найдена новая площадка :)

Что еще? Из-за борьбы с этим гребаным ддосом застопорился запуск нескольких новых проектов, среди которых в том числе и домены, но это дело поправимое. Вроде отпускает… Ощущение, как после цунами, когда смотришь по сторонам, и видишь сплошную разруху, которую тебе надо восстанавливать.

Еще я понял, что офис, в котором ты не сидишь и не пинаешь всех и не заставляешь перерабатывать и т.д. Он смысла не имеет в принципе. Я стал понимать глубже всю ту систему, которую создают крупнейшие ИТ компании, типа Гугла, Эппла, Майкрософта, когда они делают не офисы, а кампусы, чтобы люди буквально жили на рабочем месте. Только так можно чего-то достичь в этой индустрии. Она слишком быстроменяющаяся и надо реагировать на каждое изменение.

Почему я в принципе вчера поднял тему нейронных сетей. Я вот все думаю над будущим поисковиков. Чего мне не хватает сейчас в поиске? Зачастую мне не хватает семантики языка. Если раньше надо было изучать операнды, чтобы грамотно составить запрос в поисковик, то теперь поисковики уже должны научиться понимать, чего хотят от них люди.

Например, несколько запросов, начинающихся с Как? Почему? Где? Когда? Они должны возвращать разные результаты, зачастую кардинально разные. Современный поисковик может найти сайты с целиковой фразой, что может быть неплохо, но если фраза будет построена чуть-чуть по другому, то такие сайты уже не попадут в выдачу, точно также, просто разбор по словам в данном случае даст разные слегка результаты, но не сильный разброс. Прикол в том, что человек, задающий вопрос в такой форме хочет получить КОНКРЕТНЫЙ ответ. И вот тут, как мне кажется, должны вступать в работу нейронные сети. Семантичекое ядро языка, выделение этих самых вопросов и анализ формы ответа на данный вопрос, то есть задача поисковика становится в такой ситуации выдать мне не сайты, где есть такой же вопрос, а сайты, где есть ответ на него! 

Нелегкая задача, но учитывая гигантские вычислительные мощности современных ИТ-монстров типа Гугла она вовсе не фантастическая. 

На се.ру читал как-то топик товарища одного, который искал единомышленников на создание такого рода «нового СЕ», желающих не нашлось тогда, его закидали помидорами, а ведь идея витает в воздухе…

Similar Posts:

    None Found

13 коммент.

  • QYura

    Идея хорошая, но реализация ее под силу как минимум гуглу. Не удивлюсь если они выпустят ее в виде своей экспериментальный задумки в google labs.  

    (Цитировать)

  • Random

    Сигурд, здесь целесообразнее не нейросети использовать, а через персонализированный поиск прийти к решению такой проблемы.

    Такой поиск осуществляется, когда у документов в бд поисковика, кроме фактически ключевиков появляются ещё и другие факторы, которые вместе составляют профиль документа. Каждый документ начинает относиться например к разным тематикам в разной степени. То есть между документом и определённой тематикой появляется «стрелочка» с определённым весом, выражаемым числом. И эта связь документа может быть не только с тематиками, а с совершенно разными вещами, (тем же соответствием документа ответу на определённый вопрос) вместе образуя многослойный пирог связей.

    Далее вектор профиля документа проецируется на вектор профиля пользователя, в который так же занесён текущий его запрос, и выбираются наиболее длинные проекции – то есть результаты выдачи поисковика. Примерно такую хрень гугл, как я предполагаю, уже давно двигает в массы.

    Инструментов для сбора информации о профилях у него достаточно. Гугл уже сейчас может рассказать о каждом из нас всё, ибо фаерфокс с тулбаром есть у всех :)   

    (Цитировать)

  • pinglove

    Sig, Random близок к истине, в общем. Так сейчас и делают некоторые нам известные ПС. Нейросети немного не то, особенно с поиском. Это не капчи :)

    Насчет организации труда – да. Я вот все никак не доезжаю купить аквариум в оффис, и поставить теннисный стол.  

    (Цитировать)

  • Dimak

    Вообще уже в стадии беты есть подобные поисковики, например http://www.hakia.com Еще помню подписывался еще на одну бету движка. Причем эти стартапы очень хорошо финансируются венчурными фондами.  

    (Цитировать)

  • Andrey

    По-моему нам до такой поисковой системы еще очень далеко. Это что-то вроде задачи сделать приличный переводчик с одного языка на другой. Вроде кажется что до создания нормального переводчика осталось лет десять но кажется это уже лет 50 :)

    Могу поверить, что можно искать по какой-то ограниченной базе знаний, или волне прилично отвечать на ограниченный класс вопросов. Но всосать весь интернет и отвечать по нему на вопросы… похоже без шансов.

    В общем в проект «того парня с се.ру» я бы пока свои деньги не вкладывал. :)   

    (Цитировать)

  • Сергей

    во другое дело :)

    подскажи под наши решения серваки недорогие, а то у алибабаича вечно всё лежит :(   

    (Цитировать)

  • sAx

    > Я вот все думаю над будущим поисковиков.

    Серега, это ПЯТЬ! Жаль гугл об этом не знает.
    На самом деле история искуственного интелекта уходит корнями в глубокое прошлое. Уже в Древней Руси существовали вполне работоспособные модели… Помнишь? «Свет мой, зеркальце, скажи…» И выдавало то зеркальце ОДИН конкретный и определенный ответ, а не страницу каких-то непонятных линков… названных буржуйским словом «релевантных», наверное для того чтобы напустить важности и посеять зерно неполноценности в души обычных людей.
    Кто ясно мыслит, тот ясно излагает.  

    (Цитировать)

  • Саюзник

    поисковики и в нынешним виде неплохо бы справлялись, если бы некоторые товарищи не завалили весь инет дорами.
    пользоватся гуглем не патриотично, получается воевали воевали наши деды за свободу и независимость, а сечас мы сами жопу подставляем.  

    (Цитировать)

  • Rapira

    Саюзник, ну конечно же доры виноваты! :) А так бы все уже давно было хорошо и заебись! :) Гугл бы давно научился говорить человеческим голосом, бегать за пивом, а девушкам приносить кофе в постель. :)
    По воводу нейронных сетей. Согласен с Random’ ом – через персонализацию выдачи все эти задачи решить проще. На данном этапе по крайней мере.  

    (Цитировать)

  • TerVer

    Называется это – экспертными системами. Вопрос – ответ. Чем больше данных в базе, тем круче система. Вспоминаем сразу яху ансверс и прочее, те же обычные форумы, котрые кстати и берет поисковик в индекс и именно по совпадению фразы ты можешь найти такой вопрос, заданный кем-то. Но достоверность? достоверность должен определять эксперт :)   

    (Цитировать)

  • Sigurd

    Random, правильно, так система же должна выбирать в итоге из этих весов максимально верный ответ на поставленный вопрос и плюс грамотно и точно анализировать сам вопрос. Как это реализовать? :)

    pinglove, ну нейросети капчами не ограничиваются :) А вот выбрать максимально близкий к вопросу ответ из гигантской базы… ну тут одним ПРом не обойдешься, а персонализированный поиск – это не совсем то, он ничем не отличается от обычного кроме того, что собирает тебе сайты, отсеивая те, которые тебе могут показаться неинтересными. Хорошее направление, но не то :)

    Dimak, во – это то, о чем я и говорю :)   

    (Цитировать)

  • Sigurd

    Сергей, не, серваки пока не подскажу, во-первых сами еще не оттестили, а во-вторых сейчас такие места не хочется загубить :) Даю наводку: чекайте аак :)

    Саюзник, к сожалению даже в рунете мне гугль стал больше яндекса нравиться, ну реально лучше у него стала выдача :( Что касаемо доров, то опять же читайте внимательнее, я говорю о семантическом анализе вопроса, а не просто о поиске страниц, где встречается нужный набор слов, на странице не обязательно должен содержаться сам вопрос, достаточно, чтобы там был ответ.  

    (Цитировать)

  • Tex

    Ибо надо искать инвесторов, а не единомышленников )))  

    (Цитировать)

Оставить комментарий

:wink: :-| :-x :twisted: :) 8-O :( :roll: :-P :oops: :-o :mrgreen: :lol: :idea: :-D :evil: :cry: 8) :arrow: :-? :?: :!:

Подпишись на блог!