Подготовка сайта к индексации

[Abram]

Как правильно подготоаить сайт для индексации поисковиками. Подскажите пожалуйста я никогда такого не делал(сайт полностью на пхп) Как там все описывать надо?

[MadDog]

Например почитать, что пишет о добавлении сайтов всем известный

[Abram]

Читал про robots.txt и теги Вобщем имеется несколько вопросов на которые я не нашел ответа:

1. Если я подготовлю сайт под яндекс, то нормально ли проиндексирует сайт рабмлер гугл и т.д.?(Тоесть не могут ли занести в черный список).

2. Сайт полностью на пхп(чистого html нет вообще)+сайт на 3 языках. Как правильно подготовить для индексации? (Как хранить ключевые слова - генерировать их под каждую страницу? Например скрипт новостей можно сделать слова статичными(новости, спорт, политика и т.д.) а можно под каждую новость писать свои ключевые слова(создать отдельное поле в таблице новостей)
И еще ключевые слова можно писать на разных языках? Тоесть допустим "спорт новости sport news...

3. Если у меня есть robots.txt нужно ли в тегах мета прописывать теги роботс или можна обойтись?

4. Если я не хочу индексировать сайт пока(еще нужно кое-что доделать) а я его уже выложил в сети под тем доменом под которым он будет "жить" то не найдет ли его робот автоматически и не проиндексирует в таком случае? Что делать тогда?

[ThE0ReTiC]

Abram:
чистого html нет вообще

это твое великое заблуждение.
3. По идее можно обойтись.
вообще
http://www.searchengines.ru тебе поможет.

[Abram]

это твое великое заблуждение.

Не понял фразы. Что ты имеешь в виду?

[pauk]

Abram:
Не понял фразы

То, что для поисковиков твое

чистого html нет вообще

как раз и является чистым HTML

[Abram]

Ну объясни как индексируется файл news.php Где все данные берутся из базы данных. В такой случае можно и динамически создавать ключевые слова под каждую новость?

[ThE0ReTiC]

Abram
можно.
все можно.
как индексируется - зависит от логики робота, который этим занимается. вот под него и подстраивайся.

[MadDog]

[off]Где давно вычитал. Для того чтобы посмотреть как видят поисковые роботы твой сайт скачай текстовый браузер Lynx (если ты сидишь в виндах) и посмотри.[/off]

[pauk]

Abram:
Ну объясни как индексируется файл news.php Где все данные берутся из базы данных.

поисковику без разницы откуда берутся данные, из файла, из БД или еще откуда
он индексирует результаты выполнения скрипта, то есть чистый HTML

[Abram]

зависит от логики робота, который этим занимается. вот под него и подстраивайся.

Ну не могут же роботы по разному сканировать сайт!! Принципы у них ведь одинаковые.
Подстроиться под каждого робота - думаю это нереально

[ThE0ReTiC]

MadDog
можно использовать
http://www.samspade.org/ssw/
тот же эффект

[Green Kakadu]

Abram
принципы одинаковыt, но результат сканирования разный
Раньше не все роботы переваривали урлы типа http://lalala.ru/news.php?my_chto-to
почитай разные статейки по этой теме - ссылку тебе дали, searchengines.ru

[MadDog]

ThE0ReTiC
мне всё таки больше Lynx нравится.... ближе как-то и привычнее.

[ThE0ReTiC]

MadDog
[off]
а мне links
[/off]