Интересная вещь - парсинг хтмл

[AlieN]

Суть задачи:
скрипт выкачивает файл откуда-то и парсит все ссылки
($buffer - весь возвратившийся от того сайта HTML код)

preg_match_all("|<a(.*)href=\\"(.*)\\"(.*)>|U",$buffer,$regs,PREG_SET_ORDER);
for($i=0;$i<sizeof($regs);++$i)

{

if(substr($regs[$i][2],0,7)!="http://")

{

if(substr($regs[$i][2],0,1)!="/")

{

$h="$url2/".$regs[$i][2];

$buffer=str_replace($regs[$i][2],$h,$buffer);

print "
 WAS -- ".$regs[$i][2].";
 NOW -- $h";

}

}

}

Всё бы хоршо а вот если ссылка встречается в файле более 1 раза то появляются такие фишки: http://server/http://server/somefile

Как от этого избавиьтся может кто сталкивался ХЕЛП

[GotZfild]

Я бы немного переделал

preg_match_all("|<a(.*)href=\\"(.*)\\"(.*)>|U", $buffer, $regs);
$regs[2] = array_unique($regs[2]);
$regs[2] = array_values($regs[2]);
for($i=0;$i < sizeof($regs[2]);$i++)    {
    if(substr($regs[2][$i],0,7)!="http://")
        {
        if(substr($regs[2][$i],0,1)!="/")
            {
            $h="$url2/".$regs[2][$i];
            $buffer=str_replace($regs[2][$i],$h,$buffer);
            print "
 WAS -- ".$regs[2][$i].";
 NOW -- $h";
            }
        }
    }

[ThE0ReTiC]

AlieN
А это не поможет?
http://php.spb.ru/php/url.html

[Макс]

вообще для html-парсинга есть библиотека htmlparser =>
http://anton.concord.ru/

Насчет твоей ситуации то проблема вероятно в  str_replace() - он ведь все вхождения заменяет. Можно preg_replace() использовать, только limit=1 укажи .

[GotZfild]

Макс
ИМХО, htmlparser\'ом изменять ссылки - это из серии пушкой по воробьям. Parser - вещь хорошая, но уж слишком громоздкая. Так, например, чтобы изменить все ссылки на данной странице, потребовалось 2.2778771 сек. Все же многовато.
Вот сам тест (если кто не верит)

require "parser/htmlparser.inc";
require "parser/common.inc";
$p=new HtmlParser("index.htm",unserialize(Read_File("htmlgrammar.cmp")),"index.htm",1);
$p->parse();
ChangeLinks(&$p->content);
GetPageSrc(&$p->content,&$src);

function ChangeLinks($c) {
      for ($i = 0; $i <= $c[\'contentpos\']; $i++) {
            if ($c[$i][\'type\'] == "tag" && $c[$i][\'data\'][\'type\'] == "open") {
                  if ($c[$i][\'data\'][\'name\'] == "a" && $c[$i][\'pars\'][\'href\']) {
                        if (substr($c[$i][\'pars\'][\'href\'][\'value\'], 0, 7)!="http://" && $c[$i][\'pars\'][\'href\'][\'value\'][0] !="/") {
                              $c[$i][\'pars\'][\'href\'][\'value\'] = "http://myserver.com/".$c[$i][\'pars\'][\'href\'][\'value\'];
                        }
                  }
            }
            if ($c[$i][\'content\']) ChangeLinks(&$c[$i][\'content\']);
      }
      return $c;
}

[AlieN]

Ну и что делать-то?
preg_replace выдает ошибку:

Код: [Выделить]


Warning: Delimiter must not be alphanumeric or backslash in /usr/local/apache/htdocs/catalog/mail/index.phtml on line 144
Вот код:

preg_match_all("|<a(.*)[Hh][Rr][Ee][Ff]=\\"(.*)\\"(.*)>|U",$buffer,$regs,PREG_SET_ORDER);

$regs[2] = array_unique($regs[2]);

$regs[2] = array_values($regs[2]);

for($i=0;$i<sizeof($regs);++$i)

{

if(substr($regs[$i][2],0,7)!="http://")

{

if(substr($regs[$i][2],0,1)!="/")

{

$h="$url2/".$regs[$i][2];

preg_replace(str_replace("\\\\","\\\\\\\\",$regs[$i][2]),str_replace("\\\\","\\\\\\\\",$h),$buffer);

print "
 WAS -- ".$regs[$i][2]."
 NOW -- $h";

}

}

}

[GotZfild]

Попробуй сменить delmiter в regexp\'е на / или букву, либо цифру.

(.*)[Hh][Rr][Ee][Ff]=

для этого есть модификатор i
И убери

PREG_SET_ORDER

[GotZfild]

Ой ё. Этого не заметил

preg_replace(str_replace("\\","",$regs[$i][2]),str_replace("","",$h),$buffer);

Зачем тебе preg_replace нужен?
Посмотри выше, я тебе там привел рабочий пример.

[AlieN]

GotZfild
твой пример что-то совсем не пашет

[GotZfild]

У меня пашет
Вот протестил:

$buffer = \'
<p><a href="http://ya.ru">линк</a></p>
<p><a href="/page.htm">линк</a> <a href="page2.htm">еще линк</a> - - <a href="another.htm">два
  линк</a></p>
<p><a href="page2.htm">и еще</a></p>\';

preg_match_all("|<a(.*)href=\\"(.*)\\"(.*)>|U", $buffer, $regs);
$regs[2] = array_unique($regs[2]);
$regs[2] = array_values($regs[2]);
$url2 = "http://new_domen";
for($i=0;$i < sizeof($regs[2]);$i++)    {
    if(substr($regs[2][$i],0,7)!="http://")
        {
        if(substr($regs[2][$i],0,1)!="/")
            {
            $h="$url2/".$regs[2][$i];
            $buffer=str_replace($regs[2][$i],$h,$buffer);
            print "
 WAS -- ".$regs[2][$i].";
 NOW -- $h";
            }
        }
    }

echo "<pre>".htmlspecialchars($buffer);

Вывел

Код: [Выделить]

WAS -- another.htm;
NOW -- [url]http://new_domen/another.htm[/url]
WAS -- page2.htm;
NOW -- [url]http://new_domen/page2.htm[/url]

линк

линк еще линк - - два
  линк

и еще

[AlieN]

GotZfild
спасибаЧЧки, после небольшой доработки:

preg_match_all("|<a(.*)href=\\"(.*)\\"(.*)>|U", $buffer, $regs); 

$regs[2] = array_unique($regs[2]);

$regs[2] = array_values($regs[2]); 

for($i=0;$i < sizeof($regs[2]);$i++)    

{
    

if(substr($regs[2][$i],0,7)!="http://")
        

{
        

if(substr($regs[2][$i],0,1)!="/")
            

{
            

$h="$url2/".$regs[2][$i];
            

$buffer=str_replace($regs[2][$i],$h,$buffer);
            

}

if(substr($regs[2][$i],0,1)=="/")
            

{
            

$h="$url1".$regs[2][$i];
            

$buffer=str_replace($regs[2][$i],$h,$buffer);
            

}
        

}
    

}
Всё заработало идеально