Помагите с запросом

[Altaxar]

Есть таблица "ааа" и есть колонка "bbb", мне нужно удалить все повторяющиеся(дублирующиеся) записи по колонке "bbb".
Дело в том что записей очень много, если самым тупым запросом задать то длительность будет большая N*N, подскажите более быстрый запрос.

[andymc]

Простой вариант...

Код: [Выделить]


DELETE *
FROM aaa
WHERE bbb NOT IN
     (SELECT DISTINCT bbb
      FROM aaa);


Если надо быстрее, то можно гипотетически предположить

Код: [Выделить]

1. SELECT DISTINCT bbb FROM aaa
2. Заменить таблицу aaa на таблицу созданную по запросу 1)

Думаем дальше. Наверняка есть поле id (первичный ключ)

Код: [Выделить]

1. SELECT DISTINCT bbb, id FROM aaa
2. SELECT * id FROM aaa
3. array_diff(1,2)
4. Удалить все строки с id из массива 3)

Ни один из вариантов конечно не оптимален. I tried

[Altaxar]

andymc

Спасибо.
Думаю ускорит если столбец bbb в MySQL сделать также ключевым. тогда он столбец сделает не как список, а более удобный для поиска и DISTINCT заработает быстрее.
2 вариант неудобен, у меня очень маленький процент повторение(0.1 - 1 %). И поток меж PHP и MySQL немалый будет.
3 вариант сейчас и использую.

Так как у меня малый процент совпадения такой вариант возник:
DELETE *
FROM aaa
WHERE bbb IN
     (SELECT bbb FROM aaa WHERE COUNT(bbb)>1 GROUP BY bbb);
Таким образом скорость SELECT GROUP ровна N*N а у меня N*N/1000 до N*N/100 из-за процента и DELETE также ровна N, связ меж ними от 1 до N в сумме N/2 это максемальный и зависит от количества совпадений так что у меня N/2000 до N/200 в итоге получаем f1(N*N/1000 до N*N/100)+f2(N)+f3(N/2000 до N/200). Думаю это оптемально.

[andymc]

SELECT bbb FROM aaa WHERE COUNT(bbb)>1 GROUP BY bbb

Меня терзают смутные сомнения, работает ли это ...
будет время проверю...
Впрочем сама идея заменить DISTINCT на COUNT интересна

[Akvar]

SELECT bbb FROM aaa WHERE COUNT(bbb)>1 GROUP BY bbb

такое конечно не работает... так как при большой базе - сжирает память...

/ данная тема старая...  но хочется поднять...  так как в нете тяжело найти ответ - все неработающие идеи...
но необходимо расширить задачу:
1) при малом количестве совпадений скрипт выполнялся очень быстро...
2) при большом количестве совподений ( более 50% - не загибался сервер при количестве записий около 1-го милиона )

Делал кто-то такое ?

[Akvar]

Вобщем посидел, подумал - поэксперементировал...
и старался избавится от парсинга и повторяющихся записей..
вот что получилось : ( помоемому самый быстрый вариант

CREATE TEMPORARY TABLE stack_1 SELECT t1.id, t1.b_email from baza AS t1 where EXISTS ( SELECT * FROM baza AS t2 WHERE t2.b_email=t1.b_email AND t2.id!=t1.id );
CREATE TEMPORARY TABLE stack_2 SELECT MIN(id) as id FROM stack_1 GROUP BY b_email;
DELETE stack_1 FROM stack_2, stack_1 WHERE stack_2.id=stack_1.id;
DELETE baza FROM stack_1, baza WHERE stack_1.id=baza.id;

[Altaxar]

DROP TABLE IF EXISTS stack;
CREATE TABLE stack SELECT id, b_email FROM aaa group by b_email;
DROP TABLE IF EXISTS aaa;
RENAME TABLE stack TO aaa;

Я еще такое попробывал на большое количество, у меня работает

[sanika]

Не хочу создавать новую тему, может тут отпишусь. Есть запрос

select DISTINCT nazv, vznos, id_sozd, reiting, pict from company order by \'vznos\'

типа выбирает уникальные записи, при этом сортирует по значению поля "взнос".
а как сделать сортировку не по значению поля, а по количеству повторяющихся записей?

[andymc]

Код: [Выделить]

ORDER BY COUNT(1) ?

[sanika]

а что такое (1)?

[sanika]

не работает((

[Altaxar]

select nazv, vznos, id_sozd, reiting, pict, count(vznos) as con from company group by vznos order by con

[sanika]

Altaxar Огромное спасибо - работает. А что такое con?

[andymc]

sanika
Ты удивишься, но в SQL запросах возможно и такое:

Код: [Выделить]

SELECT col FROM yourTable WHERE 1 < 0 Где 1 - номер поля
А con - это отсюда

Код: [Выделить]

count(vznos) as con

[Altaxar]

group by vznos - груперует по столбцу vznos
count(vznos) as con - определяет количество совпадений и передает это в имя con, написать можеш, что хочеш(естествено в рамках допустимого).
order by con - сортирует по полученному столбцу.
естественно на выходе у тебя будет столбец con