0
0 комментариев

Имеется база данных SQLite3, в ней 2 поля:

  1. строка;
  2. crc32 этой строки.

Нужно за минимально короткое время и с минимальными ресурсозатратами найти все уникальные строки. Количество записей — от 1 млн до 100 млн. Если кто-нибудь сталкивался с подобными задачами, буду благодарен за любые варианты. Особенно интересны варианты с использованием побитовых операций над crc. Код на python.

P.S. Видел вскользь упоминающийся метод примерно такого принципа:
берется 32 числа типа int, извлекается crc32 строки, затем побитовым OR и AND каким то образом из этих 32 чисел выясняется, был ли проверен данный crc или нет. Реализация данного алгоритма остается неясной.


Добавить комментарий