Speed-up lookup.
[apps/pfixtools.git] / common / tst-trie.c
1 /******************************************************************************/
2 /*          pfixtools: a collection of postfix related tools                  */
3 /*          ~~~~~~~~~                                                         */
4 /*  ________________________________________________________________________  */
5 /*                                                                            */
6 /*  Redistribution and use in source and binary forms, with or without        */
7 /*  modification, are permitted provided that the following conditions        */
8 /*  are met:                                                                  */
9 /*                                                                            */
10 /*  1. Redistributions of source code must retain the above copyright         */
11 /*     notice, this list of conditions and the following disclaimer.          */
12 /*  2. Redistributions in binary form must reproduce the above copyright      */
13 /*     notice, this list of conditions and the following disclaimer in the    */
14 /*     documentation and/or other materials provided with the distribution.   */
15 /*  3. The names of its contributors may not be used to endorse or promote    */
16 /*     products derived from this software without specific prior written     */
17 /*     permission.                                                            */
18 /*                                                                            */
19 /*  THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND   */
20 /*  ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE     */
21 /*  IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR        */
22 /*  PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS    */
23 /*  BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR    */
24 /*  CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF      */
25 /*  SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS  */
26 /*  INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN   */
27 /*  CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)   */
28 /*  ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF    */
29 /*  THE POSSIBILITY OF SUCH DAMAGE.                                           */
30 /******************************************************************************/
31
32 /*
33  * Copyright © 2008 Florent Bruneau
34  */
35
36 #include "common.h"
37 #include "str.h"
38 #include "trie.h"
39 #include "file.h"
40
41 static trie_t *create_trie_from_file(const char *file)
42 {
43     trie_t *db;
44     file_map_t map;
45     const char *p, *end;
46     char line[BUFSIZ];
47
48     if (!file_map_open(&map, file, false)) {
49         return NULL;
50     }
51     p   = map.map;
52     end = map.end;
53     while (end > p && end[-1] != '\n') {
54         --end;
55     }
56     if (end != map.end) {
57         warn("file %s miss a final \\n, ignoring last line", file);
58     }
59
60     db = trie_new();
61     while (p < end && p != NULL) {
62         const char *eol = (char *)memchr(p, '\n', end - p);
63         if (eol == NULL) {
64             eol = end;
65         }
66         if (eol - p > BUFSIZ) {
67             p = eol - BUFSIZ;
68         }
69         int i = 0;
70 #if 1
71         for (const char *s = eol - 1 ; s >= p ; --s) {
72             line[i++] = ascii_tolower(*s);
73         }
74 #else
75         memcpy(line, p, eol - p);
76         i = eol - p;
77 #endif
78         line[i] = '\0';
79         trie_insert(db, line);
80         p = eol + 1;
81     }
82     file_map_close(&map);
83     trie_compile(db, false);
84     return db;
85 }
86
87
88 int main(int argc, char *argv[])
89 {
90     /* Trivial tests
91      */
92     trie_t *trie = trie_new();
93     trie_insert(trie, "abcde123456789");
94     trie_insert(trie, "abcde123654789");
95     trie_insert(trie, "abcdefghi");
96     trie_insert(trie, "coucou");
97     trie_insert(trie, "coucou chez vous");
98     trie_insert(trie, "debout !");
99     trie_compile(trie, false);
100     trie_inspect(trie, true);
101
102 #define ASSERT_TRUE(str)                            \
103     if (!trie_lookup(trie, str)) {                  \
104         printf("\"%s\" not found in trie\n", str);  \
105         return 1;                                   \
106     }
107 #define ASSERT_FALSE(str)                           \
108     if (trie_lookup(trie, str)) {                   \
109         printf("\"%s\" found in trie\n", str);      \
110         return 1;                                   \
111     }
112     ASSERT_FALSE("");
113     ASSERT_FALSE("coucou ");
114     ASSERT_FALSE("abcde123");
115     ASSERT_FALSE("abcde");
116     ASSERT_FALSE("coucou chez vous tous");
117     ASSERT_TRUE("abcde123456789");
118     ASSERT_TRUE("abcde123456789");
119     ASSERT_TRUE("abcde123654789");
120     ASSERT_TRUE("abcdefghi");
121     ASSERT_TRUE("coucou");
122     ASSERT_TRUE("coucou chez vous");
123     ASSERT_TRUE("debout !");
124
125     trie_delete(&trie);
126
127     /* Perf test
128      */
129     if (argc > 1) {
130         trie = create_trie_from_file(argv[1]);
131         trie_inspect(trie, false);
132         if (argc > 2) {
133             time_t now = time(NULL);
134             for (uint32_t i = 0 ; i < 1000000000 ; ++i) {
135                 trie_lookup(trie, argv[2]);
136             }
137             printf("%lu lookups per second\n", 1000000000 / (time(NULL) - now));
138         }
139         trie_delete(&trie);
140     }
141     return 0;
142 }