1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
|
// Package database простейшая БД которая позволяет только два действия:
//
// 1. сохранить некую строку - `Append(string) error`
// 2. ответить на вопрос сохранялась ли уже когда либо эта строка -
// `Exists(string) bool`
//
// Нужна для дедупликации публикуемых записей
package database
import (
"bytes"
"fmt"
"os"
)
type DB struct {
fp *os.File
cache map[string]struct{}
}
func New(path string) (*DB, error) {
cache, _ := os.ReadFile(path) // Ignore if no DB file
fp, err := os.OpenFile(path, os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0o644)
if err != nil {
return nil, fmt.Errorf("failed open db file for write: %w", err)
}
db := &DB{
fp: fp,
cache: map[string]struct{}{},
}
for part := range bytes.SplitSeq(cache, []byte("\n")) {
db.cache[string(part)] = struct{}{}
}
return db, nil
}
func (d *DB) Close() error {
return d.fp.Close()
}
func (d *DB) Exists(s string) bool {
_, ok := d.cache[s]
return ok
}
func (d *DB) Append(s string) error {
if d.Exists(s) {
return nil
}
_, err := fmt.Fprintln(d.fp, s)
return err
}
|
