關於使用者詞庫格式

[llc0930]

最近在清理使用者詞庫時，發現從v0.8.0開始遷移到trie dictionary了...
從#478最後提到的：

繼續使用 sqlite3 為使用者字典格式。我們至少需要保留這個選項一兩個 release 來保證可以搬移使用者資料到新的格式。

看來...之後要方便的修改使用者詞庫只能用chewing-editor了嗎？
不能根據使用頻率篩選很麻煩的...就像那些萬年issues裡提到的那樣...
本來我在用了chewing-editor之後想用Rust寫個TUI的編輯器來方便清理詞庫的...
從chewing-editor匯出的json來看，userphrase現在只記錄了bopomofo跟對應的phrase，沒有頻率...
所以chewing.dat裡面也是這樣？還沒細看是怎麼實做的。

我自己的詞庫是2019年重新建立的

只留userphrase_v1會重建成5張表

留下dictionary_v1跟userphrase_v2會重建成4張表

從userphrase_v1跟userphrase_v2的資料筆數相同來看之前是會同步修改紀錄的？

[llc0930]

想請問sqlite3格式預計保留多久？
準備直接改userphrase_v1來清理詞庫...
單表修改顯然是最方便的...

[kanru]

使用 chewing-cli dump 可以直接匯出 tsi.src 格式，或是 csv 格式的詞庫檔
我是覺得這樣必較容易跟外部工具串接，不需要用 API

想用Rust寫個TUI的編輯器來方便清理詞庫的

也可以直接用 Rust 的 chewing 字典 API 來讀取跟修改

[llc0930]

能篩選、排序還是比較方便的

[kanru]

CSV 的格式是這樣，包含所有需要的資訊

$ chewing-cli dump --csv libchewing/tests/data/tsi.dat

詞(phrase),詞頻(freq),注音(bopomofo)
試,0,ㄕˋ
測試,9318,ㄘㄜˋ　ㄕˋ
測,0,ㄘㄜˋ

修改完可以用 chewing-cli init-database 重新建構 chewing.dat
還有其他功能可以玩玩，看看 chewing-cli --help

[llc0930]

可是沒看到用csv匯入的功能啊？
話說，用chewing-cli dump出sqlite3詞典的資料後，chewing.sqlite3-shm跟chewing.sqlite3-wal會留在那裡耶？

[llc0930]

哦，原來init-database除了創空的還能重建啊，懂了，剛沒看那個

[kanru]

可是沒看到用csv匯入的功能啊？ 話說，用chewing-cli dump出sqlite3詞典的資料後，chewing.sqlite3-shm跟chewing.sqlite3-wal會留在那裡耶？

chewing.sqlite3-shm跟chewing.sqlite3-wal都只是暫存檔，用完就會消失了，沒有消失的話刪掉也沒關係