ceph удаляет ложные данные
Я хотел бы удалить некоторые «ложные» данные:
root@XX03:/# ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 1.0 PiB 1.0 PiB 47 GiB 47 GiB 0
TOTAL 1.0 PiB 1.0 PiB 47 GiB 47 GiB 0
--- POOLS ---
POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL
.mgr 1 1 70 MiB 19 209 MiB 0 327 TiB
.nfs 3 32 572 B 4 36 KiB 0 327 TiB
root@XX03:/#
как видите, пулов данных нет. 47 ГБ могут быть из предыдущих пулов/файловых систем, которые я использовал для тестирования.
как я могу удалить эти «ложные» данные, не затрагивая OSD? Я проверял «ceph-volume lvm zap», но не уверен, что это правильный вариант.
(Я использую версию ceph quincy 17.2.7)
Спасибо, Джулиано.
ОТРЕДАКТИРОВАНО/добавлено: Здесь выводceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
110 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 2 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
111 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
112 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
113 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 3 up
114 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
115 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
116 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
117 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
118 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 2 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
119 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
120 hdd 7.27739 1.00000 7.3 TiB 427 MiB 120 MiB 1 KiB 307 MiB 7.3 TiB 0.01 1.22 2 up
143 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 2 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
11 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 2 KiB 305 MiB 7.3 TiB 0.00 1.01 2 up
12 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
13 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 4 KiB 301 MiB 7.3 TiB 0.00 1.00 2 up
14 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
15 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
16 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
17 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
18 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 5 KiB 305 MiB 7.3 TiB 0.00 1.01 3 up
19 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 5 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
20 hdd 7.27739 1.00000 7.3 TiB 358 MiB 48 MiB 2 KiB 310 MiB 7.3 TiB 0.00 1.02 0 up
21 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 2 up
132 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
33 hdd 7.27739 1.00000 7.3 TiB 357 MiB 48 MiB 2 KiB 310 MiB 7.3 TiB 0.00 1.02 0 up
34 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 4 KiB 297 MiB 7.3 TiB 0.00 0.99 2 up
35 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
36 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 2 up
37 hdd 7.27739 1.00000 7.3 TiB 342 MiB 48 MiB 4 KiB 294 MiB 7.3 TiB 0.00 0.98 1 up
38 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 4 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
39 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
40 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 2 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
41 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
42 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
43 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
135 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
66 hdd 7.27739 1.00000 7.3 TiB 362 MiB 48 MiB 3 KiB 314 MiB 7.3 TiB 0.00 1.03 1 up
67 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
68 hdd 7.27739 1.00000 7.3 TiB 357 MiB 48 MiB 5 KiB 309 MiB 7.3 TiB 0.00 1.02 1 up
69 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 3 KiB 296 MiB 7.3 TiB 0.00 0.98 1 up
70 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 2 KiB 303 MiB 7.3 TiB 0.00 1.00 0 up
71 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 3 KiB 303 MiB 7.3 TiB 0.00 1.00 1 up
72 hdd 7.27739 1.00000 7.3 TiB 346 MiB 48 MiB 9 KiB 298 MiB 7.3 TiB 0.00 0.99 2 up
73 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 4 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
74 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 3 KiB 293 MiB 7.3 TiB 0.00 0.98 1 up
75 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 3 KiB 303 MiB 7.3 TiB 0.00 1.00 1 up
76 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 4 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
138 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
77 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
78 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
79 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 2 KiB 308 MiB 7.3 TiB 0.00 1.02 1 up
80 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
81 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.98 0 up
82 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
83 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
84 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 2 up
85 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
86 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
87 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.97 1 up
139 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
88 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
89 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 292 MiB 7.3 TiB 0.00 0.97 1 up
90 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 292 MiB 7.3 TiB 0.00 0.97 1 up
91 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
92 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
93 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
94 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 2 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
95 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
96 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
97 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
98 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 3 KiB 308 MiB 7.3 TiB 0.00 1.02 0 up
140 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
0 hdd 7.27739 1.00000 7.3 TiB 338 MiB 48 MiB 0 B 290 MiB 7.3 TiB 0.00 0.97 0 up
1 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
2 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
3 hdd 7.27739 1.00000 7.3 TiB 338 MiB 48 MiB 0 B 290 MiB 7.3 TiB 0.00 0.97 1 up
4 hdd 7.27739 1.00000 7.3 TiB 357 MiB 48 MiB 3 KiB 309 MiB 7.3 TiB 0.00 1.02 1 up
5 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
6 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
7 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
8 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 3 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
9 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
10 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 292 MiB 7.3 TiB 0.00 0.97 2 up
133 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
22 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 292 MiB 7.3 TiB 0.00 0.97 3 up
23 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.98 2 up
24 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.98 0 up
25 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
26 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 4 KiB 308 MiB 7.3 TiB 0.00 1.02 2 up
27 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
28 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
29 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 292 MiB 7.3 TiB 0.00 0.97 3 up
30 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 294 MiB 7.3 TiB 0.00 0.98 0 up
31 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
32 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 303 MiB 7.3 TiB 0.00 1.00 0 up
134 hdd 7.27739 1.00000 7.3 TiB 431 MiB 120 MiB 1 KiB 310 MiB 7.3 TiB 0.01 1.23 1 up
44 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
45 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
46 hdd 7.27739 1.00000 7.3 TiB 439 MiB 120 MiB 1 KiB 318 MiB 7.3 TiB 0.01 1.26 2 up
47 hdd 7.27739 1.00000 7.3 TiB 350 MiB 48 MiB 2 KiB 302 MiB 7.3 TiB 0.00 1.00 3 up
48 hdd 7.27739 1.00000 7.3 TiB 346 MiB 48 MiB 2 KiB 298 MiB 7.3 TiB 0.00 0.99 2 up
49 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
50 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
51 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
52 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 2 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
53 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
54 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
136 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
55 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
56 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
57 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
58 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
59 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
60 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
61 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
62 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
63 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
64 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
65 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
137 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
99 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 1 KiB 308 MiB 7.3 TiB 0.00 1.02 0 up
100 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
101 hdd 7.27739 1.00000 7.3 TiB 348 MiB 48 MiB 3 KiB 300 MiB 7.3 TiB 0.00 0.99 1 up
102 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
103 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
104 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
105 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
106 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
107 hdd 7.27739 1.00000 7.3 TiB 348 MiB 48 MiB 4 KiB 300 MiB 7.3 TiB 0.00 0.99 0 up
108 hdd 7.27739 1.00000 7.3 TiB 348 MiB 48 MiB 1 KiB 300 MiB 7.3 TiB 0.00 0.99 1 up
109 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 2 KiB 308 MiB 7.3 TiB 0.00 1.02 0 up
141 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
121 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
122 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 3 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
123 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
124 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
125 hdd 7.27739 1.00000 7.3 TiB 346 MiB 48 MiB 3 KiB 298 MiB 7.3 TiB 0.00 0.99 0 up
126 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 1 KiB 308 MiB 7.3 TiB 0.00 1.02 1 up
127 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
128 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
129 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
130 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 4 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
131 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
142 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
TOTAL 1.0 PiB 49 GiB 6.9 GiB 330 KiB 42 GiB 1.0 PiB 0.00
MIN/MAX VAR: 0.97/1.26 STDDEV: 0
1 ответ
В соответствии с вашейceph osd dfвыведите, что это база данных OSD, которая тоже занимает некоторое место. Вот пример из пустого кластера, всего 3 OSD размером по 15 Гб, данных в кластере нет:
$ ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
0 hdd 0.01500 1.00000 15 GiB 6.0 GiB 5.9 MiB 0 B 1 GiB 9.0 GiB 40.03 1.00 1 up
1 hdd 0.01500 1.00000 15 GiB 6.0 GiB 5.9 MiB 0 B 1 GiB 9.0 GiB 40.03 1.00 1 up
2 hdd 0.01500 1.00000 15 GiB 6.0 GiB 5.9 MiB 0 B 1 GiB 9.0 GiB 40.03 1.00 1 up
TOTAL 45 GiB 18 GiB 18 MiB 0 B 3 GiB 27 GiB 40.03
$ ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 45 GiB 27 GiB 15 GiB 18 GiB 40.03
TOTAL 45 GiB 27 GiB 15 GiB 18 GiB 40.03
data:
pools: 1 pools, 1 pgs
objects: 0 objects, 0 B
usage: 18 GiB used, 27 GiB / 45 GiB avail
pgs: 1 active+clean
Но исходное использование по-прежнему составляет 18 ГБ, хотя данные не сохраняются. В вашем случае каждое экранное меню имеет около 300 МБ, зарезервированное для устройства БД. Вы можете проверить вывод дампа производительности, чтобы подтвердить:
$ ceph tell osd.0 perf dump | jq -r '.bluefs.db_total_bytes'
5364506624
Или, альтернативно, войдите в демон OSD с помощью cephadm, а затем запросите значения:
$ cephadm enter --name osd.0
$ ceph daemon osd.0 perf dump | jq -r '.bluefs.db_total_bytes'
В моем случае это около 5 ГБ на каждое OSD, а добавление метаданных составляет около 6 ГБ, как вы можете видеть в столбце «RAW USE», что в сумме дает 18 ГБ RAW USE.