]> git.karo-electronics.de Git - karo-tx-linux.git/blob - fs/btrfs/extent_io.h
Merge branches 'einj', 'intel_idle', 'misc', 'srat' and 'turbostat-ivb' into release
[karo-tx-linux.git] / fs / btrfs / extent_io.h
1 #ifndef __EXTENTIO__
2 #define __EXTENTIO__
3
4 #include <linux/rbtree.h>
5
6 /* bits for the extent state */
7 #define EXTENT_DIRTY 1
8 #define EXTENT_WRITEBACK (1 << 1)
9 #define EXTENT_UPTODATE (1 << 2)
10 #define EXTENT_LOCKED (1 << 3)
11 #define EXTENT_NEW (1 << 4)
12 #define EXTENT_DELALLOC (1 << 5)
13 #define EXTENT_DEFRAG (1 << 6)
14 #define EXTENT_DEFRAG_DONE (1 << 7)
15 #define EXTENT_BUFFER_FILLED (1 << 8)
16 #define EXTENT_BOUNDARY (1 << 9)
17 #define EXTENT_NODATASUM (1 << 10)
18 #define EXTENT_DO_ACCOUNTING (1 << 11)
19 #define EXTENT_FIRST_DELALLOC (1 << 12)
20 #define EXTENT_NEED_WAIT (1 << 13)
21 #define EXTENT_DAMAGED (1 << 14)
22 #define EXTENT_IOBITS (EXTENT_LOCKED | EXTENT_WRITEBACK)
23 #define EXTENT_CTLBITS (EXTENT_DO_ACCOUNTING | EXTENT_FIRST_DELALLOC)
24
25 /*
26  * flags for bio submission. The high bits indicate the compression
27  * type for this bio
28  */
29 #define EXTENT_BIO_COMPRESSED 1
30 #define EXTENT_BIO_FLAG_SHIFT 16
31
32 /* these are bit numbers for test/set bit */
33 #define EXTENT_BUFFER_UPTODATE 0
34 #define EXTENT_BUFFER_BLOCKING 1
35 #define EXTENT_BUFFER_DIRTY 2
36 #define EXTENT_BUFFER_CORRUPT 3
37 #define EXTENT_BUFFER_READAHEAD 4       /* this got triggered by readahead */
38
39 /* these are flags for extent_clear_unlock_delalloc */
40 #define EXTENT_CLEAR_UNLOCK_PAGE 0x1
41 #define EXTENT_CLEAR_UNLOCK      0x2
42 #define EXTENT_CLEAR_DELALLOC    0x4
43 #define EXTENT_CLEAR_DIRTY       0x8
44 #define EXTENT_SET_WRITEBACK     0x10
45 #define EXTENT_END_WRITEBACK     0x20
46 #define EXTENT_SET_PRIVATE2      0x40
47 #define EXTENT_CLEAR_ACCOUNTING  0x80
48
49 /*
50  * page->private values.  Every page that is controlled by the extent
51  * map has page->private set to one.
52  */
53 #define EXTENT_PAGE_PRIVATE 1
54 #define EXTENT_PAGE_PRIVATE_FIRST_PAGE 3
55
56 struct extent_state;
57
58 typedef int (extent_submit_bio_hook_t)(struct inode *inode, int rw,
59                                        struct bio *bio, int mirror_num,
60                                        unsigned long bio_flags, u64 bio_offset);
61 struct extent_io_ops {
62         int (*fill_delalloc)(struct inode *inode, struct page *locked_page,
63                              u64 start, u64 end, int *page_started,
64                              unsigned long *nr_written);
65         int (*writepage_start_hook)(struct page *page, u64 start, u64 end);
66         int (*writepage_io_hook)(struct page *page, u64 start, u64 end);
67         extent_submit_bio_hook_t *submit_bio_hook;
68         int (*merge_bio_hook)(struct page *page, unsigned long offset,
69                               size_t size, struct bio *bio,
70                               unsigned long bio_flags);
71         int (*readpage_io_hook)(struct page *page, u64 start, u64 end);
72         int (*readpage_io_failed_hook)(struct bio *bio, struct page *page,
73                                        u64 start, u64 end, int failed_mirror,
74                                        struct extent_state *state);
75         int (*writepage_io_failed_hook)(struct bio *bio, struct page *page,
76                                         u64 start, u64 end,
77                                        struct extent_state *state);
78         int (*readpage_end_io_hook)(struct page *page, u64 start, u64 end,
79                                     struct extent_state *state);
80         int (*writepage_end_io_hook)(struct page *page, u64 start, u64 end,
81                                       struct extent_state *state, int uptodate);
82         void (*set_bit_hook)(struct inode *inode, struct extent_state *state,
83                              int *bits);
84         void (*clear_bit_hook)(struct inode *inode, struct extent_state *state,
85                                int *bits);
86         void (*merge_extent_hook)(struct inode *inode,
87                                   struct extent_state *new,
88                                   struct extent_state *other);
89         void (*split_extent_hook)(struct inode *inode,
90                                   struct extent_state *orig, u64 split);
91         int (*write_cache_pages_lock_hook)(struct page *page, void *data,
92                                            void (*flush_fn)(void *));
93 };
94
95 struct extent_io_tree {
96         struct rb_root state;
97         struct radix_tree_root buffer;
98         struct address_space *mapping;
99         u64 dirty_bytes;
100         spinlock_t lock;
101         spinlock_t buffer_lock;
102         struct extent_io_ops *ops;
103 };
104
105 struct extent_state {
106         u64 start;
107         u64 end; /* inclusive */
108         struct rb_node rb_node;
109
110         /* ADD NEW ELEMENTS AFTER THIS */
111         struct extent_io_tree *tree;
112         wait_queue_head_t wq;
113         atomic_t refs;
114         unsigned long state;
115
116         /* for use by the FS */
117         u64 private;
118
119         struct list_head leak_list;
120 };
121
122 struct extent_buffer {
123         u64 start;
124         unsigned long len;
125         unsigned long map_start;
126         unsigned long map_len;
127         struct page *first_page;
128         unsigned long bflags;
129         struct list_head leak_list;
130         struct rcu_head rcu_head;
131         atomic_t refs;
132
133         /* count of read lock holders on the extent buffer */
134         atomic_t write_locks;
135         atomic_t read_locks;
136         atomic_t blocking_writers;
137         atomic_t blocking_readers;
138         atomic_t spinning_readers;
139         atomic_t spinning_writers;
140
141         /* protects write locks */
142         rwlock_t lock;
143
144         /* readers use lock_wq while they wait for the write
145          * lock holders to unlock
146          */
147         wait_queue_head_t write_lock_wq;
148
149         /* writers use read_lock_wq while they wait for readers
150          * to unlock
151          */
152         wait_queue_head_t read_lock_wq;
153 };
154
155 static inline void extent_set_compress_type(unsigned long *bio_flags,
156                                             int compress_type)
157 {
158         *bio_flags |= compress_type << EXTENT_BIO_FLAG_SHIFT;
159 }
160
161 static inline int extent_compress_type(unsigned long bio_flags)
162 {
163         return bio_flags >> EXTENT_BIO_FLAG_SHIFT;
164 }
165
166 struct extent_map_tree;
167
168 typedef struct extent_map *(get_extent_t)(struct inode *inode,
169                                           struct page *page,
170                                           size_t pg_offset,
171                                           u64 start, u64 len,
172                                           int create);
173
174 void extent_io_tree_init(struct extent_io_tree *tree,
175                          struct address_space *mapping);
176 int try_release_extent_mapping(struct extent_map_tree *map,
177                                struct extent_io_tree *tree, struct page *page,
178                                gfp_t mask);
179 int try_release_extent_buffer(struct extent_io_tree *tree, struct page *page);
180 int try_release_extent_state(struct extent_map_tree *map,
181                              struct extent_io_tree *tree, struct page *page,
182                              gfp_t mask);
183 int lock_extent(struct extent_io_tree *tree, u64 start, u64 end, gfp_t mask);
184 int lock_extent_bits(struct extent_io_tree *tree, u64 start, u64 end,
185                      int bits, struct extent_state **cached, gfp_t mask);
186 int unlock_extent(struct extent_io_tree *tree, u64 start, u64 end, gfp_t mask);
187 int unlock_extent_cached(struct extent_io_tree *tree, u64 start, u64 end,
188                          struct extent_state **cached, gfp_t mask);
189 int try_lock_extent(struct extent_io_tree *tree, u64 start, u64 end,
190                     gfp_t mask);
191 int extent_read_full_page(struct extent_io_tree *tree, struct page *page,
192                           get_extent_t *get_extent, int mirror_num);
193 int __init extent_io_init(void);
194 void extent_io_exit(void);
195
196 u64 count_range_bits(struct extent_io_tree *tree,
197                      u64 *start, u64 search_end,
198                      u64 max_bytes, unsigned long bits, int contig);
199
200 void free_extent_state(struct extent_state *state);
201 int test_range_bit(struct extent_io_tree *tree, u64 start, u64 end,
202                    int bits, int filled, struct extent_state *cached_state);
203 int clear_extent_bits(struct extent_io_tree *tree, u64 start, u64 end,
204                       int bits, gfp_t mask);
205 int clear_extent_bit(struct extent_io_tree *tree, u64 start, u64 end,
206                      int bits, int wake, int delete, struct extent_state **cached,
207                      gfp_t mask);
208 int set_extent_bits(struct extent_io_tree *tree, u64 start, u64 end,
209                     int bits, gfp_t mask);
210 int set_extent_bit(struct extent_io_tree *tree, u64 start, u64 end,
211                    int bits, int exclusive_bits, u64 *failed_start,
212                    struct extent_state **cached_state, gfp_t mask);
213 int set_extent_uptodate(struct extent_io_tree *tree, u64 start, u64 end,
214                         struct extent_state **cached_state, gfp_t mask);
215 int set_extent_new(struct extent_io_tree *tree, u64 start, u64 end,
216                    gfp_t mask);
217 int set_extent_dirty(struct extent_io_tree *tree, u64 start, u64 end,
218                      gfp_t mask);
219 int clear_extent_dirty(struct extent_io_tree *tree, u64 start, u64 end,
220                        gfp_t mask);
221 int convert_extent_bit(struct extent_io_tree *tree, u64 start, u64 end,
222                        int bits, int clear_bits, gfp_t mask);
223 int set_extent_delalloc(struct extent_io_tree *tree, u64 start, u64 end,
224                         struct extent_state **cached_state, gfp_t mask);
225 int find_first_extent_bit(struct extent_io_tree *tree, u64 start,
226                           u64 *start_ret, u64 *end_ret, int bits);
227 struct extent_state *find_first_extent_bit_state(struct extent_io_tree *tree,
228                                                  u64 start, int bits);
229 int extent_invalidatepage(struct extent_io_tree *tree,
230                           struct page *page, unsigned long offset);
231 int extent_write_full_page(struct extent_io_tree *tree, struct page *page,
232                           get_extent_t *get_extent,
233                           struct writeback_control *wbc);
234 int extent_write_locked_range(struct extent_io_tree *tree, struct inode *inode,
235                               u64 start, u64 end, get_extent_t *get_extent,
236                               int mode);
237 int extent_writepages(struct extent_io_tree *tree,
238                       struct address_space *mapping,
239                       get_extent_t *get_extent,
240                       struct writeback_control *wbc);
241 int extent_readpages(struct extent_io_tree *tree,
242                      struct address_space *mapping,
243                      struct list_head *pages, unsigned nr_pages,
244                      get_extent_t get_extent);
245 int extent_fiemap(struct inode *inode, struct fiemap_extent_info *fieinfo,
246                 __u64 start, __u64 len, get_extent_t *get_extent);
247 int set_state_private(struct extent_io_tree *tree, u64 start, u64 private);
248 int get_state_private(struct extent_io_tree *tree, u64 start, u64 *private);
249 void set_page_extent_mapped(struct page *page);
250
251 struct extent_buffer *alloc_extent_buffer(struct extent_io_tree *tree,
252                                           u64 start, unsigned long len,
253                                           struct page *page0);
254 struct extent_buffer *find_extent_buffer(struct extent_io_tree *tree,
255                                          u64 start, unsigned long len);
256 void free_extent_buffer(struct extent_buffer *eb);
257 #define WAIT_NONE       0
258 #define WAIT_COMPLETE   1
259 #define WAIT_PAGE_LOCK  2
260 int read_extent_buffer_pages(struct extent_io_tree *tree,
261                              struct extent_buffer *eb, u64 start, int wait,
262                              get_extent_t *get_extent, int mirror_num);
263 unsigned long num_extent_pages(u64 start, u64 len);
264 struct page *extent_buffer_page(struct extent_buffer *eb, unsigned long i);
265
266 static inline void extent_buffer_get(struct extent_buffer *eb)
267 {
268         atomic_inc(&eb->refs);
269 }
270
271 int memcmp_extent_buffer(struct extent_buffer *eb, const void *ptrv,
272                           unsigned long start,
273                           unsigned long len);
274 void read_extent_buffer(struct extent_buffer *eb, void *dst,
275                         unsigned long start,
276                         unsigned long len);
277 void write_extent_buffer(struct extent_buffer *eb, const void *src,
278                          unsigned long start, unsigned long len);
279 void copy_extent_buffer(struct extent_buffer *dst, struct extent_buffer *src,
280                         unsigned long dst_offset, unsigned long src_offset,
281                         unsigned long len);
282 void memcpy_extent_buffer(struct extent_buffer *dst, unsigned long dst_offset,
283                            unsigned long src_offset, unsigned long len);
284 void memmove_extent_buffer(struct extent_buffer *dst, unsigned long dst_offset,
285                            unsigned long src_offset, unsigned long len);
286 void memset_extent_buffer(struct extent_buffer *eb, char c,
287                           unsigned long start, unsigned long len);
288 int wait_extent_bit(struct extent_io_tree *tree, u64 start, u64 end, int bits);
289 int clear_extent_buffer_dirty(struct extent_io_tree *tree,
290                               struct extent_buffer *eb);
291 int set_extent_buffer_dirty(struct extent_io_tree *tree,
292                              struct extent_buffer *eb);
293 int set_extent_buffer_uptodate(struct extent_io_tree *tree,
294                                struct extent_buffer *eb);
295 int clear_extent_buffer_uptodate(struct extent_io_tree *tree,
296                                 struct extent_buffer *eb,
297                                 struct extent_state **cached_state);
298 int extent_buffer_uptodate(struct extent_io_tree *tree,
299                            struct extent_buffer *eb,
300                            struct extent_state *cached_state);
301 int map_private_extent_buffer(struct extent_buffer *eb, unsigned long offset,
302                       unsigned long min_len, char **map,
303                       unsigned long *map_start,
304                       unsigned long *map_len);
305 int extent_range_uptodate(struct extent_io_tree *tree,
306                           u64 start, u64 end);
307 int extent_clear_unlock_delalloc(struct inode *inode,
308                                 struct extent_io_tree *tree,
309                                 u64 start, u64 end, struct page *locked_page,
310                                 unsigned long op);
311 struct bio *
312 btrfs_bio_alloc(struct block_device *bdev, u64 first_sector, int nr_vecs,
313                 gfp_t gfp_flags);
314
315 struct btrfs_mapping_tree;
316
317 int repair_io_failure(struct btrfs_mapping_tree *map_tree, u64 start,
318                         u64 length, u64 logical, struct page *page,
319                         int mirror_num);
320 #endif