io-wq.h 3.0 KB
Newer Older
1 2 3 4 5 6 7 8
#ifndef INTERNAL_IO_WQ_H
#define INTERNAL_IO_WQ_H

struct io_wq;

enum {
	IO_WQ_WORK_CANCEL	= 1,
	IO_WQ_WORK_HASHED	= 4,
9
	IO_WQ_WORK_UNBOUND	= 32,
10
	IO_WQ_WORK_NO_CANCEL	= 256,
11
	IO_WQ_WORK_CONCURRENT	= 512,
12 13 14 15 16 17 18 19 20 21

	IO_WQ_HASH_SHIFT	= 24,	/* upper 8 bits are used for hash key */
};

enum io_wq_cancel {
	IO_WQ_CANCEL_OK,	/* cancelled before started */
	IO_WQ_CANCEL_RUNNING,	/* found, running, and attempted cancelled */
	IO_WQ_CANCEL_NOTFOUND,	/* work not found */
};

J
Jens Axboe 已提交
22 23 24 25 26 27 28 29 30 31 32 33 34
struct io_wq_work_node {
	struct io_wq_work_node *next;
};

struct io_wq_work_list {
	struct io_wq_work_node *first;
	struct io_wq_work_node *last;
};

static inline void wq_list_add_tail(struct io_wq_work_node *node,
				    struct io_wq_work_list *list)
{
	if (!list->first) {
35 36
		list->last = node;
		WRITE_ONCE(list->first, node);
J
Jens Axboe 已提交
37 38 39 40 41 42 43 44 45 46 47
	} else {
		list->last->next = node;
		list->last = node;
	}
}

static inline void wq_node_del(struct io_wq_work_list *list,
			       struct io_wq_work_node *node,
			       struct io_wq_work_node *prev)
{
	if (node == list->first)
48
		WRITE_ONCE(list->first, node->next);
J
Jens Axboe 已提交
49 50 51 52
	if (node == list->last)
		list->last = prev;
	if (prev)
		prev->next = node->next;
53
	node->next = NULL;
J
Jens Axboe 已提交
54 55 56 57 58
}

#define wq_list_for_each(pos, prv, head)			\
	for (pos = (head)->first, prv = NULL; pos; prv = pos, pos = (pos)->next)

59
#define wq_list_empty(list)	(READ_ONCE((list)->first) == NULL)
J
Jens Axboe 已提交
60 61 62 63 64
#define INIT_WQ_LIST(list)	do {				\
	(list)->first = NULL;					\
	(list)->last = NULL;					\
} while (0)

65
struct io_wq_work {
66
	union {
J
Jens Axboe 已提交
67
		struct io_wq_work_node list;
68 69
		void *data;
	};
70
	void (*func)(struct io_wq_work **);
71
	struct files_struct *files;
72 73
	struct mm_struct *mm;
	const struct cred *creds;
74
	struct fs_struct *fs;
J
Jens Axboe 已提交
75
	unsigned flags;
76
	pid_t task_pid;
77 78
};

79 80 81 82
#define INIT_IO_WORK(work, _func)				\
	do {							\
		*(work) = (struct io_wq_work){ .func = _func };	\
	} while (0)						\
83

84 85 86
typedef void (get_work_fn)(struct io_wq_work *);
typedef void (put_work_fn)(struct io_wq_work *);

87 88 89 90 91 92 93 94
struct io_wq_data {
	struct user_struct *user;

	get_work_fn *get_work;
	put_work_fn *put_work;
};

struct io_wq *io_wq_create(unsigned bounded, struct io_wq_data *data);
95
bool io_wq_get(struct io_wq *wq, struct io_wq_data *data);
96 97 98 99 100 101 102
void io_wq_destroy(struct io_wq *wq);

void io_wq_enqueue(struct io_wq *wq, struct io_wq_work *work);
void io_wq_enqueue_hashed(struct io_wq *wq, struct io_wq_work *work, void *val);

void io_wq_cancel_all(struct io_wq *wq);
enum io_wq_cancel io_wq_cancel_work(struct io_wq *wq, struct io_wq_work *cwork);
103
enum io_wq_cancel io_wq_cancel_pid(struct io_wq *wq, pid_t pid);
104

105 106 107 108 109
typedef bool (work_cancel_fn)(struct io_wq_work *, void *);

enum io_wq_cancel io_wq_cancel_cb(struct io_wq *wq, work_cancel_fn *cancel,
					void *data);

110 111 112 113 114 115 116 117 118 119 120 121
#if defined(CONFIG_IO_WQ)
extern void io_wq_worker_sleeping(struct task_struct *);
extern void io_wq_worker_running(struct task_struct *);
#else
static inline void io_wq_worker_sleeping(struct task_struct *tsk)
{
}
static inline void io_wq_worker_running(struct task_struct *tsk)
{
}
#endif

122 123 124 125
static inline bool io_wq_current_is_worker(void)
{
	return in_task() && (current->flags & PF_IO_WORKER);
}
126
#endif