trainer.py 6.2 KB
Newer Older
Y
Yu Yang 已提交
1
import collections
Y
Yu Yang 已提交
2

Y
Yu Yang 已提交
3 4
import py_paddle.swig_paddle as api

5
from data_feeder import DataFeeder
Q
qiaolongfei 已提交
6
from topology import Topology
Q
qiaolongfei 已提交
7
from . import event as v2_event
Y
Yu Yang 已提交
8 9 10
from . import optimizer as v2_optimizer
from . import parameters as v2_parameters

Y
Yu Yang 已提交
11
__all__ = ['ITrainer', 'SGD']
Y
Yu Yang 已提交
12 13 14


def default_event_handler(event):
Y
Yu Yang 已提交
15 16 17 18 19 20 21
    """
    Default event handler. It will print some log and save mode.

    TODO(yuyang18): Complete it!
    :param event:
    :return:
    """
Y
Yu Yang 已提交
22 23 24 25
    pass


class ITrainer(object):
Y
Yu Yang 已提交
26 27 28 29
    """
    The interface of Trainer. The only exposed method is `train`.
    """

Y
Yu Yang 已提交
30
    def train(self, reader, topology, parameters, event_handler=None):
Y
Yu Yang 已提交
31 32 33
        """
        train method.

Y
Yu Yang 已提交
34
        :param reader:
Y
Yu Yang 已提交
35 36 37 38 39 40
        :param topology:
        :param parameters:
        :param event_handler:
        :return:
        """

Y
Yu Yang 已提交
41 42 43
        raise NotImplementedError()


Y
Yu Yang 已提交
44
class SGD(ITrainer):
45
    def __init__(self, cost, parameters, update_equation):
Y
Yu Yang 已提交
46 47 48
        """
        Simple SGD Trainer.

Y
Yu Yang 已提交
49 50
        :param update_equation: The optimizer object.
        :type update_equation: v2_optimizer.Optimizer
Y
Yu Yang 已提交
51
        """
52

Y
Yu Yang 已提交
53 54 55
        if not isinstance(parameters, v2_parameters.Parameters):
            raise TypeError('parameters should be parameters')

Y
Yu Yang 已提交
56
        if not isinstance(update_equation, v2_optimizer.Optimizer):
Y
Yu Yang 已提交
57 58
            raise TypeError("update equation parameter must be "
                            "paddle.v2.optimizer.Optimizer")
59
        topology = Topology(cost)
Y
Yu Yang 已提交
60
        self.__optimizer__ = update_equation
Y
Yu Yang 已提交
61 62
        self.__topology__ = topology
        self.__parameters__ = parameters
63
        self.__topology_in_proto__ = topology.proto()
Y
Yu Yang 已提交
64
        self.__data_types__ = topology.data_type()
Y
Yu Yang 已提交
65 66 67 68 69 70 71 72 73
        gm = api.GradientMachine.createFromConfigProto(
            self.__topology_in_proto__, api.CREATE_MODE_NORMAL,
            self.__optimizer__.enable_types())
        assert isinstance(gm, api.GradientMachine)
        parameters.append_gradient_machine(gm)
        self.__gradient_machine__ = gm
        self.__gradient_machine__.randParameters()

    def train(self, reader, num_passes=1, event_handler=None, reader_dict=None):
Y
Yu Yang 已提交
74 75 76
        """
        Training method. Will train num_passes of input data.

Y
Yu Yang 已提交
77
        :param reader:
Q
qiaolongfei 已提交
78
        :param topology: Network Topology, use one or more Layers to represent it.
Y
Yu Yang 已提交
79 80 81 82 83 84 85
        :param parameters: The parameter pools.
        :param num_passes: The total train passes.
        :param event_handler: Event handler. A method will be invoked when event
                              occurred.
        :type event_handler: (BaseEvent) => None
        :return:
        """
Y
Yu Yang 已提交
86 87 88
        if event_handler is None:
            event_handler = default_event_handler

Y
Yu Yang 已提交
89 90
        if reader_dict is None:
            reader_dict = self.default_reader_dict()
Q
qiaolongfei 已提交
91

Y
Yu Yang 已提交
92 93 94
        __check_train_args__(**locals())

        updater = self.__optimizer__.create_local_updater()
Y
Yu Yang 已提交
95
        updater.init(self.__gradient_machine__)
Y
Yu Yang 已提交
96

Y
Yu Yang 已提交
97 98
        self.__gradient_machine__.start()
        batch_evaluator = self.__gradient_machine__.makeEvaluator()
Y
Yu Yang 已提交
99
        assert isinstance(batch_evaluator, api.Evaluator)
Y
Yu Yang 已提交
100
        pass_evaluator = self.__gradient_machine__.makeEvaluator()
Y
Yu Yang 已提交
101
        assert isinstance(pass_evaluator, api.Evaluator)
Y
Yu Yang 已提交
102 103
        out_args = api.Arguments.createArguments(0)

Y
Yu Yang 已提交
104
        feeder = DataFeeder(self.__data_types__, reader_dict)
Y
Yu Yang 已提交
105 106

        for pass_id in xrange(num_passes):
Y
Yu Yang 已提交
107 108
            event_handler(v2_event.BeginPass(pass_id))
            pass_evaluator.start()
Y
Yu Yang 已提交
109
            updater.startPass()
Y
Yu Yang 已提交
110
            for batch_id, data_batch in enumerate(reader()):
Y
Yu Yang 已提交
111
                pass_type = updater.startBatch(len(data_batch))
Y
Yu Yang 已提交
112 113
                self.__gradient_machine__.forwardBackward(
                    feeder(data_batch), out_args, pass_type)
Y
Yu Yang 已提交
114 115 116 117
                batch_evaluator.start()
                event_handler(
                    v2_event.BeginIteration(
                        pass_id=pass_id, batch_id=batch_id))
Y
Yu Yang 已提交
118
                pass_type = updater.startBatch(len(data_batch))
Y
Yu Yang 已提交
119 120 121 122 123
                self.__gradient_machine__.forwardBackward(
                    feeder(data_batch), out_args, pass_type)
                self.__gradient_machine__.eval(pass_evaluator)
                self.__gradient_machine__.eval(batch_evaluator)
                for each_param in self.__gradient_machine__.getParameters():
Y
Yu Yang 已提交
124 125 126 127 128 129
                    updater.update(each_param)
                # Get cost. We use numpy to calculate total cost for this batch.
                cost_vec = out_args.getSlotValue(0)
                cost_vec = cost_vec.copyToNumpyMat()
                cost = cost_vec.sum() / len(data_batch)
                updater.finishBatch(cost)
Y
Yu Yang 已提交
130
                batch_evaluator.finish()
Y
Yu Yang 已提交
131
                event_handler(
Y
Yu Yang 已提交
132
                    v2_event.EndIteration(
Y
Yu Yang 已提交
133 134 135 136
                        pass_id=pass_id,
                        batch_id=batch_id,
                        cost=cost,
                        evaluator=batch_evaluator))
Y
Yu Yang 已提交
137 138

            updater.finishPass()
Y
Yu Yang 已提交
139 140
            pass_evaluator.finish()
            event_handler(v2_event.EndPass(pass_id, evaluator=pass_evaluator))
Y
Yu Yang 已提交
141 142 143 144 145 146 147
        self.__gradient_machine__.finish()

    def default_reader_dict(self):
        reader_dict = dict()
        for i, tp in enumerate(self.__data_types__):
            reader_dict[tp[0]] = i
        return reader_dict
Y
Yu Yang 已提交
148

Y
Yu Yang 已提交
149 150 151 152 153 154 155 156 157 158 159 160
    def test(self, reader, reader_dict=None):
        if reader_dict is None:
            reader_dict = self.default_reader_dict()

        feeder = DataFeeder(self.__data_types__, reader_dict)
        evaluator = self.__gradient_machine__.makeEvaluator()
        out_args = api.Arguments.createArguments(0)
        evaluator.start()
        for data_batch in reader():
            self.__gradient_machine__.forward(
                feeder(data_batch), out_args, api.PASS_TEST)
            self.__gradient_machine__.eval(evaluator)
Y
Yu Yang 已提交
161

Y
Yu Yang 已提交
162 163 164 165 166
        evaluator.finish()
        return v2_event.TestResult(evaluator=evaluator)


def __check_train_args__(reader, event_handler, **kwargs):
Y
Yu Yang 已提交
167 168 169
    """
    Check train function's argument types
    """
Y
Yu Yang 已提交
170
    if not callable(reader) or not isinstance(reader(), collections.Iterator):
Y
Yu Yang 已提交
171 172
        raise TypeError('train_data_reader should be a function, '
                        'which can return a iterator')
Y
Yu Yang 已提交
173
    if not callable(event_handler):
Y
Yu Yang 已提交
174
        raise TypeError('event handler should be a function')